binLog的原理
基于binlog的全量缓存架构
优势
- 降低延迟 保证了毫秒级别
- 解决了分布式事务 基于ACK机制
- 提升代码的简洁性
缺点
- 系统复杂性
- 缓存的数据变多
技术优化
- 进行数据筛选
- 进行压缩
节约缓存大小
- 使用JOSN的字段替代
- 使用redis的hash结构 的字段代替
Mysql的binlog记录格式
- statement
将所有修改的sql记录 并且重放 - row 推荐row
记录每一行数据的变化 数据量较大 - mixed
动态变化格式
binlog的消费逻辑
- 对于不同的表使用不同的topic实现 细节上的串行
- 对于binlog使用多个topic消费实现了binglog的消费的并行化
Redis 缓存结构设计
热点查询 高可用 资源浪费
微博热点 秒杀系统
- 问题
- 造成从节点的浪费 热点问题一般是在某一个分片
- 无法预先知道热点的分片位置