双写一致性
redis和mysql数据同步方案
- 先更新数据库,再更新缓存(一般不用)
- 先删缓存,再更新数据库(在存数据的时候,请求来了,缓存不是最新的,一般也不用)
- 先更新数据库,再删缓存(请求再来的时候就是新的缓存了,推荐)
缓存的收益与成本
收益
- 加速读写
- 降低后端负载:后端服务器通过前端缓存降低负载,业务端使用redis降低后端mysql负载
成本
- 数据不一致:缓存层和数据层有时间窗口不一致,和更新策略有关
- 代码维护成本:多了一层缓存逻辑
- 运维成本:比如使用了Redis Cluster(上节提到的集群搭建)
应用场景
- 降低后端负载:对高消耗的sql,join结果集/分组统计的结果做缓存
- 加速请求响应:利用redis优化io响应时间
- 大量写合并为批量写:如计数器先redis累加再批量写入db
缓存更新策略
LRU/LFU/FIFO算法剔除
例如maxmemory-policy
(超过最大内存,新的放不进去了,淘汰策略)
LRU -Least Recently Used
,没有被使用时间最长的(保证热点数据)LFU -Least Frequenty User
,一定时间段内使用次数最少的FIFO -First In First Out
,先进先出
LIRS (Low Inter-reference Recency Set)是一个页替换算法,相比于LRU(Least Recently Used)和很多其他的替换算法,LIRS具有较高的性能。这是通过使用两次访问同一页之间的距离(本距离指中间被访问了多少非重复块)作为一种尺度去动态地将访问页排序,从而去做一个替换的选择
配置文件
# LRU配置
maxmemory-policy:volatile-lru
(1)noeviction: 如果内存使用达到了maxmemory,client还要继续写入数据,那么就直接报错给客户端
(2)allkeys-lru: 就是我们常说的LRU算法,移除掉最近最少使用的那些keys对应的数据,ps最长用的策略
(3)volatile-lru: 也是采取LRU算法,但是仅仅针对那些设置了指定存活时间(TTL)的key才会清理掉
(4)allkeys-random: 随机选择一些key来删除掉
(5)volatile-random: 随机选择一些设置了TTL的key来删除掉
(6)volatile-ttl: 移除掉部分keys,选择那些TTL时间比较短的keys
# LFU配置
maxmemory-policy:volatile-lfu
# Redis4.0之后为maxmemory_policy淘汰策略添加了两个LFU模式:
volatile-lfu:对有过期时间的key采用LFU淘汰算法
allkeys-lfu:对全部key采用LFU淘汰算法
# 还有2个配置可以调整LFU算法:
lfu-log-factor 10
lfu-decay-time 1
# lfu-log-factor可以调整计数器counter的增长速度,lfu-log-factor越大,counter增长的越慢。
# lfu-decay-time是一个以分钟为单位的数值,可以调整counter的减少速度
超时剔除
例如expire,设置过期时间
主动更新
开发控制生命周期(晚上或者热点低的时候更新)
策略 | 一致性 | 维护成本 |
---|---|---|
LRU/LIRS算法剔除 | 最差 | 低 |
超时剔除 | 较差 | 低 |
主动更新 | 强 | 高 |
总结
-
低一致性:最大内存和淘汰策略
-
高一致性:超时剔除和主动更新结合,最大内存和淘汰策略兜底
缓存粒度控制
缓存粒度:缓存全部属性和缓存部分重要属性(缓存用户的所有数据信息,还是只缓存用户需要的用户信息字段。)
三个角度来考虑
-
通用性:缓存全量属性更好
因为当用户数据表字段发生改变时,不需要修改程序就可以直接同步修改之后的用户信息到Redis缓存中供用户使用,但是这样会占用更多的内存空间。
-
占用空间:缓存部分属性更好
因为当用户数据表字段发生改变时而用户需要这个字段信息时,就需要修改程序源代码来把修改之后的用户信息同步缓存到Redis中,这种情况下占用的内存空间比全量属性占用的内存空间要少。
-
代码维护:表面上缓存全量属性更好
因为不管数据源中的数据表结构如何改变,都会把所有的数据同步到Redis缓存中,而不需要修改程序源代码,但是在大多数情况下,并不会使用到全量数据,只需要缓存需要的数据就可以了。因此从内存空间消耗及性能方面考虑,缓存部分属性更好。
缓存穿透,缓存击穿,缓存雪崩
缓存穿透
# 缓存穿透(一般是恶意的攻击)
1.描述
缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者,攻击会导致数据库压力过大。
2.解决方案
2.1接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截;
2.2从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击
2.3通过布隆过滤器实现,mysql中所有数据都放到布隆过滤器,请求来了,先去布隆过滤器查,如果没有,表示非法,直接返回
缓存击穿
# 缓存击穿
1.描述
缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力
2.解决方案:
设置热点数据永远不过期。
缓存雪崩
# 缓存雪崩
1.描述
缓存雪崩是指缓存中数据大批量到过期时间,而查询数据量巨大,引起数据库压力过大甚至down机。和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。
2.解决方案:
2.1缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。
2.2如果缓存数据库是分布式部署,将热点数据均匀分布在不同搞得缓存数据库中。
2.3设置热点数据永远不过期。
标签:缓存,07,数据库,Redis,用户,lfu,LRU,数据,双写
From: https://www.cnblogs.com/hkwJsxl/p/17181551.html