首页 > 数据库 >07-Redis系列之-双写一致性,缓存详解和优化点

07-Redis系列之-双写一致性,缓存详解和优化点

时间:2023-03-05 20:48:17浏览次数:39  
标签:缓存 07 数据库 Redis 用户 lfu LRU 数据 双写

双写一致性

redis和mysql数据同步方案

  1. 先更新数据库,再更新缓存(一般不用)
  2. 先删缓存,再更新数据库(在存数据的时候,请求来了,缓存不是最新的,一般也不用)
  3. 先更新数据库,再删缓存(请求再来的时候就是新的缓存了,推荐)

缓存的收益与成本

收益

  1. 加速读写
  2. 降低后端负载:后端服务器通过前端缓存降低负载,业务端使用redis降低后端mysql负载

成本

  1. 数据不一致:缓存层和数据层有时间窗口不一致,和更新策略有关
  2. 代码维护成本:多了一层缓存逻辑
  3. 运维成本:比如使用了Redis Cluster(上节提到的集群搭建)

应用场景

  1. 降低后端负载:对高消耗的sql,join结果集/分组统计的结果做缓存
  2. 加速请求响应:利用redis优化io响应时间
  3. 大量写合并为批量写:如计数器先redis累加再批量写入db

缓存更新策略

LRU/LFU/FIFO算法剔除

例如maxmemory-policy(超过最大内存,新的放不进去了,淘汰策略)

  • LRU -Least Recently Used,没有被使用时间最长的(保证热点数据)
  • LFU -Least Frequenty User,一定时间段内使用次数最少的
  • FIFO -First In First Out,先进先出

LIRS (Low Inter-reference Recency Set)是一个页替换算法,相比于LRU(Least Recently Used)和很多其他的替换算法,LIRS具有较高的性能。这是通过使用两次访问同一页之间的距离(本距离指中间被访问了多少非重复块)作为一种尺度去动态地将访问页排序,从而去做一个替换的选择

配置文件

# LRU配置
maxmemory-policy:volatile-lru
(1)noeviction: 如果内存使用达到了maxmemory,client还要继续写入数据,那么就直接报错给客户端
(2)allkeys-lru: 就是我们常说的LRU算法,移除掉最近最少使用的那些keys对应的数据,ps最长用的策略
(3)volatile-lru: 也是采取LRU算法,但是仅仅针对那些设置了指定存活时间(TTL)的key才会清理掉
(4)allkeys-random: 随机选择一些key来删除掉
(5)volatile-random: 随机选择一些设置了TTL的key来删除掉
(6)volatile-ttl: 移除掉部分keys,选择那些TTL时间比较短的keys

# LFU配置
maxmemory-policy:volatile-lfu
# Redis4.0之后为maxmemory_policy淘汰策略添加了两个LFU模式:
volatile-lfu:对有过期时间的key采用LFU淘汰算法
allkeys-lfu:对全部key采用LFU淘汰算法
# 还有2个配置可以调整LFU算法:
lfu-log-factor 10
lfu-decay-time 1
# lfu-log-factor可以调整计数器counter的增长速度,lfu-log-factor越大,counter增长的越慢。
# lfu-decay-time是一个以分钟为单位的数值,可以调整counter的减少速度

超时剔除

例如expire,设置过期时间

主动更新

开发控制生命周期(晚上或者热点低的时候更新)

策略 一致性 维护成本
LRU/LIRS算法剔除 最差
超时剔除 较差
主动更新

总结

  1. 低一致性:最大内存和淘汰策略

  2. 高一致性:超时剔除和主动更新结合,最大内存和淘汰策略兜底

缓存粒度控制

缓存粒度:缓存全部属性和缓存部分重要属性(缓存用户的所有数据信息,还是只缓存用户需要的用户信息字段。)

三个角度来考虑

  1. 通用性:缓存全量属性更好

    因为当用户数据表字段发生改变时,不需要修改程序就可以直接同步修改之后的用户信息到Redis缓存中供用户使用,但是这样会占用更多的内存空间。

  2. 占用空间:缓存部分属性更好

    因为当用户数据表字段发生改变时而用户需要这个字段信息时,就需要修改程序源代码来把修改之后的用户信息同步缓存到Redis中,这种情况下占用的内存空间比全量属性占用的内存空间要少。

  3. 代码维护:表面上缓存全量属性更好

    因为不管数据源中的数据表结构如何改变,都会把所有的数据同步到Redis缓存中,而不需要修改程序源代码,但是在大多数情况下,并不会使用到全量数据,只需要缓存需要的数据就可以了。因此从内存空间消耗及性能方面考虑,缓存部分属性更好。

缓存穿透,缓存击穿,缓存雪崩

缓存穿透

# 缓存穿透(一般是恶意的攻击)
1.描述
	缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者,攻击会导致数据库压力过大。
2.解决方案
2.1接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截;
2.2从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击
2.3通过布隆过滤器实现,mysql中所有数据都放到布隆过滤器,请求来了,先去布隆过滤器查,如果没有,表示非法,直接返回

缓存击穿

# 缓存击穿
1.描述
	缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力
2.解决方案:
设置热点数据永远不过期。

缓存雪崩

# 缓存雪崩
1.描述
	缓存雪崩是指缓存中数据大批量到过期时间,而查询数据量巨大,引起数据库压力过大甚至down机。和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。
2.解决方案:
2.1缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。
2.2如果缓存数据库是分布式部署,将热点数据均匀分布在不同搞得缓存数据库中。
2.3设置热点数据永远不过期。

标签:缓存,07,数据库,Redis,用户,lfu,LRU,数据,双写
From: https://www.cnblogs.com/hkwJsxl/p/17181551.html

相关文章

  • 05-Redis系列之-主从复制配置和优化,fork和aof两大阻塞
    主从复制原理一台主服务器配多台从服务器,主服务器宕机后,从服务器挑选一台顶上去。从服务器同步主服务器的数据,这个同步是单向的,并且从服务器不能设置值,否则会造成数据的......
  • 01-Redis系列之-Redis介绍安装配置
    Redis初识Redis主要内容1redis介绍,特性,安装和配置,典型应用场景2单线程架构,5大数据类型操作,通用指令和高级API的使用3高级用法(慢查询,管道,shu发布订阅,bitmap位图,Hype......
  • 04-Redis系列之-持久化(RDB,AOF)
    持久化的作用什么是持久化redis的所有数据保存在内存中,对数据的更新将异步的保存到硬盘上持久化的实现方式快照:某时某刻数据的一个完整备份(mysql的Dump,redis的RDB)......
  • 03-Redis系列之-高级用法详解
    慢查询生命周期我们配置一个时间,如果查询时间超过了我们设置的时间,我们就认为这是一个慢查询.慢查询发生在第三阶段客户端超时不一定慢查询,但慢查询是客户端超时的一个......
  • 02-Redis系列之-架构和高级API的使用
    通用部分通用命令#1-keys#打印出所有keykeys*#打印出所有以n开头的keykeysn*#打印出所有以nam开头,第四个字母是a到z的范围keysnam[a-z]#四位长度,以n开......
  • Redis基础篇
    1、简单介绍一下Redis优点和缺点?优点:1、本质上是一个Key-Value类型的内存数据库,很像memcached2、整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据......
  • CF607B
    Zuma-洛谷|计算机科学教育新生态(luogu.com.cn)跟 P4170[CQOI2007]涂色很像。令DP[i][j]为消灭区间(i~j)所需要的最少次数。考虑dp[i][j]的转移:如果a[i]==a[j......
  • P4170 [CQOI2007]涂色(思维好题)
    P4170[CQOI2007]涂色-洛谷|计算机科学教育新生态(luogu.com.cn)设DP[i][j]为完成(i-j)区间的最少涂鸦次数。考虑dp[i][j]的转移:重点:如果s[i]==s[j],dp[i][j]=min(dp[......
  • springboot中redis的基本数据类型测试
    在springboot中依赖<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artif......
  • 07 poll
    第4课.poll机制代码1poll工作机制poll允许进程对一个或多个文件做非阻塞的读取或者写入。引用百问网的图片需要注意的是步骤四与五,应用程序调用poll函数在文件系统......