首页 > 数据库 >新增一个Redis 从节点为什么与主节点的key数量不一样呢?

新增一个Redis 从节点为什么与主节点的key数量不一样呢?

时间:2022-09-05 21:35:59浏览次数:63  
标签:策略 删除 过期 Redis CPU keys 内存 key 节点

在日常的 Redis 运维过程中,经常会发生重载 RDB 文件操作,主要情形有:

  • 主从架构如果主库宕机做高可用切换,原从库会挂载新主库重新获取数据
  • 主库 QPS 超过10万,需要做读写分离,重新添加从库节点
  • 服务器资源整合、机房迁移、架构调整等

在上述操作之后,你会发现新从库的 keys 数量和原主库的数量不一致,那么,为什么会这样呢?

问题解密:

在Redis中,内存的大小是有限的,所以为了防止内存饱和,需要由键淘汰策略对过期键做清除操作,主要有两种方法。

 

1. 内存释放策略

每当执行一个命令的时候,就会调用函数 freeMmoryIfNeeded 来检测内存是否够用,如果已用内存大于最大内存maxmemory限制,它就会根据以下策略进行内存释放,通过策略删除某些key,以达到释放内存保护自身进程的目的,参数maxmemory-policy可设定不同策略,已有策略如下:

    • volatile-lru:驱逐keys,优先删除已设置过期的keys中最近最少使用的keys(云DB平台Redis默认策略)
    • allKeys-lru:驱逐keys,优先删除所有最近最少使用的keys
    • volatile-random:随机驱逐已设置过期的keys
    • allKeys-random:随机驱逐所有keys以释放内存
    • volatile-lfu:使用LFU算法驱逐keys,在过期的keys中驱逐(Redis V4.0版本新增策略)
    • allKeys-lfu:使用LFU算法驱逐所有keys(Redis V4.0版本新增策略)
    • volatile-ttl:驱逐设定过期时间且将要过期的key
    • noeviction:达到最大内存限制,客户端尝试执行命令时,直接返回错误(DEL命令和其他很少命令例外)
 

2. 过期键删除策略
(1) 惰性删除
放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键。
该策略对 CPU 来说是最友好的,只会在取出键时才对键进行过期检查,这可以保证删除过期键的操作只会在非做不可的情况下进行, 并且删除的目标仅限于当前处理的键,这个策略不会在删除其他无关的过期键上花费任何CPU时间。
惰性删除策略的缺点是,它对内存是最不友好的: 如果一个键已经过期,而这个键又仍然保留在数据库中,那么只要这个过期键不被删除,它所占用的内存就不会释放。
在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB)。
我们甚至可以将这种情况看作是一种内存泄漏一一无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。
举个例子,对于一些和时间有关的数据,比如日志(log) ,在某个时间点之后,对它们的访问就会大大减少,甚至不再访问,如果这类过期数据大量地积压在数据库中,用户以为服务器已经自动将它们删除了,但实际上这些键仍然存在, 而且键所占用的内存也没有释放,那么造成的后果肯定是非常严重的。

(2) 定期删除

定期删除策略每隔一段时间执行一次删除过期键操作,并通过限制删除操作执行的时长和频率来减少删除操作对CPU 时间的影响。除此之外,通过定期删除过期键,定期删除策略有效地减少了因为过期键而带来的内存浪费。

定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁,或者执行的时间太长,定期删除策略就会退化成定时删除策略,以至于将 CPU 时间过多地消耗在删除过期键上面。

如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除策略一样,出现浪费内存的情况。因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率(通过参数 hz 调节)。

(3) 定时删除
定时删除策略对内存是最友好的:通过使用定时器,定时删除策略可以保证过期键会尽可能快地被删除,并释放过期键所占用的内存。另一方面,定时删除策略的缺点是,它对CPU 时间是最不友好的:在过期键比较多的情况下,删除过期键这一行为可能会占用相当一部分CPU 时间,在内存不紧张但是CPU 时间非常紧张的情况下.将CPU 时间用在删除和当前任务无关的过期键上,无疑会对服务器的响应时间和吞吐量造成影响。例如,如果正有大量的命令请求在等待服务器处理,并且服务器当前不缺少内存,那么服务器应该优先将CPU 时间用在处理客户端的命令请求上面,而不是用在删除过期键上面。

除此之外,创建一个定时器需要用到Redis 服务器中的时间事件,而当前时间事件的实现方式一一无序链表,查找一个事件的时间复杂度为O(N)一并不能高效地处理大量时间事件。因此,要让服务器创建大量的定时器,从而实现定时删除策略,在现阶段来说并不现实。

主从 keys 数量不一致原因
根据上面过期键删除策略,在从库重新挂载主库时,一般都会通过RDB文件重载数据,那么原主库在执行save命令或者BGSAVE命令创建一个新的RDB文件时,程序会对数据库中的键进行检查。已过期的键不会被保存到新创建的RDB文件中,但是仍然存在于原主库,这样在从库中看到的keys数量就会比主库少,此为正常现象。

 

看完本文有收获?请转发分享给更多人

关注「数据库架构师」公号,提升数据库技能

 

标签:策略,删除,过期,Redis,CPU,keys,内存,key,节点
From: https://www.cnblogs.com/databasepub/p/16659660.html

相关文章

  • 最新一线大厂Redis使用21条军规及详细解读
    说明:个人原创,本人在一线互联网大厂维护着几千套集群,关于redis使用的一些坑进行了经验总结,希望能给大家带来一些帮助适用场景:并发量大、访问量大的业务规范:介绍军规内......
  • Redis的高可用Sentinel
    Redis的高可用Sentinel什么是SentinelRedis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的......
  • 删除链表的倒数第N个节点
    删除链表的倒数第N个节点给你一个链表,删除链表的倒数第n个结点,并且返回链表的头结点。进阶:你能尝试使用一趟扫描实现吗?示例1:输入:head=[1,2,3,4,5],n=2输出:[1......
  • Redis总结
    Redis底层数据结构当数据量小,通过数组实现的压缩数据结构用下标访问更快;当数据量大,维护数组的元数据占用空间随之增长,所以使用普通存储redis支持<string,valu......
  • jenkins新增salve节点
     步骤如下:1、登录到jenkins主页,点击ManagerJenkins2、选择ManageNodes,点击进入配置页面3、新建node节点4、配置node节点5、新建目录jenkins-workspaces目录......
  • AttributeError: ‘_IncompatibleKeys’ object has no attribute torch的load_state
    很久没在CSDN写过东西了,今天被一个bug气到自己,太愚蠢了,记录一下。错误代码如下: #Errorcode!model=model.load_state_dict(state_dict_var)out=model(input......
  • 2022年油猴(tampermonkey)超简单安装
    ​ 1、下载链接:https://pan.baidu.com/s/1_JTua9tlGBzJGqopZnstIg提取码:jef6--来自百度网盘超级会员V4的分享2、安装(1)解压​编辑(2访问chrome://extensions/访......
  • 【转】spring-session-data-redis核心原理
    这个组件的核心本质就是在实现单点登录SSO问题,将用户的登录session信息从原来的存储在jvm中转移到redis中去,微服务架构下每个应用接到请求都不会从自己的节点解析用户登录......
  • autohotkey 发送到 word
    GroupAddauo_gruop,ahk_exemsedge.exeGroupAddauo_gruop,ahk_exechrome.exeGroupAddauo_gruop,ahk_exesnipaste.exeGroupAddauo_gruop,ahk_exemspaint.e......
  • 11-redis集群
    redis集群搭建#搭建三主三从redis集群#redis5.0提供了集群快速搭建#修改脚本文件:redis/utils/create-cluster目录下的create-cluster脚本文件--bind$IP--mast......