首页 > 数据库 >为什么 Redis Cluster 是 16384 个槽位

为什么 Redis Cluster 是 16384 个槽位

时间:2024-02-05 11:56:10浏览次数:32  
标签:Redis Cluster 集群 消息 心跳 节点 16384

目录

Redis 集群

Redis Cluster 采用数据分片机制,定义了 16384 个 Slot 槽位,集群中的每个 Redis 实例负责维护一部分槽以及槽所映射的键值数据。

客户端可以连接集群中任意一个Redis 实例,发送读写命令,如果当前Redis 实例收到不是自己负责的Slot的请求时,会将该slot所在的正确的Redis 实例地址返回给客户端。客户端收到后,自动将原请求重新发到这个新地址,自动操作,外部透明。

HTTP 协议也有重定向功能。玩法跟这个差不多。HTTP 响应头有一个Location字段,当状态码是 301 或者 302 时,客户端会自动读取 Location 中的新地址,自动重定向发送请求。

Redis key的路由计算公式:slot = CRC16(key) % 16384

添加、删除或者修改某一个节点,都不会造成集群不可用的状态。使用哈希槽的好处就在于可以方便的添加或移除节点。

当需要增加节点时,只需要把其他节点的某些哈希槽挪到新节点;当需要移除节点时,只需要把移除节点上的哈希槽挪到其他节点。

CRC16 的算法原理

根据CRC16的标准选择初值CRCIn的值
将数据的第一个字节与CRCIn高8位异或
判断最高位,若该位为 0 左移一位,若为 1 左移一位再与多项式Hex码异或
重复3直至8位全部移位计算结束。
重复将所有输入数据操作完成以上步骤,所得16位数即16位CRC校验码。

CRC16 算法最大值

CRC16 算法,产生的 hash 值有 16 bit 位,可以产生 65536(2^16)个值 ,也就是说值分布在 0 ~ 65535 之间

这时候,疑问来了,槽位总数为什么是 16384 呢,为什么不选择 65536 呢?
这个问题,Redis 官方 Issues 也有朋友提出来过,参考:https://github.com/redis/redis/issues/2576

antirez 大神对这个问题做了回复,简单归纳起来,有以下原因:

  • 正常的心跳数据包携带节点的完整配置,它能以幂等方式来更新配置。

    如果采用 16384 个插槽,占空间 2KB (16384/8);如果采用 65536 个插槽,占空间 8KB (65536/8)。

  • Redis Cluster 不太可能扩展到超过 1000 个主节点,太多可能导致网络拥堵。

  • 16384 个插槽范围比较合适,当集群扩展到1000个节点时,也能确保每个master节点有足够的插槽。

8KB 的心跳包看似不大,但是这个是心跳包每秒都要将本节点的信息同步给集群其他节点。相比于 16384 个插槽,头大小增加了4倍,ping 消息的消息头太大了,浪费带宽。

Redis主节点的哈希槽配置信息是通过 bitmap 来保存的

image

所以,插槽数偏低的话, 填充率会降低,压缩率会升高。综合下来,从心跳包的大小、网络带宽、心跳并发、压缩率等维度考虑,16384 个插槽更有优势且能满足业务需求。

万事万物,都是相互制衡的,”大“ 不一定是最好的,合适最重要。

心跳

接下来,我们看下master节点间心跳数据包格式。

消息格式分为:消息头和消息体。消息头包含发送节点自身状态数据,接收节点根据消息头就可以获取到发送节点的相关数据,

image

其中,消息头有一个 myslots 的 char 类型数组:unsigned char myslots[CLUSTER_SLOTS/8];,数组长度为 16384 / 8 = 2048 。底层存储其实是一个 bitmap,每一个位代表一个槽,如果该位为 1,表示这个槽是属于这个节点。

消息体中,会携带一定数量的其他节点信息用于交换,约为集群总节点数量的 1/10,节点数量越多,消息体内容越大。10 个节点的消息体大小约1kb。

master 节点间心跳通讯

Redis 集群采用 Gossip(流言)协议, Gossip 协议工作原理就是节点彼此不断通信交换信息,一段时间后所有的节点都会知道集群完整的信息,类似流言传播。

集群中每个节点通过一定规则挑选要通信的节点,每个节点可能知道全部节点,也可能仅知道部分节点,只要这些节点彼此可以正常通信,最终它们会达到一致的状态。当节点出现故障、新节点加入、主从角色变化、槽信息变更等事件发生时,通过不断的 ping/pong 消息通信,经过一段时间后所有的节点都会知道整个集群 全部节点的最新状态,从而达到集群状态同步的目的。

具体规则如下:

  • 每秒会随机选取 5 个节点,找出最久没有通信的节点发送 ping 消息;

  • 每隔 100 毫秒 都会扫描本地节点列表,如果发现节点最近一次接受 pong 消息的时间大于 cluster_node_timeout / 2 ,则立刻发送 ping 消息。

因此,每秒单个 master 节点发出的 ping 消息数量:

\[N = 1 + 10 \times num(node.pong\_received > \frac{cluster\_node\_timeout}{2} ) \]

总结:

  • 每秒 redis 节点需要发送一定数量的 ping 消息作为心跳包,如果槽位为 65536,这个 ping 消息的消息头太大了,浪费带宽;

  • 从业务上看,集群主节点数量基本不可能超过 1000 个;

    集群节点越多,心跳包的消息体携带的数据越多。如果节点超过1000个,会导致网络拥堵。因此 redis 的作者,不建议 redis cluster 节点数量超过 1000 个。

  • 槽位越小,节点少的情况下,压缩率更高。


参考:

标签:Redis,Cluster,集群,消息,心跳,节点,16384
From: https://www.cnblogs.com/larry1024/p/18007681

相关文章

  • Redis的Java客户端-Jedis
    Redis的Java客户端-Jedis在Redis官网中提供了各种语言的客户端,地址:https://redis.io/docs/clients/其中Java客户端也包含很多:标记为❤的就是推荐使用的java客户端,包括:Jedis和Lettuce:这两个主要是提供了Redis命令对应的API,方便我们操作Redis,而SpringDataRedis是对这两种做了......
  • redis命令
    redis通用命令1、通用命令KEYS:查看符合模板的所有key,不建议在生产环境设备上使用DEL:删除一个指定的keyEXISTS:判断key是否存在EXPIRE:给一个key设置有效期,有效期到期时该key会被自动删除TTL:查看一个KEY的剩余有效期help[command]可以查看一个命令的具体用法,例如:helpkeys......
  • redis+python练习小问题
     1、“cannot import name 'Redis' from 'redis'"//python文件名用了“redis.py”,改成其他的就好了。这个一定要注意,很容易犯这种错,想要做什么功能,就用这个功能命名。2、NameError:name 'redis' is not defined//我开始是fromredisimportRedis,改成importredis,......
  • redis 常识
    什么是Redis?Redis(RemoteDictionaryServer)Redis是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API的非关系型数据库。传统数据库遵循ACID规则。而Nosql(NotOnlySQL的缩写,是对不同于......
  • 基于binlog+Canal+Redis 数据一致性
    基于binlog+Canal+Redis方案是一种解决分布式缓存和数据库之间数据一致性问题的方法,它通过MySQL的binlog和Canal机制,实现数据同步到Redis缓存,以保证数据一致性。   . MySQL主备复制原理 2.MySQL中binlog配置 3.Canal工作原理、安装、配置、使用 4.SpringBoot......
  • redis缓存
    放入缓存中的数据应该指定过期时间,为什么呢, 因为过期时间可以确保缓存中的数据不会永久存在,从而避免缓存中出现过时或无效的数据。指定过期时间有以下几个重要原因:1. 数据更新和一致性:当数据发生变化时,缓存中的数据可能会变得过时。如果不过时,新的数据就更新不了,就失去了缓存......
  • Redis大key问题
    什么是大key很多朋友肯定在想redis的key能有多大呀?这里就有个误区了,所谓的大key问题是某个key的value比较大,所以本质上是大value问题。“这样就对上了,key往往是程序可以自行设置的,value往往不受程序控制,因此可能导致value很大。设想一种场景:“在线音乐app中,某个歌单有很多......
  • redis有5种数据结构
    redis有5种数据结构,分别如下:5种数据结构python语言对5种数据结构的增删改查全局函数1|0redis连接importredispool=redis.ConnectionPool(host='localhost',port=6379,decode_responses=True)r=redis.Redis(connection_pool=pool)redis取出的结果默认是字节,可......
  • redis相关
    2.Redis单线程含义 Redis的网络IO和键值对读写是由一个线程来完成的Redis其他功能,如持久化、异步删除、集群数据同步等其实都是由额外线程执行3.Redis单线程设计3.1多线程需要解决的问题4.多路复用机制    Redis多路复用机制在网络IO操作中能并发处理......
  • Redis部署
    使用系统:OpenKylin1.0.1Redis版本:7.2.3安装Redis本文采用离线安装安装c++环境sudoapt-getinstallgcc//检查c++是否安装成功gcc-v下载离线包官网地址:https://redis.io/download/编译Redis源码本文Redis下载压缩包存放路径为:/usr/local/redis-7.2.3.tar.gz//......