slot也有分区的意思;(redis里)
这是两个很重要的概念,新的存储中间件如ES、Kafka、MongoDB等都用了这两种技术;
分片/分区是实现数据分流的重要手段,也是实现动态扩容的重要手段;
而副本则是冗余数据实现高可用
而数据具体是放哪个分片则是通过路由来实现,kafka它要求所有的数据都有一个key,根据key来路由;
假设一个数据服务集群有三个节点+路由节点构成(可能叫客户端节点),然后又配置了6个分区和两个副本(包括主副本)
那么均衡的说,是每个节点都有两个主分片和两个备份分片(备份副本);所有节点加起来有12个分区/分片;
我们先假设6个数据分片分别是分片1/2/3/4/5/6,节点1有分区1/2,节点2有分区3/4,节点3有分区5/6
当我们提交数据的时候是提交到路由节点,路由节点根据数据的key路由得到它是保存在分片4上,然后再找出分片4是节点2来处理,因此会把数据发给节点2去处理;
节点2将数据保存在分区4上;
而副本似乎应该再有3个备份节点?还是直接复用这三个主数据节点?
我们假设是复用主节点,则要求节点1挂了还有其他节点可以有分片1/2的数据,因此可以这样:
节点1有节点3的分片5/6的数据,节点2有节点1的分片1/2的数据,节点3有节点2的分片3/4的数据;
所以数据结构是这样:
节点一有分片1/2的主数据,分片5/6的副本
节点二有分片3/4的主数据,分片1/2的副本
节点三有分片5/6的主数据,分片3/4的副本
这样就实现了高可用,比如节点1挂了,仍然有节点2可以提供分片1/2的数据;
当然最好还是六个数据节点,其中三个专门做冗余,毕竟数据同步入库也是一个耗资源的操作。
这里还有一个问题就是:
怎么实现动态扩容呢?比如我加了两台数据节点(和两台数据冗余节点),这个感觉好像很难动态路由到新的节点上?
举个例子,之前是根据求模的方式,如之前是只有3个节点,所以分母是3;其实key是1/2/3的就分别到了节点2,节点3,节点1上(求模值+1);
现在是五个节点,分母是5了,然后又来了key是3的数据,这个时候它按之前的路由算法就是应该在节点4上而非节点1上了,那之前保存在节点1的数据是会自动迁移?
标签:副本,分区,分片,数据,节点,路由 From: https://www.cnblogs.com/silentdoer/p/17333253.html