首页 > 其他分享 >漫画:什么是一致性哈希?

漫画:什么是一致性哈希?

时间:2022-08-31 19:00:56浏览次数:67  
标签:缓存 key 分表 环形 一致性 哈希 漫画 node1 节点

 

收录于合集  

图片

 

 

图片

 

 

图片

 

 

图片

 

 

一年之前——

 

 

 

图片

 

 

图片

 

 

未来两年内,系统预估的总订单数量可达一亿条左右。

 

按Mysql单表存储500万条记录来算,暂时不必分库,单库30个分表是比较合适的水平分表方案。

 

于是小灰设计了这样的分表逻辑:

 

  1. 订单表创建单库30个分表

  2. 对用户ID和30进行取模,取模结果决定了记录存于第几个分表

  3. 查询时需要以用户ID作为条件,根据取模结果确定查询哪一个分表

 

分表方式如下图(为了便于描述,简化为5个分表):

 

 

图片

 

 

过了两个月——

 

 

 

图片

 

 

图片

 

 

又过了半年多——

 

 

 

图片

 

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

小灰的回忆告一段落——

 

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

1.首先,我们把全量的缓存空间当做一个环形存储结构。环形空间总共分成2^32个缓存区,在Redis中则是把缓存key分配到16384个slot

 

 

图片

 

 

2.每一个缓存key都可以通过Hash算法转化为一个32位的二进制数,也就对应着环形空间的某一个缓存区。我们把所有的缓存key映射到环形空间的不同位置。

 

 

图片

 

 

3.我们的每一个缓存节点(Shard)也遵循同样的Hash算法,比如利用IP做Hash,映射到环形空间当中。

 

 

图片

 

 

4.如何让key和节点对应起来呢?很简单,每一个key的顺时针方向最近节点,就是key所归属的存储节点。所以图中key1存储于node1,key2,key3存储于node2,key4存储于node3。

 

 

图片

 

 

图片

 

 

图片

 

 

1.增加节点

 

当缓存集群的节点有所增加的时候,整个环形空间的映射仍然会保持一致性哈希的顺时针规则,所以有一小部分key的归属会受到影响。

 

 

图片

 

 

有哪些key会受到影响呢?图中加入了新节点node4,处于node1和node2之间,按照顺时针规则,从node1到node4之间的缓存不再归属于node2,而是归属于新节点node4。因此受影响的key只有key2。

 

 

图片

 

 

最终把key2的缓存数据从node2迁移到node4,就形成了新的符合一致性哈希规则的缓存结构。

 

 

2.删除节点

 

当缓存集群的节点需要删除的时候(比如节点挂掉),整个环形空间的映射同样会保持一致性哈希的顺时针规则,同样有一小部分key的归属会受到影响。

 

 

图片

 

 

有哪些key会受到影响呢?图中删除了原节点node3,按照顺时针规则,原本node3所拥有的缓存数据就需要“托付”给node3的顺时针后继节点node1。因此受影响的key只有key4。

 

 

图片

 

 

最终把key4的缓存数据从node3迁移到node1,就形成了新的符合一致性哈希规则的缓存结构。

 

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

如上图所示,假如node1的ip是192.168.1.109,那么原node1节点在环形空间的位置就是hash(“192.168.1.109”)。

 

我们基于node1构建两个虚拟节点,node1-1 和 node1-2,虚拟节点在环形空间的位置可以利用(IP+后缀)计算,例如:

 

hash(“192.168.1.109#1”),hash(“192.168.1.109#2”)

 

此时,环形空间中不再有物理节点node1,node2,只有虚拟节点node1-1,node1-2,node2-1,node2-2。由于虚拟节点数量较多,缓存key与虚拟节点的映射关系也变得相对均衡了。

 

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

图片

 

 

 

—————END—————

 

 

标签:缓存,key,分表,环形,一致性,哈希,漫画,node1,节点
From: https://www.cnblogs.com/geogre123/p/16644227.html

相关文章

  • 一致性哈希算法 consistent hashing
     在了解一致性哈希算法之前,最好先了解一下缓存中的一个应用场景,了解了这个应用场景之后,再来理解一致性哈希算法,就容易多了,也更能体现出一致性哈希算法的优点,那么,我们先......
  • 哈希算法
    目录什么是哈希算法?哈希算法的应用应用一:安全加密应用二:唯一标识应用三:数据校验应用四:散列函数什么是哈希算法?将任意长度的二进制值串映射为固定长度的二进制值串,这个映......
  • 树哈希 学习笔记
    1.做法(frompeehs_moorhsum)设\(h(u)\)表示一个点的哈希值,\(f\)为一随机函数。\(h(u)=1+\sum\limits_{v\inson_{u}}f(h(v))\)首先\(f\)的选择大概率是随机的,只要......
  • 如何保证数据库和缓存双写一致性
     数据库和缓存(redis)双写一致性问题,不管你用何种语言,尤其是在高并发的场景下,这个问题会很容易被放大。无论是在工作中,还是在面试中遇到这种问题的概率都非常大,因......
  • 常见的复制模型&分布式系统的挑战 事务,一致性与共识
    Replication(上):常见的复制模型&分布式系统的挑战https://mp.weixin.qq.com/s/LB5SR4ypQwDxzueI1ai2KgReplication(下):事务,一致性与共识https://mp.weixin.qq.com/s/O9Z5e_B......
  • 哈希
    哈希字符串哈希分析定义一个进制b,b必须大于字符种数且为素数(玄学吧)。然后将字符串的每位字符的ascii码当做进制的方法一样算成一个数。想一下我们如何求出二进制中......
  • 数据库 - db和redis数据一致性问题
    数据库-db和redis数据一致性问题直接说解决办法:查询数据操作:查询缓存,如果命中,直接返回;如果没有命中,查询数据库,再写入缓存更新数据操作:直接更新db数据库然后......
  • 集合询问(哈希)
    题意题目链接:https://www.acwing.com/problem/content/4607/数据范围\(1\leqt\leq10^5\)\(0\leqx<10^{18}\)\(1\leq|s|\leq18\)思路该题的关键在于如......
  • 哈希函数的构造方法
    https://www.cnblogs.com/gj-Acit/archive/2013/05/06/3062628.html哈希函数的构造方法 哈希函数的构造方法本文阐述了哈希函数的构造方法有很多,但应注意两个原则:......
  • UVA11019 Matrix Matcher【二维哈希】
    ThetreeshaveshedtheirleafyclothingandtheircolorshavefadedtograysandbrownsIsawamillionsoftreesalldustedwithsnowjustlikeoutofafai......