首页 > 编程语言 >分布式知识总结(一致性Hash算法)

分布式知识总结(一致性Hash算法)

时间:2024-08-13 10:26:33浏览次数:16  
标签:node Hash 映射 key 服务器 一致性 hash 节点 分布式

文章收录在网站:http://hardyfish.top/

文章收录在网站:http://hardyfish.top/

文章收录在网站:http://hardyfish.top/

文章收录在网站:http://hardyfish.top/
在这里插入图片描述

一致性Hash算法

假如有三台服务器编号node0node1node2,现在有3000万个key,希望可以将这些个key均匀的缓存到三台机器上?

可以使用取模算法hash(key)% N,对key进行hash运算后取模,N是机器的数量。

但服务器数量N发生变化后hash(key)% N计算的结果也会随之变化。

在这里插入图片描述

一致性hash算法本质上也是一种取模算法,不过不同于上边按服务器数量取模,一致性hash是对固定值2^32取模。

IPv4的地址是4组8位2进制数组成,所以用2^32可以保证每个IP地址会有唯一的映射。

将这2^32个值抽象成一个圆环,圆环的正上方的点代表0,顺时针排列,以此类推,1、2、3、4、5、6……直到2^32-1,而这个由2的32次方个点组成的圆环统称为hash环

在这里插入图片描述

服务器映射到hash环:

使用服务器IP地址进行hash计算,用哈希后的结果对2^32取模,结果一定是一个0到2^32-1之间的整数,而这个整数映射在hash环上的位置代表了一个服务器,依次将node0node1node2三个缓存服务器映射到hash环上。

一致性hash的优势:

假如业务量激增,系统需要进行扩容增加一台服务器node-4,刚好node-4被映射到node-1node-2之间,沿顺时针方向对象映射节点,发现原本缓存在node-2上的对象key-4key-5被重新映射到了node-4上,而整个扩容过程中受影响的只有node-4node-1节点之间的一小部分数据。

假如node-1节点宕机,沿顺时针方向对象映射节点,缓存在node-1上的对象key-1被重新映射到了node-4上,此时受影响的数据只有node-0node-1之间的一小部分数据。

数据偏斜问题:

在服务器节点数量太少的情况下,很容易因为节点分布不均匀而造成数据倾斜问题,被缓存的对象大部分缓存在node-4服务器上,导致其他节点资源浪费,系统压力大部分集中在node-4节点上,这样的集群是非常不健康的。

一致性Hash算法引入了一个虚拟节点机制,即对每个服务器节点计算出多个hash值,它们都会映射到hash环上,映射到这些虚拟节点的对象key,最终会缓存在真实的节点上。

在这里插入图片描述

一致性hash的应用场景:

一致性hash在分布式系统中应该是实现负载均衡的首选算法,比如日常使用较多的缓存中间件memcachedredis集群都有用到它。

标签:node,Hash,映射,key,服务器,一致性,hash,节点,分布式
From: https://blog.csdn.net/qq_35508033/article/details/141157276

相关文章

  • HashSet底层add方法去重例题 day14
    测试类packagecom.shujia.day14;importjava.util.HashSet;/*使用Set集合存储自定义对象,当对象的姓名和年龄都一样的时候,将这两个对象认为是重复了,进行去重HashSet:底层数据结构是哈希表*/publicclassSetDemo2{publicstaticvoidmain(String[]ar......
  • LinkedHashSet day14
    /*LinkedHashSet是继承自HashSet类,底层数据结构是哈希表和双链表,哈希表保证了元素的唯一性,双链表保证了元素的有序Collection:接口-List(元素有序且可以发生重复,且有索引的概念)-ArrayList(底层数据结构是数组,查询快,增删慢,线程......
  • 电商导购系统的数据一致性与分布式事务处理
    电商导购系统的数据一致性与分布式事务处理大家好,我是阿可,微赚淘客系统及省赚客APP创始人,是个冬天不穿秋裤,天冷也要风度的程序猿!在电商导购系统中,数据一致性与分布式事务处理是确保系统稳定运行的关键技术。本文将深入探讨电商导购系统中的数据一致性问题,并提出相应的分布......
  • 全面解析Gerapy分布式部署:从环境搭建到定时任务,避开Crawlab的坑
    Gerapy分布式部署搭建远程服务器的环境装好带docker服务的系统Docker:容器可生成镜像,也可拉去镜像生成容器示例:将一个环境打包上传到云端(远程服务器),其他8个服务器需要这个环境直接向云端拉取镜像生成容器,进而使用该环境,比如有MYSQL的镜像、Redis的镜像备注:Linux系统下......
  • 一文读懂分布式爬虫利器Scrapy-Redis:源码解析、队列管理与去重策略
    分布式利器Scrapy-Redis原理Scrapy-Redis库已经为我们提供了Scrapy分布式的队列、调度器、去重等功能,其GitHub地址为:https://github.com/rmax/scrapy-redis。本节课我们深入掌握利用Redis实现Scrapy分布式的方法,并深入了解Scrapy-Redis的原理。1.获取源码......
  • 一文读懂分布式爬虫利器Scrapy-Redis:源码解析、队列管理与去重策略
    分布式利器Scrapy-Redis原理Scrapy-Redis库已经为我们提供了Scrapy分布式的队列、调度器、去重等功能,其GitHub地址为:https://github.com/rmax/scrapy-redis。本节课我们深入掌握利用Redis实现Scrapy分布式的方法,并深入了解Scrapy-Redis的原理。1.获取源码可以......
  • 手把手教你实现Scrapy-Redis分布式爬虫:从配置到最终运行的实战指南
    1.scrapy-redis的环境准备pipinstallscrapy-redis安装完毕之后确保其可以正常导入使用即可。2.实现接下来我们只需要简单的几步操作就可以实现分布式爬虫的配置了。2.1修改Scheduler在前面的课时中我们讲解了Scheduler的概念,它是用来处理Request、Item等对象的调度......
  • 高级.NET Core分布式事务相关的面试题
    以下是一些高级.NETCore分布式事务相关的面试题,这些问题涵盖了概念、实际应用以及最佳实践,可以帮助评估候选人在分布式事务方面的理解和实际操作能力。1.分布式事务的基本概念与.NETCore支持什么是分布式事务?它与本地事务有何不同?.NETCore中有哪些常用的分布式事务解决方......
  • Redis实际项目中涉及缓存一致性的处理
    在实际项目中,Redis缓存一致性是一个关键问题,尤其是在分布式系统中。缓存一致性指的是确保缓存中的数据与实际数据库中的数据保持同步。以下是一些在实际项目中处理Redis缓存一致性的方法和最佳实践:1.缓存失效策略a.TTL(TimetoLive):设置缓存的过期时间。当数据过期后,缓存会自......
  • Spring Cloud服务注册的守护神:一致性保障策略
    标题:SpringCloud服务注册的守护神:一致性保障策略在微服务架构中,服务注册中心扮演着核心角色,而SpringCloud作为微服务的集大成者,其服务注册机制的一致性保障尤为关键。本文将深入探讨SpringCloud中的服务注册信息一致性保障策略,揭示如何通过精妙的设计和实现确保服务注册......