首页 > 数据库 >Redis集群方案和数据分区原理介绍

Redis集群方案和数据分区原理介绍

时间:2024-01-31 17:46:24浏览次数:24  
标签:分区 Redis 哨兵 集群 哈希 master 数据 节点

Redis集群方案

主从模式

一主多从,主节点负责写数据,从节点负责读数据,主节点定期把数据同步到从节点保证数据的一致性。避免单点故障,实现了读写分离。

优点:

  • 主从结构具有读写分离、提高效率、数据备份、提供多个副本等优点。

缺点:

  • 不具备恢复功能,如果主节点宕机,则不能提供服务,需要手动将从节点设置为主节点
  • 主从复制主节点的写能力是单机的,能力有限

建立主从复制:

  1. 在配置文件中加入slaveof {masterHost} {masterPort} 随redis启动生效
  2. 在redis-server启动命令后加入—slaveof {masterHost} {masterPort}生效
  3. 直接使用命令:slaveof {masterHost} {masterPort}生效

哨兵模式

第一种主从同步模式当主服务器宕机后,需要手动将从服务器切换为主服务器,并修改客户端配置,还会造成一段时间服务不可用。哨兵模式的核心还是主从复制,但是它解决了redis主从切换需要人工干预的问题。

哨兵作用:

  1. 监控所有服务器是否正常运行:通过发送命令返回监控服务器的运行状态,除了监控主、从服务器外,哨兵之间也会相互监控。每一个哨兵都是一个独立的进程,独立运行。
  2. 故障切换:当哨兵监测到master当即,会自动将slave切换成master,然后通过发布订阅模式通知其他从服务器,修改配置文件,让他们切换master。当客户端试图连接失效的主服务器时,集群会向客户端返回新主服务器的地址。宕机的旧主在恢复后会作为新主的从节点。

哨兵原理:

哨兵在启动进程时,会读取配置文件的内容,通过如下的配置找出需要监控的主数据库:

sentinel monitor master-name ip port quorum
# master-name 是主数据库的名字
# ip 和 port是当前主数据库地址和端口号
# quorum 表示在执行故障切换操作前,需要多少哨兵节点同意

连接主节点之后,可以通过主节点的info命令,获取从节点信息,从而与从节点建立连接。

哨兵启动后会与主数据库建立两条连接:

  1. 订阅主数据库_sentinel_:hello频道以获取同样监控该数据库的哨兵节点信息。
  2. 定期向主数据库发送info命令,获取主数据库本身的信息

跟主数据库建立连接后会定时执行一下三个操作:

  1. 每隔10s向master和slave发送info命令。作用是获取当前数据库信息,比如发现新增从节点时,会建立连接,并加入到监控列表中,当主从数据库的角色发生变化进行信息更新。
  2. 每隔 2 s 向主数据里和从数据库的 _sentinel_:hello 频道发送自己的信息。作用是将自己的监控数据和哨兵分享。每个哨兵会订阅数据库的_sentinel:hello 频道,当其他哨兵收到消息后,会判断该哨兵是不是新的哨兵,如果是则将其加入哨兵列表,并建立连接。
  3. 每隔 1 s 向所有主从节点和所有哨兵节点发送 ping 命令,作用是监控节点是否存活。

优点:

  • 哨兵模式是基于主从模式的,解决了主从模式中master故障不可自动切换的问题。

缺点:

  • 是一种中心化的集群实现方案,始终只有一个redis主机接收和处理写请求,写操作受单机瓶颈影响
  • 集群里所有节点保存的都是全量数据,浪费内存空间,没有真正实现分布式存储。当数据量过大时,主从同步严重影响master的性能
  • 主机宕机后,在哨兵投票选举出主节点之前,互相不知道谁是主从机,此时redis会开启保护机制,禁止写操作,直到选举出新主节点。

客户端分片

Redis在3.0版本前只支持单实例模式,在3.0版本发布之前,使用的是数据分片的集群方案,核心思想就是把数据分片(sharding)存储在多个redis实例中。

客户端分片是把分片的逻辑放在Redis客户端实现,(比如:Jedis已支持的Redis Sharding功能,即ShardedJedis),通过客户端预先定义好的路由规则(使用一致性哈希),把对key的访问转发到不同的redis实例中,查询时把返回结果汇集。

优点:

  • 客户端 sharding 技术使用 hash 一致性算法分片的好处是所有的逻辑都是可控的,不依赖于第三方分布式中间件。服务端的 Redis 实例彼此独立,相互无关联,每个 Redis 实例像单服务器一样运行,非常容易线性扩展,系统的灵活性很强。

缺点:

  • 服务端 Redis 实例群拓扑结构有变化时,每个客户端都需要更新调整。

Redis Cluster

Redis在3.0上加入了Cluster集群模式,实现了Redis的分布式存储,每台Redis节点上存储不同的数据。cluster模式为了解决单机Redis容量有限的问题,将数据按一定的规则分配到多台机器,内存/QPS不受限于单机。Redis Cluster是一种服务器Sharding技术(分片和路由都是在服务端实现),采用多主多从,每个分区都是由一个Redis主机和多个从机组成,片区和片区之间是互相平行的。Redis Cluster集群采用P2P模式,完全去中心化。

特点:

  • 集群完全去中心化,采用多主多从;所有的 redis 节点彼此互联(PING-PONG 机制),内部使用二进制协议优化传输速度和带宽。
  • 客户端与 Redis 节点直连,不需要中间代理层。客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
  • 每一个分区都是由一个 Redis 主机和多个从机组成,分片和分片之间是相互平行的。
  • 每一个 master 节点负责维护一部分槽,以及槽所映射的键值数据;集群中每个节点都有全量的槽信息,通过槽每个 node 都知道具体数据存储到哪个 node 上。

Redis Cluster 采用虚拟哈希槽分区而非一致性 hash 算法,预先分配一些卡槽,所有的键根据哈希函数映射到这些槽内,每一个分区内的 master 节点负责维护一部分槽以及槽所映射的键值数据。

数据分区原理

分布式数据存储首先要解决整个数据集如何按照分区规则划分到多个节点问题,每个节点负责整个数据集的子集。常见的分区规则有3种:哈希取余分区、一致性哈希算法分区和哈希槽分区。

哈希取余分区

img

用数据的键(key)通过哈希函数得到一个哈希值,然后将哈希值与节点数量(N)取余,以确定数据属于哪个节点。公式:hash(key) % N

优点:

  • 这种方式的优点是简单,一般采用预分区的方式,提前根据数据量规划好分区数,比如划分为 5121024 张表,保证可支撑未来一段时间的数据容量。扩容时通常采用翻倍扩容,避免数据映射全部被打乱,导致全量迁移的情况。常用于数据库的分库分表。

缺点:

  • 当节点数量变化时,比如扩容、缩容、宕机节点,数据节点的映射关系需要重新计算,会导致数据的重新迁移

一致性哈希算法分区

一致性哈希算法就是将整个哈希值空间组织成一个虚拟的圆环,哈希函数的值空间为0 ~ 2^32 - 1。

img

将node1、node2、node3服务器的IP作为唯一关键字,使用Hash(IP)进行哈希,这样每台机器就能确定其在哈希环上的位置。

key落键规则:当我们需要存储一个kv键值对时,首先计算key的hash值(hash(key))将这个key使用相同的哈希函数计算出哈希值,并确定此数据在换上的位置,从此位置沿环顺时针寻找,第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。

优点:

  • 容错性:若node2挂掉,受影响的数据只有node1和node2之间的数据,且这些数据会转移到node3存储。
  • 扩展性:若在node1和node2之间增加一台node4,受影响的数据只有node1和node4,重写把node1和node4的数据录入到node4即可,不会导致hash取余数据重新洗牌计算。

缺点:

  • 数据倾斜:若节点太少且分布不均匀时,会造成大部分数据集中存放在某一台上的问题

哈希槽分区

为了解决数据倾斜的问题,Redis3.0中引入了哈希槽的概念。

Redis集群有16384个哈希槽,集群会先给每个master节点分配一部分哈希槽。比如当前集群有3个master节点:

  • master1节点包含0~5500号哈希槽
  • master2节点包含5501~1000号哈希槽
  • master3节点包含11001~16384号哈希槽

进行set操作时,每个key会通过CRC16校验后再对16384取模来决定放置在哪个槽,比如 CRC16(key) % 16384 = 777,那么这个key就会被分配到master1节点上,如下图:

img

标签:分区,Redis,哨兵,集群,哈希,master,数据,节点
From: https://www.cnblogs.com/coke0914/p/17999775

相关文章

  • PHP5.6的安装及redis、memcache、mongo扩展
    系统版本:CentOSLinuxrelease7.4.1708(Core)PHP5.6下载地址:wgethttp://am1.php.net/distributions/php-5.6.37.tar.gz需要装好yum的epel-release,这上面有相对应的依赖包,否则依赖包没装好编译会报错!!!安装相关依赖关系包yum-yinstallgccgcc-c++phpphp-mysqbzip2-dev......
  • Redis未授权访问漏洞
    Redis简介redis是完全免费开源,一个灵活的高性能key-value数据结构存储,可以用来作为数据库、缓存和消息队列。Redis应用场景主要有两个应用场景:存储、缓存需要的场景需要高度读/写的场景使用redis快速读/写Redis结构redis主要由两个程序组成:redis客户端:redis-cliredis......
  • Windows下安装Redis并配置自启服务
    推荐(免费):Redis使用教程1,下载地址:https://github.com/MicrosoftArchive/redis/releases2,解压缩后在文件夹中创建两个文件夹dbcache、logs。3,双击redis-server.exe,启动redis,如下图片表示启动成功。4,上面的启动一般用于检测redis是否可以成功启动,如果成功,接下来,要将redis注册为......
  • Star 4.2k,这是我用过最舒服的跨平台Redis桌面客户端
    项目介绍TinyRDM一个现代化轻量级的跨平台Redis桌面客户端,支持Mac、Windows和Linux软件截图运行效果版本展示配置连接项目亮点极致轻量极小包体,随处安装随处使用友好外观体验提供外观深色/浅色外观,简单易用的可视化操作体验跨桌面平台支持Mac/Windows/......
  • AirSim多无人机协同集群编队
    首先要修改settings.json文件,来设置多无人机的初始位置{"SeeDocsAt":"https://github.com/Microsoft/AirSim/blob/main/docs/settings.md","SettingsVersion":1.2,"SimMode":"Multirotor","Vehicles":{&qu......
  • 内网离线部署redis7.2
    环境说明镜像系统:CentOS-7-x86_64-Everything-1908.iso网络:内网地址:192.168.24.20无其他网卡内存:8GBCPU:1颗4核硬盘:64GB安装方式:带GUI的服务器主机名:data0另外,内网环境中有一个harbor服务主机,上面有nfs服务、ntpd服务、harbor镜像仓库,此主机可以连接公网,我使用它来准备必......
  • Redis 基础数据结构
    string(字符串)字符串string是Redis最简单的数据结构。Redis所有的数据结构都是以唯一的key字符串作为名称,然后通过这个唯一key值来获取相应的value数据。不同类型的数据结构的差异就在于value的结构不一样。字符串结构使用非常广泛,一个常见的用途就是缓存用户信息......
  • Java连接kubernates集群最优雅的两种方式
    创建maven工程,pom.xml中引入连接k8s的客户端jar包:<properties><maven.compiler.source>8</maven.compiler.source><maven.compiler.target>8</maven.compiler.target><fabric.io.version>6.10.0</fabric.io.version></properties......
  • rdd常用的Action算子和分区操作算子
    frompysparkimportSparkConf,SparkContext#创建Spark配置和上下文对象conf=SparkConf().setAppName("SparkActionsAndPartitions")sc=SparkContext(conf=conf)#示例数据data=[("apple",1),("banana",2),("apple",3),(&quo......
  • redis取数据慢的原因有哪些
    Redis取数据慢的原因可能有以下几个:1)网络延迟:Redis是一个基于网络的内存数据库,如果网络延迟高,会导致数据取得慢。2)数据量过大:如果Redis中存储了大量的数据,每次取数据时需要遍历整个数据集,会导致取数据的速度变慢。3)频繁的数据持久化:如果Redis开启了持久化功能,频繁地将数据写入......