Redis主从复制、哨兵、集群原理部署介绍
原创 程序话题 IT当时语 2023-04-18 20:26 发表于广东 收录于合集 #架构设计22个 #分布式系统17个 #Redis4个 #微服务11个 #分布式锁3个Redis主从复制、哨兵、集群原理部署介绍
Redis主从复制的核心原理
在分布式架构设计中，Redis是一个非常流行的NoSQL数据库。它不仅具有高性能和可扩展性，而且支持主从复制模式来提高可用性和容错性。
Redis主从复制的基本概念
Redis主从复制是指通过多个Redis实例之间的数据同步机制，将一个Redis实例的所有数据自动复制到另一个或多个Redis实例上。在主从架构中，有一个主Redis服务器和一个或多个从Redis服务器。主Redis服务器负责写操作并将数据同步到从Redis服务器上。从Redis服务器只能进行读操作，不能进行写操作。
Redis主从复制的核心原理
Redis主从复制的核心原理是基于Redis的发布/订阅模式和命令传播机制。当主Redis服务器接收到写操作时，它会将写操作作为命令发送到与之相连的从Redis服务器。从Redis服务器接收到命令后，将执行相应的操作并同步更新到本地数据库。
Redis主从复制的过程可以描述如下：
- 主Redis服务器将写操作作为命令发送给与之相连的从Redis服务器。
- 从Redis服务器接收到命令后，执行相应的操作并同步更新到本地数据库。
- 从Redis服务器向主Redis服务器发送ACK确认消息，表示数据已经成功同步。
- 主Redis服务器在接收到ACK确认消息后，将该命令标记为已执行。
- 重复以上步骤以实现数据的持续同步。
Redis主从复制的优点
Redis主从复制具有以下优点：
- 提高可用性和容错性。当主Redis服务器出现故障时，从Redis服务器可以自动接管读写请求。
- 分担主服务器的负载压力。从Redis服务器可以处理读请求，减轻主Redis服务器的负载压力。
- 提高系统的扩展性。通过添加新的从Redis服务器来增加系统的容量。
Redis主从复制的实践代码和操作步骤
下面是Redis主从复制的实践代码和操作步骤：
步骤一：安装Redis
首先需要在主机和从机上都安装Redis。
步骤二：配置主Redis服务器
在主Redis服务器上，需要修改redis.conf文件中的配置项。示例如下：
port 6379
bind 127.0.0.1
daemonize yes
pidfile "/var/run/redis_6379.pid"
logfile "/var/log/redis_6379.log"
save 900 1
save 300 10
save 60 10000
dbfilename "dump.rdb"
dir "/var/lib/redis"
masterauth "password"
requirepass "password"
其中，要开启主从复制功能，需要设置slaveof属性。示例如下：
slaveof host port
其中，host是主Redis服务器的地址，port是主Redis服务器的端口号。
步骤三：配置从Redis服务器
在从Redis服务器上，需要修改redis.conf文件中的配置项。示例如下：
port 6380
bind 127.0.0.1
daemonize yes
pidfile "/var/run/redis_6380.pid"
logfile "/var/log/redis_6380.log"
save 900 1
save 300 10
save 60 10000
dbfilename "dump.rdb"
dir "/var/lib/redis"
masterauth "password"
requirepass "password"
slaveof host port
其中，要开启从Redis服务器的复制功能，只需设置slaveof属性即可。同样，host是主Redis服务器的地址，port是主Redis服务器的端口号。
步骤四：测试主从复制
-
启动主Redis服务器和从Redis服务器。
-
在主Redis服务器上写入数据。
set key value -
在从Redis服务器上读取数据，检查是否已成功同步。
get key
如果读取到了写入的数据，则说明主从复制已经正常工作。
总结
Redis主从复制是保证Redis数据库高可用性和容错性的重要解决方案之一。
Redis哨兵模式的核心原理
在分布式架构设计中，Redis是一个非常流行的NoSQL数据库。它不仅具有高性能和可扩展性，而且支持哨兵模式来提高可用性和容错性。
Redis哨兵模式的基本概念
Redis哨兵模式是指通过多个Redis实例之间的“哨兵”协作机制，自动化地完成Redis实例的监控、故障转移与恢复，从而提高Redis的可用性和稳定性。
在哨兵架构中，有三种类型的进程：主Redis服务器，从Redis服务器，以及哨兵进程。
主Redis服务器负责写操作，并将数据同步到从Redis服务器上。
从Redis服务器只能进行读操作，不能进行写操作。
哨兵进程则负责监控主Redis服务器和从Redis服务器的状态，当发现主Redis服务器故障时，会自动将某个从Redis服务器升级为新的主Redis服务器，并通知所有其他从Redis服务器更新到新的主服务器上。这样就可以在主Redis服务器故障时实现自动的故障转移和恢复。
Redis哨兵模式的核心原理
Redis哨兵模式的核心原理是基于Redis的发布/订阅模式和命令传播机制。
在Redis哨兵模式中，主Redis服务器会向所有哨兵进程发送心跳消息，并将自己的状态信息更新至哨兵进程所维护的状态信息列表中。当一个哨兵进程发现主Redis服务器故障时，它会尝试执行以下操作：
- 向其他哨兵进程请求同步最新的主从节点状态信息。
- 承认或撤销之前的升级请求。
- 选举出一个哨兵进程来负责升级从Redis服务器为新的主Redis服务器。
- 负责将所有从Redis服务器切换到新的主Redis服务器。
- 将故障的主Redis服务器排除在哨兵集群之外，等待其恢复后重新加入。
如果出现多个哨兵进程同时检测到主Redis服务器故障的情况，那么由投票机制产生的优先级较高的哨兵进程进行自动故障转移和恢复。
Redis哨兵模式的优点
Redis哨兵模式具有以下优点：
- 提高可用性和容错性。当主Redis服务器出现故障时，可以自动实现故障转移和恢复，保证系统的稳定性。
- 分担主服务器的负载压力。从Redis服务器可以处理读请求，减轻主Redis服务器的负载压力。
- 提高系统的扩展性。通过添加新的哨兵进程来增加系统的容量。
Redis哨兵模式的实践代码和操作步骤
下面是Redis哨兵模式的实践代码和操作步骤：
步骤一：安装Redis
首先需要在主机和从机上都安装Redis。
步骤二：配置Redis
在主Redis服务器和从Redis服务器上，需要修改redis.conf文件中的配置项。示例如下：
port 6379
bind 127.0.0.1
daemonize yes
pidfile "/var/run/redis_6379.pid"
logfile "/var/log/redis_6379.log"
save 900 1
save 300 10
save 60 10000
dbfilename "dump.rdb"
dir "/var/lib/redis"
requirepass "password"
在哨兵进程所在的机器上，需要创建sentinel.conf文件，并增加如下配置项：
sentinel monitor mymaster host port quorum 2
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel auth-pass mymaster password
logfile "/var/log/redis-sentinel.log"
pidfile "/var/run/redis-sentinel.pid"
其中，mymaster指定了需要监控的主Redis服务器的名称，host和port则是该主Redis服务器的地址和端口号。
步骤三：启动Redis
首先启动主Redis服务器和从Redis服务器，然后启动哨兵进程。
$ redis-server /etc/redis/redis.conf
$ redis-server /etc/redis/slave.conf
$ redis-sentinel /etc/redis/sentinel.conf
总结
Redis哨兵模式是保证Redis数据库高可用性和容错性的重要解决方案之一。
Redis 集群模式核心原理
前言
Redis 是一款内存数据库，常用于缓存、消息队列等。随着业务的发展和数据的增长，单机 Redis 可能无法满足我们的需求，此时我们需要使用 Redis 集群模式。Redis 集群模式可以将多个 Redis 实例组成一个集群，提供更高的性能和可用性。
我们将介绍 Redis 集群模式的核心原理，并通过代码实践演示如何搭建 Redis 集群。
Redis 集群模式的核心原理
Redis 集群模式是通过将多个 Redis 实例组成一个集群来提供高可用性和性能的解决方案。Redis 集群使用的是分布式哈希槽算法，通过对 key 进行哈希映射到不同的 Redis 实例上，实现了数据的分布式存储和负载均衡。
分布式哈希槽算法
在 Redis 集群中，数据被分为 16384 个哈希槽，每个哈希槽对应一个 Redis 实例。当我们向 Redis 写入数据时，Redis 会对 key 进行哈希，然后将哈希值与 16383 取模得到的值就是要存储的哈希槽。根据哈希槽与 Redis 实例的映射关系，Redis 就知道了要将数据存储在哪个实例上。
当我们从 Redis 读取数据时，Redis 需要先确定要查询的 key 对应的哈希槽，然后才能知道要从哪个实例中读取数据。如果集群中的某一个节点失效了，那么相应的哈希槽就无法提供服务了。此时，Redis 会将失效的节点上的哈希槽迁移到其他节点上，保证数据的高可用性。
Redis 中使用哈希槽算法来实现分布式存储。哈希槽算法的基本思想是将所有数据按照 key 进行哈希计算，得到一个哈希值，然后将这个哈希值对槽总数取模，最终将数据存储到对应的哈希槽中。
下面是 Redis 哈希槽算法的示意图：
+----------+
| |
| |
| 节点 A |
+----------+ +-----------+
| | | |
| | | |
| 哈希槽 1 | .......... | 哈希槽 16384 |
| | | |
| | | |
+----------+ +-----------+
| |
| |
| 节点 B |
| |
| |
+----------+
在 Redis 集群中，节点被分配了一个唯一的标识符，也就是节点 ID，它是一个40个字符长的十六进制字符串。Redis 的哈希槽被划分为 16384 个，每个槽都有一个唯一的编号，从 0 到 16383。
当有新的节点加入集群时，它会首先从某个已知节点（通常是集群中的主节点）获取关于集群拓扑结构的信息。然后它会计算自己所负责的哈希槽范围，并将这个信息发送给其他节点，让它们知道新节点的存在和负责的哈希槽。
当有客户端向集群中写入一个 key-value 对时，Redis 首先将 key 对应的哈希值计算出来，然后将它对 16384 取模，得到这个 key 应该存储在哪个哈希槽中。如果存储这个哈希槽的节点是本地节点，则直接在本地节点上处理这个命令；否则，Redis 会将这个命令转发给负责这个哈希槽的节点进行处理。
Redis 集群架构
Redis 集群由多个 Redis 节点组成，每个节点包含一个主节点和多个从节点。主节点负责接收写入请求，从节点只负责接收读取请求。当主节点发生故障时，从节点可以自动接管主节点的工作，实现高可用性。
另外，为了保证 Redis 集群的性能和可用性，我们需要为集群配置哨兵节点。哨兵节点负责监控 Redis 节点的状态，并在需要时进行自动故障转移操作。
Redis 集群部署的原理示意图：
+-----------+
+--------------> | 节点 A |
| | |
+----------+ | IP:port |
| | +-----------+
| 客户端 |
| |
+----------+
| |
| Redis |
| 集群 |
| |
+----------+
| |
| |
| .... |
| |
| |
+----------+
| |
| |
| 节点 N |
| |
| |
+----------+ +-----------+
<--------------+ | 节点 B |
| |
| IP:port |
+-----------+
Redis 集群采用分布式架构，将数据划分为多个节点进行存储和处理。每个节点都可以独立地工作，并接收来自其他节点的命令请求。Redis 集群中有三种类型的节点：主节点、从节点和哨兵节点。
每个主节点都负责一系列哈希槽（hash slot），其中每个哈希槽只被一个主节点负责。Redis 客户端向 Redis 集群发送命令时，首先通过哈希算法计算 key 的哈希值，然后将这个哈希值对应的哈希槽路由到负责这个哈希槽的主节点上。如果负责这个哈希槽的主节点不可用，那么客户端会自动重定向到负责同样哈希槽的从节点上。
每个主节点都有若干个从节点，用于实现数据的备份和故障恢复。当一个主节点宕机时，Redis 会通过哨兵节点选举出新的主节点，并将原来的从节点升级为新的主节点。此时，新的主节点会重新负责一系列哈希槽，并接收来自其他节点的请求。所有的从节点会在新的主节点上进行复制，以保证数据的一致性。
哨兵节点用于监控 Redis 集群的健康状况，以及发现、选举并维护主节点的状态。如果某个主节点宕机，哨兵节点会检测到这个事件，并选择一个从节点作为新的主节点。当旧的主节点恢复后，它会成为新的从节点加入 Redis 集群中。
Redis 集群节点之间的通信
Redis 集群节点之间通过 Gossip 协议进行通信，Gossip 协议是一种基于分布式的信息传递协议，常用于解决分布式系统中的数据同步和故障转移等问题。
Redis 集群中每个节点都要与其他节点保持一定的连接，以便及时感知节点状态的变化。当某个节点状态发生变化（比如节点上线、离线或者主从切换），该节点会将新的状态信息以广播的形式发送给集群中的其他节点。其他节点收到信息后，会更新自己的状态，并继续广播给其他节点，直到整个集群中所有节点都得到了最新的状态信息。
Redis 集群演示
下面我们来演示如何搭建 Redis 集群。
环境准备
首先，我们需要准备 6 台虚拟机，每台虚拟机上都需要安装 Java 和 Redis。其中，3 台虚拟机作为主机，另外 3 台虚拟机作为从机。
修改配置文件
修改主机的 Redis 配置文件 redis.conf，在文件末尾添加以下内容：
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
这段配置用于启用集群模式，并指定了存储集群信息的文件和节点失效的超时时间。
修改从机的 Redis 配置文件 redis.conf，在文件末尾添加以下内容：
slaveof <master-ip> <master-port>
将 <master-ip> 和 <master-port> 替换为主机的 IP 地址和端口号，这段配置用于指定从机的主机。
启动集群
分别在每台虚拟机上启动 Redis 实例：
redis-server /path/to/redis.conf
然后，在主机的某个 Redis 节点上执行以下命令，以创建 Redis 集群：
redis-cli --cluster create <node1-ip>:<node1-port> <node2-ip>:<node2-port> <node3-ip>:<node3-port> --cluster-replicas 1
将 <nodeX-ip> 和 <nodeX-port> 替换为各个节点的 IP 地址和端口号，--cluster-replicas 参数表示每个主节点对应的从节点数量。
执行完命令后，Redis 集群就创建完成了。
使用集群
要使用 Redis 集群，我们需要使用 redis-cli 或者其他 Redis 客户端进行连接。连接方式与单机 Redis 相同，只不过需要使用 -c 参数来启用 Redis 集群模式，例如：
redis-cli -c -h <cluster-ip> -p <cluster-port>
将 <cluster-ip> 和 <cluster-port> 替换为任意一个主机的 IP 地址和端口号即可。
结语
Redis 集群模式是 Redis 的一个重要特性，可以帮助我们解决单机 Redis 承载能力不够、高可用性等问题。
喜欢的话，吃颗糖⊙∀⊙！
收录于合集 #架构设计 22个 上一篇Redis分布式锁的实现方式及底层原理下一篇Java缓存穿透、击穿、雪崩解决方案 阅读 216