Redis 主从同步原理

一、什么是主从同步？

主从同步，就是将数据冗余备份，主库（Master）将自己库中的数据，同步给从库（Slave）。

从库可以一个，也可以多个，如图所示：

二、为什么需要主从同步？

Redis 虽然有 RDB 和 AOF 持久化技术，可以在服务器重启的情况下保证内存中的数据不会丢失（但不意味着数据不丢，重启的时候还是会有不可用的情况）。

但是如果服务器关闭后，再也起不来了（比如硬件故障），那意味着数据是完全丢失的！会对业务产生重大影响。

所以，主从同步的必要性，在于数据的高可用。它可以保证机器故障时，还有其他的服务器可以进行故障转移。

问题来了，多台服务器冗余同一份数据，Redis 是如何保证数据的一致性的？

三、Redis 是如何做到主从同步的？

简单概括，有两点：

1. 一切修改只在主库进行：即主库可读可写，从库只读不可写；
2. 写操作从主库同步到从库：全量同步、增量同步。

（一）全量同步

1. 建立连接 协商同步

1.1 使用客户端 redis-cli 连接从库，执行 replicaof 命令，指定主库 IP 和端口；

1.2 从库响应后，执行 psync 命令，它包含 主库 runid 和 复制偏移量 offset 两个参数：

• runid：启动时自动生成随机唯一 ID。首次同步时，主库 runid 未知，所以为 ?；
• offset：表示复制的进度，第一次同步时，其值为 -1。

1.3 主库收到 psync 命令后，使用 FULLRESYNC 命令响应从库，同时也包含 主库 runid 和 复制偏移量 offset 两个参数，从库会记录这两个参数。

注：replicaof 命令等同于 slaveof 命令，Redis 5.0 之前使用 slaveof 命令。

2. RDB 同步

2.1 主库执行 bgsave 命令，此时将 fork 出子进程生成 RDB 文件，新命令会写入到缓冲区；

2.2 发送 RDB 文件到从库；

2.3 从库清空数据后，载入 RDB 文件。

注一：为保证数据一致性，bgsave 执行后，主库会持续写入新命令到缓冲区，直到从库加载 RDB 完成；

注二：bgsave 创建了子进程，子进程独立负责 RDB 生成的工作，生成 RDB 的过程中，不会阻塞 Redis 主库，主库依然可以正常处理命令。

3. 命令同步

3.1 完成 RDB 载入后，从库会回复确认消息给主库，主库会将缓冲区的写命令发送给从库；

3.2 从库接收主库的写命令并执行，使得主从数据一致。

注：命令执行后，长连接会一直保持，写操作命令也会一直同步，保证主从数据的一致性；

这个过程也称为「基于长连接的命令传播」。

（二）增量同步

命令传播的过程中，如果出现 网络故障 导致连接断开，此时新的写命令将无法同步到从库。

即便是抖动后断开又恢复网络连接，但此时 TCP 连接已经断开，数据肯定是需要重新同步了。

• 在 Redis 2.8 之前，从库只能和主库重新发起全量同步，对于较大的 RDB 文件，网络恢复时间较长；
• 从 Redis 2.8 开始，从库已支持增量同步，只会把断开的时候没有发生的写命令，同步给从库。

详细过程如下：

1. 网络恢复后，从库发生 psync 命令给主库，并携带之前主库返回的 runid，还有复制的偏移量 offset；
2. 主库收到命令后，核查 runid 和 offset，确认没问题将响应 CONTINUE 命令；
3. 主库发送网络断开期间的写命令，从库接收命令并执行。

实际上，主库在进行命令传播的过程中，做了两个事情：

1. 发送写命令给从库；
2. 写命令写入 repl_backlog_buffer 复制积压缓冲区，保存最近传播的写命令。

复制积压缓冲区，是一个环形缓冲区。主库除了拥有 repl_backlog_buffer，还存在复制点位 master_repl_offset；

同理，从库，也有复制点位 slave_repl_offset；

如果从库的 psync 命令指定的 offset，数据还存在 repl_backlog_buffer 缓冲区里，也就是：

master_repl_offset - size < slave_repl_offset，即主库最小的偏移量，小于从库的偏移量，说明数据还在环形缓冲区里。

所以，只要主库的缓冲区足够大，足以容纳最近的写命令（Redis 协议），就可以在网络中断后使用增量同步了。

默认 repl_backlog_buffer = 1M，如果写入数据量较大，比如 1M/s，显然，网络故障 1秒后，复制积压缓冲区数据无效，所以应该增大它的值。

具体大小，需要根据实际情况确定。建议设置 10M 以上，大概就是 10s 以内的中断，因为 Redis 服务器启动也需要一定时间。

文章来源于本人博客，发布于 2022-05-28，原文链接：https://imlht.com/archives/259/