Linux文件实时同步配置

　　今天接到需求说要实现mysql与指定目录的文件实时双向热备，mysql的上篇已经解决，linux文件的在这篇展开讨论。

　　Linux主机之间文件实时自动同步备份，使用 rsync+inotify 组合的方式来实现，避免由于硬件或者软件导致的 Linux 系统死机或损坏造成的损失。

一、rsync+inotify 简介

1、rsync简介

　　rsync（remote synchronize）是 Liunx/Unix 下的一个远程数据同步工具，它可通过 LAN/WAN 快速同步多台主机间的文件和目录。

　　Linux 之间同步文件一般有两种方式，分别是 rsync 与 scp 。scp 相当于复制，粘贴，文件不存在则新建，若存在则覆盖，而 rsync 则是比较两边文件是否相同，不相同才进行更新。所以 rsync 和 scp 在文件夹存在的情况下差异很大，因为 scp 是复制和覆盖，从执行性能来说 rsync 更胜一筹。而且 rsync 能将文件夹、文件的权限等信息也保存下来。

　　但是 rsync 也有一定的缺点，在同步数据时，需要扫描所有文件后进行比对，如果文件数量相当大时，扫描文件就非常耗费时间和性能。其次，rsync 不能够实时监测、同步数据，这就可能导致一些时间段数据不一致。解决这个问题的方法就是实时同步，所以需要使用 rsync+inotify 组合。

2、inotify简介

　　inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，Linux 内核从2.6.13版本起，加入了对 inotify 的支持。通过 inotify 可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，inotify-tools 便可以监控文件系统下文件的各种变化情况了。

先看一看系统中是否已安装rsync，现在一般系统都是预装的

rsync --version

再检查系统内核是否支持 inotify：

ll /proc/sys/fs/inotify

出现以下三个文件表示系统默认支持 inotify，如下所示。

二、整体架构

这里我使用两个 Linux 服务器节点来做演示，实现两个节点间文件的实时同步，node1 为源服务器节点，就是需要同步数据的节点，部署 rsync+inotify ，node2 为同步节点，也就是接收同步数据的节点，只需要部署 rsync，如下所示。

三、同步节点部署（rsync）

同步节点，也就是node2 172.19.42.200

配置rsync配置文件

vim /etc/rsyncd.conf

 1 uid = nobody
 2 gid = nobody
 3 use chroot = yes
 4 max connections = 10
 5 strict mode=yes
 6 pid file = /var/run/rsyncd.pid
 7 lock file=/var/run/rsync.lock
 8 log file=/var/log/rsyncd.log
 9 [backup]
10 path = /opt/ffs/files/
11 comment = ffs file
12 ignore errrors
13 read only=no
14 write only=no
15 hosts allow=172.19.42.100
16 hosts deny=*
17 list=false
18 uid=root
19 gid=root
20 auth users=ffs
21 secrets file=/etc/rsync.password

其中需要用到一个密码文件， /etc/rsync.password，内容格式为：user:password

echo "ffs:ffs" > /etc/rsync.password

然后需要给密码文件600权限

chmod 600 /etc/rsync.password

启动 rsync 守护进程

/usr/bin/rsync --daemon

加入系统自启动文件

echo "/usr/bin/rsync --daemon" >> /etc/rc.local

如果有防火墙，开放端口

firewall-cmd --add-port=873/tcp --permanent --zone=public
firewall-cmd --reload

查看 rsync 进程，如下

ps aux | grep rsync

四、源服务器节点部署（rsync+inotify）

源服务器节点，也就是 node1 172.19.42.100，需要部署 rsync 和 inotify

配置rsync配置文件

vim /etc/rsyncd.conf

 1 uid = nobody
 2 gid = nobody
 3 use chroot = yes
 4 max connections = 10
 5 strict mode=yes
 6 pid file = /var/run/rsyncd.pid
 7 lock file=/var/run/rsync.lock
 8 log file=/var/log/rsyncd.log
 9 [backup]
10 path = /opt/ffs/files/
11 comment = ffs file
12 ignore errrors
13 read only=no
14 write only=no
15 hosts allow=172.19.42.200
16 hosts deny=*
17 list=false
18 uid=root
19 gid=root
20 auth users=ffs
21 secrets file=/etc/rsync.password

源服务器节点中只需要配置认证密码文件，首先在 etc 文件夹下创建文件 rsync.password，只需要密码，不需要用户，密码需要和同步节点 node2 中的一致

echo "ffs" > /etc/rsync.password

然后需要给密码文件600权限

chmod 600 /etc/rsync.password

启动 rsync 守护进程

/usr/bin/rsync --daemon

加入系统自启动文件

echo "/usr/bin/rsync --daemon" >> /etc/rc.local

如果有防火墙，开放端口

firewall-cmd --add-port=873/tcp --permanent --zone=public
firewall-cmd --reload

测试一下，先在源服务器节点的 /opt/ffs/files/ 目录下新建一个 test 文件夹

mkdir /opt/ffs/files/test

然后进行进行同步测试，其中一些参数要和同步节点配置文件中相对应，比如下面的认证模块名backup、用户名 ffs 等

rsync -avH --port 873 --delete /opt/ffs/files/ [email protected]::backup --password-file=/etc/rsync.password

可以看到 node1 中文件夹 test 已经发送，查看同步节点 node2 中，如下

 test 文件夹已经同步到 node2，所以我们的 rsync 配置成功，可以进行文件同步，接下来就是部署 inotify 实现实时同步，通过inotify监听文件或文件夹，如果有变动就进行同步。

这里我们用到了inotify-tools，我使用的中科方德系统预装了这个，如果你的系统没有这个需要先安装，我这里直接开始配置了

创建用于 rsync 同步的 shell 脚本，如果添加、修改、删除了文件或文件夹，inotify 可以监控到，然后通过 rsync 进行同步，这里我们就在需要进行监控的目录创建这个脚本

vim /opt/ffs/files/inotifyrsync.sh

1 #!/bin/bash
2 host1=172.19.42.200
3 src=/opt/ffs/files/
4 dst1=backup
5 user1=ffs
6 /usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib $src | while read files
7 do        /usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/rsync.password $src $user1@$host1::$dst1 > /dev/null 2>&1
8         echo "${files} was rsynced." >> /tmp/rsync.log 2>&1
9 done

其中 host 是 client 的 ip，src 是 server 端要实时监控的目录，des 是认证的模块名，需要与 client 一致，user 是建立密码文件里的认证用户。

然后给这个脚本赋予权限

chmod 755 /opt/ffs/files/inotifyrsync.sh

后台运行这个脚本

/opt/ffs/files/inotifyrsync.sh &

有需要可以将脚本加入系统自启动文件中

echo "/opt/ffs/files/inotifyrsync.sh &" >> /etc/rc.local

测试，在 node1 节点中添加删除修改文件或文件夹，看 node2 中是否会自动同步，首先在 node1 中创建一个文件夹 test1、test2，文件test1.txt、text2.txt

 在 node2 中都会进行实时的同步备份，如下所示（文件和文件夹都创建成了一个文件[笑哭]，小问题，不影响测试）

 经验证，修改文件和删除文件也能同步，实时自动同步备份功能成功实现