一、rsync简介
rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。
Rsync 使用一个特殊的算法来识别文件的差异,并仅传输发生变化的部分,以实现高效的文件同步和备份。它还支持多种模式和选项,使其非常适应各种不同的应用场景。
① rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性。
② rsync软件支持跨平台,适用于unix/ linux/windows等多种操作系统平台
③ rsync是一个快速和非常方便的文件复制工具。它能本地复制,远程复制,或者远程守护进程方式复制,它提供了大量的参数来控制其行为的各个方面,并且允许非常灵活的方式来实现文件的传输复制
④ 以其delta-transfer算法闻名。
⑤ rsync监听端口:873
⑥ rsync运行模式:C/S
二、rsync同步方式和备份的方式
同步方式
1、完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地。
2、差量备份:备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)。
3、增量备份:备份上次备份以后有变化的数据(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)
备份的方式
1、发起端:负责rsync 同步操作的客户机叫做发起端,通知服务器我要备份你的数据
2、备份源:负责响应来自客户机rsync 同步操作的服务器叫做备份源,需要备份的服务器
3、服务端:运行rsyncd服务,一般来说,需要备份的服务器
4、客户端:存放备份数据
三、rsync的ssh认证协议
rsync命令来同步系统文件之前要先登录remote主机认证,认证过程中用到的协议有2种:
● ssh协议
● rsync协议
rsync server端不用启动rsync的daemon进程,只要获取remote host的用户名和密码就可以直接rsync同步文件
rsync server端因为不用启动daemon进程,所以也不用配置文件/etc/rsyncd.conf
四、rsync命令的常用选项
//rsync常用选项:
- -a, --archive //归档模式,保留文件的权限、属性等信息,等同于组合选项”-rlptgoD“
- -l, --links //对于符号链接文件仍然复制为符号链接文件
- -v, --verbose //啰嗦模式 显示同步过程的详细信息
- -q, --quiet //静默模式
- -r, --recursive //递归
- -p, --perms //保持原有的权限属性
- -z, --compress //在传输时压缩,节省带宽,加快传输速度
- --delete //在源服务器上做的删除操作也会在目标服务器上同步
五、rsync+inotify
Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
环境
源服务器: - IP地址:192.168.142.48;
- 应用:rsync,inotify-tools,脚本;
- 操作系统:Redhat7
- 同步目录: /opt/inotify_data
目标服务器:
- IP地址:192.168.142.30;
- 应用:rsync;
- 操作系统:Redhat7
- 同步目录: /opt/inotify_data
优化系统配置
[root@localhost ~]# vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
[root@localhost ~]# sysctl -p
在目标服务器上进行以下操作:
systemctl stop firewalld
setenforce 0
getenforce
systemctl disable firewalld
yum -y install rsync
配置文件
vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
uid = root
gid = root
use chroot = yes #开启,禁锢在源目录,表示允许在访问我备份的目录或文件的时候,使用的角色是root,同时你访问本地目录时拥有的也是root权限
[etc_from_client]
path = /opt/inotify_data/
comment = sync etc from client
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型,因为同步时,-avz已经进行压缩
port = 873
ignore errors
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = kaikai #授权用户,使用wwwroot模块的用户是哪个用户,多个账户以空格隔开
hosts allow = 192.168.142.48/24
secrets file=/etc/rsync.password #存放账号信息的数据文件,一行一个
vim /etc/rsync.password
kaikai:123456
chmod 600 /etc/rsync.password
systemctl start rsyncd
systemctl enable rsyncd
在源服务器上做以下操作
systemctl stop firewalld
setenforce 0
getenforce
systemctl disable firewalld
yum -y install rsync inotify-tools
vim /etc/rsync.password
123456
chmod 600 /etc/rsync.password
测试
rsync -avH --port 873 --delete /opt/inotify_data/ [email protected]::etc_from_client --password-file=/etc/rsync.password
写同步脚本
//写同步脚本,这是最最重要的一步,请慎之又慎。让脚本自动去检测我们制定的目录下
//文件发生的变化,然后再执行rsync的命令把它同步到我们的服务器端去
//创建一个脚本,并修改权限为755
[root@xaii-client ~]# mkdir /scripts
[root@xaii-client ~]# touch /scripts/inotify.sh
[root@xaii-client ~]# chmod 755 /scripts/inotify.sh
[root@xaii-client ~]# ll /scripts/inotify.sh
-rwxr-xr-x 1 root root 0 2月 19 15:54 /scripts/inotify.sh
cat /scripts/inotify.sh
#!/bin/bash
# 定义变量
host=10.19.29.1 # 目标服务器的 IP 地址(备份服务器)
src=/data-ssd1/fastdfs # 源服务器上要监控的备份目录(需要确保该目录存在)
des=/data-ssd2/fastdfs # 目标服务器上同步的目录路径,需要与目标服务器上的目录一致
password=/etc/rsync.password # 数据同步的密码文件
user=kaikai # 用于执行数据同步的用户名
inotifywait=/usr/bin/inotifywait # inotifywait 命令的路径
# 开始监控和同步
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src | while read files; do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
done
启动
nohup bash /scripts/inotify.sh &
参考
https://blog.csdn.net/lyshark_csdn/article/details/128486098
https://blog.csdn.net/weixin_43695104/article/details/87717124