rsync

• rsync
  • 1. 本地传输模式
  • 2. rsync常用选项说明
  • 3. 以守护进程（socket）方式传输数据
    • 3.1 服务端
    • 3.2 客户端
  • 4. 排除
  • 5. 同步推送
  • 6. 同步拉取
  • 7. inotify
    • 7.1 inotifywait命令常用参数详解
    • 7.2 客户端脚本
    • 7.3 参数调整
  • 8. 利用rsync清理大量小文件

1. 本地传输模式

# 把系统的hosts文件同步到／opt目录
rsync /etc/hosts /opt

# 把opt目录拷贝到/mnt下
rsync -avz /opt /mnt #相当于cp -ap /opt /mnt

# 将etc目录备份到test1(保留目录)
rsync -avz /etc /test1/ 

# 将etc目录下的文件备份到test2(不保留目录)
rsync -avz /etc/ /test2 

# 将远端主机/root目录拉取到本地test1目录下
rsync -avzP -e 'ssh -p 2200' [email protected]:/root /test1

# 将本地/test1目录推送到远端主机/tmp目录下
rsync -avzP -e 'ssh -p 2200' /test1 [email protected]:/tmp

2. rsync常用选项说明

-v, --verbose              # 详细模式输出
-q, --quiet                # 精简输出模式
-c, --checksum             # 打开校验开关，强制对文件传输进行校验
-a, --archive              # 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive            # 对子目录以递归模式处理,目录下的所有目录都同样传输
-R, --relative             # 使用相对路径信息
-b, --backup               # 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir               # 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX             # 定义备份文件前缀
-u, --update               # 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links                # 保留软链结
-L, --copy-links           # 想对待常规文件一样处理软链结
--copy-unsafe-links        # 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links               # 忽略指向SRC路径目录树以外的链结
-H, --hard-links           # 保留硬链结
-p, --perms                # 保持文件权限
-o, --owner                # 保持文件属主信息
-g, --group                # 保持文件属组信息
-D, --devices              # 保持设备文件信息
-t, --times                # 保持文件时间信息
-S, --sparse               # 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run              # 现实哪些文件将被传输
-W, --whole-file           # 拷贝文件，不进行增量检测
-x, --one-file-system      # 不要跨越文件系统边界
-B, --block-size=SIZE      # 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND          # 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH          # 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude          # 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing                 # 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete                   # 删除那些DST中SRC没有的文件
--delete-excluded          # 同样删除接收端那些被该选项指定排除的文件
--delete-after             # 传输结束以后再删除
--ignore-errors            # 及时出现IO错误也进行删除
--max-delete=NUM           # 最多删除NUM个文件
-P,--partial                  # 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force                    # 强制删除目录，即使不为空
--numeric-ids              # 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME             # IP超时时间，单位为秒
-I, --ignore-times         # 不跳过那些有同样的时间和长度的文件
--size-only                # 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM        # 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR          # 在DIR中创建临时文件
--compare-dest=DIR         # 同样比较DIR中的文件来决定是否需要备份
--progress                 # 显示备份过程
-z, --compress             # 传输时进行压缩以提高传输效率，--compress-level=NUM可按级别压缩   
--exclude=PATTERN          # 指定排除不需要传输的文件模式
--include=PATTERN          # 指定不排除而需要传输的文件模式
--exclude-from=FILE        # 排除FILE中指定模式的文件
--include-from=FILE        # 不排除FILE指定模式匹配的文件
--version                  # 打印版本信息
--address                  # 绑定到特定的地址
--config=FILE              # 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT                # 指定其他的rsync服务端口
--blocking-io              # 对远程shell使用阻塞IO
-stats                     # 给出某些文件的传输状态
--progress                 # 在传输时现实传输过程
--log-format=formAT        # 指定日志文件格式
--password-file=FILE       # 从FILE中得到密码
--bwlimit=RATE             # limit socket I/O bandwidth，限速，避免占满带宽，单位为KB
-h, --help                 # 显示帮助信息


生产常用：-avzP 相当于 -vzrtiogDlP

3. 以守护进程（socket）方式传输数据

3.1 服务端

# 1.检查软件是否安装
rpm -qa rsync
rsync-3.0.6-12.el6.x86_64


# 2.创建rsyncd.conf文件(/etc/rsyncd.conf)
uid = rsync                                 # 当该模块传输文件时守护进程应该具有的uid,默认值是nobody
gid = rsync                                 # 当该模块传输文件时守护进程应该具有的gid,默认值是nobody
use chroot = yes                            # 程序安全设置
max connections = 200                       # 客户端连接数,默认是0(无限制)
timeout = 300                               # 超时时间
log file = /var/log/rsyncd.log              # 日志文件位置
pid file = /var/run/rsyncd.pid              # 进程号文件位置
lock file = /var/log/rsyncd.lock            # 进程锁 
address = 192.168.1.101                     # 本机IP
list=false                                  # 是否允许客户端可以查看可用模块列表，默认是true
port 873                                    # 端口
dont compress = *.gz *.tgz *.zip *.rar *.z  # 指定在传输之前不进行压缩处理的文件
auth users = shao                           # 虚拟用户，指定以空格或逗号分隔的用户可以使用哪些模块，用户不需要在本地系统中存在。默认为所有用户无密码访问
secrets file = /etc/rsyncd_users.db         # 指定用户名和密码存放的文件，格式；用户名；密码，密码不超过8位
ignore errors                               # I/O有错误时忽略
read only = no                              #可读可写(yes只读/no可读可写)
fake super = yes                            # 新版本必加

[backup]                                    # 模块名
    path = /rsync_backdir                   # 这个模块中，daemon使用的文件系统或目录，目录的权限要注意和配置文件中的权限一致，否则会遇到读写的问题
    hosts allow = 10.0.0.0/8 192.168.0.0/16 # 哪些IP允许连接该模块,默认是允许所有主机连接


# sogou配置
address = 10.160.62.203
use chroot = yes
numeric ids = no
read only = no
pid file = /var/run/rsyncd.pid
log file = /var/log/rsync.log

[search]
    uid = odin
    gid = odin
    path = /search
    hosts allow = 10.0.0.0/8 192.168.0.0/16
[odin]
    uid = odin
    gid = odin
    path = /
    exclude = *
    include = search/*** 
    hosts allow = 10.0.0.0/8 192.168.0.0/16


# 3.创建共享目录及rsync程序用户
useradd -M -s /sbin/nologin rsync
mkdir /rsync_backdir;chown -R rsync /rsync_backdir


# 4.创建rsync虚拟账户名和密码
echo "shao:abc123" > /etc/rsyncd_users.db
chattr +i /etc/rsyncd_users.db
chmod 600 /etc/rsyncd_users.db # 权限必须600


# 5.加入开机自启
chmod +x /etc/rc.d/rc.loca 
echo "rsync --daemon" >> /etc/rc.local


# 6.启动并查看日志
rsync --daemon
ss -ant | grep 873
tail -100f /var/log/rsyncd.log

3.2 客户端

# 1.检查软件是否安装
rpm -qa rsync
rsync-3.0.6-12.el6.x86_64


# 2.创建密码文件
echo 'abc123' > /etc/rsync.password
chattr +i /etc/rsync.password


# 3.推送/拉取测试
# 将客户端/etc/目录内容推送到服务器端rsync配置目录下
rsync -avz  /etc [email protected]::backup --password-file=/etc/rsync.password
# 将服务端定义目录下的文件同步到客户端/tmp/目录下
rsync -avz  [email protected]::backup /tmp --password-file=/etc/rsync.password

# 如服务端端口非22：在/root/.ssh下创建config文件
# 文件内容：Port 2200
# 权限600：chmod 600 /root/.ssh/config

4. 排除

# 通过命令排除
# 推送客户端/etc/目录下所有文件推送到服务器端rsync配置目录下，不推送/etc/passwd,/etc/shadow
rsync -avz  /etc/  --exclude=passwd --exclude=shadow  [email protected]::backup  --password-file=/etc/rsync.password
# 拉取服务端[backup模块]/test1目录，不拉取/test1/file1,/test1/file2文件
rsync -avz    --exclude=file1 --exclude=file2  [email protected]::backup/test1 /tmp  --password-file=/etc/rsync.password


# 通过列表文件实现排除
# 创建排除文件列表
cat >> exclude.txt  << EOF
file3
file4
fil5
EOF
# 根据文件排除推送文件
rsync -avz --exclude-from=/tmp/exclude.txt /tmp/  [email protected]::backup   --password-file=/etc/rsync.password '''

5. 同步推送

• 当rsync服务器共享目录增加文件，那么客户端指定目录也增加，服务器端共享目录删除文件，那么客户端指定目录也删除文件，始终与服务端保持一致

• rsync推送企业工作场景：

  • 备份
  • 本地有啥，远端就有啥，本地没有的远端有也要删除。服务器端的目录数据可能丢失。

# 客户端操作：保持与服务端目录及文件一致：
rsync -avz --delete [email protected]::backup /rsync_backdir/ --password-file=/etc/rsync.password

6. 同步拉取

• 当Rsync客户端指定目录增加文件，那么服务器端共享目录也增加，客户端指定目录删除文件，那么服务器端共享目录也删除文件

• rsync拉取企业工作场景：

  • 代码发布，下载。
  • 远端有啥，本地（客户端）就有啥，远端没有的本地有也要删除。本地的目录数据可能丢失

# 客户端操作：使服务端保持与客户端目录及文件一致
rsync -avz --delete /rsync_backdir/  [email protected]::backup  --password-file=/etc/rsync.password

7. inotify

# 安装inotify
wget -O /etc/yum.repos.d/epel.repo mirrors.aliyun.com/repo/epel-7.repo
yum -y install inotify-tools
rpm -qa inotify-tools

• inotify-tools包含2个工具：inotifywait和inotifywatch
• • inotifywait：在被监控的文件或目录上等待特定文件系统事件（open，close，delete ...）发生，执行后处于阻塞状态，适合shell脚本中使用。
  • inotifywatch：收集被监视的文件系统使用度统计数据，指文件系统事件发生的次数统计。

7.1 inotifywait命令常用参数详解

• inotifywait参数含义说明

• -r --recursive：递归查询目录

• -q --quiet：打印很少的信息，仅仅打印监控事件的信息

• -m，--monitor：始终保持事件监听状态

• --exclude：排除文件或目录时，不区分大小写

• --timefmt：指定时间输出的格式

• --format：打印使用指定的输出类似格式字符串

• -e，--event：通过此参数可以指定需要监控的事件，如下一个列表所示

• -e,--event的各种事件含义

• access：文件或目录被读取

• modify：文件或目录内容被修改

• attrib：文件或目录属性被改变

• close：文件或目录封闭，无论读/写模式

• open：文件或目录被打开

• moved_to：文件或目录被移动至另外一个目录

• move：文件或目录被移动到另一个目录或从另一个目录移动至当前目录

• create：文件或目录被创建在当前目录

• delete：文件或目录被删除

• umount：文件系统被卸载

7.2 客户端脚本

• inotify实时监控脚本结合rsync实现服务端文件、目录保持与客户端一致

#!/bin/bash
Path=/rsync_backdir/
INOTIFY_CMD="/usr/bin/inotifywait -mrq  --format '%w%f' -e modify,create,attrib,move,delete,close_write $Path"
RSYNC_CMD="/usr/bin/rsync -azHP --delete --password-file=/etc/rsync.password $Path [email protected]::backup"
RSYNC_CMD2="/usr/bin/rsync ./ -azHP --delete --password-file=/etc/rsync.password $Path [email protected]::backup"


$INOTIFY_CMD | while read line
do
  if [ -f $line ] ; then
      $RSYNC_CMD
    else
      cd $Path && $RSYNC_CMD2
  fi
done


# 运行脚本
nohup sh /service/scripts/inotify.sh  > /var/log/rsync-inotify.log 2>&1 &


# 操作文件，跟踪日志
tail -100f /var/log/rsync-inotify.log

7.3 参数调整

• 在/proc/sys/fs/inotify目录下有三个文件，对inotify机制有一定的限制

  • max_user_watches：设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）
  • max_user_instances：设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
  • max_queued_events：设置inotify实例事件（event）队列可容纳的事件数量。

echo "50000000" > /proc/sys/fs/inotify/max_user_watches
echo "326790" > /proc/sys/fs/inotify/max_queued_events
sysctl -p

8. 利用rsync清理大量小文件

# 1.建立一个空的文件夹：
mkdir /tmp/test

# 2.用rsync删除目标目录：
rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/
# 这样要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。


# 选项说明：
--delete-before 在从源目录复制带有相同名称的文件之前，删除目标目录中的文件
--progress      在传输时显示传输过程
--a             归档模式，表示以递归方式传输文件，并保持所有文件属性
--H             保持硬连接的文件
--v             详细输出模式
--stats         给出某些文件的传输状态