rsync
作用:
实现文件的备份
备份位置可以是当前主机,也可以是远程主机
备份过程可以是完全备份,也可以是增量备份
功能:
1)类似于cp的复制功能
将本地主机的一个文件复制到另一个位置下
2)将本地主机的文件推送到远程主机: 也可以是从远程主机拉取文件到本地
使用模式:
shell模式:
就是本地复制
远程shell模式:
可以利用ssh来实现数据的加密传输到远程主机
服务器模式:
rsync工作在守护进程模式下
列表模式:
类似ls
确保各主机时间一致
ntp
补充:
实现文件实时同步
rsync+inotify
rsync+ sersync
rsync: 只负责传递文件到远程主机
inotify/sersync: 将发生了改变的文件找出来
rsync:
模式1:local(本地模式)
格式:rsync [选项] 源位置... [目的位置]
选项:
-p: 复制文件过程中,保持文件属性不变
-v: 显示复制过程信息
-a:使用归档模式 (如果复制目录必须使用此选项)
-z:在传输过程中,以压缩方式进行传输
模式2: 远程shell模式
格式:
Pull: rsync [选项...] [USER@]HOST:源地址... [目的地址]
Push: rsync [选项...] 源地址... [USER@]HOST:目的地址
push:
# rsync -avz -e "ssh" 1.txt [email protected]:/var/robot/video
sending incremental file list
1.txt
sent 91 bytes received 34 bytes 14.71 bytes/sec
total size is 20 speedup is 0.16
pull
# rsync -avz -e "ssh" [email protected]:/var/robot/video/1.txt /var/robot
receiving incremental file list
1.txt
sent 30 bytes received 84 bytes 32.57 bytes/sec
total size is 20 speedup is 0.18
补充:
说明:rsync: 在传递文件的时候,会首先对比源和目的下的文件的特征码,只有在特征码不同的时候,才会进行传递。
重点说明:
工作中通常都是用rsync+ssh密钥认证方式,目的是为了用免密登录。
# rsync -avz -e ssh [email protected]:/var/robot/video/ /var/robot/
receiving incremental file list
./
2.txt
sent 33 bytes received 102 bytes 90.00 bytes/sec
total size is 20 speedup is 0.15
# echo "123123" >> 1.txt
# rsync -avz -e ssh [email protected]:/var/robot/video/ /var/robot/
receiving incremental file list
1.txt
sent 36 bytes received 112 bytes 98.67 bytes/sec
total size is 20 speedup is 0.14
模式3:守护进程模式 daemon
案例:将web1,web2上的数据备份到backup上
准备:
关闭:
selinux
关闭防火墙
配置时间同步
关闭:selinux
#临时关闭
setenforce 0
#永久关闭
sudo sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux
#关闭防火墙
systemctl disable --now firewalld.service
#配置时间同步
ntpdate ntp1.aliyun.com
//也可以修改配置文件
vim /etc/ntp.conf
第一步:配置backup上的rsync,让其工作在守护进程模式(配置服务器端)
1)修改配置文件 (若不存在创建)
#touch /etc/rsyncd.conf
内容如下:
uid = rsync
gid = rsync
use chroot = yes
max connections = 4
timeout = 100
pid file = /var/lock/rsync.pid
lock file = /var/lock/rsync.lock
log file = /var/log/rsync.log
[mod]
path = /var/robot/video
read only = false
hosts allow = 192.168.1.0/24
auth users = vuser
secrets file = /var/robot/video/rsync.passwd
list = false
2)创建相关目录
mkdir -p /var/robot/video
3)创建运行rsync的系统用户
groupadd -r rsync
useradd -r -s /sbin/nologin -g rsync rsync
4)启动rsync
~# rsync --daemon
补充:
rsync默认配置文件/etc/rsyncd.conf
如果想使用其他位置配置文件,可以--config=/path/to/confiFile
rsync --daemon --config=/home/agc.conf
5)检查rsync的端口 (默认873)
~# lsof -i :873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 26152 root 5u IPv4 110834 0t0 TCP *:rsync (LISTEN)
rsync 26152 root 6u IPv6 110835 0t0 TCP *:rsync (LISTEN)
6)创建虚拟用户文件,以及相关的虚拟用户
~# mkdir -p /var/robot/video
~# touch rsync.passwd
~# chmod 600 rsync.passwd (该文件的权限必须是600)
~# chown rsync.rsync rsync.passwd
~#chown -R rsync:rsync /var/robot/video
~#chmod 750 /var/robot/video
~# vim rsync.passwd
vuser:123123
补充:
虚拟用户就是这个我文件中的记录
一个用户占一行,冒号前是用户名,冒号后是用户密码
第二部:配置客户端
1) 创建密码文件(权限要求为600)
echo "123123" > /etc/rsync.password
chmod 600 /etc/rsync.password
2)用rsync来传递数据到服务器的端模块mod中
使用格式:
rsync [options] [user@]host::modulename /path
rsync [options] /path/ [user@]host::modulename
rsync -avz /var/robot/video vuser@host::mod --password-file=/etc/rsync.password
说明:
--password-file= 系统可以自动从该位置下指定的文件中读取密码
总结:
服务器端的配置
1,创建配置文件
2,创建密码文件,修改权限为600
3,创建系统用户
4,创建模块对应的目录,修改目录的属主,属组为系统用户
5,启动damon模式
客户端的配置
1,创建虚拟用户的密码文件,权限为600
2,向模块传递文件或者从目录拉取文件
如果出现错误
第一步; 检查日志
第二部: 检查selinux,iptables是否启动
第三步:检查虚拟用户的文件名称是否正确,权限是否正确
补充:
--delete:让客户端和服务器端的文件完全一致
--exclude:在进行文件传送的时候,排除指定的文件
排除实现方式(客户端)
方式一:排除一个文件
--exclude=file
方式二:排除多个文件
--exclude={file1,file2}
方式3:通配符的方式
排除实现方式(服务端)
在配置文件中添加一个关键字 exclude:这里指定要排除的文件列表,列表中的内容以空格为分隔符
例子:
exclude = a.txt b.txt c.txt
完全同步原理
在文件的传输过程中
发送方有的,会直接传输到接收方
发送方没有的,但是接收方有的文件,则会删除
rsyncd.conf的基本构成
全局参数
......
[模块1]
模块参数
. . . . . .
[模块2]
模块参数
. . . . . .
全局参数
pid file: 指定rsync进程的pid文件的路径和名称
lock file: 指定rsync进程的所文件的路径和名称
log file: rsync的日志文件路径和名称
uid:指定rsync进程以什么身份在后台运行,(必须是系统用户)
gid:指定用户组
模块参数 (可以写在全局部分,如果写在全局部分,则对所有的模块都生效)
path:指定备份目录的路径
use chroot: 是否将用户锁定在家目录中
max connections:指定可以进行同时连接的用户的最大数量
read only:true|false
write only:true|false
list=true|false:设置是否可以显示全部的模块列表
auth users:指定访问模块需要使用的用户名,这里的是虚拟用户(不是存在/etc/password)
secrets file: 指定保存虚拟用户名和密码的数据库文件
hosts allow:指定可以访问模块或者rsync服务器端的ip地址
hosts deny:黑名单
timeout:指定空闲超时时间
补充:
两个参数都没有的时候,那么所有用户都可以任意访问
只有allow,那么仅仅允许白名单的用户可以访问模块
只有deny,那么仅仅是黑名单的用户禁止访问模块
两个参数都存在,优先检查白名单
如果匹配成功,则允许访问
如果匹配失败,就去检查黑名单,如果匹配成功则禁止访问
如果都没匹配成功,则允许访问呢
文件实时同步
rsync+inotify
rsync+sersync
inotify
软件
功能:
可以监控指定目录下的文件
当文件发生了改变,则会触发事件,这样就可以输出触发事件的文件的信息
监控事件
创建
删除
修改
移动
epel
安装位置
客户端
应用程序:
/usr/bin/inotifywait: 真真实现我呢见监控程序
/usr/bin/inotifywatch: 数据统计
inotify+rsync
inotifywait
选项
-r: 递归,对目录中的子目录中的文件做监控
-q: 仅仅打印少量信息(仅仅打印监控的事件)
-m:一直处于监控状态(默认是在前台进行监控)
-d:守护进程的方式来运行(运行在后台)
-o file:将监控到的时间输出到文件中(默认是输出到标准输出)
-s:将错误信息输出到系统日志(默认是将错误·信息输出到标准输出)
--excludei:忽略文件的大小写
-e <event>: 指定要监控的事件
access: 访问事件
modify:编辑事件
attrib:修改文件属性事件(修改文件的源数据)
close_write: 当前文件从写模式关闭的时候,会触发该事件
close_nowrote: 当文件从只读模式下关闭的时候,会触发该事件
close:无论以什么方式打开文件,再关闭文件的时候,都会触发该事件
open:当文件被打开的时候,会触发该事件
moved——to:当一个文件被移动到该目录,就会触发该事件
moved_from:当一个文件,从监控目录下移走的时候,触发该事件
moved_self: 在监控目录下执行移动操作,就会触发该事件
move:只要发生了文件的移动,就会触发该事件
create:创建文件的事件
delete:删除文件的事件
-- timefmt <fmt>: 指定输出发生这个事件的时间点的显示格式
--format <ftm>: 指定的当发生事件以后所输出的信息,以及输出的个数
%f:记录发生事件的文件名
%w:记录发生事件的文件所在的目录的绝对路径
%e:记录发生事件的名称(如果有多个事件多个事件用空格分隔)
%xe:记录发生事件的名称(如果有多个事件,多个事件用X分隔)
%T:输出发生事件的时间(时间的格式由 --timefmt <fmt>)
实例:
@web1 ~]#inotifywait -mrq --timefmt "%F%T" --format "%T %w%f %e" -e create,delete,modify /var/robot/video/
@web1 video]# touch 1.txt
web1 ~]# inotifywait -mrq --timefmt "%F%T" --format "%T %w%f %e" -e create,delete,modify /var/robot/video/
2024-07-1915:11:58 /var/robot/video/1.txt CREATE
实时监控脚本如下:
#!/bin/bash
prog="inotifywait"
events="create,delete,modify,attrib"
iopt="-mrq"
lpath="/var/robot/video"
rhost="192.168.1.10"
user="vuser"
secfile="/etc/rsync.passwd"
ropt="-az"
modName="mod"
$prog $iopt --format "%w%f" -e $events $lpath | while read line
do
rsync $ropt $line $user@$rhost::$modName --password-file=$secfile
done
主要:
在实际使用的时候,需要首先进行一次完全备份(rsync)
然后在执行脚本进行实时监控
标签:文件,rsync,inotify,--,robot,file,var,入门 From: https://www.cnblogs.com/sl08/p/18316113