首页 > 其他分享 >rsync—远程同步 上行同步 下行同步

rsync—远程同步 上行同步 下行同步

时间:2023-04-05 16:44:32浏览次数:42  
标签:文件 rsync 同步 inotify 备份 var 远程

 

一、rsync

1.1rsync简介

(1)rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用。

(2)在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限。

(3)rsync是 Linux系统下的数据镜像备份工具,使用快速增量备份工具Remote sync可以远程同步,可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,且采用优化的同步算法。

(4)传输前执行压缩,因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制,或者与其他SSH、rsync主机同步。

(5)rsync软件支持跨平台,适用于unix/ linux/windows等多种操作系统平台

(6)rsync是一个快速和非常方便的文件复制工具。它能本地复制,远程复制,或者远程守护进程方式复制,它提供了大量的参数来控制其行为的各个方面,并且允许非常灵活的方式来实现文件的传输复制

(7)以其delta-transfer算法闻名。

(8)rsync监听端口:873

(9)rsync运行模式:C/S

1.2rsync同步方式

完全备份:原有的数据全部传送,把原来的文件和新的文件一起统一传送,全量复制,效率低

差量备份:备份上次完全备份以后有变化的数据(针对的上次的完全备份,备份过程中不清除存档属性)

增量备份:在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比,把不一样的数据通过网络传输增量复制,效率高

2:rsync特性

可以镜像保存整个目录和文件系统

可以很容易做到保持原文件的权限、时间、软硬连接等

无须特殊权限即可安装

快速

第一次同步时rsync会复制全部内容,但在下一次只传输修改过的文件
rsync在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的宽带

安全

可以使用scp、ssh等方式来传输文件
也可通过直接socket连接
支持匿名传输,以方便进行网站镜像

Top

二、rsync同步源

指备份操作的远程服务器,也称为备份源

 

在远程同步任务中,负责发起 rsync 同步操作的客户机称为客户端,而负责**响应来自客户端的 rsync 同步操作的服务器称为备份源**,也称之为同步源

在下行同步(下载)中,同步源负责提供文档的原始位置,发起端应对该位置有读取权限

在上行同步(上传)中,同步源负责提供文档的目标位置,发起端应对该位置具有写入权限

源(服务端)发起的是下行;客户端发起的是上行

也可以用推拉来理解(推:下行;拉:上行)

发起端:负责发起rsync同步操作的客户机叫做发起端,通知服务器我要备份你的数据

备份源:负责响应来自客户机rsync同步操作的服务器叫做备份源,需要备份的服务器

服务端:运行rsync服务,一般来说需要备份的服务器

客户端:存放备份数据

推:一台主机负责把数据传输给其他主机,服务器开销很大,比较适合后端服务器少的情况

拉:所有主机定时去找一台拉数据,可能会导致数据的缓慢

推:目的主机配置为rsync服务器,源主机周期性的使用rsync命令把要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)

拉:源主机配置rsync服务器,目的主机周期性使用rsync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)

Top

 三、rsync下行同步配置

1、配置rsync源服务器

(1)关闭防火墙和安全功能

1 2 systemctl stop firewalld.service setenforce 0

 

(2)安装rsync软件包

1 2 rpm -q rsync           #一般系统已默认安装rsync yum -y install rsync   #使用yum安装

 

(3)建立/etc/rsyncd.conf配置文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 vim /etc/rsyncd.conf            #添加以下配置   uid = nobody                    gid = nobody                    use chroot = yes                #禁锢在源目录                                                address = 192.168.142.3         #监听地址 port 873                        #监听端口 tcp/udp 873,可通过 cat /etc/services | grep rsync 查看                                           log file = /var/log/rsyncd.log  #日志文件位置                  pid file = /var/run/rsyncd.pid  #存放进程ID的文件位置                  hosts allow = 192.168.142.0/24  #允许访问的客户机地址 [wwwroot]                                                               path = /var/www/html            #源目录的实际路径                               comment = Document Root of www.test.com read only = yes                 #是否为只读                                     dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z    #同步时不再压缩的文件类型      auth users = backuper           #授权账户,多个账号以空格分隔                                 secrets file = /etc/rsyncd_users.db #存放账户信息的数据文件   #如采用匿名的方式,只要将其中的 “auth users” 和 “secrets file”配置项去掉即可     

 

(4)为备份账户创建数据文件

1 2 3 vim /etc/rsyncd_users.db backuper:123456     #无需建立同名系统用户 chmod 600 /etc/rsyncd_users.db

 

 

 

(5)保证所有用户对源目录/var/www/html都有读的权限

1 2 3 mkdir -p /var/www/html chmod +r /var/www/html/ ls -ld /var/www/html/

 

(6)启动rsync服务程序

1 2 rsync --daemon   #启动rsync服务,以独立监听服务的方式(守护进程)运行 netstat -natp | grep rsync

 

(7)关闭rsync服务

1 2 kill $(cat /var/run/rsyncd.pid) rm -rf /var/run/rsyncd.pid

 

 (8)创建文件用于测试

1 2 cd /var/www/html echo "aaaaa" >> 1.txt

 

2、发起端配置  

基本格式:rsync [选项]  原始位置  目标位置 

(1)常用选项

常用选项说明
-r 递归模式,包含目录及子目录中的所有文件
-l 对于符号链接文件仍然复制为符号链接文件
-v 显示同步过程的详细信息
-z 在传输文件时进行压缩
-a 归档模式,保留文件的权限、属性等信息,等同于“-rlptgoD”
-p 保留文件的权限标记
-t 保留文件的时间标记
-g 保留文件的属组标记(仅超级用户使用)
-o 保留文件的属主标记(仅超级用户使用)
-H 保留硬链接文件
-A 保留ACL属性信息
-D 保留设备文件及其他特殊文件
--delete 删除目标位置有而原始位置没有的文件
--checksum 根据校验和(而不是文件的大小、修改时间)来决定是否跳过文件

(2)将指定的资源下载到本地/opt目录下进行备份

1 2 3 4 5 格式一: rsync -avz [email protected]::wwwroot /opt/ #密码264196    格式二: rsync -avz rsync://[email protected]/wwwroot /opt/

 

(3)免交互格式配置

1 2 3 4 5 6 7 cd /opt rm -rf 1.txt   echo '123456' > /etc/test.pass  #编写一个密码文件 chmod 600 /etc/test.pass        #给上读写权限   rsync -avz --delete --password-file=/etc/1.pass [email protected]::wwwroot /opt

 

(4)加入到计划性任务

1 2 3 4 5 6 crontab -e 30 23 * * * /usr/bin/rsync -avz --delete --password-file=/etc/test.pass [email protected]::wwwroot /opt/ #为了在同步过程中不用输入密码,需要创建一个密码文件,保存backuper用户的密码,如 /etc/test.pass。再执行rsync 同步时使用选项“--password-file=/etc/test.pass ”指定即可   systemctl restart crond systemctl enable crond

 

 

Top

 

Top

四、rsync+inotify实时同步(上行同步)

1、rsync实时同步

(1)定期同步的不足

执行备份的时间固定,延迟明显,实时性差

当同步源长期不变时,密集的定期任务是不必要的

(2)实时同步的优点

一旦同步源出现变化,立即启动备份

只要同步源无变化,则不执行备份

2、Linux内核的inotify机制

从版本2.6.13开始提供

可以监控文件系统的变动情况,并做出通知响应

辅助软件:inotify-tools

使用 inotify 通知接口,可以用来监控文件系统的各种变化情况,如文件存取、删除、移动、修改等。利用这一机制,可以非常方便地实现文件异动告警、增量备份,并针对目录或文件的变化及时作出响应。

将inotify机制与 rsync 工具相结合,可以实现触发式备份(实时同步),即只要原始位置的文档发生变化,则立即启动增量备份操作,否则处于静默等待状态。这样,就避免了按固定周期备份时存在的延迟性、周期过密等问题。

因为 inotify 通知机制由 Linux 内核提供,因此主要做本机监控,在触发式备份中应用时更适合上行同步。

Top

五、rsync+inotify实时同步(上行同步)配置

1、修改rsync源服务器配置文件

1 2 3 4 5 6 7 8 9 10 11 12 vim /etc/rsyncd.conf ... read only = no       #关闭只读,上行同步需要可写权限 ...   kill $(cat /var/run/rsyncd.pid) netstat -natp | grep rsync rsync --daemon netstat -natp | grep rsync   chmod 777 /var/www/html/ ls -ld /var/www/html/

 

 

 

2、调整inotify内核参数

在Linux内核中,默认的inotify机制提供了三个调控参数∶max_queue_events(监控事件队列,默认值为16384)、max_user_instances(最多监控实例数,默认值为128)、max_user_watches(每个实例最多监控文件数,默认值为8192)。当要监控的目录、文件数量较多或者变化较频繁时,建议加大这三个参数的值  

1 2 3 4 5 6 7 8 9 10 11 cat /proc/sys/fs/inotify/max_queued_events cat /proc/sys/fs/inotify/max_user_instances cat /proc/sys/fs/inotify/max_user_watches   vim /etc/sysctl.conf fs.inotify.max_queued_events = 32768      #监控时间队列,默认为16384 fs.inotify.max_user_instances = 1024      #最多监控实例数,默认为128 fs.inotify.max_user_watches = 1048576     #每个实例最多监控文件数,默认为8192 #当要监控的目录、文件数据量较多或者变化频繁时,建议加大参数值   sysctl -p

 

 

 

 

 

3、安装inotify-tools

1 2 3 4 5 6 7 8 9 10 用inotify机制还需要安装 inotify-tools,以便提供 inotifywait、inotifywatch 辅助工具程序。 notifywait:可监控modify(修改)、create(创建)、move(移动)、delete(删除)、attrib(属性更改)等各种事件,一有变动立即输出结果。 inotifywatch:可用来收集文件系统变动情况,并在运行结束后输出汇总的变化情况   yum -y install gcc gcc-c++ tar zxvf inotify-tools-3.14.tar.gz -C /opt   cd /opt/inotify-tools-3.14/ ./configure make && make install

 

 

 

4、执行inotifywait命令进行监控

1 2 3 4 1.cd /opt echo 'aaa' >>1.txt   #向目录下添加文件、移动文件 2.另开一个终端(还是发起端)执行inotifywait命令进行监控,跟踪屏幕输出结果 inotifywait -mrq -e modify,create,move,delete /opt

 

 

 

 

 

 

 

选项说明
-e 用来指定要监控的事件
-m 表示持续监控
-r 表示递归整个目录
-q 简化输出信息

5、编写触发式脚本(客户端)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 vim jiankong.sh   #!/bin/bash INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /var/www/html/" RSYNC_CMD="rsync -apzH --delete --password-file=/etc/1.pass /var/www/html/   [email protected]::wwwroot/" $INOTIFY_CMD | while read DIRECTORY EVENT FILE do     if [ $(pgrep rsync | wc -l) -le 0 ] ; then         $RSYNC_CMD     fi done   chmod +x jiankong.sh mkdir -p /var/www/html/ chmod 777 /var/www/html/     ls -ld /var/www/html/  chmod +x /etc/rc.d/rc.local echo "/root/jiankong.sh" >> /etc/rc.d/rc.local

 

 

 

6、查看上行结果

1 2 3 4 5 6 7 客户端 cd /var/www/html echo bbb >> 2.txt   服务端 cd /var/www/html ls      #比之前过一个2.txt

 

 

上述脚本用来检测本机/var/www/html目录的变动情况,一旦有更新触发rsync 同步操作,上传备份至服务器20.0.0.5 的 wwwroot 共享目录下。

触发式上行同步的验证过程如下∶

(1)在本机运行/opt/aaa.sh脚本程序

(2)切换到本机的 /var/www/html目录,执行增加、删除、修改文件等操作

(3)查看远端服务器中的 wwwroot目录下的变化情况

Top

六、使用rsync来实现快速删除大量文件

假如要在Linux下删除大量文件,比如100万、1000万,像/usr/local/nginx/proxy_ temp的nginx缓存等,那么rm -rf *可能就不好使了,因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理  

1、建立一个空的文件夹

1 2 3 4 mkdir /opt/kong   #空文件夹 mkdir /opt/abc cd /opt/abc touch {1..1000}.txt  #模拟大缓存文件

 

2、用rsync删除目标目录

1 2 3 rsync --delete-before -a -H -v --progress --stats /opt/kong/ /opt/abc  #这样目标目录很快就被清空了   ls /opt/abc

 

选项 说明
--delete-before 接收者在传输之前进行删除操作
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
--progress 在传输时显示传输过程
--stats 给出某些文件的传输状态

标签:文件,rsync,同步,inotify,备份,var,远程
From: https://www.cnblogs.com/esec/p/17289706.html

相关文章

  • Java并发和多线程4:使用通用同步工具CountDownLatch实现线程等待
    CountDownLatch,一个同步辅助类,在完成一组正在其他线程中执行的操作之前,它允许一个或多个线程一直等待。 用给定的计数初始化CountDownLatch。由于调用了countDown()方法,所以在当前计数到达零之前,await方法会一直受阻塞。之后,会释放所有等待的线程,awai......
  • win10同步当前项目git的更新记录到另一个项目
    1.备份某个时间之后的更新文件列表到文件中gitlog--after="2023-4-318:27:44"--name-only--pretty=format:"">commit_files.txt2.根据文件中的记录复制文件到新的文件夹@echooffsetlocalenabledelayedexpansionsetinput_file=commit_files.txtsetoutput_fold......
  • Microsoft Remote Desktop(微软远程连接软件)v10.8.1中文正式版
    MicrosoftRemoteDesktopmac版是Macos上一款微软远程连接软件,RemoteDesktop下载可以通过Mac电脑进行远程管理Windows平台的程序访问与文件管理等操作,十分好用。在MicrosoftRemoteDesktop客户端中使用RemoteFX体验Windows的强大功能,旨在帮助您在任何地方完成工作。Macw提供mic......
  • WT6020同步降压24V降5V6A
        WT6020是高效率的,利用抖动频率,平均电流模式架构的单片同步降压DC/DC转换器。具有出色的线路和负载调节能力,能够提供高达10A的连续负载。该器件在7V至30V的输入电压范围内工作,并提供1V至25V的可调输出电压。   WT6020具有短路和热保护电路,以提高系统可靠性。内部......
  • 老代码考古,seajs为什么能够和CMD一样同步模式的方式使用require()方法
    我们知道在服务端的node可以同步block的方式加载别的js库文件,在服务端使用会block的require()函数来加载,就是所谓的CMD、CommonJS规范。而在浏览器端里的js则因为网络延迟等各种因素,不能使用同步block方式加载js库,而是异步回调callback加载的方式,也就是所谓的AMD模块规范。那么......
  • WT3209锂电同步升12V1A
       WT3209是一款高功率密度的全集成BOOST升压转换器,内部集成的功率MOSFET管导通电阻为上管13mΩ和下管11mΩ。可为便携式系统提供空间小尺寸解决方案。WT3209具有2.7V至12V的宽输入电压范围,应用在单节或两节锂电池的便携电子产品中。该转器件具备10A开关电流能力,并且能......
  • WT6018同步降压36V降3.3V1A
        WT6018是一款DC-DC同步降压转换器芯片。输入电压范围4.5V-40V,WT6018可提供1A的电流连续输出电流有两个集成N沟道MOSFET。内部同步电源开关无需提供外部肖特基二极管。在灯光下负载,调节器连续运行导通模式可保持低输出纹波。电流模式控制提供紧密的负载瞬态响应和逐......
  • rsync远程同步:下行同步、上行同步+inotify实时同步
    一、rsync远程同步1.什么是rsync远程同步rsync是CS架构的数据镜像备份工具,可以实现全量备份和快速增量备份支持本地复制或ssh、rsync主机同步。rsync默认端口为873rsync特性:可以在不通主机之间镜像同步整个目录树,支持增量备份、保持链接和权限、时间、属性且传输前自动执行压......
  • 关系数据库同步框架 Dotmim.Sync
    推荐一款在线+离线数据同步框架Dotmim.Sync 移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库(如SQLServer、Oracle、MySQL等),移动应用依赖于稳定可靠的网络连接;纯离线模式下系统数据一般存储在移......
  • 多线程同步与安全
    三大不安全线程//模拟不安全的买票publicclassTestBuyTicket{  publicstaticvoidmain(String[]args){    maiPiaomaiPiao=newmaiPiao();​    newThread(maiPiao,"小明").start();    newThread(maiPiao,"小红").start();    ne......