首页 > 其他分享 >rsync远程同步实验

rsync远程同步实验

时间:2023-04-03 16:45:08浏览次数:33  
标签:opt rsync 同步 inotify etc file 远程

 配置源服务器

   
 systemctl stop firewalld
 setenforce 0

rpm -q rsync                                #一般系统已默认安装rsync

#建立/etc/rsyncd.conf 配置文件

vim /etc/rsyncd.conf                           #添加以下配置项
uid = root                                  #也可以为root(我用的是root)
gid = root                                  #也可以为root
use chroot = yes                            #禁锢在源目录
address = 192.168.68.111                        #监听地址,监听本机地址
port 873                                       #监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log                #日志文件位置
pid file = /var/run/rsyncd.pid                #存放进程 ID 的文件位置
hosts allow = 192.168.68.0/24                #允许同步的客户机网段
[wwwroot]                                    #共享模块名称
path = /var/www/html                        #源目录的实际路径(同步的目录)
comment = Document Root of www.clj.com
read only = yes                                #是否为只读
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z        #同步时不再压缩的文件类型
auth users = backuper                        #授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db            #存放账户信息的数据文件
-------------------------------------------------------------------------------
uid = nobody
gid = nobody                                    
use chroot = yes                                        
address = 192.168.68.111
port 873                                                
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid                          
hosts allow = 192.168.68.0/24
[wwwroot]                                       
path = /var/www/html                            
comment = Document Root of www.clj.com
read only = yes                                 
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z                
auth users = backuper                           
secrets file = /etc/rsyncd_users.db 
----------------------------------------------------------------------------------
#如采用匿名的方式,只要将其中的“auth users”和“secrets file”配置项去掉即可。
 

 

 

 

 

 

 

 

 

 

 

创建文件用于测试

1 2 3 cd /var/www/html echo "this is test" >> 1.txt cat 1.txt

  

 

 

 ​
 #免交互格式配置:
 echo "abc123" > /etc/server.pass
 ​
 chmod 600 /etc/server.pass    #密码文件权限必须为600,即除了属主,其他人都没有查看权限。
 ​
 rsync -avz --password-file=/etc/server.pass [email protected]::wwwroot /opt/     #免密同步
 #定时同步
 crontab -e
 30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass [email protected]::wwwroot /opt/
 #为了在同步过程中不用输入密码,需要创建一个密码文件,保存backuper用户的密码,如/etc/server.pass。 在执行rsync 同步时使用选项"--password-file=/etc/server.pass"指定即可。
 ​
 systemctl restart crond
 systemctl enable crond
 

 

 

 

 

 

 

验证:(去源服务器编辑一个1.HTML)

 

 

 

 

 

配置rsync实时同步(上行同步)

发起端需要配置 rsync+Inotify

修改rsync源服务器配置文件

   
 vim /etc/rsyncd.conf
 read only = no   #关闭只读,上行同步需要可以写
 ​
 #之后重启
 kill $(cat /var/run/rsyncd.pid)
 rm -rf /var/run/rsyncd.pid
 rsync --daemon  
 netstat -anpt | grep rsync
 ​
chmod 777 /var/www/html
 

 

发起端,调整 inotify 内核参数(客户机)

在Linux内核中,默认的inotify机制提供了三个调控参数:

  • max_queue_events ( 监控事件队列,默认值为16384)、
  • max_user_instances (最多监控实例数,默认值为128)、
  • max_user_watches (每个实例最多监控文件数,默认值为8192)。

当要监控的目录、文件数量较多或者变化较频繁时,建议加大这三个参数的值。

   
 cat /proc/sys/fs/inotify/max_queued_events
 cat /proc/sys/fs/inotify/max_user_instances
 cat /proc/sys/fs/inotify/max_user_watches
 ​
 vim /etc/sysctl.conf    #内核参数都在该文件中修改
 fs.inotify.max_queued_events = 16384
 fs.inotify.max_user_instances = 1024
 fs.inotify.max_user_watches = 1048576
 ​
 sysctl -p
 

 

发起端,安装 inotify-tools

用inotify 机制还需要安装inotify-tools, 以便提供inotifywait、 inotifywatch 辅助工具程序,用来监控、汇总改动情况。

  • inotifywait:可监控modify (修改)、create (创建)、move (移动)、delete (删除)、attrib ( 属性更改)等各种事件,一有变动立即输出结果。

  • inotifywatch:可用来收集文件系统变动情况,并在运行结束后输出汇总的变化情况。

    yum -y install gcc gcc-c++ make tar zxvf inotify-tools-3.14.tar.gz -C /opt/ ​ cd /opt/inotify-tools-3.14 ./configure make && make install ​ #可以先执行“inotifywait”命令,然后另外再开启一个新终端向 /data 目录下添加文件、移动文件,在原来的终端中跟踪屏幕输出结果。 inotifywait -mrq -e modify,create,move,delete /data ​ #选项“-e”:用来指定要监控哪些事件 #选项“-m”:表示持续监控 #选项“-r”:表示递归整个目录 #选项“-q”:简化输出信息

发起端,编写触发式同步脚本

在另外一个终端编写触发式同步脚本(注意,脚本名不可包含 rsync 字符串,否则脚本可能不生效)。

   
 vim /opt/inotify.sh 
 #!/bin/bash
 ​
 #定义inotifywait监控/opt/abc目录中文件事件的变量。attrib表示属性变化。
 INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/abc"
 ​
 #定义执行 rysnc 上行同步的变量。--delete保证两边目录内容一致,可以不加。
 RSYNC_CMD="rsynC -azH --delete --password-file=/etc/server.pass /opt/abc [email protected]::wwwroot"
 
 ​
 #使用while、read持续获取监控结果,根据结果可以作进一步判断是否读取到输出的监控记录
 $INOTIFY_CMD | while read DIRECTORY EVENT FILE 
 do
    #如果rsync未在执行,则立即启动
    if [ $(pgrep rsync | wc -l) -le 0 ];then
         $RSYNC_CMD
    fi
 done
 ​
 chmod +x /opt/inotify.sh
 ​
 chmod +x /etc/rc.d/rc.local     #开机自启脚本文件
 echo '/opt/inotify.sh' >> /etc/rc.d/rc.local  #加入开机自动执行
 ​
 #之后运行脚本(后台运行)
 cd /opt/
 ./inotify.sh &
 #之后在发起端创建文件,查看源服务器中是否新增了
 

 

 

 

 如果同步的文件比较大,同步时比较慢导致后面文件没来的及同步,则需要在脚本内添加消息队列或缓冲:

   
 #!/bin/bash
 #定义inotifywait监控目录中文件事件的变量
 INOTIEY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/abc"
 #定义执行rsync上行同步的变量
 RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/abc [email protected]::wwwroot"
 #使用while、read持续获取监控结果,根据结果可以进一步判断是否读取到输出的监控记录
 $INOTIEY_CMD | while read DIRECTORY EVENT FILE
 do    
       #小于等于0,则等待它执行完再去同步其他文件
       until [ $(pgrep rsync | wc -l) -le 0 ] 
      
       do
          sleep 1
       done
       $RSYNC_CMD
 done
 

验证同步效果

上述脚本用来检测本机/opt/abc目录的变动情况,一旦有更新触发rsync 同步操作,上传备份至服务器192.168.136.10 的wwwroot共享目录下。

触发式上行同步的验证过程如下:

(1)在本机运行/opt/inotify.sh 脚本程序.

(2)切换到本机的 /opt/abc 目录,执行增加、删除、修改文件等操作。

(3)查看远端服务器中的wwwroot目录下的变化情况。

 

标签:opt,rsync,同步,inotify,etc,file,远程
From: https://www.cnblogs.com/sj5426/p/17283499.html

相关文章

  • 编程里同步和异步的选择
    同步是指方法调用后必须等到返回才会执行后续代码异步是方法调用没等到返回也可以继续执行后续代码在java中如果是多线程,而各线程间会公用一个变量时,需要使用同步来保证线程安全,否则异步就是最好的在前端js中,一般http请求都是默认异步的,允许在发送http请求时执行其他函数,这样......
  • C# 后台服务监控SQL Server数据库表改动并同步到MySQL数据库表
    需求将A服务器的sqlserver数据库item_mst表的数据同步到MySQL数据库Part表监控Item_mst表中item,description,overview的更改并同步到MySQL数据库 针对需求一,基本就是执行一次,单独写了个winform用来做这事针对需求二,写了个Windowsserviceapp Nuget安装 Dapper就是个ormSeril......
  • git新增本地分支以及提交本地分支到远程;git删除本地分支以及远程分支;
    新增本地分支gitcheckout-b本地分支名称提交本地分支到远程gitpush-uorigin本地分支名称删除本地分支gitbranch-D本地分支名称删除远程分支gitpushorigin--delete远程分支名称......
  • 状态同步、帧同步的实践入门
    写在前面在接触网络同步设计时,必然会看到“状态同步”、“帧同步”这俩概念,虽然有百科解释、书、诸多博客、手头工作项目可以参考,但真正走到“开始理解”这一步前,我脑子里常冒出一些问号“看了好几回百科好像和没看一样”,“博客的资料就一定是准确的吗”,“工作项目用的必然经过......
  • 16 同步与互斥(二) 内联汇编
    汇编参考GCC工具链使用1引入内联汇编即在C函数中使用汇编去实现某些功能。为什么需要在C代码中引入汇编?C语言在大多数的时候效率都很高,但在某些情况下直接使用汇编效率会更加高效部分功能通过C语言很难实现,这部分代码就需要使用汇编去实现(实现某些功能)在C文件中使用汇编......
  • MySQL多源同步
    1、简介MySQL5.7的发布,在复制方面有了很大的改进,比如开始支持多源复制(multi-source)了。以及真正的支持多线程复制了。需要说明一点的是,多源复制可以使用基于二进制日志的复制或者基于事务的复制。下面开始配置基于二进制日志的多源复制。2、复制模式一主一从一主多从级联复制Mu......
  • 远程服务器(腾讯云轻量服务器)上安装SQL Server以及SQL Server Management Studio,以及EF
    SQLServer的安装下载地址:https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads安装教程参考:https://blog.csdn.net/qq_51929833/article/details/122625809其中,这一步非常关键,因为在后续SSMS中,选用"SQLServer身份验证"时候的密码,默认用户名都是"sa"SQLServe......
  • 第2章 线程同步精要
    第2章线程同步精要线程同步的四项原则,按重要性排列:1.首要原则是尽量最低限度地共享对象,减少需要同步的场合。一个对象能不暴露给别的线程就不要暴露;如果要暴露,优先设置对象不可更改;实在不行才暴露可修改的对象,并用同步措施来充分保护它。2.其次是使用高级的并发编程构件,如TaskQ......
  • 清华AOSP镜像下载 同步遇到的问题
    https://mirrors.tuna.tsinghua.edu.cn/help/AOSP/清华AOSP镜像地址如图  下载tar后解压执行reposync报错Traceback(mostrecentcalllast):File"/home/wanglongjiang/aosp/.repo/repo/main.py",line38,in<module>fromcolorimportSetDefaultColori......
  • 备份 Linux 系统神器:rsync
    导读探索rsync在备份方案中的作用。在系统管理员的工作中备份无疑是一个重要的部分。当没有完整备份或者良好规划的备份和实施时,就可能或早或晚不可挽回地丢失重要的数据。所有公司,无论大小,都运营在数据之上。考虑到丢失业务数据造成的经济和业务损失,从最小的个人公司到......