首页 > 其他分享 >rsync实时同步

rsync实时同步

时间:2022-09-22 19:12:20浏览次数:52  
标签:rsync 同步 inotify -- 实时 etc root localhost

rsync实时同步

环境说明

服务器类型 IP地址 应用 操作系统
源服务器 192.168.169.139 rsync
inotify-tools
脚本
centos8
目标服务器 192.168.169.142 rsync centos8
rsync常用选项:
    -a, --archive       //归档
    -v, --verbose       //啰嗦模式
    -q, --quiet         //静默模式
    -r, --recursive     //递归
    -p, --perms         //保持原有的权限属性
    -z, --compress      //在传输时压缩,节省带宽,加快传输速度
    --delete            //在源服务器上做的删除操作也会在目标服务器上同步

需求:把源服务器上/etc目录实时同步到目标服务器的/tmp/下

在目标服务器上做以下操作

//关闭防火墙与selinux
[root@master ~]# systemctl disable --now firewalld.service 
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@master ~]# setenforce 0

//安装rsync
[root@master ~]# dnf -y install rsync rsync-daemon

//配置rsyncd.conf配置文件

[root@master ~]# vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log    # 日志文件位置,启动rsync后自动产生这个文件,无需提前创建
pidfile = /var/run/rsyncd.pid     # pid文件的存放位置
lock file = /var/run/rsync.lock   # 支持max connections参数的锁文件
secrets file = /etc/rsync.pass    # 用户认证配置文件,里面保存用户名称和密码,必须手动创建这个文件

[etc_from_client]     # 自定义同步名称
path = /tmp/          # rsync服务端数据存放路径,客户端的数据将同步至此目录
comment = sync etc from client
uid = root        # 设置rsync运行权限为root
gid = root        # 设置rsync运行权限为root
port = 873        # 默认端口
ignore errors     # 表示出现错误忽略错误,这个很重要
use chroot = no       # 默认为true,修改为no,增加对目录文件软连接的备份
read only = no    # 设置rsync服务端为读写权限
list = no     # 不显示rsync服务端资源列表
max connections = 200     # 最大连接数
timeout = 600     # 设置超时时间  
auth users = admin        # 执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开
#hosts allow = 172.16.12.128   # 允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
#hosts deny = 192.168.1.1      # 禁止数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
//以上注释在实际使用中需要删除掉,不然可能会出问题

//创建用户生成文件
[root@master ~]# echo 'admin:123456' > /etc/rsync.pass

//修改文件权限,只有管理员可读可写
[root@master ~]# chmod 600 /etc/rsync.pass 
[root@master ~]# ll /etc/rsync.pass
-rw-------. 1 root root 13 Sep 22 18:07 /etc/rsync.pass

//设置rsync开机自启
[root@master ~]# systemctl enable --now rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
[root@master ~]# ss -antl
State           Recv-Q          Send-Q                   Local Address:Port                   Peer Address:Port          Process          
LISTEN          0               5                              0.0.0.0:873                         0.0.0.0:*                              
LISTEN          0               128                            0.0.0.0:22                          0.0.0.0:*                              
LISTEN          0               5                                 [::]:873                            [::]:*                              
LISTEN          0               128                               [::]:22                             [::]:* 

在源主机上做以下操作

//关闭防火墙与selinux
[root@localhost ~]# systemctl disable --now firewalld.service 
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# setenforce 0

//配置epel源
[root@localhost ~]# dnf -y install epel-release

//安装rsync,只需要安装,不要启动,不需要配置
[root@localhost ~]# dnf -y install rsync rsync-daemon

//创建用户认证密码文件
[root@localhost ~]# echo '123456' > /etc/rsync.pass

//修改文件权限,只有管理员可读可写
[root@localhost ~]# ll /etc/rsync.pass
-rw-------. 1 root root 7 Sep 22 18:15 /etc/rsync.pass

//在源服务器上创建测试目录,然后在源服务器运行以下命令
[root@localhost ~]# mkdir -pv /root/etc/test
mkdir: created directory '/root/etc'
mkdir: created directory '/root/etc/test'

[root@localhost ~]# rsync -avH --port 873 --progress --delete /root/etc/ [email protected]::etc_from_client --password-file=/etc/rsync.pass
sending incremental file list
deleting vmware-root_879-4013723248/
deleting vmware-root_875-4022308853/
deleting vmware-root_873-4013854327/
deleting vmware-root_866-2722763301/
deleting vmware-root_860-2722763268/
deleting vmware-root_839-3979774022/
deleting .font-unix/
deleting .XIM-unix/
deleting .X11-unix/
deleting .Test-unix/
deleting .ICE-unix/
./
test/

sent 77 bytes  received 285 bytes  724.00 bytes/sec
total size is 0  speedup is 0.00

//运行完成后,在目标服务器上查看,在/tmp目录下有test目录,说明数据同步成功
[root@master ~]# ls /tmp/
test


//安装inotify-tools工具,实时触发rsync进行同步
[root@localhost ~]# ll /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Sep 22 18:42 max_queued_events
-rw-r--r--. 1 root root 0 Sep 22 18:42 max_user_instances
-rw-r--r--. 1 root root 0 Sep 22 18:42 max_user_watches
//如果有这三个max开头的文件则表示服务器内核支持inotify

//安装inotify-tools
[root@localhost ~]# dnf -y install inotify-tools

//写同步脚本
[root@localhost ~]# mkdir /scripts
[root@localhost ~]# cd /scripts/
[root@localhost scripts]# touch inotify.sh
[root@localhost scripts]# chmod +x inotify.sh 
[root@localhost scripts]# ll
total 0
-rwxr-xr-x. 1 root root 0 Sep 22 18:45 inotify.sh
[root@localhost scripts]# vim inotify.sh

#!/bin/bash
host=192.168.169.142
src=/etc
des=etc_from_client     
password=/etc/rsync.pass        
user=admin          
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
    rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
    echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

//启动脚本
[root@localhost scripts]# nohup bash /scripts/inotify.sh &
[1] 11489
[root@localhost scripts]# nohup: ignoring input and appending output to 'nohup.out'

[root@localhost scripts]# ps -efl | grep inotify | grep -v grep
0 S root       11489   11107  0  80   0 -  3174 -      18:49 pts/0    00:00:00 bash /scripts/inotify.sh
4 S root       11490   11489  0  80   0 -  1676 core_s 18:49 pts/0    00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /etc
1 S root       11491   11489  0  80   0 -  3174 -      18:49 pts/0    00:00:00 bash /scripts/inotify.sh

//在目标服务器上查看
root@master ~]# ls /tmp/etc/
………………

//在源服务器上生成一个新文件
[root@localhost ~]# echo "hello world" > /etc/abc
[root@localhost ~]# cat /etc/abc
hello world

//在目标服务器上面进行查看
[root@master ~]# cat /tmp/etc/abc 
hello world

设置脚本开机自动启动:

[root@localhost ~]# vim /etc/rc.local
追加以下内容
nohup bash /scripts/inotify.sh &

[root@localhost ~]# vim /etc/rc.local 
[root@localhost ~]# chmod +x /etc/rc.d/rc.local

标签:rsync,同步,inotify,--,实时,etc,root,localhost
From: https://www.cnblogs.com/zicnotes/p/16720572.html

相关文章

  • C#线程同步的方案
    目录需求处理方案实现代码总结需求对一个数进行循环累加得到结果。如果数值是0,循环1000000,我们期望的结果是应该等于1000000,但多线程执行累加,如果不进行处理就不能得到......
  • 实时联邦进化搜索
    实时联邦进化搜索1摘要联邦学习是一种分布式机器学习方法来保护隐私,两个主要的技术挑战阻碍了联邦学习的更广泛应用。一是联邦学习对通信资源提出了很高的要求,因为必须在......
  • switch 实时渲染问题
    从数据库查询出数据,其中状态值使用(0、1)表示,此时switch不能实时的渲染。解决方法:在active-value和inactive-value前面加上:<el-table-columnlabel="状态"alig......
  • axios实现实时获取文件上传/下载进度
    <template><div><button@click="downLoad">下载</button><p>下载进度:{{downLoadProgress}}</p></div></template><script......
  • Java并发编程解析 | 基于JDK源码解析Java领域中并发锁之同步器Semaphore,CyclicBarrier
    苍穹之边,浩瀚之挚,眰恦之美;悟心悟性,善始善终,惟善惟道!——朝槿《朝槿兮年说》写在开头在并发编程领域,有两大核心问题:一个是互斥,即同一时刻只允许一个线程访问共享......
  • 并发控制:同步 (条件变量、信号量、生产者-消费者和哲♂学家吃饭问题)
    99%的实际并发问题都可以用生产者-消费者解决。voidTproduce(){while(1)printf("(");}voidTconsume(){while(1)printf(")");}在 printf 前后增加代......
  • flinksql实时数仓开发
    pom文件<groupId>com.ssi</groupId><artifactId>datalake</artifactId><packaging>pom</packaging><version>1.0-SNAPSHOT</version><name>DataLake</nam......
  • StarRocks flink 同步工具 smt 使用
    注:本文主要内容来自于官网MySQL实时同步至StarRocks功能简介StarRocks提供FlinkCDCconnector、flink-connector-starrocks和StarRocks-migrate-tools(简称smt),实......
  • 同步方法里调用异步方法会卡死
    C#同步方法中调用异步方法 一、结果:关于ThreadPool中的线程调用算法,其实很简单,每个线程都有一个自己的工作队列localqueue,此外线程池中还有一个globalqueue全局工......
  • gitlab自动同步代码到github
    参考github新建1条tokengithub新建1个私有的空仓库进入gitlab的项目填写内容#github地址https://github.com/chniny/test.git#需要填写的Gi......