一、什么是Dbsyncer
1、介绍
Dbsyncer是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景,支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。
2、特点
1、组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射2、关系实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志。
应用场景:
连接器 | 数据源 | 目标源 | 支持版本(包含以下) |
---|---|---|---|
MySQL | √ | √ | 5.7.19以上 |
Oracle | √ | √ | 11g-19c |
SqlServer | √ | √ | 2008以上 |
PostgreSQL | √ | √ | 9.5.25以上 |
ES | √ | √ | 6.x-7.x |
Kafka | 开发中 | √ | 2.10-0.9.0.0以上 |
File | √ | √ | *.txt,*.unl |
SQL | √ | 支持以上关系型数据库 | |
Sqlite | √ | ||
后期计划 | Redis |
3、下载安装包
1.安装JDK 1.8(省略详细)
2.下载安装包dbsyncer-x.x.x.zip(也可手动编译)
3.解压安装包,Window执行bin/startup.bat,Linux执行bin/startup.sh
4.打开浏览器访问:http://127.0.0.1:18686
5.账号和密码:admin/admin
4、阿里云镜像地址
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer-enterprise:latest
docker pull registry.cn-hangzhou.aliyuncs.com/lifewang/dbsyncer:latest
5、手动编译
先确保环境已安装JDK和Maven
$ git clone https://gitee.com/ghi/dbsyncer.git
$ cd dbsyncer
$ chmod u+x build.sh
$ ./build.sh
二、Linux安装Dbsyncer
1.下载好安装包后,把安装包放在虚拟机的 /opt/momodules
2.然后解压到 /opt/installs下,在安装目录下执行 bin/startup.sh 即可启动。
http://192.168.184.129:18686
端口号为虚拟机的ip地址
账号密码为:admin
三、MySQL to Elasticsearch全量同步
1、添加连接
2、添加驱动
选择全量同步
3、添加表同步关系
4、点击数据源表,目标源表
5、默认关系可能是这样
6、高级设置
我这次做的表较简单就没有修改高级设置
7、启动
8、结果
四、MySQL to Elasticsearch增量同步
1、修改驱动为增量同步
2、启动
刚才忘记截启动的图,运行完再截的,大家不要介意
3、结果
不用之后最好是点个停止,不要让它一直等待。
标签:同步,Elasticsearch,全量,dbsyncer,MySQL,com From: https://blog.csdn.net/xieyichun_/article/details/142335489