首页 > 数据库 >MySQL与Elasticsearch的全量同步和增量同步

MySQL与Elasticsearch的全量同步和增量同步

时间:2024-09-19 08:54:23浏览次数:10  
标签:同步 Elasticsearch 全量 dbsyncer MySQL com

一、什么是Dbsyncer

1、介绍

Dbsyncer是一款开源的数据同步中间件,提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景,支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

2、特点

1、组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射2、关系实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志。

应用场景:

连接器数据源目标源支持版本(包含以下)
MySQL5.7.19以上
Oracle11g-19c
SqlServer2008以上
PostgreSQL9.5.25以上
ES6.x-7.x
Kafka开发中2.10-0.9.0.0以上
File*.txt,*.unl
SQL支持以上关系型数据库
Sqlite
后期计划Redis

3、下载安装包

1.安装JDK 1.8(省略详细)
2.下载安装包dbsyncer-x.x.x.zip(也可手动编译)
3.解压安装包,Window执行bin/startup.bat,Linux执行bin/startup.sh
4.打开浏览器访问:http://127.0.0.1:18686
5.账号和密码:admin/admin

4、阿里云镜像地址

docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest
docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer-enterprise:latest
docker pull registry.cn-hangzhou.aliyuncs.com/lifewang/dbsyncer:latest

5、手动编译

先确保环境已安装JDK和Maven

$ git clone https://gitee.com/ghi/dbsyncer.git
$ cd dbsyncer
$ chmod u+x build.sh
$ ./build.sh

二、Linux安装Dbsyncer

1.下载好安装包后,把安装包放在虚拟机的 /opt/momodules

 2.然后解压到 /opt/installs下,在安装目录下执行 bin/startup.sh 即可启动。

 http://192.168.184.129:18686     
端口号为虚拟机的ip地址
账号密码为:admin

三、MySQL to Elasticsearch全量同步

1、添加连接

2、添加驱动

选择全量同步

3、添加表同步关系

4、点击数据源表,目标源表

5、默认关系可能是这样 

6、高级设置

我这次做的表较简单就没有修改高级设置

7、启动

 8、结果

 四、MySQL to Elasticsearch增量同步

1、修改驱动为增量同步

2、启动

刚才忘记截启动的图,运行完再截的,大家不要介意

3、结果

不用之后最好是点个停止,不要让它一直等待。

标签:同步,Elasticsearch,全量,dbsyncer,MySQL,com
From: https://blog.csdn.net/xieyichun_/article/details/142335489

相关文章

  • Elasticsearch 分片迁移与移除集群节点操作
    Elasticsearch分片迁移与移除集群节点操作问题背景在单台服务器上部署了7个Elasticsearch节点,分别为es-node1到es-node7,端口从9201到9207。每个节点都承载大量数据,但没有设置副本分片。由于多个节点共享同一台服务器的硬件资源,复杂查询时会导致CPU占用率达到......
  • canal+ftp实现mysql数据跨网同步
    canal服务端编辑my.ini文件,保存后重启mysql,执行showvariableslike'log_bin'; 显示on代表开启#打开binloglog-bin=mysql-bin#选择ROW(行)模式binlog-format=ROW#配置MySQLreplaction需要定义,不要和canal的slaveId重复server_id=1#binlog文件最大值max_binlog_......
  • AI唇形同步技术:只需一段视频和语音,轻松实现自然对口效果
    引言著名导演奉俊昊曾提到,字幕是阻碍外国观众尽情欣赏电影的一个障碍,因为他们需要同时兼顾阅读和观看。而多语言版本的电影(MLV),虽然能解决语言问题,但因制作成本高昂,难以广泛推广。配音成为一种流行的折中方案,但由于声音和演员口型不同步,常常显得不自然。为了解决这一问题,唇形同步......
  • 【Elasticsearch系列】Elasticsearch中的分页
    ......
  • 3D高斯渲染 (1-3)ros下 接受c++节点发送的位姿,python节点渲染图像返回,同步版本
    基础学习3D高斯渲染(1-2)ros下接受c++节点发送的位姿,python节点渲染图像返回https://www.cnblogs.com/gooutlook/p/18385485ros自定义消息(图像+标志位+位姿)python和c++发布和接受https://www.cnblogs.com/gooutlook/p/18412553 本工程代码为什么要做这个,因为之前的版本......
  • 高效数据移动指南 | 如何快速实现数据库 MySQL 到 MongoDB 的数据同步?
    在现代企业中,数据无处不在,贯穿于各个业务环节和系统之间。无论是跨系统的数据集成、多地域的数据协同,还是实时应用的数据同步,数据的一致性和及时性都至关重要。在数字化转型的过程中,如何确保不同系统、地域、设备之间的数据同步,成为了企业面临的重要挑战。本专题将基于实践经验,从......
  • C++11 线程同步接口std::condition_variable和std::future的简单使用sk
    合集-C++(1)1.C++11线程同步接口std::condition_variable和std::future的简单使用09-17收起std::condition_variable条件变量std::condition_variable有wait和notify接口用于线程间的同步。如下图所示,Thread2阻塞在wait接口,Thread1通过notify接口通知Thread2继续执行。......
  • C++11 线程同步接口std::condition_variable和std::future的简单使用
    std::condition_variable条件变量std::condition_variable有wait和notify接口用于线程间的同步。如下图所示,Thread2阻塞在wait接口,Thread1通过notify接口通知Thread2继续执行。具体参见示例代码:#include<iostream>#include<mutex>#include<thread>#include<queue>std......
  • 影刀RPA实战:自动化同步商品库存至各大电商平台(二)
    在当今的电商世界中,多平台运营已成为常态。商家需要在多个电商平台上维护商品库存的一致性,以确保顾客体验的流畅性和库存管理的高效性。运营人员每天面临的问题,就是把公司的商品库存数据,间断性的同步到电商平台上,这个过程,漫长又繁琐,手动修改线上数据或批量导入,都不能做到及时性......
  • 【Java】深入理解Java中的多线程同步机制
    一、多线程的数据不一致    当多个线程同时运行时,线程的调度由操作系统决定,程序本身无法决定。因此,任何一个线程都有可能在任何指令处被操作系统暂停,然后在某个时间段后继续执行。    这个时候,一个在单线程模型下不存在的问题就会发生:如果多个线程同时读写共享......