首页 > 其他分享 >canal单库单表同步

canal单库单表同步

时间:2023-01-24 23:11:13浏览次数:49  
标签:canal 同步 数据库 单库 单表 测试 mysql

canal单库单表同步   接下来,我会写两篇数据库同步的文章,本来想合二为一,但想着毕竟是两种实现方式,还是拆开吧。11月中旬领导叫研究的。   一个是canal,一个是使用GTID。    一、背景引入   话说月尾到月初这段时间,业主方要从系统上导出报表,貌似是担心那段时间报表查询影响生产数据库的正常使用,所以就想建多个数据库,报表查询用另一个数据库,不要影响生产的数据库。   生产环境的数据库是阿里云RDS mysql 5.7,测试的时候是买了一台临时RDS,从生产RDS把数据导了一份过去(模拟生产数据库),而另一台数据库是自建 mysql 5.7   当时领导一直叫我下载最新版进行测试,但发现最新版1.1.7一直启动报错(下载地址:https://github.com/alibaba/canal/releases 

   后来换成1.1.4版本就正常运行了。

二、部署和测试

参考部署链接:https://blog.csdn.net/qq_33816292/article/details/125846487 注意点: (1)用了1.1.4的canal安装包后,需要把mysql驱动从 mysql-connector-java-5.1.47.jar,要换成 mysql-connector-java-5.1.49.jar (2)canal 的 adapter和deployer都要使用到,否则数据同步测试会有问题   测试: (1)在源rds测试数据库插入数据

 

(2)在目标数据库能查到同步过来的数据

(3)查看canal同步日志

可以发现,删除和插入都监听到

 

 

标签:canal,同步,数据库,单库,单表,测试,mysql
From: https://www.cnblogs.com/windysai/p/17066394.html

相关文章

  • canal系列~原理
    一说明canal本身是一个管道,binlog通过管道进入,然后处理,再从管道出去,binlog是在canal端进行过滤的.所以对于单实例多库来说是推送全部binlog的整个canal的解析流程......
  • 通过Canal将云上MySQL数据同步到华为云ES(CSS)中
    背景:A部门想将mysql中多张表join成一个sql查询语句,然后将结果同步到es中供搜索使用环境信息:源端mysql在阿里云上,有公网ip目标端es在华为云上,三节点操作步骤与目......
  • Canal部署安装
    1.创建Canal安装目录mkdir-p/usr/local/canal2.下载Canal​​​https://github.com/alibaba/canal/releases​​​下载完后用xftp上传至/usr/local/canal目录下3.解......
  • 4:单表查询
    --字段去重--distinct   selectdistinctsnamefromstudent--部分列selectname,agefromperson;--指定列名---列的简单运算和别名selectnameas'名字',age......
  • Canal增量数据同步利器(数据同步解决方案)
    一、Canal介绍canal可以用来监控数据库数据的变化,从而获得新增数据,或者修改的数据。canal是应阿里巴巴存在杭州和美国的双机房部署,存在跨机房同步的业务需求而提出的。......
  • canal对接阿里云kafka
    一、前提条件已经有mysql实例自建或者云上都可以已经在阿里云的kakfa创建topic默认不自动创建topic二、配置要监控的instance先修改example的配置文件conf/example......
  • CloudCanal实战-Oracle数据迁移同步到PostgreSQL
    简述本篇文章主要介绍如何使用CloudCanal构建一条Oracle到PostgreSQL的数据同步链路技术要点缩小的数据库权限要求CloudCanal对Oracle数据库的高权限要求,主要......
  • 解决canal控制台中文乱码问题
    有的时候我们需要实时查看binlog日志。那么一般我们会去log里面查看具体信息。有的时候我们需要查看实时信息,那么就需要在canal的启动页面查看。奈何中文都是乱码。这时......
  • MySQL7 - 单表查询总结
    单表查询总结语句顺序SELECT...FROM...WHERE...GROUPBY...HAVING...ORDERBY...执行顺序FROM->WHERE->GROUPBY->HAVING->SELECT->ORDERBYFRO......
  • canal-admin 集群
    参考地址:https://blog.csdn.net/qq_24950043/article/details/127187547一通过docker-compose快速搭建安装canal-adminzoo.cfg配置文件dataDir=/datadataL......