首页 > 其他分享 >Canal使用和安装总结

Canal使用和安装总结

时间:2024-01-21 12:22:06浏览次数:32  
标签:Canal 总结 Binlog 数据 instance MySQL 安装 canal

转载请注明出处:

1.定义

  Canal 组件是一个基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费,支持将增量数据投递到下游消费者(如 Kafka、RocketMQ 等)或者存储(如 Elasticsearch、HBase 等)的组件。

   Canal 感知到MySQL数据变动,然后解析变动数据,将变动数据发送到MQ或者同步到其他数据库,等待进一步业务逻辑处理。

2.工作原理

2.1 mysql 主从复制原理

                         

  • MySQL master 将数据变更写入二进制日志binary log,简称Binlog。

  • MySQL slave 将 master 的 binary log 拷贝到它的中继日志(relay log)

  • MySQL slave 重放 relay log 操作,将变更数据同步到最新。

2.2 mysql binlog日志

  使用场景:

    MySQL 的Binlog可以说 MySQL 最重要的日志,它记录了所有的 DDL 和 DML语句,以事件形式记录。

    MySQL默认情况下是不开启Binlog,因为记录Binlog日志需要消耗时间,官方给出的数据是有1%的性能损耗。

    具体开不开启,开发中需要根据实际情况做取舍。

    一般来说,在下面两场景下会开启Binlog日志:

      • MySQL 主从集群部署时,需要将在 Master 端开启 Binlog,方便将数据同步到Slaves中。

      • 数据恢复了,通过使用 MySQL Binlog 工具来使恢复数据。

  binlog分类:

    MySQL Binlog 的格式有三种,分别是 STATEMENT,MIXED,ROW。在配置文件中可以选择配置 binlog_format= statement|mixed|row

分类介绍优点缺点
STATEMENT 语句级别,记录每一次执行写操作的语句,相对于ROW模式节省了空间,但是可能产生数据不一致如update tt set create_date=now(),由于执行时间不同产生饿得数据就不同 节省空间 可能造成数据不一致
ROW 行级,记录每次操作后每行记录的变化。假如一个update的sql执行结果是1万行statement只存一条,如果是row的话会把这个1万行的结果存这。 持数据的绝对一致性。因为不管sql是什么,引用了什么函数,他只记录执行后的效果 占用较大空间
MIXED 是对statement的升级,如当函数中包含 UUID() 时,包含 AUTO_INCREMENT 字段的表被更新时,执行 INSERT DELAYED 语句时,用 UDF 时,会按照 ROW的方式进行处理 节省空间,同时兼顾了一定的一致性 还有些极个别情况依旧会造成不一致,另外statement和mixed对于需要对binlog的监控的情况都不方便

  综合上面对比,Canal 想做监控分析,选择 row 格式比较合适。

3.Canal工作原理

  • Canal 将自己伪装为 MySQL slave(从库) ,向 MySQL master (主库)发送dump 协议

  • MySQL master(主库) 收到 dump 请求,开始推送 binary log 给 slave (即 canal )

  • Canal 接收并解析 Binlog 日志,得到变更的数据,执行后续逻辑

                                  

 4.应用场景:

  1.数据同步:Canal 可以帮助用户进行多种数据同步操作,如实时同步 MySQL 数据到 Elasticsearch、Redis 等数据存储介质中。

     2.数据库实时监控:Canal 可以实时监控 MySQL 的更新操作,对于敏感数据的修改可以及时通知相关人员。

  3.数据分析和挖掘:Canal 可以将 MySQL 增量数据投递到 Kafka 等消息队列中,为数据分析和挖掘提供数据来源。

  4.数据库备份:Canal 可以将 MySQL 主库上的数据增量日志复制到备库上,实现数据库备份。

  5.数据集成:Canal 可以将多个 MySQL 数据库中的数据进行集成,为数据处理提供更加高效可靠的解决方案。

  6.数据库迁移:Canal 可以协助完成 MySQL 数据库的版本升级及数据迁移任务。

5.Canal安装

5.1.下载

  下载地址:https://github.com/alibaba/canal/releases

                 

   下载 解压安装即可。

5.2配置

  1.修改canal.properties的配置

canal.port = 11111
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = tcp

canal.destinations = example

    canal.port:默认端口 11111

    canal.serverMode:服务模式,tcp 表示输入客户端,xxMQ输出到各类消息中间件

    canal.destinations:canal能可以收集多个MySQL数据库数据,每个MySQL数据库都有独立的配置文件控制。具体配置规则: conf/目录下,使用文件夹放置,文件夹名代表一个MySQL实例。canal.destinations用于配置需要监控数据的数据库。如果是多个,使用,隔开

  2.修改MySQL实例配置文件instance.properties

canal.instance.mysql.slaveId=20

# position info
canal.instance.master.address=127.0.0.1:3306

# username/password
canal.instance.dbUsername=root
canal.instance.dbPassword=admin

    canal.instance.mysql.slaveId:使用canal 从阶段id

    canal.instance.master.address:数据库ip端口

    canal.instance.dbUsername:连接mysql账号

    canal.instance.dbPassword:连接mysql密码

  3.启动

                       

 

 

标签:Canal,总结,Binlog,数据,instance,MySQL,安装,canal
From: https://www.cnblogs.com/zjdxr-up/p/17977706

相关文章

  • [安全警报] Npm木马利用“Oscompatible“包悄然安装AnyDesk
    最近,一个名为OsCompatible的恶意包被上传到npm。该包被发现包含一个针对Windows的远程访问木马。这个名为OsCompatible的软件包于2024年1月9日发布,在被撤下之前共吸引了380次下载。据了解,OsCompatible包含“几个奇怪的二进制文件”,包括一个可执行文件、一个动态链接库(DLL)和一......
  • Mac m1 安装PHP 7.3 任何版本 切换版本
    准备Mac安装brew已安装的自行跳过Mac安装brew卸载_brew卸载软件-CSDN博客官网brew官网Homebrew—TheMissingPackageManagerformacOS(orLinux)安装执行如下命令,期间需要输入几次密码/bin/bash-c"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/ins......
  • 数据库安装、配置与SQL基本查询
    数据库安装、配置与SQL基本查询一、实验目的1、了解Oracle数据库的基本架构、概念,系统安装与客户端使用;2、熟悉Oracle、MySQL主要的管理、开发工具;3、运用SQL访问数据库,创建tablespace、user、table和index;4、了解并掌握Oracle、MySQL的数据类型、创建表和基本查询语句;5、连......
  • 比赛必备——codeforces better 和 atcoder better 的安装教程
    大家有没有像我一样英语不太好然后又想要打cf和atc的呢?(可能全世界就我英语不好)这里有两个强力的工具可以帮助我们解决这一问题——codeforcesbetter和atcoderbetter。由于我只用的是edge,所以下面默认为edge浏览器篡改猴首先我们需要安装篡改猴,link。codeforcesbe......
  • 使用 Canal 实时从 MySql 向其它库同步数据
    目前绝大多数项目还是采用mysql作为数据存储,对于用户访问量较高的网站来说,mysql读写性能有限,我们通常会把mysql中的数据实时同步到Redis、mongodb、elasticsearch等中间件中,应对高并发访问场景,减轻mysql压力,防止数据库宕机。在项目开发中,为了不会原有代码进行侵入,采用c......
  • centos7安装harbor配置私有镜像
    准备工作#关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld#关闭SELinux和取消swapsed-i's/enforcing/disabled/'/etc/selinux/configsed-ri's/.*swap.*/#&/'/etc/fstab#主机名,根据你自己的情况来设置echo-e"192.168.50.10centos-k8s-mas......
  • (powershell 7) 安装及 Pycharm 上的配置
    1.windows上更新powershell下载地址(此处需要爬下墙): https://github.com/PowerShell/PowerShell选择一个LTS版本直接手动安装,完成完成后,会自动添加到PATH中,如果没有,可以手动配置#打开powershell$PSVersionTable.PSVersion 2.Pycharm配置powershell Note......
  • 今日总结
    点击【左上角】的【File】,选择【Settings...】 选择【Plugins】在输入框中输入【Scala】等待几秒后,看到显示【Scala】点击【Install】当显示为【Installed】代表安装成功了。 步骤二、maven引包打开【pom.xml】 初始状态: 输入以下编码内容:<!--基础配置--><......
  • 2020年终总结(技术篇),重整心情、扬帆起航
    大二上篇突如其来的疫情打破了以往的平静,哪都不能去只能呆在家里,因此我收获了有史以来最长的一个寒假,在宅在家的这4个月里面,我独立做了一个大项目嘿嘿,还有一个烂大街的后台管理系统,虽然很普通但是确实我一个个敲出来的东西,很有成就感,期间历时一个多月,每天除了和家人的交际,那段时间......
  • mysql中的各种索引大总结
    文章目录为啥不用二叉搜索树?为啥不用平衡二叉(avl)树?为啥不用b-树?为啥用b+树?(重点)索引聚簇索引聚簇索引的局限聚集的数据的优点非聚簇索引介绍组合索引覆盖索引前缀索引前缀索引选择算法全文索引hash索引b-tree索引自适应哈希索引小咸鱼的技术窝b-tree索引使用的是b+树的数据结构,树......