- canal介绍
主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
这里我们可以简单地把canal理解为一个用来同步增量数据的一个工具。
- canal能做什么
数据库镜像
数据库实时备份
索引构建和实时维护
业务cache(缓存)刷新
带业务逻辑的增量数据处理
首先开启mysql binlog
默认没有开启
开启binlog之后mysql的性能会受到影响
-1、修改mysql配置文件/etc/my.cnf
# 如果配置文件不存在，复制一个过来
# cp /usr/share/mysql/my-medium.cnf /etc/my.cnf
vim /etc/my.cnf
# 在配置文件中增加二配置
# 需要将配置放在[mysqld]后面
# 打开binlog
log-bin=mysql-bin
# 选择ROW(行)模式
binlog-format=ROW
# 配置MySQL replaction需要定义，不要和canal的slaveId重复
server_id=1
- 2、重启mysql
service mysqld restart
# 查看mysql binlog文件
cd /var/lib/mysql
mysql-bin.000001
# 改了配置文件之后，重启MySQL，使用命令查看是否打开binlog模式：
mysql -uroot -p123456
show variables like 'log_bin';
- 搭建canal
- 1、上传解压
unzip canal.deployer-1.1.4.zip -d ../
- 2、修改配置文件conf/example/instance.properties
vim conf/example/instance.properties
# mysql 地址
canal.instance.master.address=master:3306
# mysql用户名
canal.instance.dbUsername=root
# mysql密码
canal.instance.dbPassword=123456
# 数据写入kafka 的topic名称, 所有的数据写入同一个topic
canal.mq.topic=example
# 为每一个表自动创建一个topic
# 监控bigdata数据库，不同的表发送到表名的topic上, topic命令方式bigdata.student
canal.mq.dynamicTopic=bigdata\\..*
- 3、修改配置文件conf/canal.properties
vim conf/canal.properties
# zk地址
canal.zkServers = master:2181,node1:2181,node2:2181
# 数据保存到kafka
canal.serverMode = kafka
# kafka集群地址
canal.mq.servers = master:9092,node1:9092,node2:9092
- 4、启动canal
cd /usr/local/soft/canal/bin/
# 启动canal
./startup.sh
# 查看启动日志
cd /usr/local/soft/canal/logs
cat canal/*
cat example/*
- 测试
查看Kafka topic 信息
在Kafka控制台消费topic
