首页 > 其他分享 >Canal 同步表级DDL 表过滤 正则

Canal 同步表级DDL 表过滤 正则

时间:2022-08-22 11:16:23浏览次数:68  
标签:Canal canal .. DDL regex filter instance mysql 表级

原文:Canal常用配置 - EasyCms- - 博客园 (cnblogs.com)  

基于 日志增量订阅&消费 的业务:

  1. 数据库镜像
  2. 数据库实时备份
  3. 多级索引 (卖家和买家各自分库索引)
  4. search build
  5. 业务cache刷新
  6. 价格变化等重要业务消息
vim /opt/module/canal/deployer/conf/canal.properties
# table regex 设置白名单,如果在 instance.properties 配置文件中进行该项配置,
# 则在代码中不应该再配置 connector.subscribe(".*\\..*");,
# 如果还在代码中配置,则 配置文件 将会失效!
# canal.instance.filter.regex = .*\\..*
canal.instance.filter.regex = FlinkEtl.employee

# table black regex 设置黑名单
# canal.instance.filter.black.regex = mysql\\.slave_.*
canal.instance.filter.black.regex = mysql\\.slave_.*,FlinkEtl.salary

# mysql 数据解析关注的表,Perl正则表达式. 
# 多个正则之间以逗号,分隔
# 转义符需要双斜杠(\\) 
# 注意:此过滤条件只针对 row 模式的数据有效, 
# mixed、statement 因为不解析sql,所以无法准确提取 tableName 进行过滤
# 例子: 
# 1. 所有表:.* or .*\\..* 
# 2. canal schema 下所有表: canal\\..* 
# 3. canal 下的以 canal 打头的表:canal\\.canal.* 
# 4. canal schema 下的一张表:canal.test1 
# 5. 多个规则组合使用逗号分隔:canal\\..*,mysql.test1,mysql.test2

 

 

 

 

 

标签:Canal,canal,..,DDL,regex,filter,instance,mysql,表级
From: https://www.cnblogs.com/chang09/p/16612143.html

相关文章

  • PaddleOCR安装
    PaddleOCR简介OCR:光学字符识别(Opticalcharacterrecognition)PaddleOCR是百度开发的一款用于文字识别的工具,GitHub地址PaddleOCR安装1.环境准备Anaconda3python:3......
  • Canal 过滤/同步 DDL 语句到 MySQL 从库
    canal.deploy配置vimcanal.propertiescanal.serverMode=tcpvimexample/instance.properties#只同步FlinkEtl数据库的数据#tableregexcanal.instance.f......
  • canal同步mysql实战
    环境mysql5.6.41canal1.151.16测试过后,一直报错canal_config表不存在,更换版本后正常目的:同步一个数据库中的二个表1、创建表CREATETABLE`user01`(`id`int(......
  • 利用Fiddler用本地的JS替换网页的JS
    先在左侧选中要替换JS的URL地址,然后右侧标签选择“AutoResponder”,选中“Enablerules”和"Unmatchedrequestspassthrough"两个复选框,点击“AddRule”,选择你的本地文......
  • 使用Fiddler劫持网络资源为前端开发助力(示例:Dynamic CRM 表单开发 也能热更新? )
    背景:使用过vue开发的童鞋应该都知道,在开发vue项目的过程中,有个叫"热更新"的功能特别爽,在传统html开发到初次接触vue时,才发现原来前端开发可以这么香。热更新的表现形......
  • Canal 数据同步 到 Kafka Canal 配置2
    配置canalvim/opt/module/canal/conf/canal.properties##########################################################commonargument###############......
  • 使用 Canal 和 Kafka 与 RDS MySQL 进行 Redis 数据同步
    教程:https://www.alibabacloud.com/blog/redis-data-synchronization-with-rds-mysql-using-canal-%26-kafka_598072源码:https://github.com/alibabacloud-howto/soluti......
  • /opt/module/canal/conf/canal.properties
    ##########################################################commonargument###############################################################tcpbindipcanal.id......
  • /opt/module/canal/conf/example/instance.properties
    ###################################################mysqlserverId,v1.0.26+willautoGencanal.instance.mysql.slaveId=1234canal.instance.gtidon=false#positi......
  • 删除 canal 实例
    如果canal启动时候从日志看到报这个错误:can'tfindstartpositionforexample。有如下解决方法:●单机删除meta.dat文件,重启canal,问题解决。●集群进入canal对应的zookeep......