首页 > 数据库 >mysql-canal-kafka-kettle 数据实时同步链部署bug 填坑过程

mysql-canal-kafka-kettle 数据实时同步链部署bug 填坑过程

时间:2022-11-11 17:00:34浏览次数:67  
标签:canal 11 producer na kettle kafka KafkaProducer

 

1,因为 mysql 版本从5.7 提高到 8.0  ,需要更改用户配置。

create user 'canal'@'%' identified by 'canal';
grant select , replication slave, replication client on *.* to 'canal'@'%';

 还有改变用户鉴权方式;MySQL 8.0.3开始,身份验证插件默认使用caching_sha2_password

 

2,canal 有问题。 没启动。

因为是政府项目,使用的中标麒麟系统。
报错:VM option 'UseG1GC' is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions.
-XX:+UseG1GC -Xss2m

startup.sh 脚本内删除- -XX:+UseG1GC ,增加 -XX:+UnlockExperimentalVMOptions 。 后续又报错 stack size 太小问题,增大就好

 

3,kafka 启动失败。

之前有运维启动了独立的zookeeper , 而不是 kafka 内置的zookeeper . 可能导致了这个问题。

爆错: 当前的集群id 和 meta.propoties内不一致。

方法: 在文件内修改了cluster id .

 

 

4,canal 内部的kafka producer 组件不能 更新 元数据库。
Caused by: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
at org.apache.kafka.clients.producer.KafkaProducer$FutureFailure.<init>(KafkaProducer.java:1150) ~[na:na]
at org.apache.kafka.clients.producer.KafkaProducer.doSend(KafkaProducer.java:846) ~[na:na]
at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:784) ~[na:na]
at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:671) ~[na:na]

方法:  因为 全部组件都放在一个机器。 所以 配置了127.0.0.1,但是找不到zookeeper集群。 措施是canel 配置全部改成内网ip 。 消息进入kafka 。


5,kettle 中启动 pan.sh ,但是 启动失败。

报错:

Can't run transformation due to plugin missing
2022/11/11 15:27:10 - Kafka consumer.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Error initializing step [Kafka consumer]
2022/11/11 15:27:10 - kafka_ktr_production - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Step [Kafka consumer.0] failed to initialize!

方法:根据https://forums.pentaho.com/方法,下载 pentaho-kafka-consumer 到插件文件夹。问题解决。

下载地址:https://github.com/RuckusWirelessIL/pentaho-kafka-consumer/releases/tag/v1.7

 

标签:canal,11,producer,na,kettle,kafka,KafkaProducer
From: https://www.cnblogs.com/gao1261828/p/16881051.html

相关文章

  • Kafka概述
    1Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。1)ApacheKafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消......
  • Kafka工作流程分析
    Kafka工作流程分析1Kafka生产过程分析1.1写入方式producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机......
  • 【Kafka(二)】日志及索引文件
    每一个分区一个文件夹,一个分区对应多个文件。当满足一定条件后,会生成新的文件。每一个文件叫做一个日志段,每一个日志段会关联两个索引文件,一个是偏移量索引另一个是时间戳索......
  • 阿里云kafka使用springboot单个项目中同时消费不同topic
    本来是个简单的问题,但是复杂了。两个topic消费方式不一样,一个使用过的是默认方式,不指定partition,另外一个,指定了特殊的partition。报错:11:10:32.888[org.springframework.......
  • 【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvab
    问题描述参考Github上EventHub的示例代码(UsingApacheFlinkwithEventHubsforApacheKafkaEcosystems : https://github.com/Azure/azure-event-hubs-for-kafka......
  • 本地启动kafka
    本文以mac演示1)首先将kafka安装包解压到本地,进入kafka目录cdcdkafka_2.13-3.2.12)启动kafka环境bin/zookeeper-server-start.shconfig/zookeeper.properti......
  • Prometheus + Grafana(八)系统监控之Kafka
    前言第一种:JMXhttps://help.aliyun.com/document_detail/141108.html?spm=a2c4g.11186623.6.621.12bb4dea7EyM9F第二种:kafka_exporter本文就是采用第二种方式实现,相比J......
  • ✍75 Kafka安装及使用
    一.Docker安装https://blog.csdn.net/ch_improve/article/details/1142689151.下载#下载zookeeper镜像dockerpullwurstmeister/zookeeper#下载kafka镜像doc......
  • Kafka问题收集
    Kafka问题收集kafka分区分配策略干趴面试官系列|请你简述一下Kafka中的分区分配生产者发送消息分区分配策略kafka里的partitioner(分区器)来负责客户端生产层面的负......
  • Canal:ZooKeeper进行集群管理
    集成ZooKeeper前期回顾:​​Canal:部署Canal与CanalAdmin​​搭建​​ZooKeeper​​可以参考下面这几篇博客:​​ZooKeeper:Shell脚本搭建单机版ZooKeeper​​​​ZooKeeper:......