首页 > 其他分享 >adapter1.1.5不能同步数据到ES6

adapter1.1.5不能同步数据到ES6

时间:2024-06-04 17:12:24浏览次数:27  
标签:ES6 account 同步 binlog 数据库 aws 修改 null adapter1.1

问题:如果修改数据库某张表的某个字段时出现如下日志:

2024-06-04 15:32:18.177 [pool-2-thread-1] DEBUG c.a.o.canal.client.adapter.es.core.service.ESSyncService - DML: {"data":null,"database":"aws","destination":"CANAL_GOODS","es":1717486338000,"groupId":"g1","isDdl":false,"old":null,"pkNames":null,"sql":"/* ApplicationName=DataGrip 2023.1.2 */ UPDATE aws.t_aws_account t SET t.base_account_no = 21739923669811712 WHERE t.account_no = 273366981196800","table":"t_aws_account","ts":1717486338173,"type":"UPDATE"}

Affected indexes: aws_account_dev

从日志中看到old属性为null,说明没有获取到源数据信息,从而修改无效无法同步修改后的数据到ES中。解决此问题需要做如下设置

设置源数据库MySql的my.cnf的binlog配置。把两个关键的参数做如下设置

binlog_format = ROW

binlog_row_image = FULL

使云数据库修改后立即生效,其他模式可能需要重启

标签:ES6,account,同步,binlog,数据库,aws,修改,null,adapter1.1
From: https://www.cnblogs.com/gzling/p/18231281/adapter-115-cannot-synchronize-data-to-es6-sqww7

相关文章

  • 操作系统·同步问题
    经典同步问题1.生产者消费者问题一组生产者进程(Producer)一组消费者进程(Consumer)共享初始为空大小为n的缓冲区(Buffer)semaphoremutex=1;//mutexsemaphoreempty=n;//buffersemaphorefull=0;//fullProducer(){ while(1){ Produce(); P(m......
  • 【HZERO】数据同步器
    数据同步器常规配置问题排查......
  • 成熟的双向同步方案,能够解决哪些同步问题?
    在企业的数据流转管控过程中,经常会遇到频繁的数据备份、同步,人工重复这样的工作程序,既繁琐又容易出错。因此对于企业而言,选择一款高效且安全的同步软件成为了企业运营中的关键一环,不仅能够提高工作效率,还能确保数据的安全性。在选择双向同步方案时,首先要明确自己的需求。不同的......
  • (蕊源)代理 RY8310 SOT-23-6 30V 1A 1.4MHz同步降压调节器
    产品描述RY8310是一个高频、同步、校流、降压、开关模式转换器,具有内部功率模块。它提供了一个非常紧凑的解决方案,在较宽的输入电源范围内提供1a的连续电流,具有良好的负载和线路调节。RY8310需要最少数量的现成的外部组件,并可在一个节省空间的SOT23-6软件包中使用。产品特点......
  • 异构数据源同步之数据同步 → DataX 使用细节
    开心一刻中午我妈微信给我消息妈:儿子啊,妈电话欠费了,能帮妈充个话费吗我:妈,我知道了,我帮你充当我帮我妈把话费充好,正准备回微信的时候,我妈微信给我发消息了妈:等会儿子,不用充了,刚刚有个二臂帮妈充上了我输入框中的(妈,充好了)是发还是不发?简单使用关于DataX,大家可以去看官网......
  • 数据治理--企业数据服务 数据连接注册成API并且通过网关去限流 数据同步
      不直接开发hive的API访问速度慢,开放内存Presto的API去hive库查这样快 第一种不安全, 第二种公司内部用比较安全,结构文件落到对方ftp服务器 第三种一般跨网络同步 数据同步任务创建和执行监控          证券案例 ......
  • 【前端每日基础】day42——关于 Vuex 共有几个属性,哪里可以书写同步任务,哪里可以书写
    Vuex是Vue.js的一个状态管理模式,它集中式地存储和管理应用的所有组件的状态。Vuex提供了以下几个核心属性,每个属性在状态管理中有不同的用途:Vuex共有的几个属性:State:用于存储应用的状态。可以通过this.$store.state或在组件中通过mapState辅助函数访问。Gette......
  • flink sql 实时同步及离线同步
    createdatabasetest;usetest;离线数据源接入CREATETABLEttab_source(idINT,namevarchar(100),PRIMARYKEY(id)NOTENFORCED)WITH('connector'='jdbc','url'='jdbc:sqlserver://xx.xx.40.186:1433;DatabaseName=test&......
  • redis自学(45)缓存同步
                             整个多级缓存的架构  ......
  • NTP单播+安全认证时间同步
    章节介绍NTP的概念NTP的安全认证NTP的配置-配置设备的时域-年份-日期-月份-时间NTP配置单播时间同步+安全认证———————————————————————————————————————————NTP概念NTP(NetworkTimeProtocol,网络时间协议),主要作用就是实现服......