首页 > 其他分享 >【Flink基础】-- Flink CDC介绍

【Flink基础】-- Flink CDC介绍

时间:2022-11-03 18:07:01浏览次数:87  
标签:8.0 CDC 5.7 cdc -- Flink Driver


一、Flink CDC 是什么?

      2020年 Flink cdc 首次在 Flink forward 大会上官宣, 由 ​​Jark Wu & Qingsheng Ren 两位大佬​​​ 介绍,原始 blog 点击​​链接。​

      Flink CDC connector 可以捕获在一个或多个表中发生的所有变更。该模式通常有一个前记录和一个后记录。Flink CDC connector 可以直接在Flink中以非约束模式(流)使用,而不需要使用类似 kafka 之类的中间件中转数据。

【Flink基础】-- Flink CDC介绍_sql

另有一篇腾讯团队关于 Flink CDC 的介绍:​​Principle, practice and optimization of Flink CDC - 文章整合


https://chowdera.com/2021/04/20210402055656576y.html​

二、Flink CDC 支持的数据库?

Connector

Database

Driver

​mongodb-cdc​


MongoDB Driver: 4.3.1

​mysql-cdc​


JDBC Driver: 8.0.21

​oceanbase-cdc​


JDBC Driver: 5.7.4x

​oracle-cdc​


Oracle Driver: 19.3.0.0

​postgres-cdc​


JDBC Driver: 42.2.12

​sqlserver-cdc​


JDBC Driver: 7.2.2.jre8

​tidb-cdc​


JDBC Driver: 8.0.27

三、使用 Flink CDC?

​快速上手 — CDC Connectors for Apache Flink® documentation​

四、相比于 Kafka Streams ,Flink CDC 的优势

  1. Flink的操作者和SQL模块都比较成熟且易于使用
  2. Flink的作业可以通过调整运算器的并行度来完成,易于扩展处理能力
  3. Flink支持先进的状态后端(State Backends),允许访问大量的状态数据
  4. Flink提供更多的Source和Sink等。
  5. Flink拥有更大的用户群和活跃的支持社区,问题更容易解决
  6. Flink开源协议允许云厂商进行全托管深度定制,而Kafka Streams则只能由其自己部署和运营
  7. 和Flink Table/SQL模块集成了数据库表和变化记录流(例如CDC的数据流)。作为同一事物的两面,结果是Upsert Message结构(+I表示新增、-U表示记录更新前的值、+U表示记录的更新值、-D表示删除)。

标签:8.0,CDC,5.7,cdc,--,Flink,Driver
From: https://blog.51cto.com/u_13966077/5820621

相关文章

  • Docker Desktop笔记3(VS Code-dev-containers)
    1、VSCode创建开发容器指定基础镜像:(README:​​vscode-dev-containers/containers/python-3atv0.202.3·microsoft/vscode-dev-containers·GitHub​​)FROMmcr.micro......
  • 居然有单个首字母混淆的JS加密
    老规矩,直接上加密的源代码functiong(A,B,C){varP=L;C(e[A[P(0x1db)]]);}functionh(A,B,C){varQ=L;if(A['key']==Q(0x1eb)&&A[Q(0x1ee)]......
  • 超级炫酷的3D旋转动态图——Python代码实现
    ......
  • 什么是iOS?
    1.ios不能获取文本焦点 -moz-user-select:none;-webkit-user-select:none;-ms-user-select:none;user-select:none; 如有这段代码需要删掉或另做处理才能正常获取文本......
  • .net 6 api引入EF (DB first)
    项目添加:Microsoft.EntityFrameworkCore.ToolsPomelo.EntityFrameworkCore.MySql(这个是第三方的efmysql中间件)​Scaffold-DbContext-Force"Server=localhost;U......
  • 淘宝镜像 cnpm
    ​npm卸载插件npmuninstall<name>[-g][--save-dev]cnpm安装npminstallcnpm-g--registry=https://registry.npm.taobao.org......
  • 恒创科技:虚拟服务器的优缺点有哪些?
    服务器虚拟化的概念是使用物理服务器,并在虚拟化软件的帮助下,对服务器进行分区或分割,使其显示为多个“虚拟服务器”,每个“虚拟服务器”都可以运行它们的操作系统副本。为......
  • 动静态方法、多继承与派生
    1.动静态方法1.在类中的定义的函数有多种属性"""类名加括号会产生一个对象,对象用点函数名的方式不用传参因为func1会把gro当做参数传进去。类名点函数名需要传一个参数......
  • 中小企业如何选择腾讯云服务器配置
    中小企业如何选择腾讯云服务器配置?今天有企业朋友问笔者,我们中小企业建站的话,应该如何选择云服务器配置啊,价钱大概是多少的合适,能放几个网站,性能怎么样?相信很多中小型企业......
  • springboot全局异常处理
    packagecom.casaba.provider.config;importcom.casaba.provider.domain.vo.AjaxResult;importlombok.extern.slf4j.Slf4j;importorg.springframework.web.HttpReq......