首页 > 其他分享 >写了一个flinkcdc的简单demo,大概说一下实现过程和建议点

写了一个flinkcdc的简单demo,大概说一下实现过程和建议点

时间:2023-12-12 09:00:32浏览次数:27  
标签:自定义 demo kafka 大概 flinkcdc mysql oracle 数据

架构图大致如下:

版本信息大致如下,具体版本信息根据自己的需求进行调整即可:

oracle:19c

flinkcdc:2.4.0

kafka:3.1.2

flink:1.15.4

mysql:8.0.27

springboot:2.5.6

实现需求:

1.使用flinkcdc采集oracle中的数据(历史数据+增量数据:含增删改)同步至kafka的某个topic中

2.使用flink消费kafka中的接收oracle同步数据的topic中的数据,并将数据sink到mysql数据库中

3.使用springboot程序读取mysql中的数据(根据需求写sql进行筛选)并在前台展示

架构中需要注意的几个点:

1.因为我的需求中需要同步到oracle的历史数据,所以在确定OracleSource的配置项中需要重点注意

2.oracle中的数据写入到kafka中,想要更好的在后续kafka的查数过程中数据更加具有可读性,我建议在配置OracleSource中使用自定义的反序列化器(其实我也是这么处理的)处理数据为自己想要的格式

3.自定义话数据格式后,后面插入mysql的JdbcSink中需要对获取的数据格式进行相应的处理

未完待续~~~~~~~~~~~~

 

标签:自定义,demo,kafka,大概,flinkcdc,mysql,oracle,数据
From: https://www.cnblogs.com/jia-tong/p/17891264.html

相关文章

  • 真机调试 Flutter 报错:Lookup failed: title in @getters in MyHomePage in package:f
    发生缘由学习Flutter更改lib目录下面的main.dart文件之后真机调试运行flutterrun报错:1#小组件库异常2══╡EXCEPTIONCAUGHTBYWIDGETSLIBRARY╞═══════════════════════════════════════════════════......
  • 11.Demonstrate the essentials concerning "Abstract" in research papers,such as f
    11.Demonstratetheessentialsconcerning"Abstract"inresearchpapers,suchasfeatures,types,andcomponents.演示研究论文中关于“摘要”的要点,如特点、类型和组成部分。Round1:IntroductiontotheAbstractSpeaker1(ResearcherA):Ladiesandgentlemen,than......
  • flinkcdc连接oracle的报错汇总
    报错一:原因分析:字面原因,找不到 org.apache.flink.table.api.ValidationException类。解决办法:根据类名可知,应该 org.apache.flink.table.api包下面的,然后去阿里云maven仓库搜索,添加如下依赖即可 报错二:原因分析:ORA-16331:容器"ORCLPDB1"未打开。解决办法:使用命令打......
  • jmeter测试计划中的“独立运行每个线程组”Demo演示
    一:jmeter的运行顺序测试计划-->线程组其次执行顺序为:配置元件、前置处理器、定时器、取样器、后置处理器、断言、监听器当一个测试计划中有多个线程组,当多个线程组都是是执行状态时,就会用到测试计划中的“独立运行每个线程组”勾选框不勾选时的执行顺序如下:......
  • 软件工程第九组-卡卡记账Demo
    小组成员分工郝文章:小程序主界面申子昂:小程序个人界面王龙龙和邹宇鹏:小程序订单界面邹宇鹏和胡致文:SpringBoot后端程序download微信 SpringBoot ......
  • Hadoop集群部署后相关WEB界面打不开大概原因
    集群部署完毕后,查看相关WEB界面,打不开的原因可能如下:1、可以先去检查LINUX(CentOS7)机器的防火墙是否关闭,命令如下:systemctlstatusfirewalld.service(查看防火墙状态)(如果显示为关闭状态,则进行下一步;如果显示尚未关闭,则进行关闭并设定开机如下所示)systemctlstopfirewalld......
  • h5新增标签demo【+清空浮动】
    直接上代码<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><title>Document</title&......
  • NaLLM Demo
    NaLLM项目总结前后端分离,前端Vue3,后端Fastapi项目的整体界面如图:主要实现三种功能:UnstructuredImport:实现非结构化文本的知识图谱提取和实体关系、去重等操作,最终返回提取的实体、关系和对应的属性,本项目也提供了将原始提取结果转换为CSV文件的类,便于结果的存储。Chat......
  • int和long的计算demo6
    publicclassdemo06{publicstaticvoidmain(String[]args){intmoney=10_0000_0000;System.out.println(money);intyear=20;inttotal=money*year;//-1474836480计算的时候溢出了System.out.println(total);//默认的是int,转......
  • 类型转换demo05
    importcom.sun.security.jgss.GSSUtil;publicclassdemo05{publicstaticvoidmain(String[]args){inti=130;byteb=(byte)i;//内存溢出//类型转换byte(字节),short(较小范围整数类型),char(字符)->int(整数)->long(较大范围整数类型)->float(单精度......