首页 > 编程语言 >FLINKCDC3.0 datastream程序运行测试

FLINKCDC3.0 datastream程序运行测试

时间:2024-05-05 09:00:47浏览次数:25  
标签:bin datastream hdf1 FLINKCDC3.0 程序运行 savepoint flink jar org

1.编写程序本地运行正常

2.程序正常打包

3.提交作业到FLINK集群
./bin/flink run -m hdf1:8081 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar

4.监控作业运行
作业正常运行,cud查看 taskmanager log,可以看到cud变更数据

5.给当前的Flink程序创建Savepoint
bin/flink savepoint 79440d0a1e3f8bf9fbbb0eb5fc04e8e0 hdfs://hdf1:8020/flinkCDC/save

在WebUI中cancelJob
在MySQL的表中添加、修改或者删除数据

从Savepoint重启程序
bin/flink run -s hdfs://hdf1:8020/flinkCDC/save/savepoint-5dadae-02c69ee54885 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar
观察TaskManager日志,会从检查点读取表数据

6.报错 No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
该错暂时搁置,无法手动创建保存点

flink savepoint 5e8c92c0cea783738c9b62abbe84c504 /tmp/flink/checkpoints/

标签:bin,datastream,hdf1,FLINKCDC3.0,程序运行,savepoint,flink,jar,org
From: https://www.cnblogs.com/huft/p/18170176

相关文章

  • GO 语言编写的程序运行过程详解
    1.1go源代码packagemainfuncmain(){goadd(1,2)}funcadd(a,bint)(int,int,int){returna+b,a,b}1234567先来看看上面这段程序的反汇编代码:1.2add函数反汇编代码0x401050  48c744241800000000  MOVQ$0x0,0x18(SP)0x401059  48c744......
  • Django单程序运行
    1、增加环境变量并且配置#确保运行在最model类之前importosimportdjangoos.environ.setdefault('DJANGO_SETTINGS_MODULE','SmsProject.settings')django.setup()2、如果使用Pycharm还需要做如下配置3、运行程序importosimportdjangoos.environ.setdefault(......
  • ⭐Unity 程序运行时默认出现在屏幕的左上角
    usingSystem.Runtime.InteropServices;usingUnityEngine;publicclassWindowPosition:MonoBehaviour{[DllImport("user32.dll",EntryPoint="SetWindowPos")]privatestaticexternboolSetWindowPos(IntPtrhwnd,inthWndInsertA......
  • iOS开发者必备的实时查看应用程序运行日志技术
    目录一、设备连接二、使用克魔助手查看日志三、过滤我们自己App的日志......
  • 程序运行要求,三角形三边的值来自于本地一个文本文件input.txt,三角形类型的值最终存储
    本周完成如下2个实验:面向对象数据持久化编程,使用java编写程序,完成三角形的类型判断,程序模块要求如下:创建三角形对象triangle,该对象属性有三边a,b,c,该对象有:方法1:isOutOfRange(intI,intmax),用于判断一个整数是否在(0,max)区间内(max值请各人自行设定),返回值:true-否;fal......
  • Flink API的四层抽象级别是什么?能用实际项目案例讲解一下吗? Flink API的四层抽象级别
    FlinkAPI的四层抽象级别是什么?能用实际项目案例讲解一下吗?首先,FlinkAPI的四层抽象级别是指:最底层抽象:ProcessFunctionAPI、核心API:DataStreamAPI、TableAPI、SQL。这四个抽象级别可以比作烹饪中的不同方式,从简单的速食制作到复杂的大餐烹饪。1.最底层抽象:ProcessFunctionAP......
  • Qt程序运行报错
    报错内容PC环境为Ubuntu20.04,Qt版本是Qt5.12.9,AsensingViewer是编译好的程序./AsensingViewer:errorwhileloadingsharedlibraries:libicudata.so.56:cannotopensharedobjectfile:Nosuchfileordirectory问题分析查看程序依赖lddAsensingViewer注意到有个......
  • 线程同步,命令行程序创建承载WPF程序运行的另一种实现
    WPFApplication类WPFApplication类是WPF应用程序的核心。它负责管理应用程序的生命周期、创建和管理应用程序的主窗口、处理应用程序事件以及提供对应用程序资源的访问。主要方法和属性WPFApplication类包含以下主要方法和属性:构造函数: 构造函数用于初始化应用程序......
  • NILMTK程序运行
    NILM非侵入式负荷监测第三章NILMTK程序运行文章目录NILM非侵入式负荷监测公众号NILMTK安装完成之后,可以运行程序测试一下,官方给出了教程https://github.com/nilmtk/buildsys2019-paper-notebooks,但该教程是.ipynb格式,需要利用jupyternotebook打开,本文提供.py格......
  • 处理windows下端口引发的程序运行问题
    最近用Windows10才遇到的问题在这之前我也用了很久的Win10了,却一直没有遇到过觉得有些奇葩,做下简单记录简述如果你在Windows下运行一些需要使用端口的软件,但是软件运行中发生莫名问题那么恭喜你这篇文章可能能帮助到你Windows的动态端口范围Windows中有一个......