- 2024-05-13k8s部署实时计算平台dinky1.0
k8s部署实时计算平台dinky1.0.2源码编译IDEA编译推荐使用IDEA进行编译,因为IDEA在打开项目时会自动下载依赖,而且编译速度快,方便调试.Clone项目注意:本次直接clone的是Dinky主仓库,如果你想要二次开发/基于自己的仓库进行二次开发,请先fork项目,然后再c
- 2023-03-24Flink,Dinky踩坑日记
1. Flink使用v 初始化配置Dlinky初始化需要使用数据库,下载包中有数据库文件(mysql),dlinky和flink存在版本问题,注意插件包中scala对应的版本序号。如果版本不对应,在执
- 2023-02-14 dinky-binlog-kafka-flinksql流程处理
准确阶段:mysql:开启mysql日志kafka:需检查服务是否正常maxwell:这里采用19版本,过新的版本对java版本要求高,我这里是java8maxwell-1.19.0maxwell操作:cd/root/tar_temp/maxwell-
- 2022-10-19Dinky的使用——parquet2mysql
需求:将parquet数据文件同步数据到mysql数据库需要通过创建parquet格式的hive表,从hdfs中将数据文件下载,我这里提前做好了 一、添加依赖包在dinky的plugins目录和flin
- 2022-10-19Dinky的使用——snappy2mysql
需求:将压缩文件snappy的数据同步到mysql数据库snappy可以作为orc文件的压缩格式存在,所以在添加依赖包的时候,直接添加orc的依赖包就可以了还有一点注意的是,在创建hive表的
- 2022-10-19Dinky的使用——orc2mysql
需求:将orc格式的数据文件同步数据到mysql数据库由于orc格式的文件不能直接通过文本编辑器打开,也不是说简单的通过记事本写入一些数据,把扩展名改成orc就可以了为了生成标
- 2022-10-18Dinky的使用——csv2mysql
要求:通过dinky把csv的文本文件里面的数据同步到mysql数据库里面一、添加依赖包在dinky的pulgins和flink的lib目标下添加csv的依赖包,添加完后重启dink和flink下载地址可
- 2022-10-18Dinky的使用——kafka2mysql
需求:通过在kafka的topic里面传入json串,再把数据同步到mysql中,这个也可以作为半结构化数据同步的案例一、添加依赖包将依赖包放到dinky的pulgins目录和flink的lib目录下,并