Dinky的使用——parquet2mysql

 需求：将parquet数据文件同步数据到mysql数据库

需要通过创建parquet格式的hive表，从hdfs中将数据文件下载，我这里提前做好了

一、添加依赖包

在dinky的plugins目录和flink的lib目录下添加parquet文件格式的依赖包，并重启dinky和flink

依赖包下载地址参考：https://www.bookstack.cn/read/ApacheFlink-1.13-zh/d8d654b36a91abf4.md

下载的时候大家注意自己的flink版本

二、创建作业

 三、编写flinksql代码

CREATE TABLE fs_table (
`id` STRING,
`name` STRING,
`sex` STRING,
`age` INT,
`work` STRING
)  WITH (
  'connector'='filesystem',
  'path'='/home/data/parquet',
  'format'='parquet'
);

CREATE TABLE par_out( 
`id` STRING,
`name` STRING,
`sex` STRING,
`age` INT,
`work` STRING
) WITH (
  'connector' = 'jdbc', 
  'url' = 'jdbc:mysql://172.16.119.50:3306/test?createDatabaseIfNotExist=true&useSSL=false',
  'username' = 'root',
  'password' = 'Tj@20220710', 
  'table-name' = 'par_out' 
);

INSERT INTO par_out select id,name,sex,age,work from fs_table;

四、运行作业

选定好提前部署的flink集群，并通过sql代码的检查没问题就可以运行

运行成功

也可以通过flink页面观察作业运行情况 

查看mysql表，确认数据是否同步过来