首页 > 数据库 >Dinky的使用——csv2mysql

Dinky的使用——csv2mysql

时间:2022-10-18 19:35:20浏览次数:39  
标签:Dinky STRING work csv2mysql sex 使用 table csv name

要求:通过dinky把csv的文本文件里面的数据同步到mysql数据库里面

一、添加依赖包

在dinky的pulgins和flink的lib目标下添加csv的依赖包,添加完后重启dink和flink

下载地址可参考:https://www.bookstack.cn/read/ApacheFlink-1.13-zh/cf3c826e1cc6c380.md

 

 

 如果找不到下载的连接,也可以直接到maven仓库里面下载

 

二、创建作业

 

 

 

三、编写flinksql代码

CREATE TABLE fs_table (
`id` STRING,
`name` STRING,
`sex` STRING,
`age` STRING,
`work` STRING
)  WITH (
  'connector'='filesystem',
  'path'='file:///data/offline/data',
  'format'='csv'
);

CREATE TABLE csv_out( 
`id` STRING,
`name` STRING,
`sex` STRING,
`age` STRING,
`work` STRING
) WITH (
  'connector' = 'jdbc', 
  'url' = 'jdbc:mysql://192.168.58.112:3306/offline_data?createDatabaseIfNotExist=true&useSSL=false',
  'username' = 'root',
  'password' = 'yg^_TG07i+fgh#OaM1', 
  'table-name' = 'csv_out' 
);

INSERT INTO csv_out(id,name,sex,age,work) select id,name,sex,age,work from fs_table;

-- select * from fs_table;

 这里需要自己提前准备好csv数据文件

 

四、运行作业

 

 

 查看mysql数据库表中数据是否进来

 

 

 

 

 

 

标签:Dinky,STRING,work,csv2mysql,sex,使用,table,csv,name
From: https://www.cnblogs.com/braveym/p/16803764.html

相关文章

  • 进入python的世界_day17_python基础——了解模块、如何使用和导入模块、包的原理
    一、模块介绍1.什么是模块​ 其实我们前一阵已经接触过了,importxxx、fromxximportxxx​ 能够有一定功能的集合体就是模块,比如有某些功能的py文件,包含这个文件的......
  • Manifest使用示例7 - 自定义依赖关系及版本控制
    使用registry时,我们需要创建以下这几类文件:库的描述及构建流程库的版本信息当前项目使用的manifest文件库的注册表描述文件以下示将实现两个库alpha和beta的registr......
  • 自动生成路由和action的使用
    自动生成路由普通cbv视图形式的路由:path('books4/',views.Book4View.as_view()),re_path('books4/(?P<pk>\d+)',views.Book4DetailView.as_view())继承了Vi......
  • Dinky的使用——kafka2mysql
    需求:通过在kafka的topic里面传入json串,再把数据同步到mysql中,这个也可以作为半结构化数据同步的案例一、添加依赖包将依赖包放到dinky的pulgins目录和flink的lib目录下,并......
  • 神器软件:虚拟机软件安装与使用
    问什么是虚拟机?答虚拟机是一个软件。在自己电脑上通过虚拟机软件,可以模拟出新的电脑,并为其安装操作系统。问虚拟机有什么用?答使用电脑时,对一些软件不放心,担心其损坏电脑。或......
  • MAC m1使用homebrew安装redis报错
    报错信息tar:Erroropeningarchive:Failedtoopen'/Users/peas/Library/Caches/Homebrew/downloads/df016fccee96887f4f24a989ec9b08c04eef867bfb15f67a6e5eee58f6ce......
  • 使用istioctl 快速部署Istio
    环境介绍k8s集群:v1.25.2istio版本:1.15.2下载Istio方法一#curl-Lhttps://istio.io/downloadIstio|ISTIO_VERSION=1.15.2TARGET_ARCH=x86_64sh-%Total%......
  • Manifest使用示例3-安装并使用本地私有库
    使用示例 本示例包括两部分,第一,构建本地的私有库,第二,使用本地私有库一、构建本地私有库构建本地私有库的相关文件,示例为testport。文件结构: E:/ |--Manifest/ |----my......
  • Manifest使用示例6 - 安装并使用git私有仓库
    有的开发者会借助github创建自己的私有库,那么如何利用vcpkg使用git上的私有库呢? 请参考以下示例。 使用示例1.准备一个私有仓库Cheney-W/test,且为这个私有库生成一......
  • 考研数学 | 关于考研数学真题使用方法和模考的个人建议
    关于22年真题建议留到最后,供自己模拟使用!配备答题卡,体验考场的感觉,也可是20、21、22这三年,这个自己斟酌一下就行!09至21年真题如何做?个人的建议是:第一遍:先按套卷做,模......