首页 > 其他分享 >常用sink

常用sink

时间:2022-08-26 22:45:24浏览次数:109  
标签:hdfs 常用 false sinks db k1 a3 sink

HDFS Sink

# sink1
a3.sinks.k1.type = hdfs
a3.sinks.k1.hdfs.path = /origin_data/gmall/db/business_db/inc/%{tableName}_inc/%Y-%m-%d
a3.sinks.k1.hdfs.filePrefix = db
a3.sinks.k1.hdfs.useLocalTimeStamp=false
a3.sinks.k1.hdfs.round = false
# 解决hdfs中小文件问题
a3.sinks.k1.hdfs.rollInterval = 30
a3.sinks.k1.hdfs.rollSize = 134217728
a3.sinks.k1.hdfs.rollCount = 0
# 控制输出文件DataStream格式。
a3.sinks.k1.hdfs.fileType = CompressedStream
a3.sinks.k1.hdfs.codeC = gzip

 

标签:hdfs,常用,false,sinks,db,k1,a3,sink
From: https://www.cnblogs.com/averyve/p/16629469.html

相关文章

  • linux在开发项目中常用命令
    linux命令: 查看日志(实时):tail-fa.log 查看日志最新100行:tail-n100a.log 精确查找日志:cat-nxxx.log|grep"xxx打印" 查运行的进程:ps-ef|grepnsrep-self-s......
  • Lazars常用函数
    var i: Integer; Row: String; Parts: TStringArray; S1, S2, S3, S4: String;begin Row :=  '51,40,45,44,44,40,'; Parts......
  • Redis---Redis常用命令手册
    1.前言Redis命令大致可分为以下几种:服务端(server)命令客户端(client)命令键命令(key)数据类型命令功能应用命令这本《Redis常用命令手册》介绍了Redis中经常使用......
  • linux中常用的命令,三剑客awk,sed,grep在Windows系统中的使用
    1.首先是Windows版本的下载地址:https://sourceforge.net/projects/gnuwin32/files/,此地址截止发文都能使用该地址的工具版本都比较老,但是经过测试,基本能在Win10里面使用......
  • 常用快捷键备忘
    Pythcarm运行Python程序没有main函数的那种,按Ctrl+Shift+F10Ctrl+Shift+F10Pycharm一键格式化代码Alt+Ctrl+Lvscode一键格式化代码Shift+Alt+F......
  • Python正则表达式常用写法
    一、正则表达式模式模式字符串使用特殊的语法来表示一个正则表达式:下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数,某些模式元素......
  • 数组的常用操作
     数组过滤:Array.every((x,index,arr)=>x>2)every每一个都满足条件返回true,有一个不满足返回false 不改变原数组 Array.some((x,index,arr)=>x>2)some有一个......
  • vscode常用配置
    1.快速生成HTML模板先在创建的文件中输入英文状态输入法下的感叹号(!),然后按一下键盘上的Enter键即可生成Html模板。2.参数提示通过文件-首选项-键盘快捷方式更改参数......
  • Django ORM中常用字段和参数
    DjangoORM中常用字段和参数 一些说明:表myapp_person的名称是自动生成的,如果你要自定义表名,需要在model的Meta类中指定 db_table 参数,强烈建议使用小写表名,特......
  • SQL常用函数
    1、初始化一个MYSQL结构MYSQL*mysql_init(MYSQL*mysql)2、关闭一个服务器连接,并释放与连接相关的内存voidmysql_close(MYSQL*mysql);3、连接一个MySQL服务......