首页 > 其他分享 >常用source

常用source

时间:2022-08-26 22:47:57浏览次数:49  
标签:常用 r1 sources interceptors a1 source a3 type

Kafka Sources

a3.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a3.sources.r1.batchSize = 5000
a3.sources.r1.batchDurationMillis = 2000
a3.sources.r1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a3.sources.r1.kafka.topics = business_db
a3.sources.r1.kafka.consumer.group.id = business-flume
a3.sources.r1.setTopicHeader = false
a3.sources.r1.interceptors = i1
a3.sources.r1.interceptors.i1.type = com.atguigu.interceptor.business_db.ETLTimestampInterceptor$Builder
a3.sources.r1.interceptors = i2
a3.sources.r1.interceptors.i2.type = com.atguigu.interceptor.user_log.TableNameInterceptor$Builder

TailDir Source

a1.sources.r1.type = TAILDIR
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /opt/module/data_mocker/log/app.*
a1.sources.r1.positionFile = /opt/module/flume-1.9.0/position/taildir_position.json
a1.sources.r1.interceptors =  i1
a1.sources.r1.interceptors.i1.type = com.atguigu.interceptor.business_db.ETLTimestampInterceptor$Builder

 

标签:常用,r1,sources,interceptors,a1,source,a3,type
From: https://www.cnblogs.com/averyve/p/16629457.html

相关文章

  • vue3 基础-常用模板语法
    一个vue的单文件SAP(singlepagewebapplication)即在一个.vue为后缀的文件中,会包含3个部分.模板:html逻辑:javascript样式:css这种同时存在,然......
  • 常用Channel
    KafkaChannel生产者a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannela1.channels.c1.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,......
  • 常用sink
    HDFSSink#sink1a3.sinks.k1.type=hdfsa3.sinks.k1.hdfs.path=/origin_data/gmall/db/business_db/inc/%{tableName}_inc/%Y-%m-%da3.sinks.k1.hdfs.filePrefix......
  • linux在开发项目中常用命令
    linux命令: 查看日志(实时):tail-fa.log 查看日志最新100行:tail-n100a.log 精确查找日志:cat-nxxx.log|grep"xxx打印" 查运行的进程:ps-ef|grepnsrep-self-s......
  • Lazars常用函数
    var i: Integer; Row: String; Parts: TStringArray; S1, S2, S3, S4: String;begin Row :=  '51,40,45,44,44,40,'; Parts......
  • Redis---Redis常用命令手册
    1.前言Redis命令大致可分为以下几种:服务端(server)命令客户端(client)命令键命令(key)数据类型命令功能应用命令这本《Redis常用命令手册》介绍了Redis中经常使用......
  • linux中常用的命令,三剑客awk,sed,grep在Windows系统中的使用
    1.首先是Windows版本的下载地址:https://sourceforge.net/projects/gnuwin32/files/,此地址截止发文都能使用该地址的工具版本都比较老,但是经过测试,基本能在Win10里面使用......
  • 关于成本标签管理-基于-Resource Groups & Tag Editor-统计指定Project-所有资源
    背景:因我们所有AWS都是使用Project标签作为成本标签的,今天因一个项目决定彻底退役下线于是决定要完全清理此项目的所有资源,防止继续产生费用~ 首先想到的去通过Project......
  • 常用快捷键备忘
    Pythcarm运行Python程序没有main函数的那种,按Ctrl+Shift+F10Ctrl+Shift+F10Pycharm一键格式化代码Alt+Ctrl+Lvscode一键格式化代码Shift+Alt+F......
  • Resource和Autowired区别
     使用场景:@Resource和@Autowired都是做bean注入时使用@Resourece是JDK的注解,不是spring的注解;由包javax.annotation.Resourece提供,需要导入;但是Spring支持该......