首页 > 其他分享 >常用Channel

常用Channel

时间:2022-08-26 22:47:00浏览次数:37  
标签:flume 常用 9092 kafka channels a3 c1 Channel

Kafka Channel

生产者

a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c1.kafka.topic = user_log
a1.channels.c1.parseAsFlumeEvent = true

消费者

a2.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a2.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a2.channels.c1.kafka.topic = user_log
a2.channels.c1.kafka.consumer.group.id = flume-consumer
a2.channels.c1.parseAsFlumeEvent = true
a2.channels.c1.pollTimeout = 1000

File Channel

a3.channels.c1.type = file
a3.channels.c1.checkpointDir = /opt/module/flume-1.9.0/checkpoint/behavior2,/mnt/vdb_rom/flume-1.9.0/checkpoint/behavior2
a3.channels.c1.dataDirs = /opt/module/flume-1.9.0/data/behavior2/
a3.channels.c1.maxFileSize = 2146435071
a3.channels.c1.capacity = 1000000
a3.channels.c1.keep-alive = 6

 

标签:flume,常用,9092,kafka,channels,a3,c1,Channel
From: https://www.cnblogs.com/averyve/p/16629467.html

相关文章

  • 常用sink
    HDFSSink#sink1a3.sinks.k1.type=hdfsa3.sinks.k1.hdfs.path=/origin_data/gmall/db/business_db/inc/%{tableName}_inc/%Y-%m-%da3.sinks.k1.hdfs.filePrefix......
  • linux在开发项目中常用命令
    linux命令: 查看日志(实时):tail-fa.log 查看日志最新100行:tail-n100a.log 精确查找日志:cat-nxxx.log|grep"xxx打印" 查运行的进程:ps-ef|grepnsrep-self-s......
  • Lazars常用函数
    var i: Integer; Row: String; Parts: TStringArray; S1, S2, S3, S4: String;begin Row :=  '51,40,45,44,44,40,'; Parts......
  • Redis---Redis常用命令手册
    1.前言Redis命令大致可分为以下几种:服务端(server)命令客户端(client)命令键命令(key)数据类型命令功能应用命令这本《Redis常用命令手册》介绍了Redis中经常使用......
  • linux中常用的命令,三剑客awk,sed,grep在Windows系统中的使用
    1.首先是Windows版本的下载地址:https://sourceforge.net/projects/gnuwin32/files/,此地址截止发文都能使用该地址的工具版本都比较老,但是经过测试,基本能在Win10里面使用......
  • 常用快捷键备忘
    Pythcarm运行Python程序没有main函数的那种,按Ctrl+Shift+F10Ctrl+Shift+F10Pycharm一键格式化代码Alt+Ctrl+Lvscode一键格式化代码Shift+Alt+F......
  • Python正则表达式常用写法
    一、正则表达式模式模式字符串使用特殊的语法来表示一个正则表达式:下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数,某些模式元素......
  • 数组的常用操作
     数组过滤:Array.every((x,index,arr)=>x>2)every每一个都满足条件返回true,有一个不满足返回false 不改变原数组 Array.some((x,index,arr)=>x>2)some有一个......
  • vscode常用配置
    1.快速生成HTML模板先在创建的文件中输入英文状态输入法下的感叹号(!),然后按一下键盘上的Enter键即可生成Html模板。2.参数提示通过文件-首选项-键盘快捷方式更改参数......
  • Django ORM中常用字段和参数
    DjangoORM中常用字段和参数 一些说明:表myapp_person的名称是自动生成的,如果你要自定义表名,需要在model的Meta类中指定 db_table 参数,强烈建议使用小写表名,特......