1、下载Flume
版本为apache-flume-1.9.0-bin
链接:https://pan.baidu.com/s/1dSJhZBb6Rz__WYNhM2HzkQ
提取码:1234
2、解压配置
解压后,将conf目录下的flume-env.sh.template复制并改名为flume-env.sh
修改flume-env.sh的JDK路径
export JAVA_HOME=/xx/jdk/jdk1.8.0_201
3、在conf文件夹下创建netcat-logger.conf
# 定义这个agent中各组件的名字,给那三个组件sources,sinks,channels取个名字,是一个逻辑代号: # a1是agent的代表。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # type是类型,是采集源的具体实现,这里是接受网络端口的,netcat可以从一个网络端口接受数据的。 # bind绑定本机IP(如果配置了hosts映射,那么可以填主机名)。port端口号为444。 a1.sources.r1.type = netcat a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 444 # type,下沉类型,使用logger,将数据打印到屏幕上面。 a1.sinks.k1.type = logger # type类型是内存memory。 # capacity:默认该通道中最大的可以存储的event数量,1000是代表1000条数据。 # trasactionCapacity:每次最大可以从source中拿到或者送到sink中的event数量。 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 将sources和sinks绑定到channel上面。 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
4、运行flume
bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
5、验证:
在window下telnet IP port,然后发送数据
flume接收到的数据
参考:
1、 https://blog.csdn.net/ruiqu1650914788/article/details/124993210
2、 https://zhuanlan.zhihu.com/p/511455862
标签:Flume,flume,type,a1,sources,conf,安装,channels From: https://www.cnblogs.com/linlf03/p/17243520.html