首页 > 其他分享 >Flume安装

Flume安装

时间:2023-03-22 14:11:23浏览次数:52  
标签:Flume flume type a1 sources conf 安装 channels

1、下载Flume

版本为apache-flume-1.9.0-bin

链接:https://pan.baidu.com/s/1dSJhZBb6Rz__WYNhM2HzkQ 

提取码:1234

2、解压配置

解压后,将conf目录下的flume-env.sh.template复制并改名为flume-env.sh

 

修改flume-env.sh的JDK路径

export JAVA_HOME=/xx/jdk/jdk1.8.0_201

 

3、在conf文件夹下创建netcat-logger.conf

# 定义这个agent中各组件的名字,给那三个组件sources,sinks,channels取个名字,是一个逻辑代号:
# a1是agent的代表。
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# type是类型,是采集源的具体实现,这里是接受网络端口的,netcat可以从一个网络端口接受数据的。
# bind绑定本机IP(如果配置了hosts映射,那么可以填主机名)。port端口号为444。
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 444
  
# type,下沉类型,使用logger,将数据打印到屏幕上面。

a1.sinks.k1.type = logger

# type类型是内存memory。
# capacity:默认该通道中最大的可以存储的event数量,1000是代表1000条数据。
# trasactionCapacity:每次最大可以从source中拿到或者送到sink中的event数量。
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 将sources和sinks绑定到channel上面。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

 

4、运行flume  

bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

  

5、验证:

在window下telnet IP port,然后发送数据

 

 flume接收到的数据

 

 

参考:

1、 https://blog.csdn.net/ruiqu1650914788/article/details/124993210

2、 https://zhuanlan.zhihu.com/p/511455862

 

标签:Flume,flume,type,a1,sources,conf,安装,channels
From: https://www.cnblogs.com/linlf03/p/17243520.html

相关文章

  • hadoop 安装
    deban安装hadoop文档1.使用的kvm创建的虚拟机,创建虚拟机的同时创建hadoop用户建议使用最简单的安装方式2.配置/etc/network/interfaces文件3.配置/etc/hosts文......
  • QT Creator 安装教程
    Qt介绍:  Qt是一个跨平台的C++开发库。主要用来绘制漂亮的界面,其他还包含很多其它功能,如多线程、访问数据库、图像处理、音频视频处理、网络通信、文件操作等。Qt......
  • (2023版)一套教程搞定k8s安装到实战 | Kubernetes学习路线
    视频来源:B站《(2022版)最新、最全、最详细的Kubernetes(K8s)教程,从K8s安装到实战一套搞定》一边学习一边整理老师的课程内容及试验笔记,并与大家分享,侵权即删,谢谢支持! ......
  • Windows中Anaconda的基本安装和使用
    一、下载安装Anaconda官网:anaconda.com在这里会卡住一会,正常现象,几分钟到十几分钟不一定,后面也卡会,等就⭐安装完成,添加系统变量(1)win10→设置→系统......
  • Centos安装部署netcore 包含Nginx,Supervisor等
    安装.NETCoreSDK安装libicu依赖yuminstalllibunwindlibicu注册dotnet的repository您需要注册Microsoft签名密钥并添加Microsoft产品提要sudorpm-Uvhhttps://packag......
  • Linux系统之温度监控工具——lm_sensors的安装和基本使用
    (Linux系统之温度监控工具——lm_sensors的安装和基本使用)一、lm_sensors介绍lm_sensors,是一款基于linux系统的硬件监控的软件。可以监控主板,CPU的工作电压,温度等数据。......
  • Centos 安装 arm-linux-gnueabihf-gcc (armcc交叉工具链)
    环境:CentOS64位准备工作:1.在linux系统的/usr/local/新新建(mkdir)arm文件夹,并改权限(chmod)为777。mkdirarm【新建/usr/local/arm/目录】chmod777arm【修......
  • Cadence IC617 设计环境安装
    运行库配置yumupdatekernel–yyuminstallkernel-headers–yyuminstallkernel-devel–yyuminstallgcc–yyuminstallmake–yCadence需要的库yuminst......
  • Centos7 下的SVN安装与配置
    ```Centos7下的SVN安装与配置1.关闭防火墙   临时关闭防火墙   systemctlstopfirewalld       永久防火墙开机自关闭   systemctldisablefirewa......
  • Node-RED简介与Windows上安装、启动和运行示例
    场景Node-RED简介Node-RED是IBM公司开发的一个可视化的编程工具,以满足他们快速连接硬件和设备到Web服务和其他软件的需求,很快发展成为一种通用的物联网编程工具。Node-RED是......