首页 > 其他分享 >大数据工具 flume 的安装配置与使用 (详细版)

大数据工具 flume 的安装配置与使用 (详细版)

时间:2024-11-03 21:46:27浏览次数:3  
标签:flume channels sinks a1 sources 详细 c1 安装

参考网址:Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了 

1,上传安装包

安装包链接:文件下载-奶牛快传 Download |CowTransfer

口令:x8bhcg

1,切换盘符到安装目录

cd /opt/moudles

解压文件到文件目录

解压命令:tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/installs/
重命名:mv apache-flume-1.9.0-bin/ flume

2,配置环境变量

export FLUME_HOME=/opt/installs/flume
export PATH=$PATH:$FLUME_HOME/bin

记得刷新环境变量

source /etc/profile

 3,修改一下flume的配置文件:

 4,修改 JAVA_HOME 的路径为自己的 jdk 路径。

export JAVA_HOME=/opt/installs/jdk

 安装完成

2,关于flume的使用

flume 的使用是编写 conf文件的,运行的时候指定该文件

# 定义组件的名字
<Agent>.sources = <Source>
a1.sources=s1
<Agent>.channels = <Channel1> <Channel2>
a1.channels=c1
<Agent>.sinks = <Sink>
a1.sinks=sink1

# 设置source 和 channel 之间的关系
<Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...
a1.sources.s1.channels=c1

# 设置sink 和 channel 之间的关系
<Agent>.sinks.<Sink>.channel = <Channel1>
a1.sinks.sink1.channel=c1

先定义agent的名字,再定义agent中三大组件的名字
接着定义各个组件之间的关联关系

3,案例展示
Avro+Memory+Logger【主要用于演示,没有实战意义】

avro: 是监听某个端口是否有信息的工具
memory: 内存
logger: 控制台
即将演示一个场景:给服务器上的一个端口发送消息,消息经过内存,打印到控制台上。

 

先找source 中的avro看需要设置什么参数

 

#编写s1的类型是什么
a1.sources.s1.type = avro
a1.sources.s1.bind = 192.168.32.128
a1.sources.s1.port = 4141
a1.sources.s1.channels = c1 

找到channel中的memory类型,再设置一下

a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
#source 或者 sink 每个事务中存取 Event 的操作数量
a1.channels.c1.transactionCapacity = 10000 

接着查找sink,sink的类型是logger

a1.sinks.s2.channel = c1
a1.sinks.s2.type = logger 

最终合并起来的文件就是:

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = bigdata01
a1.sources.r1.port = 4141

a1.channels.c1.type = memory

a1.sinks = k1
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

在flume文件夹下创建一个文件夹 myconf,用于存放我们写好的文件

进入后创建  avro-memory-log.conf

将配置文件的内容拷贝进去

先启动flume-ng

flume-ng agent -c ../ -f avro-memory-log.conf -n a1 -Dflume.root.logger=INFO,console

-c  后面跟上 配置文件的路径
-f  跟上自己编写的conf文件
-n  agent的名字
-Dflume.root.logger=INFO,console   INFO 日志输出级别  Debug,INFO,warn,error 等

接着向端口中发送数据:

flume-ng avro-client -c /opt/installs/flume/conf/ -H bigdata01 -p 4141 -F /home/hivedata/arr1.txt

给avro发消息,使用avro-client

flume是没有运行结束时间的,它一直监听某个Ip的端口,有消息就处理,没消息,就等着,反正不可能运行结束。

 如果想停止,可以使用ctrl + c 终止flume。

标签:flume,channels,sinks,a1,sources,详细,c1,安装
From: https://blog.csdn.net/GDDGHS_/article/details/143462697

相关文章

  • 如何解决ffmpeg安装报错ERROR: You have requested merging of multiple formats but
    ......
  • 安装LaTeX-OCR截图识别转换成LaTeX-Markdown格式
    安装LaTeX-OCR在虚拟环境中,通过pip命令安装LaTeX-OCR。以下是一个示例命令:pipinstallpix2tex[gui]注意:如果你在中国大陆地区,由于网络原因,可能需要设置临时代理或使用国内的镜像源来加速下载。使用LaTeX-OCR命令行使用安装完成后,你可以在命令行中直接使用LaTeX-OCR。首先,你......
  • centos7,yum安装mongodb
    yum安装mongodb1.配置MongoDB的yum源2.安装Mongodb3.启动Mongodb4.配置远程访问5.设置mongo密码1.配置MongoDB的yum源1.创建yum源文件,输入命令:vim/etc/yum.repos.d/mongodb-org-5.0.repo然后在文件中输入以下内容并保存:[mongodb-org-5.0]name=MongoDBReposit......
  • dubbo安装
    什么是dubbo?Dubbo是一款由阿里巴巴开源的高性能JavaRPC(RemoteProcedureCall,远程过程调用)框架。它旨在解决分布式服务架构中的服务治理、调用、容错等问题,使得开发者可以更加方便地构建和维护大规模分布式系统Dubbo是一个强大的分布式服务框架,适用于构建大规模的微服务......
  • 哔咔漫画app安装IOS下载安装完美攻略
    哔咔漫画在C++是一种多范式编程语言,支持多种编程范式。这些范式包括但不限于过程式编程、面向对象编程、泛型编程和函数式编程。下面详细介绍每种编程范式在C++中的应用和特点:1.过程式编程(ProceduralProgramming)哔咔漫画过程式编程是一种基于过程调用的编程范式,强调程序的......
  • 【国产化替换】信创操作系统:银河麒麟桌面操作系统V10SP1-2403-X86上安装和使用Wiresha
    https://mp.weixin.qq.com/s/cDPN024RaavRcyedGtKYGg信创操作系统:银河麒麟桌面操作系统V10SP1-2403-X86上安装和使用Wireshark网络协议分析器的详细步骤原创易联无界一、引言1.1文档概述Wireshark适用于所有主流Linux发行版,是一款自由开源的网络协议分析器,通过使用Wi......
  • centos编译安装opencv
    cmake-DCMAKE_BUILD_TYPE=Release-DCMAKE_INSTALL_PREFIX=/usr/local/opencv-DBUILD_SHARED_LIBS=ON-DBUILD_opencv_java=ON..参考:https://blog.csdn.net/qq_35946365/article/details/141472123需要先安装gcccmakeant等软件。yuminstallgccgcc-c++ncu......
  • MyBatis-Plus快速入门:从安装到第一个Demo
    一、前言在现代Java应用程序中,数据访问层的效率与简洁性至关重要。MyBatis-Plus作为MyBatis的增强工具,旨在简化常见的数据操作,提升开发效率。它提供了丰富的功能,如自动生成SQL、条件构造器和简单易用的CRUD操作,极大地减少了代码的冗余。本文将带你从零开始,快速入门MyBa......
  • 【JQuery】基础从零入门操作,简单详细
    阿华代码,不是逆风,就是我疯你们的点赞收藏是我前进最大的动力!!希望本文内容能够帮助到你!!目录一:JQuery介绍1:引入依赖2:src3:下载说明4:版本说明二:JQuery使用三:JQuery语法1:起手式2:选中元素四:JQuery选择器五:JQuery事件1:事件的组成六:获取、设置元素内容1:获取元素内......
  • 第一周学习总结:计算机发展史及liunx系统安装
    #计算机发展相关历史1.第一代(1946-1957年):电子管计算机电子管计算机(1946-1957)这一阶段计算机的主要特征是采用电子管元件作基本器件,用光屏管或汞延时电路作存储器,输入与输出主要采用穿孔卡片或纸带,体积大、耗电量大、速度慢、存储容量小、可靠性差、维护困难且价格昂贵。在软......