首页 > 其他分享 >六、Flume 组件安装配置

六、Flume 组件安装配置

时间:2023-05-18 09:44:57浏览次数:47  
标签:Flume hdfs src local a1 usr flume 组件 安装

解压:

tar -zxvf apache-flume-1.7.0-bin.tar.gz

重命名:

mv apache-flume-1.7.0-bin/ flume

配置环境变量:

vi /etc/profile
export FLUME_HOME=/usr/local/src/flume
export PATH=$PATH:$FLUME_HOME/bin
刷新环境变量:
source /etc/profile

切换目录:

cd /usr/local/src/flume/conf

拷贝文件:

cp flume-env.sh.template flume-env.sh

编辑文件:

vi /usr/local/src/flume/conf/flume-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_181/

查看版本:

flume-ng version

如果查看版本报错:

vi /usr/local/src/flume/bin/flume-ng
110 java.library.path 2>/dev/null)

切换目录:

/usr/local/src/flume

编辑文件:

vi /usr/local/src/flume/flume-hdfs.conf
a1.sources=r1
a1.sources=r1
a1.sinks=k1
a1.channels=c1
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/usr/local/src/hadoop-2.7.6/logs/
a1.sources.r1.fileHeader=true
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/flume
a1.sinks.k1.hdfs.rollsize=1048760
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.rollInterval=900
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.channels.c1.type=file
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

使用flume-ng agent命令加载flume-hdfs.conf配置信息,启动flume传输数据:

flume-ng agent --conf-file /usr/local/src/flume/flume-hdfs.conf --name a1

查看Hadoop目录:

hadoop fs -ls /

查看Flume传输到HDFS 的文件:

hadoop fs -ls /flume

标签:Flume,hdfs,src,local,a1,usr,flume,组件,安装
From: https://www.cnblogs.com/-liunian/p/17410969.html

相关文章

  • Redis 在windows 下安装使用
    管理界面: Release2022.5·lework/RedisDesktopManager-Windows(github.com)redis服务:发布·特波拉多夫斯基/雷迪斯(github.com)验证redis服务是否安装完成,和配置密码redis-cliconfigsetrequirepass密码auth密码 ......
  • 依赖注入 (DI) 是.NET中一个非常重要的软件设计模式,它可以帮助我们更好地管理和组织组
    依赖注入(DI)是.NET中一个非常重要的软件设计模式,它可以帮助我们更好地管理和组织组件,提高代码的可读性,扩展性和可测试性。在日常工作中,我们一定遇见过这些问题或者疑惑。Singleton服务为什么不能依赖Scoped服务?多个构造函数的选择机制?源码是如何识别循环依赖的?虽然我们可......
  • centos7 中安装 busco
     001、系统[root@PC1software]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core) 002、python版本[root@PC1software]#python3--versionPython3.11.3 003、gcc版本[root@PC1software]#gcc--versiongcc(GCC)4.8.520150623(RedHat......
  • docker 安装nginx 主机可以访问,但是外网访问不了--set:nu
    在外网确实访问不了:第一步:查看端口是否打开ss  -auput|grep":80"第二:查看防火墙是否打开firewall -cmd --state第三:是否缺少内核的转发vim/etc/sysctl.conf添加 net.ipv4.ip_forward=1查看配置是否生效 ......
  • drf-序列化组件
    目录作业讲解1Request类源码分析1.1总结的知识点1.2源码分析1.2APIView+Response写个接口2序列化组件介绍3序列化类的基本使用3.1查询所有和查询单条4常用字段类和参数(了解)4.1常用字段类4.2字段参数(校验数据来用的)5反序列化之校验6反序列化之保存75个接口代码路由......
  • CentOS7.7安装docker
    1.背景想自己部署一套halo,发现需要docker环境,而且docker现在已经用处广泛,所以在CentOS服务器上安装docker2.步骤#Uninstalloldversionssudoyumremovedocker\docker-client\docker-client-latest\docker-co......
  • 解决Net Framework2.0无法安装
    无需更新widows,听说你不能更新?什么?你也不行?一、那先试试这个可以么?感觉不太行,此处省略~二、不可以就用这个验证系统盘下是否存在文件夹C:\Windows\winsxs以管理员运行CMDdism.exe/online/enable-feature/featurename:NetFX3/Source:C:\Windows\winsxsOK......
  • es笔记四之中文分词插件安装与使用
    本文首发于公众号:Hunter后端原文链接:es笔记四之中文分词插件安装与使用前面我们介绍的操作及演示都是基于英语单词的分词,但我们大部分使用的肯定都是中文,所以如果需要使用分词的操作肯定也是需要使用中分分词。这里我们介绍一下如何安装中文分词插件。在介绍安装之前,我们可以......
  • Windows10安装oracle 19c数据库+PLsql详细安装过程
    Windows版Oracle19c安装过程记录文章目录Windows版Oracle19c安装过程记录前言安装过程1下载2安装3检查是否安装成功。PLSQL连接Oracle数据库前言安装Windows版Oracle19c。官网:https://www.oracle.com/database/technologies/安装过程首先在百度上搜索Windows版Oraclec19安装。1......
  • drf——Request源码分析、序列化组件、序列化类的使用(字段类和参数)、反序列化校验和
    1.Request类源码分析#APIView+Response写个接口#总结: 1.新的request有个data属性,以后只要是在请求body体中的数据,无论什么编码格式,无论什么请求方式2.取文件还是从:request.FILES3.取其他属性,跟之前完全一样request.method.... 原理:新的request重写了__g......