首页 > 其他分享 >寒假学习 13 使用Avro数据源测试Flume

寒假学习 13 使用Avro数据源测试Flume

时间:2024-02-25 15:58:11浏览次数:30  
标签:Flume channels 13 r1 数据源 avro a1 sources c1

1.1   创建 avro.conf

# Name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = avro

a1.sources.r1.channels = c1

a1.sources.r1.bind = 0.0.0.0

a1.sources.r1.port = 4141

# Describe the sink

a1.sinks.k1.type = logger

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

2.2 创建 helloworld.txtz

在此目录下 /usr/flume/flume-1.7.0

 

vi helloworld.txt

Hello World

Hello Flume

 

2.3 启动 agent

2.4 在同目录下新建一个命令终端,使用avro-client发送文件

在这个终端发送字符,在另一个终端可以接收到字符

 

标签:Flume,channels,13,r1,数据源,avro,a1,sources,c1
From: https://www.cnblogs.com/jizhaosai/p/18032483

相关文章

  • 寒假学习 14 使用netcat 数据源测试Flume
    1.1  创建netcat.conf 1.2在/usr/flume/flume-1.7.0目录下启动flumeagent出现如下: 1.3启动Flume,在另一个终端(这里称为“Telnet终端”)中,输入命令“telnetlocalhost44444”  当输出错误:bash:telnet:commandnotfound…说明容器中没有telnet,需要下载:......
  • AT_abc213_d [ABC213D] Takahashi Tour 题解(图&深搜)
    传送门题意有一个\(n\)个点的无向图。从根节点\(1\)开始,按如下规则遍历整个图:如果有连接这个点的其他点没有走过,则到这个点。如果有多个点,那么按从小到大的顺序走。如果有这个点没有其他点或者连接这个点的其他点都走过了,那么:如果这个点是根节点\(1\),结束。否则回......
  • Crypto( 13 )
    [WUSTCTF2020]B@se题目给出的提示是base编码,尝试base64行不通,看了大佬wp说是base64变表,下面是脚本运行后的结果flag{base64_1s_v3ry_e@sy_and_fuN}[网鼎杯2020青龙组]you_raise_me_up直接运行报错,说的是语法无效,大佬是这么写的:从附件的代码我们可以找到关键字:flag(c=......
  • P1137 旅行计划
    原题链接题解拓扑排序+dp。首先以入度为零的结点为起始结点,其游览城市数量为1,接下来每到下一结点,游览城市数++;即当前结点的游览城市数是上一结点的游览数+1,并取最大值。code #include<bits/stdc++.h>usingnamespacestd;constintN=1e5+5;inthead[N],Next[N*2],to[N......
  • 2-13. 实装攻击判定
    为三段攻击分别添加对应的触发器用同样的方式给Attack2和Attack3动画也添加触发器设置完触发器攻击野猪不掉血因为野猪身上有两个碰撞体,我们希望capsulecollider2D起作用,所以需要将CapsuleCollider2D的LayerOverridePriority调高,使其优先触发让人物在攻击的......
  • 请求接口时报错nginx 413 Request Entity Too Large
    1.在rancher容器中执行命令行$cd/etc/nginx$catnginx.conf2.vi或vim修改配置文件bash:vim:commandnotfound更新软件包列表$sudoapt-getupdate更新软件包$sudoapt-getupgrade安装vim$sudoapt-getinstallvim3.vim修改conf配置文件http新增client_m......
  • P1137 旅行计划
    原题链接题解一个节点的答案一定是最大父节点+1code#include<bits/stdc++.h>usingnamespacestd;intans[100005]={0};intin[100005]={0};vector<int>G[100005];structunit{intpos,order;};intmain(){intn,m;cin>>n>>m;for(inti......
  • 刘铁猛C#学习笔记13 委托1
    “幻想:如果能有一种能把方法当参数的方法就好了”一、什么是委托委托源自C、C++中的函数指针 1.C语言中的函数指针(1)函数的直接调用先准备好一个加法函数,一个减法函数可以通过函数名调用这两个函数,这种调用方法称作直接调用 (2)函数指针的声明、间接调用先按下......
  • P10139 [USACO24JAN] Nap Sort G 题解
    DescriptionBessie正在尝试使用她自己的排序算法对一个整数数组进行排序。她有一堆共\(N\)(\(1\leN\le2\cdot10^5\))个整数\(a_1,a_2,\ldots,a_N\)(\(1\lea_i\le10^{11}\)),她将会按排序顺序将这些数放入一个单独的数组中。她反复查找这堆数中的最小数,将其删除,同时将其添加到......
  • 2.13
    今天学vue的组件化开发,组件的局部注册和全局注册现在写页面就可以像拼图一样,将一个个组件拼起来了,方便快捷了不少.今日代码<template><divclass="hm-Footer">芝士Footer<hm-button>按钮</hm-button></div></template><script>importHmButton......