Flume原理简介 + 组件

1.1 简介

　　Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。简单来讲，在组件中它的作用就是负责收集数据。

1.2 特性

1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

2.可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中。

3.操作简单，只需要通过配置项来控制source和sink

4.具备良好的自定义扩展能力，在数据采集中可优先考虑使用它

1.3 组件

Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成

每一个agent相当于一个数据(被封装成Event对象)传递员，内部有三个组件：

Source：采集组件，用于跟数据源对接，以获取数据

Channel：传输通道组件，用于从source将数据传递到sink

Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据

　　一行文本内容会被反序列化（流——>对象）成一个event。序列化是将对象状态转换为可保持或传输的格式的过程（对象——>流）。这两个过程结合起来，可以轻松地存储和传输数据)，event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8。