Logstash：Data 转换，分析，提取，丰富及核心操作: https://blog.csdn.net/UbuntuTouch/article/details/100770828
Beats家族（如FileBeat）参考：
ES官方博客：Beats 入门教程 https://elasticstack.blog.csdn.net/article/details/104432643
ES官方博客：如何使用 Filebeat 将 MySQL 日志发送到 Elasticsearch https://elasticstack.blog.csdn.net/article/details/103954935
Beats如何和其它的 Elastic Stack 一起工作
见下图：Beats 的数据可以有如下的三种方式导入到 Elasticsearch 中：
-
- Beats ==> Elasticsearch：直接把 Beats 的数据传入到 Elasticsearch 中，甚至在现在的很多情况中，这也是一种比较受欢迎的一种方案。它甚至可以结合 Elasticsearch 所提供的 pipeline 一起完成更为强大的组合。
- Beats ==> Logstash ==> Elasticsearch：利用 Logstash 所提供的强大的filter组合对数据流进行处理：解析，丰富，转换，删除，添加等等。 参考 https://elasticstack.blog.csdn.net/article/details/116754424
- Beats ==> Kafka ==> Logstash ==> Elasticsearch：如果数据流具有不确定性，比如可能在某个时刻生产大量的数据，从而导致 Logstash 不能及时处理，我们可以通过 Kafka 或者 Redis 做为 Messaging Queue 来做一个缓存。参考 https://elasticstack.blog.csdn.net/article/details/117426436
Filebeat 是用于转发和集中日志数据的轻量级传送程序。 作为服务器上的代理安装，Filebeat 监视你指定的日志文件或位置，收集日志事件，并将它们转发到 Elasticsearch 或 Logstash 以进行索引
Filebeat 具有如下的一些特性：
- 正确处理日志旋转：针对每隔一个时间段生产一个新的日志的案例，Filebeat 可以帮我们正确地处理新生产的日志，并重新启动对新生成日志的处理
- 背压敏感：如果日志生成的速度过快，从而导致 Filebeat 生产的速度超过 Elasticsearch 处理的速度，那么 Filebeat 可以自动调节处理的速度，以达到 Elasticsearch 可以处理的范围内
- “至少一次”保证：每个日志生成的事件至少被处理一次
- 结构化日志：可以处理结构化的日志数据数据
- 多行事件：如果一个日志有多行信息，也可以被正确处理，比如错误信息往往是多行数据
- 条件过滤：可以有条件地过滤一些事件
Filebeat 的工作方式：
启动 Filebeat 时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。 对于 Filebeat 所找到的每个日志，Filebeat 都会启动收集器（havester）。 每个收割机都读取一个日志以获取新内容，并将新日志数据发送到 libbeat。libbeat 会汇总事件，并将汇总的数据发送到为 Filebeat 配置的输出。
从上面有可以看出来在 spooler 里有一些缓存，这个可以用于重新发送以确保至少一次的事件消费，同时也可以用于背压敏感。一旦 Filebeat 生成的事件的速度超过 Elasticsearch 能够处理的极限，这个缓存可以用于存储一些事件。每个 Filebeat 可以配置多个 input，并且每个 input 可以配置来采集一个或多个文件路径的文件。 就像上面的图显示的那样，Filebeat 支持多种输入方式。你可以在 Filebeat 的配置文件 filebeat.yml 中进行多次的配置：
Ingest Line：它提供了在对文档建立索引之前对其进行预处理的功能：
- 解析，转换并丰富数据
- 管道允许你配置将要使用的处理器
标签：blog,Search,FileBeat,Filebeat,Logstatsh,Beats,Elasticsearch,日志,Logstash From： https://www.cnblogs.com/clarino/p/17053352.html