1、组件介绍
1、Elasticsearch：
是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
2、Logstash:
主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。
3、Kibana:
是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持,它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。
4、Kafka：
数据缓冲队列。作为消息队列解耦合处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
-
1.发布和订阅记录流，类似于消息队列或企业消息传递系统。
-
2.以容错持久的方式存储记录流。
-
3.处理记录发生的流。
5、Filebeat:
隶属于Beats,轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是 ELK Stack 在 Agent 的第一选择,目前Beats包含四种工具：
-
1.Packetbeat（搜集网络流量数据）
-
2.Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据。通过从操作系统和服务收集指标，帮助您监控服务器及其托管的服务。）
-
3.Filebeat（搜集文件数据）
-
4.Winlogbeat（搜集 Windows 事件日志数据）
2、环境介绍
注：以下为环境所需所有服务器，配置为测试环境配置。
| 安装软件 | 主机名 | IP地址 | 系统版本 | 配置 |
|---|---|---|---|---|
| Elasticsearch/Logstash/kibana | Elk | 10.3.145.14 | centos7.5.1804 | 2核4G |
| Elasticsearch | Es1 | 10.3.145.56 | centos7.5.1804 | 2核3G |
| Elasticsearch | Es2 | 10.3.145.57 | centos7.5.1804 | 2核3G |
| zookeeper/kafka | Kafka1 | 10.3.145.41 | centos7.5.1804 | 1核2G |
| zookeeper/kafka | Kafka2 | 10.3.145.42 | centos7.5.1804 | 1核2G |
| zookeeper/kafka | Kafka3 | 10.3.145.43 | centos7.5.1804 | 1核2G |
| Filebeat |
3、版本说明
Elasticsearch: 7.13.2
Logstash: 7.13.2
Kibana: 7.13.2
Kafka: 2.11-1
Filebeat: 7.13.2
相应的版本最好下载对应的插件4、搭建架构
5、 大致流程
1、日志数据由filebate进行收集，定义日志位置，定义kafka集群，定义要传给kafka的那个topic
2、kafka接受到数据后,端口为9092，等待消费
3、logstash消费kafka中的数据，对数据进行搜集、分析，根据输入条件，过滤条件，输出条件处理后，将数据传输给es集群
4、es集群接受数据后，搜集、分析、存储
5、kibana提供可视化服务，将es中的数据展示。6、实施部署
Elasticsearch集群部署、Kibana部署、Logstash部署、Filebeat 部署
Elasticsearch集群和Logstash、Kibana部署-CSDN博客
Kafka部署
标签：centos7.5,ELK,filebeat,kafka,搜集,Elasticsearch,日志,数据,Logstash From： https://blog.csdn.net/weixin_45814478/article/details/139157851