首页 > 其他分享 >ELK+Filebeat+Kafka分布式日志管理平台搭建

ELK+Filebeat+Kafka分布式日志管理平台搭建

时间：2022-12-30 16:37:38浏览次数：36  
标签：ELK Filebeat local Kafka elasticsearch usr 日志 root localhost

ELK介绍

需求背景

业务发展越来越庞大，服务器越来越多

各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志

开发人员排查问题，需要到服务器上查日志，不方便

运营人员需要一些数据，需要我们运维到服务器上分析日志

为什么要用到ELK？

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。

大型系统通常都是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

一个完整的集中式日志系统，需要包含以下几个主要特点：

1）收集－能够采集多种来源的日志数据;

2）传输－能够稳定的把日志数据传输到中央系统;

3）存储－如何存储日志数据;

4）分析－可以支持 UI 分析;

5）警告－能够提供错误报告，监控机制;

而ELK则提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。是目前主流的一种日志系统。

ELK简介

ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Agent)，Beats占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具，目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elastic Stack。

Elastic Stack包含：

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

详细可参考Elasticsearch权威指南

Logstash是一个完全开源的工具，主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Beats在这里是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计

ELK Stack （5.0版本之后）--> Elastic Stack == （ELK Stack + Beats）。目前Beats包含六种工具：

Packetbeat：网络数据（收集网络流量数据）

Metricbeat：指标 （收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）

Filebeat：日志文件（收集文件数据）

Winlogbeat：windows事件日志（收集 Windows 事件日志数据）

Auditbeat：审计数据 （收集审计日志）

Heartbeat：运行时间监控 （收集系统运行时的数据）

ELK官网：https://www.elastic.co/cn/

中文指南：https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details

ELK架构图：

ELK+Filebeat+Kafka分布式日志管理平台搭建_elasticsearch

环境准备

操作系统：CentOS Linux release 7.8.2003 (Core)

服务器IP：192.168.0.4

软件版本

elasticsearch：elasticsearch-7.5.1-linux-x86_64.tar.gz

kibana：kibana-7.5.1-linux-x86_64.tar.gz

logstash：logstash-7.5.1.tar.gz

filebeat：filebeat-7.5.1-linux-x86_64.tar.gz

JDK：jdk-11.0.1_linux-x64_bin.tar.gz

一、基础环境配置

1、关闭防火墙和selinux

[root@localhost ~]# systemctl stop firewalld

[root@localhost ~]# systemctl disable firewalld

[root@localhost ~]# setenforce 0

[root@localhost ~]# sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

2、内核优化

[root@localhost ~]# vim /etc/security/limits.conf

#在文件最后添加以下内容

  1. * soft nofile 65537
  2. * hard nofile 65537
  3. * soft nproc 65537
  4. * hard nproc 65537

[root@localhost ~]# vim /etc/security/limits.d/20-nproc.conf

#修改以下内容

  1. * soft nproc 4096

[root@localhost ~]# vim /etc/sysctl.conf

#添加以下内容

  1. vm.max_map_count =262144
  2. net.core.somaxconn=65535
  3. net.ipv4.ip_forward =1

#执行sysctl -p使其生效

[root@localhost ~]# sysctl –p

3、安装JDK环境

[root@localhost ~]# wget https://mirrors.yangxingzhen.com/jdk/jdk-11.0.1_linux-x64_bin.tar.gz

[root@localhost ~]# tar zxf jdk-11.0.1_linux-x64_bin.tar.gz -C /usr/local

#配置/etc/profile，添加以下内容

[root@localhost ~]# vim /etc/profile

  1. export JAVA_HOME=/usr/local/jdk-11.0.1
  2. export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
  3. export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin

[root@localhost ~]# source /etc/profile

#看到如下信息，java环境配置成功

[root@localhost ~]# java -version

java version "11.0.1" 2018-10-16 LTS

Java(TM) SE Runtime Environment 18.9 (build 11.0.1+13-LTS)

Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.1+13-LTS, mixed mode)

4、创建ELK用户

[root@localhost ~]# useradd elk

二、安装Zookeeper

1、下载zookeeper包

[root@localhost ]# wget -c http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

2、解压安装配置Zookeeper

[root@localhost ]# tar zxf zookeeper-3.4.10.tar.gz

[root@localhost ]# mv zookeeper-3.4.10 /usr/local/zookeeper

[root@localhost ]# cd /usr/local/zookeeper/

3、创建快照日志存放目录：

[root@localhost zookeeper]# mkdir -p data

4、创建事务日志存放目录：

[root@localhost zookeeper]# mkdir -p logs

【注意】:如果不配置dataLogDir，那么事务日志也会写在data目录中。这样会严重影响zookeeper的性能。因为在zookeeper吞吐量很高的时候，产生的事务日志和快照日志太多。

[root@localhost zookeeper]# cd conf/

[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

[root@localhost conf]# vim zoo.cfg

#配置内容

  1. #服务器之间或客户端与服务器之间的单次心跳检测时间间隔，单位为毫秒
  2. tickTime=2000
  3. #集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）
  4. initLimit=10
  5. #集群中flower服务器（F）跟leader（L）服务器之间的请求和答应最多能容忍的心跳数
  6. syncLimit=5
  7. #客户端连接Zookeeper服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求
  8. clientPort=2181
  9. #存放数据文件
  10. dataDir=/usr/local/zookeeper/data
  11. #存放日志文件
  12. dataLogDir=/usr/local/zookeeper/logs
  13. #Zookeeper cluster，2888为选举端口，3888为心跳端口
  14. #服务器编号=服务器IP:LF数据同步端口:LF选举端口
  15. server.1=192.168.0.4:2888:3888

[root@localhost conf]# echo "1" > /usr/local/zookeeper/data/myid

5、启动Zookeeper服务

[root@localhost conf]# /usr/local/zookeeper/bin/zkServer.sh start

三、安装Kafka

1、下载Kafka软件包

[root@localhost ~]# wget -c https://www.apache.org/dyn/closer.cgi?path=/kafka/2.5.0/kafka_2.12-2.5.0.tgz

2、解压Kafka软件包

[root@localhost ~]# tar xf kafka_2.12-2.5.0.tgz

[root@localhost ~]# mv kafka_2.12-2.5.0 /usr/local/kafka

3、配置Kafka

[root@localhost ~]# vim /usr/local/kafka/config/server.properties

  1. broker.id=0
  2. listeners=PLAINTEXT://192.168.0.4:9092
  3. num.network.threads=3
  4. num.io.threads=8
  5. socket.send.buffer.bytes=102400
  6. socket.receive.buffer.bytes=102400
  7. socket.request.max.bytes=104857600
  8. log.dirs=/tmp/kafka-logs
  9. num.partitions=10
  10. num.recovery.threads.per.data.dir=1
  11. offsets.topic.replication.factor=1
  12. transaction.state.log.replication.factor=1
  13. transaction.state.log.min.isr=1
  14. log.retention.hours=168
  15. log.segment.bytes=1073741824
  16. log.retention.check.interval.ms=300000
  17. zookeeper.connect=192.168.0.4:2181
  18. zookeeper.connection.timeout.ms=60000
  19. group.initial.rebalance.delay.ms=0

4、启动Kafka服务

注：需要等待Zookeeper服务器启动再启动Kafka，不然会报错

[root@localhost ~]# /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

四、安装elasticsearch

1、创建持久化目录及Logs日志目录

[root@localhost ~]# mkdir -p /data/elasticsearch/{data,logs}

2、下载elasticsearch软件包

[root@localhost ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz

3、解压并重命名

[root@localhost ~]# tar xf elasticsearch-7.5.1-linux-x86_64.tar.gz

[root@localhost ~]# mv elasticsearch-7.5.1 /usr/local/elasticsearch

4、修改elasticsearch.yml配置文件，文件内容如下

[root@localhost ~]# vim /usr/local/elasticsearch/config/elasticsearch.yml

  1. # 集群名称
  2. cluster.name: es
  3. # 节点名称
  4. node.name: es-master
  5. # 存放数据目录,先创建该目录
  6. path.data:/data/elasticsearch/data
  7. # 存放日志目录,先创建该目录
  8. path.logs:/data/elasticsearch/logs
  9. # 节点IP
  10. network.host:0.0.0.0
  11. # tcp端口
  12. transport.tcp.port:9300
  13. # http端口
  14. http.port:9200
  15. # 主合格节点列表，若有多个主节点，则主节点进行对应的配置
  16. cluster.initial_master_nodes:["192.168.0.4:9300"]
  17. # 是否允许作为主节点
  18. node.master:true
  19. # 是否保存数据
  20. node.data:true
  21. node.ingest:false
  22. node.ml:false
  23. cluster.remote.connect:false
  24. # 跨域
  25. http.cors.enabled:true
  26. http.cors.allow-origin:"*"
  27. # 配置X-Pack
  28. http.cors.allow-headers:Authorization
  29. xpack.security.enabled:true
  30. xpack.security.transport.ssl.enabled:true

5、ELK用户授权

[root@localhost ~]# chown -R elk.elk /usr/local/elasticsearch/

[root@localhost ~]# chown -R elk.elk /data/elasticsearch/*

6、启动elasticsearch服务（第一次先测试好然后再加-d后台启动）

[root@localhost ~]# su - elk

[elk@localhost ~]$ /usr/local/elasticsearch/bin/elasticsearch

7、后台启动elasticsearch服务

[elk@localhost ~]$ /usr/local/elasticsearch/bin/elasticsearch -d

8、监控检测

[elk@localhost ~]$ curl -X GET 'http://192.168.0.4:9200/_cluster/health?pretty'

{

"cluster_name" : "elasticsearch",

"status" : "green",

"timed_out" : false,

"number_of_nodes" : 1,

"number_of_data_nodes" : 1,

"active_primary_shards" : 1,

"active_shards" : 1,

"relocating_shards" : 0,

"initializing_shards" : 0,

"unassigned_shards" : 0,

"delayed_unassigned_shards" : 0,

"number_of_pending_tasks" : 0,

"number_of_in_flight_fetch" : 0,

"task_max_waiting_in_queue_millis" : 0,

"active_shards_percent_as_number" : 100.0

}

# status=green 表示服务正常

9、ElasticSearch配置用户名密码

[elk@localhost ~]$ /usr/local/elasticsearch/bin/elasticsearch-setup-passwords interactive

注：这里密码设置www.yangxingzhen.com

ELK+Filebeat+Kafka分布式日志管理平台搭建_zookeeper_02

注：配置了密码之后获取集群状态命令如下

[elk@localhost ~]$ curl --user elastic:www.yangxingzhen.com -X GET 'http://192.168.0.4:9200/_cluster/health?pretty'

ELK+Filebeat+Kafka分布式日志管理平台搭建_elasticsearch_03

10、Elasticsearch常用命令

curl -XDELETE 'http://host.IP.address:9200/logstash-*' 删除索引(后面为索引名称)

curl -XGET 'host.IP.address:9200/_cat/health?v&pretty' 查看集群状态

curl -XGET 'host.IP.address:9200/_cat/indices?v&pretty' 查看索引

五、安装Kibana

1、下载Kibana软件包

[root@localhost ~]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz

2、解压Kibana软件包并重命名

[root@localhost ~]$ tar xf kibana-7.5.1-linux-x86_64.tar.gz

[root@localhost ~]$ mv kibana-7.5.1-linux-x86_64 /usr/local/kibana

3、配置Kibana配置文件

[root@localhost ~]$ vim /usr/local/kibana/config/kibana.yml

#配置内容如下

  1. # 配置kibana的端口
  2. server.port:5601
  3. # 配置监听ip
  4. server.host:"192.168.0.4"
  5. # 配置es服务器的ip，如果是集群则配置该集群中主节点的ip
  6. elasticsearch.hosts:["http://192.168.0.4:9200"]
  7. elasticsearch.username:"elastic"
  8. elasticsearch.password:"www.yangxingzhen.com"
  9. # 配置kibana的日志文件路径，不然默认是messages里记录日志
  10. logging.dest:/usr/local/kibana/logs/kibana.log
  11. # 配置为中文
  12. i18n.locale:"zh-CN"

4、创建日志目录并授权

[root@JDCloud_Server ~]# mkdir /usr/local/kibana/logs

[root@JDCloud_Server ~]# chown -R elk.elk /usr/local/kibana/

5、启动Kibana服务

[root@localhost ~]# su - elk

# 前台启动

[elk@localhost ~]$ /usr/local/kibana/bin/kibana

# 后台启动

[elk@localhost ~]$ /usr/local/kibana/bin/kibana &

温馨提示：可以先前台启动查看日志，正常之后在后台启动。

六、安装filebeat

1、下载filebeat软件包

[root@localhost ~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.1-linux-x86_64.tar.gz

2、解压并重命名

[root@localhost ~]# tar xf filebeat-7.5.1-linux-x86_64.tar.gz

[root@localhost ~]# mv filebeat-7.5.1-linux-x86_64 /usr/local/filebeat

3、编辑filebeat.yml配置文件，配置内容如下

[root@localhost ~]# vim /usr/local/filebeat/filebeat.yml

  1. #========= Filebeat inputs ==========
  2. filebeat.inputs:
  3. - type: log
  4. enabled:true
  5. paths:
  6. -/data/elasticsearch/logs/elasticsearch.log
  7. multiline:
  8. pattern:'^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}'
  9. negate:true
  10. match: after
  11. fields:
  12. log_topics: elasticsearch-log
  13. logtype: elasticsearch
  14. output.kafka:
  15. enabled:true
  16. hosts:["192.168.0.4:9092"]
  17. topic:'%{[fields][log_topics]}'

4、创建Filebeat日志目录

[root@localhost ~]# mkdir /usr/local/filebeat/logs

[root@localhost ~]# chown -R elk.elk /usr/local/filebeat

5、启动filebeat服务

[root@localhost ~]# su - elk

[elk@localhost ~]# cd /usr/local/filebeat

# 前台启动

[elk@localhost filebeat]$ ./filebeat -e -c filebeat.yml >>logs/filebeat.log

# 后台启动

[elk@localhost filebeat]$ nohup ./filebeat -e -c filebeat.yml >>logs/filebeat.log >/dev/null 2>&1 &

七、安装logstash

1、下载软件包

[root@localhost ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.1.tar.gz

2、解压并重命名

[root@localhost ~]# tar zxf logstash-7.5.1.tar.gz

[root@localhost ~]# mv logstash-7.5.1 /usr/local/logstash

3、创建elasticsearch.conf文件，添加以下内容

[root@localhost ~]# vim /usr/local/logstash/config/elasticsearch.conf

  1. input {
  2. kafka {
  3. bootstrap_servers =>"192.168.0.4:9092"
  4. group_id =>"logstash-group"
  5. topics =>["elasticsearch-log"]
  6. auto_offset_reset =>"latest"
  7. consumer_threads =>5
  8. decorate_events =>true
  9. codec => json
  10. }
  11. }

  13. filter {
  14. if[fields][logtype]=="elasticsearch"{
  15. json {
  16. source =>"message"
  17. }

  19. grok {
  20. match =>{"message"=>"%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level}"}
  21. }

  23. date {
  24. match =>["timestamp","yyyy-MM-dd HH:mm:ss,SSS"]
  25. target =>"@timestamp"
  26. }
  27. }
  28. }

  30. output {
  31. if[fields][logtype]=="elasticsearch"{
  32. elasticsearch {
  33. hosts =>["192.168.0.4:9200"]
  34. user =>"elastic"
  35. password =>"www.yangxingzhen.com"
  36. action =>"index"
  37. index =>"elasticsearch.log-%{+YYYY.MM.dd}"
  38. }
  39. }
  40. }

4、启动logstash服务

[root@localhost ~]# chown -R elk.elk /usr/local/logstash

[root@localhost ~]# su - elk

# 前台启动

[elk@localhost ~]$ /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/elasticsearch.conf

# 后台启动

[elk@localhost ~]$ cd /usr/local/logstash/bin && nohup ./logstash -f /usr/local/logstash/config/elasticsearch.conf >/dev/null 2>&1 &

八、访问Kibana

# 浏览器访问：http://192.168.0.4:5601，出现如下界面

ELK+Filebeat+Kafka分布式日志管理平台搭建_elasticsearch_04

# 输入前面设置的用户名和密码，出现如下界面

ELK+Filebeat+Kafka分布式日志管理平台搭建_zookeeper_05

# 选择自己浏览，出现以下界面

ELK+Filebeat+Kafka分布式日志管理平台搭建_zookeeper_06

ELK+Filebeat+Kafka分布式日志管理平台搭建_zookeeper_07

分别点击管理--》索引管理，这时候就能看到Elasticsearch的索引信息

ELK+Filebeat+Kafka分布式日志管理平台搭建_服务器_08

1、创建Elasticsearch日志索引

索引模式--->>创建索引模式，输入索引模式名称，点击下一步

ELK+Filebeat+Kafka分布式日志管理平台搭建_服务器_09

ELK+Filebeat+Kafka分布式日志管理平台搭建_服务器_10

ELK+Filebeat+Kafka分布式日志管理平台搭建_elasticsearch_11

2、点击Discover，就能看到日志数据了，如下图

ELK+Filebeat+Kafka分布式日志管理平台搭建_zookeeper_12

至此，ELK日志平台收集Elasticsearch日志搭建完成。

  • 输入编号：7528，直达文章
  • 输入m|M，直达目录列表

标签：ELK,Filebeat,local,Kafka,elasticsearch,usr,日志,root,localhost
From： https://blog.51cto.com/u_12018693/5980612

相关文章

  • Linux搭建ELK+Filebeat+Nginx+Redis分布式日志管理平台
    ELK介绍需求背景业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不......
  • Linux搭建ELK-7.5.1分布式集群并且配置X-Pack
    ELK介绍需求背景业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不......
  • Kafka集群管理工具Kafka-Manager安装及使用
    一、kafka-manager简介为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个基于Web的Kafka集群管理工具，叫做KafkaManager。这个管理工具可以很容易地发现分布......
  • Kafka在Zookeeper上的节点信息和查看方式
    Kafka简介Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数......
  • Kafka Reblance & max.poll.interval.ms 重复消费问题
    1.什么是kafkaReblance    消费组是MQ中一个非常重要的概念，一个消费组监听一个Topic时，Kafka服务端会给消费组中的每一个实例，进行队列分配，每一个实例指定消费一个或......
  • Kafka的终极UI工具丨Offset Explorer功能简介
    OffsetExplorer（以前称为KafkaTool）是一个用于管理和使ApacheKafka®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题......
  • 模拟spring-kafka实现kafka的consumer监听
    背景：因为某些原因，无法直接使用springboot提供的@KafkaListener，改为模拟springboot注解的方式搬过来实现首先创建一个业务处理的service，这个service主要用于消费下来的消息......
  • ELK 7.17.5 集群部署及使用
    文章目录​​一、ElasticSearch安装​​​​1.elasticsearch单节点安装​​​​2.elasticsearch分布式集群安装​​​​3.elasticsearch配置身份认证​​​​二、Elasti......
  • Kafka集群升级实施方案
    一、背景我们组内维护的kafka集群承担着公司绝大部分实时数据的收集传输任务。但是，现阶段存在如下问题，已经对集群的稳定性、用户的使用以及管理员的运维造成了很大影响：1......
  • kafka如何处理大量积压消息
    1.consumer导致kafka积压了大量消息方法：1.增大partion数量，2.消费者加了并发，服务，扩大消费线程3.增加消费组服务数量4.kafka单机升级成了集群5.避免消费者消费消息时......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99