简介
ELK 是 Elasticsearch、Logstash 和 Kibana 的缩写，它们代表的是一套成熟的日志管理系统，ELK Stack 已经成为目前最流行的集中式日志解决管理方案。
Elasticsearch
分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
Logstash
数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；
Kibana
数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示;
Filebeat
ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发是对它的替代。在需要采集日志数据的服务上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取日志文件数据，迅速发送到 Logstash 进行解析，或直接发送到 Elasticsearch 进行集中式存储和分析。
安装 elasticsearch
下载镜像
docker pull elasticsearch:7.17.0
运行
docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.17.0
检测是否启动成功，注意开启防火墙的端口(9200,9300)限制
浏览器访问 ip:9200，响应为
{
"name" : "adfd092fcbb6",
"cluster_name" : "docker-cluster",
"cluster_uuid" : "QYlWm28zSpCE39liFBr37g",
"version" : {
"number" : "7.17.0",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "bee86328705acaa9a6daede7140defd4d9ec56bd",
"build_date" : "2022-01-28T08:36:04.875279988Z",
"build_snapshot" : false,
"lucene_version" : "8.11.1",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
修改配置
# 进入docker容器
docker exec -it elasticsearch /bin/bash
cd config
# 修改配置文件
vi elasticsearch.yml
# 增加下面两项，如果不添加以下两项，elasticsearch-head连接不了
http.cors.enabled: true
http.cors.allow-origin: "*"
# 重启 es 容器
docker restart elasticsearch
如果容器内不能编辑，就先拷贝出来
docker cp elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml .
docker cp elasticsearch.yml elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml
安装 elasticsearch-head（ES可视化工具）
下载镜像
docker pull mobz/elasticsearch-head:5
运行
docker run -d --name es_admin -p 9100:9100 mobz/elasticsearch-head:5
连接 es
安装 kibana
下载镜像
docker pull kibana:7.17.0
运行
docker run -d --name kibana -p 5601:5601 -e ELASTICSEARCH_HOSTS=http://ip:9200 kibana:7.17.0
浏览器访问 ip:5601
安装 logstash
下载镜像
docker pull logstash:7.17.0
创建配置文件
mkdir -p /data/elk/logstash/conf.d
cd /data/elk/logstash
vim logstash.yml
内容如下：
path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash
#以下为filebeat的配置
cd /data/elk/logstash/conf.d
vi filebeat.conf
内容如下：
input {
beats {
port => 5044
codec => "json"
}
}
output {
elasticsearch { hosts => ["ip:9200"] }
}
安装 filebeat
下载镜像
docker pull elastic/filebeat:7.5.1
运行
docker run -d --name=filebeat elastic/filebeat:7.5.1
修改配置文件
docker cp filebeat:/usr/share/filebeat /root/test_elk/
chmod 777 -R /root/test_elk/filebeat
chmod go-w /root/test_elk/filebeat/filebeat.yml
修改配置文件 filebeat.yml
filebeat:
inputs:
- type: log
paths:
- /data/log/java-projects/sys-manager/sys-manager_api.log
multiline:
pattern: '^\d{4}-\d{1,2}-\d{1,2}'
negate: true
match: after
fields:
type: demo1
scan_frequency: 15s
ignore_older: 24h
output:
logstash:
hosts: ["ip:5044"]
重新运行
docker rm -f filebeat
docker run -d \
--name=filebeat \
-v /root/test_elk/filebeat:/usr/share/filebeat \
-v /data/log/java-projects/sys-manager:/data/log/java-projects/sys-manager \
elastic/filebeat:7.5.1
手动添加日志
echo "this is a test log message" >> /data/log/java-projects/sys-manager/sys-manager_api.log
在 kibana 上查看效果
总结
ELK 的版本需要一致，不然可能导致 ELK 无法使用。filebeat 的版本不需要特别注意，无特殊需求与本文一致即可。注意开启防火墙的端口限制。ELK 需要较大的内存，最好剩余 4G 以上。
遇到的问题
docker kibana nable to retrieve version information from Elasticsearch nodes. getaddrinfo
运行 kibana 失败，原因为 es 地址配置错误，要使用 ELASTICSEARCH_HOSTS 参数，而不是 ELASTICSEARCH_URL
Logstash stopped processing because of an error: (SystemExit) exit
运行 logstash 失败，原因为 配置文件错误，/data/elk/logstash/conf.d/filebeat.conf，写成了 filebeat.yml
参考
docker安装ELK
Docker 部署 ELK 详解
docker安装filebeat
docker kibana nable to retrieve version information from Elasticsearch nodes. getaddrinfo