ELK配置文件

ES端口修改./es/config/elasticsearch.yml

Kibana配置,ES地址,kibana账号密码 ./kibana/config/kibana.yml

Logstash配置修改,ES地址,ES账号密码 ./logstash/config/logstash.yml

./logstash/config/pipelines.yml 配置日志处理管道配置文件

日志处理管道配置,RQ消费-ES输出

./logstash/pipeline/LoggerExternalRequestAndResponse.conf
LoggerRequestAndResponse.conf
LoggerService.conf
logstash.conf

1.基于/home/data文件下把 ELK的三个文件放到当前目录

2.创建elastic网络

docker network create elastic

3.1启动es

docker run -d --name elasticsearch --net elastic -p 9200:9200 -p 9300:9300  -v /home/data/es/config:/usr/share/elasticsearch/config -v /home/data/es/plugins:/usr/share/elasticsearch/plugins -v /home/data/es/logs:/usr/share/elasticsearch/logs -v /home/data/es/data:/usr/share/elasticsearch/data elasticsearch:7.6.2

3.1.1失败查看是文件夹权限问题,执行以下命令

chmod 777 -R /home/data/es
chmod 777 -R /home/data/es/logs

3.1.2 启动ES

docker start elasticsearch

3.2进入es 容器,cd 到当前目录下的bin 文件夹执行,就可以设置默认账号的密码了

http://0.0.0.0:9200
生成各种密码
bin下执行./elasticsearch-setup-passwords interactive
账号：
elastic 123456
apm_system
kibana
logstash_system
beats_system
remote_monitoring_user

./elasticsearch-setup-passwords interactive

4.启动Kibana

docker run -d --name kibana --net elastic -p 5601:5601 -v /home/data/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.6.2

http://0.0.0.0:5601
elastic
123456

5.启动 Logstash

docker run -d --name logstash -p 5044:5044 -p 9600:9600 --net elastic  -v /home/data/logstash/config:/usr/share/logstash/config -v /home/data/logstash/pipeline:/usr/share/logstash/pipeline -v /home/data/logstash/data:/usr/share/logstash/data  -v /home/data/logstash/logs:/usr/share/logstash/logs docker.elastic.co/logstash/logstash:7.6.2

常见问题

设置文件夹权限(程序生成的文件夹,没有写权限,需要添加权限)

chmod 777 -R /home/data/es

jvm虚拟机会因为配置太低,无法启动,需要修改jvm.options 中的 Xms Xmx

`ERROR: [1] bootstrap checks failed

[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
ERROR: Elasticsearch did not exit normally - check the logs at /usr/share/elasticsearch/logs/elasticsearch.log`

切换到root用户,修改配置sysctl.conf

vi /etc/sysctl.conf

添加下面配置:

vm.max_map_count=655360

并执行命令:

sysctl -p

然后重启,搞定