ELK日志系统
ELK：是一套完整的日志集中处理方案。
E：elasticsearch ES 分布式索引型非关系数据库 存储logstash 输出的日志，全文检索引擎。保存的格式json格式
L：logstash 基于Java开发的，数据收集引擎，日志的收集，可以对数据进行过滤，分析，汇总，以标准格式输出
K：Kiabana 是ES的可视化工具。对es存储的数据进行可视化展示，分析，检索
ELK架构
ELK F K
F：
filebeat：轻量级的开源日志文件数据搜集器。logstash占用资源比较大，属于重量级。
有了flebeat可以节省资源，可以通过filebeat和logstash实现远程数据收集。
filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。
K:
kafka 消息队列？
192.168.11.150 es1
192.168.11.151 es2
192.168.11.152 kibana
192.168.11.150 和192.168.11.151操作安装 E L
F:\学习笔记\EKL图形化界面安装\ELK实验步骤 按照文档步骤来
1、es取主从和数据模式 node.master: true
es数据库的主从类型 true false
node.data: true
数据节点，是否保存数据，logstash发送数据，节点是否接受以及保存。
es如何创建，修改，删除数据 数据管理
通过http的方式
post方式修改数据
创建数据
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
localhost:9200 对应的就是本地数据库的地址 ip+端口
index-demo 创建索引分片的名称
test 数据名称
1 数据的id字段
?pretty&pretty 参数设定为json格式
-d 数据的具体内容
修改数据
curl -X **POST** 'localhost:9200/index-demo/test/1/_update?pretty' -H 'Content-Type: application/json' -d '{ "doc": { "user": "zhangsan", "mesg": "hello1 world1" } }'
删除数据
curl -X DELETE 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
192.168.11.152安装日志图形化部署
收集日志文件脚本
[root@apache-elk3 conf.d]# vim syetem.conf
input{
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
}
}
output {
elasticsearch {
hosts=>["192.168.11.150:9200","192.168.11.151:9200"]
index=>"system-%{+YYYY.MM.dd}"
}
}
[root@apache-elk3 conf.d]# pwd
/etc/logstash/conf.d
[root@apache-elk3 conf.d]# logstash -f system.conf --path.data /opt/test2 & #开始日志收集
#输入之后等一会 会出现成功标志
[root@apache-elk3 opt]#cd /opt/
[root@apache-elk3 opt]#rpm -ivh kibana-6.7.2-x86_64.rpm
[root@apache-elk3 conf.d]# vim /etc/kibana/kibana.yml
2 server.port: 5601
7 server.host: "0.0.0.0"
28 elasticsearch.hosts: ["http://192.168.11.150:9200","http://192.168.11.151:9200"]
37 kibana.index: ".kibana"
96 logging.dest: /var/log/kibana.log
113 i18n.locale: "zh-CN"
[root@apache-elk3 opt]# systemctl restart kibana.service
[root@apache-elk3 opt]# systemctl enable kibana.service
[root@apache-elk3 opt]# netstat -antp | grep 5601
[root@apache-elk3 opt]# chmod 777 /var/log/messages
浏览器访问：192.168.11.152:5601
http日志收集
[root@apache-elk3 conf.d]# pwd
/etc/logstash/conf.d
[root@apache-elk3 conf.d]# vim http.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch{
hosts=>["192.168.11.150:9200","192.168.11.151:9200"]
index=> "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch{
hosts=>["192.168.11.150:9200","192.168.11.151:9200"]
index=> "apache_error-%{+YYYY.MM.dd}"
}
}
[root@apache-elk3 conf.d]# logstash -f http.conf --path.data /opt/test5 &
API接口:
软件内部代码之间通信的接口 代码的连接 代码之间调用的接口
端口是对外提供访问程序的内容结构
filebeat:
作用：1、可以在本机收集日志
2、远程收集日志
3、轻量级的日志收集系统，可以在非Java环境运行
logstash占用资源比较大，属于重量级，需要再jvm运行，消耗资源大启动-个logstash要消耗500M左右的内存
192.168.11.137 nginx
[root@test2 opt]# cd /usr/local/filebeat/
[root@test2 filebeat]# cp filebeat.yml filebeat.yml.bak
[root@test2 filebeat]# vim filebeat.yml ##发
21 - type: log
22 enabled: true
23 paths:
24 - /usr/local/nginx/logs/access.log
25 - /usr/local/nginx/logs/error.log
26 #开启日志收集，以及确定日志文本路径，指定标签和发送到目标主机的logstash
27 tags: ["nginx"]
28 fields:
29 service_name: 192.168.11.137_nginx
30 log_type: nginx
31 from: 192.168.11.137
150 #output.elasticsearch:
151 # Array of hosts to connect to.
152 # hosts: ["localhost:9200"]
162 #----------------------------- Logstash output --------------------------------
163 output.logstash:
164 # The Logstash hosts
165 hosts: ["192.168.11.152:5045"] #5044 logstash默认的端口，只要会死logstash主机上没有占用的端口可以使用。大于1024
[root@test2 filebeat]# nohup ./filebeat -e -c filebeat.yml > filebeat.out &
-e 输出到标准输出
-c 指定配置文件
nohup：在系统的后台运行，不会因为终端的关闭导致程序停止运行，可以把运行的日志保存到指定文件
192.168.11.152
nginx_137.conf
input {
beats { port => "5045"}
}
output {
if "nginx" in [tags] {
elasticsearch {
hosts=>["192.168.11.150:9200","192.168.11.151:9200"]
index=> "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
}
[root@apache-elk3 conf.d]# logstash -f nginx_137.conf --path.data /opt/test6 &
[2] 60608
修改nginx默认访问端口
nginx 8888
httpd:80
mysql:3306
mysql日志路径: general_log_file=/usr/local/mysql/data/mysql_general.log
nginx 日志路径： - /usr/local/nginx/logs/access.log
- /usr/local/nginx/logs/error.log
httpd日志路径： /var/log/httpd/access_log
/var/log/httpd/access_log
[root@myslq4 nginx]# vim /etc/nginx/nginx.conf
38 server {
39 listen 8888;
40 listen [::]:8888;
41 server_name _;
42 root /usr/share/nginx/html;
[root@myslq4 nginx]# netstat -antp | grep nginx
tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 30416/nginx: master
tcp6 0 0 :::8888 :::* LISTEN 30416/nginx: master
tstat -antp | grep nginx
tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 30416/nginx: master
tcp6 0 0 :::8888 ::