Filebeat收集系统日志实践

3.1 系统日志有哪些

系统日志其实很宽泛、通常我们说的是 messages、secure、cron、dmesg、ssh、boot 等日志

3.2 系统日志收集思路

系统中有很多日志，挨个配置收集就变得非常麻烦了。所以我们需要对这些日志进行统一、集中的管理。
可以通过 rsyslog 将本地所有类型的日志都写入/var/log/system.log 文件中，然后使用 filebeat 对该文件进行收集即可。

3.3 系统日志收集架构图

rsyslog+filebeat --> elasticsearch集群 <–kibana

3.4 系统日志收集实践

3.4.1 环境准备

3.4.2 配置rsyslog

yum install rsyslog -y

vim /etc/rsyslog.conf
#Provides UDP syslog reception #udp协议
$ModLoad imudp
$UDPServerRun 514
#配置收集日志的方式
#*.* @IP:514 #将本地所有日志通过网络发送给远程服务器
*.* /var/log/system.log #将本地所有日志保存至本地/var/log/system.log

# 启动
systemctl start rsyslog

测试
logger "rsyslog test from qingchen"
grep qingchen /var/log/system.log

3.4.3 配置filebeat

cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths: /var/log/system.log

output.elasticsearch:
  hosts: ["172.16.1.161:9200","172.16.1.162:9200","172.16.1.163:9200"]
  index: "system-%{[agent.version]}-%{+yyyy.MM.dd}" #自定义索引名称

setup.ilm.enabled: false
setup.template.name: "system"       #定义模板名称
setup.template.pattern: "system-*"  #定义模板的匹配索引名称

systemctl restart filebeat

3.4.4 配置kibana

配置kibana读取elasticsearch索引中的数据，然后进行展示

1、配置kibana，创建索引

2、配置索引筛选名称

3、点击kibana的discover查看索引的日志数据

3.4.5 优化filebeat

kibana 展示的结果上有很多 Debug 消息，其实该类消息无需收集，所以我们可以对收集的日志内容进行优化，只收集警告 WARN、ERR、sshd 相关的日志；
cat /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths: /var/log/sys.log
  include_lines: ["WARN","ERR","sshd"]  #包含这些
# exclude_lines: ["DEBUG","INFO"] # 或者排除这些

output.elasticsearch:
  hosts: ["172.16.1.161:9200","172.16.1.162:9200","172.16.1.163:9200"]
  index: "system-%{[agent.version]}-%{+yyyy.MM.dd}" #自定义索引名称

setup.ilm.enabled: false
setup.template.name: "system"       #定义模板名称
setup.template.pattern: "system-*"  #定义模板的匹配索引名称

删除ES以及kibana的索引，然后重新生成ES、kibana索引