Logstash架构介绍

1.1 为什么需要Logstash

对于部分生产上的日志无法像 Nginx 那样，可以直接将输出的日志转为 Json 格式，但是可以借助 Logstash来将我们的 ”非结构化数据“，转为 “结构化数据”；
filbeat --> logstash(input fileter output) --es

1.2 什么是Logstash

Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

1.3 Logstash架构介绍

Logstash 的基础架构类似于 pipeline 流水线，主要分为如下步骤：
    Input：数据采集（常用插件：stdin、file、kafka、beat、http）
    Filter：数据解析/转换（常用插件：grok、date、geoip、mutate、useragent）
    Output：数据输出 （常用插件：Elasticsearch）

1.4 安装Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.8.1.rpm
yum install java -y
rpm -ivh logstash-7.8.1.rpm 

# 修改配置文件
vim/etc/logstash/logstash.yml
node.name: logstash-node1
path.data: /var/lib/logstash # 数据存放路径
pipeline.workers: 2 
pipeline.batch.size: 1000 # 同时处理条目
path.logs: /var/log/logstash # 日志目录

# 堆内存大小调整
vim/etc/logstash/jvm.options
-Xms1g
-Xmx1g