说明:
在一些比较大的业务使用场景中,因为应用繁多,需要收集的日志也很多,通过 filebeat 或者logstash 收集上来的日志如果全都直接发送给 ES,那么就会对 ES 集群产生一定的压力,为了避免出现日志接收不过来的问题,于是引入了消息队列作为缓存,比如常见的使用 Redis 或 Kafka 作为消息缓存。本篇讲的是以 kafka 作为消息缓存的架构,收集上来的日志先发送给 Kafka,然后再发送给 ES集群,当然因 Kafka 没办法直接和 ES 对接数据,需在这两者之间使用 Logstash 来传输。于是架构就有了如下:
我这里的 Kafka 部署也是 3 个节点部署,都安装在之前的 ES 服务器上,即分别安装在 elk01(192.168.200.21)、 elk02(192.168.200.22)、 elk03(192.168.200.23)上。
一、安装JDK
安装 JDK,因为部署 Kafka 需要依赖 java 环境。登录 3 台 ES 集群服务器,先检查系统是否已经装有 java 了,然后进入安装包目录,执行安装即可。(如装有 java 了可以跳过此步骤)
[root@elk01 ~]# java --version
openjdk 11.0.19 2023-04-18 LTS
OpenJDK Runtime Environment (Red_Hat-11.0.19.0.7-1.el7_9) (build 11.0.19+7-LTS)
OpenJDK 64-Bit Server VM (Red_Hat-11.0.19.0.7-1.el7_9) (build 11.0.19+7-LTS, mixed mode, sharing)
java 安装完成即可,无需再做其他配置
二、 安装 Zookeeper
部署 Kafka 之前还需要先安装 zookeeper。 zookeeper 是一个集群调度的工具,可以用来调度Kafka 集群。
安装配置如下:
标签:ELKF,进阶,11.0,Kafka,java,日志,安装,ES From: https://www.cnblogs.com/Mr-Ding/p/18034989