首页 > 其他分享 >ELKF日志系统搭建(二)进阶——使用 Kafka 作为日志消息缓存

ELKF日志系统搭建(二)进阶——使用 Kafka 作为日志消息缓存

时间:2024-02-26 19:24:50浏览次数:22  
标签:ELKF 进阶 11.0 Kafka java 日志 安装 ES

说明:

在一些比较大的业务使用场景中,因为应用繁多,需要收集的日志也很多,通过 filebeat 或者logstash 收集上来的日志如果全都直接发送给 ES,那么就会对 ES 集群产生一定的压力,为了避免出现日志接收不过来的问题,于是引入了消息队列作为缓存,比如常见的使用 Redis 或 Kafka 作为消息缓存。本篇讲的是以 kafka 作为消息缓存的架构,收集上来的日志先发送给 Kafka,然后再发送给 ES集群,当然因 Kafka 没办法直接和 ES 对接数据,需在这两者之间使用 Logstash 来传输。于是架构就有了如下:

 我这里的 Kafka 部署也是 3 个节点部署,都安装在之前的 ES 服务器上,即分别安装在 elk01(192.168.200.21)、 elk02(192.168.200.22)、 elk03(192.168.200.23)上。

一、安装JDK

安装 JDK,因为部署 Kafka 需要依赖 java 环境。登录 3 台 ES 集群服务器,先检查系统是否已经装有 java 了,然后进入安装包目录,执行安装即可。(如装有 java 了可以跳过此步骤)

[root@elk01 ~]# java --version
openjdk 11.0.19 2023-04-18 LTS
OpenJDK Runtime Environment (Red_Hat-11.0.19.0.7-1.el7_9) (build 11.0.19+7-LTS)
OpenJDK 64-Bit Server VM (Red_Hat-11.0.19.0.7-1.el7_9) (build 11.0.19+7-LTS, mixed mode, sharing)

 java 安装完成即可,无需再做其他配置

二、 安装 Zookeeper

部署 Kafka 之前还需要先安装 zookeeper。 zookeeper 是一个集群调度的工具,可以用来调度Kafka 集群。
安装配置如下:

 

标签:ELKF,进阶,11.0,Kafka,java,日志,安装,ES
From: https://www.cnblogs.com/Mr-Ding/p/18034989

相关文章

  • 简化 Python 日志管理:Loguru 入门指南
    简化Python日志管理:Loguru入门指南在开发和维护软件项目时,高效的日志管理系统对于监控应用程序的行为、调试代码和追踪异常至关重要。Python的标准日志模块虽然功能强大,但其配置和使用往往较为复杂,尤其是对于新手开发者。这就是Loguru库发挥作用的地方,它以极简的方式重新定......
  • 万字Java进阶笔记总结
    JavaApi字符串String注意:Java中“==”操作符的作用:基本数据类型:比较的是内容。引用数据类型比较的是对象的内存地址。StringBuffer/StringBuilder由于String是字符串是常量,它们的值在创建之后不能更改。如果我们使用这个String频繁进行操作,会有性能问题,这个时候就需要......
  • 最新Unity游戏主程进阶学习大纲(2个月)
    过完年了,很多同学开始重新规划自己的职业方向,找更好的机会,准备升职或加薪。今天给那些工作了1~5年的开发者梳理”游戏开发客户端主程”的学习大纲,帮助大家做好面试准备。适合Unity客户端开发者。进阶主程其实就是从固定的几个方面搭建好完整的知识体系做好对应的回答和准备,学习......
  • 浮木云学习日志(7)---弹性容器&布局容器
    自从发现浮木云这个宝藏级别的原型设计平台,我简直对它爱不释手,因为他能让我在短时间内快速搭建一个原型页面,这对于产品的初学者无疑是一个福音。之前针对浮木云搭建的页面做了一些简单的记录,但是在页面设计过程中涉及的一些更加细致化的东西还需要深入去研究,接下来我将针对组件库......
  • Big-Yellow的算法工程师进阶之路
    Big-Yellow的算法工程师进阶之路一、基础算法二、基础数据结构2.1链表三、......
  • 删除binlog日志
    手动删除在备库检查正在使用的binlogSHOWREPLICASTATUS在主库获取binlog列表SHOWBINARYLOGS删除备库使用前或主库正在写入前的binlog不要将正在使用的binlog删除PURGEBINARYLOGSTO'mysql-bin.010';PURGEBINARYLOGSBEFORE'2019-04-0222:46:26';配置自动删......
  • python 面向对象(进阶篇)
    上一篇《Python面向对象(初级篇)》文章介绍了面向对象基本知识:面向对象是一种编程方式,此编程方式的实现是基于对类和对象的使用类是一个模板,模板中包装了多个“函数”供使用(可以讲多函数中公用的变量封装到对象中)对象,根据模板创建的实例(即:对象),实例用于调用被包装在类中的函......
  • Unity xLua开发环境搭建与基础进阶
    Unity是一款非常流行的游戏开发引擎,而xLua是一个为Unity开发者提供的Lua框架,可以让开发者使用Lua语言来进行游戏开发。在本文中,我们将介绍如何搭建UnityxLua开发环境,并进行基础进阶的学习。 对啦!这里有个游戏开发交流小组里面聚集了一帮热爱学习游戏的零基础小白,也有一些正......
  • VMware Aria Operations for Logs 8.16 - 集中式日志管理
    VMwareAriaOperationsforLogs8.16-集中式日志管理请访问原文链接:https://sysin.org/blog/vmware-aria-operations-for-logs/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.org集中式日志管理VMwareAriaOperationsforLogs(以前称为vRealizeLogInsight)通......
  • MySQL进阶语法【视图 触发器 事务 存储过程 流程控制】
    MySQL进阶语法【一】视图【1】概念在MySQL数据库中,视图(View)是虚拟的表,其内容是基于执行特定查询所得到的结果集。视图是通过查询来定义的,它可以包含一个或多个表中的特定列,也可以包含计算字段、聚合函数等。视图并不实际存储数据,而是动态地从基本表中获取数据并进行组合,每当......