首页 > 其他分享 >Apache Kafka监控之KafkaOffsetMonitor

Apache Kafka监控之KafkaOffsetMonitor

时间:2023-06-11 18:35:27浏览次数:34  
标签:zk -- partition Kafka 监控 Apache KafkaOffsetMonitor

当你将Kafka集群部署之后,你可能需要知道当前消息队列的增长以及消费情况,这时候你就得需要监控它。今天我这里推荐两款Kafka开源的监控系统:KafkaOffsetMonitor和Kafka Web Console。

 KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。

 你可以浏览当前的消息消费者组,每个topic队列的所有partition的消费情况。这其实是很有用得,从这些监控中你可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以debug kafka的producers和consumers,你完全知道你的系统将会发生什么。

 这个web管理平台保留的partition offset和consumer滞后的历史数据(具体数据保存多少天我们可以在启动的时候配置),所以你可以很轻易了解这几天consumer消费情况。

 KafkaOffsetMonitor这款软件是用Scaka代码编写的,消息等历史数据是保存在名为offsetapp.db数据库文件中,该数据库是SQLLite文件,非常的轻量级。虽然我们可以在启动KafkaOffsetMonitor程序的时候指定数据更新的频率和数据保存的时间,但是不建议更新很频繁,或者保存大量的数据,因为在KafkaOffsetMonitor图形展示的时候会出现图像展示过慢,或者是直接导致内存溢出了。所有的关于消息的偏移量、kafka集群的台数等信息都是从Zookeeper中获取到的,日志大小是通过计算得到的。

 可以到官网下载KafkaOffsetMonitor源码或者直接下载好编译好的文件,下面是编译KafkaOffsetMonitor程序的命令:

1	# sbt/sbt assembly

编译完之后,将会在KafkaOffsetMonitor根目录下生成一个类似KafkaOffsetMonitor-assembly-0.2.1-SNAPSHOT.jar的jar文件。这个文件包含了所有的依赖,我们可以直接启动它:

1	# java -cp KafkaOffsetMonitor-assembly-0.2.1-SNAPSHOT.jar \
2      com.quantifind.kafka.offsetapp.OffsetGetterWeb \
3      --zk zk-server1,zk-server2 \
4      --port 8080 \
5      --refresh 10.seconds \
6      --retain 2.days

各个参数的含义:


1	zk the ZooKeeper hosts
2	port on what port will the app be available
3	refresh how often should the app refresh and store a point in the DB
4	retain how long should points be kept in the DB
5	dbName where to store the history (default 'offsetapp')

这样将会在8080端口上访问该监控:






 ps:本博客的《Zookeeper Monitor集群监控开发》上面的CSS样式几乎都是从这里拷贝过去的。



标签:zk,--,partition,Kafka,监控,Apache,KafkaOffsetMonitor
From: https://blog.51cto.com/u_6186189/6458477

相关文章

  • kafka的使用—系统保卫战
    前言最近有个需求,在不同的系统中做数据同步。我们是java+mysql、他们是c#+sqlserver。需求是sqlserver提出的,并且他们提出要实时,并且要我们主动推数据给他们。他们接口都提供好了,说要我们对数据库表操作的时候调用他们的接口把数据传他们。咋看没有什么事,不就是一个接口的调用么。......
  • axis2 maven报错Could not find artifact org.apache.axis2:axis2:jar:1.7.9
    Couldnotfindartifactorg.apache.axis2:axis2:jar:1.8.2inaliyunmaven(https://maven.aliyun.com/repository/public/)一开始以为是镜像的问题,但是换成中央仓库也没用https://repo.maven.apache.org/maven2/org/apache/axis2/axis2/1.7.9/实际上,这个目录里确实没有j......
  • 首次启动Kafka报Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memor
    首次启动Kafka报错如下:原因:内存不足,查看启动配置调小一些:......
  • Kafka面试题
    kafka都有哪些特点?高吞吐量,低延迟可以热扩展并发度高具有容错性(挂的只剩1台也能正常跑)可靠性高在哪些场景下会选择kafka?kafka的一些应用日志收集:一个公司可以用kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如hadoop、HBase、Solr......
  • Kafka-数据出现积压的原因以及如何解决积压问题?
    Kafka数据积压的原因有很多,比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多,以下是一些常见的解决方法:增加分区数:如果数据量很大,合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的,他是有上限的,一般分区的分区数的数不能大于kafka的broker数......
  • Kafka关键原理
    日志分段切分条件日志分段文件切分包含以下4个条件,满足其一即可:当前日志分段文件的大小超过了broker端参数log.segment.bytes配置的值。log.segment.bytes参数的默认值为1073741824,即1GB当前日志分段中消息的最小时间戳与当前系统的时间戳的差值大于log.roll.ms或log.roll.......
  • 1-kafka介绍及基础架构
    1.kafka:高吞吐量的分布式发布订阅消息系统;1>同步变异步2>解耦3>削峰填谷 2.消息队列的两种工作模式: 保证到kafka中的消息被多个消费者消费,并且被相同消费者重复消费;  3.kafka集群形式 4.hash:消息的均匀分散,相同的key落入同一分区只有leader负责分区的读写......
  • Linux (CentOS) 安装Apache图文详解
    目录查看是否已安装apache,以及版本号如何卸载旧版本apache安装Apache(yum安装)查看Apache工作状态以及如何启动它Apache各文件目录的作用https://blog.csdn.net/qq_20388417/article/details/105176612......
  • Apache查看连接数和限制当前的连接数
    起因:线上的一台服务器,最近总是出现访问很慢的情况发生,点击一个链接要2秒钟以上才能打开,按照我们对于访问人数的估计,服务器应该不至于响应这么慢,从而需要针对这个问题进行分析,来解决网站访问过慢。分析:1、首先,在页面访问变慢情况发生时,使用top命令查看了服务器的负载情况,发现负......
  • 3、Kafka图形工具-Offset Explorer (Kafka Tool)
    Kafka图形工具-OffsetExplorer(KafkaTool)在Zookeeper里面只能看到kafka的元数据,看不到kafka的数据本身,利用图形工具OffsetExplorer(KafkaTool)可查看OffsetExplorer,旧称KafkaTool,工具是一个GUI应用程序,用于管理和使用ApacheKafka群集.它提供了一个直观的UI,允......