首页 > 其他分享 >史上最强的Kafka可视化WebUI工具,涵盖多种功能

史上最强的Kafka可视化WebUI工具,涵盖多种功能

时间:2025-01-05 22:59:11浏览次数:3  
标签:Web Kafka Topic 集群 LCC 监控 可视化 WebUI

Kafka Web UI By LCC

github地址GitHub - lichengchuan/KafkaWebUIByLCC: Kafka Web UI By LCC 是一个专为简化Apache Kafka集群管理和操作而设计的图形化用户界面(GUI)。该项目旨在为开发者、运维人员和数据科学家提供一个直观且易用的平台,以进行Kafka主题(Topic)管理、消息生产和消费、以及集群监控等任务。通过该工具,用户无需编写复杂的命令行指令,即可轻松完成日常维护工作,并能更有效地监控和优化Kafka集群性能。Kafka Web UI By LCC 是一个专为简化Apache Kafka集群管理和操作而设计的图形化用户界面(GUI)。该项目旨在为开发者、运维人员和数据科学家提供一个直观且易用的平台,以进行Kafka主题(Topic)管理、消息生产和消费、以及集群监控等任务。通过该工具,用户无需编写复杂的命令行指令,即可轻松完成日常维护工作,并能更有效地监控和优化Kafka集群性能。 - lichengchuan/KafkaWebUIByLCCicon-default.png?t=O83Ahttps://github.com/lichengchuan/KafkaWebUIByLCCgitee地址

KafkaWebUIByLCC: Kafka Web UI By LCC 是一个专为简化Apache Kafka集群管理和操作而设计的图形化用户界面(GUI)。该项目旨在为开发者、运维人员和数据科学家提供一个直观且易用的平台,以进行Kafka主题(Topic)管理、消息生产和消费、以及集群监控等任务。通过该工具,用户无需编写复杂的命令行指令,即可轻松完成日常维护工作,并能更有效地监控和优化Kafka集群性能。icon-default.png?t=O83Ahttps://gitee.com/li-chengchuan/kafka_ui_lcc

项目介绍

Kafka Web UI By LCC 是一个专为简化Apache Kafka集群管理和操作而设计的图形化用户界面(GUI)。该项目旨在为开发者、运维人员和数据科学家提供一个直观且易用的平台,以进行Kafka主题(Topic)管理、消息生产和消费、以及集群监控等任务。通过该工具,用户无需编写复杂的命令行指令,即可轻松完成日常维护工作,并能更有效地监控和优化Kafka集群性能。

开发背景

随着大数据处理需求的增长,Apache Kafka作为一款高性能分布式消息队列系统,被广泛应用于日志收集、流数据分析等领域。然而,传统的命令行工具对于非技术人员来说具有较高的使用门槛。因此,我们开发了Kafka Web UI By LCC,致力于降低Kafka使用的复杂度,提升用户体验。本项目不仅适用于初学者快速上手学习Kafka的基本概念和操作,也为专业用户提供了一个强大的辅助工具,助力其在实际工作中更加高效地管理Kafka集群。

主要功能特性

  • 直观的主题管理:支持创建、编辑和删除Kafka主题,同时提供详细的元数据查看选项。
  • 消息生产与消费:内置的消息生产者和消费者工具,允许用户直接从Web界面向主题发送消息或订阅并接收消息。
  • 全面的集群监控:实时监控Kafka集群状态,包括但不限于节点状况、数据吞吐速率、内存占用指标等。
  • 消费者组管理:便捷地管理和调整消费者组配置,如重置偏移量、检查滞后情况等。
  • 丰富的可视化图表:利用图表展示关键性能指标,帮助用户快速理解集群运作模式。
  • 多环境兼容性:无论是本地开发环境还是云端部署,Kafka Web UI By LCC都能无缝对接各种规模的Kafka集群。

安装部署教程

拉取Docker镜像

docker pull lcc1024/kafka_ui_lcc:1.0

创建KafkaUILCC的文件夹

mkdir -p /usr/local/KafkaUILCC/config

编写KafkaUILCC的配置文件

vim /usr/local/KafkaUILCC/config/application.properties

文件内容如下:

# zookeeper_connect
zookeeper.host=你的zookeeper连接地址
zookeeper.port=你的zookeeper连接端口
zookeeper.session_timeout=连接超时时间

开启Kafka集群的JMX端口

vim bin/kafka-server-start.sh

在集群每个节点的启动脚本中编写如下配置

# 设置 JMX 监控的端口号
export JMX_PORT=9502
# 设置 JMX 监控的访问权限控制
export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=$JMX_PORT -Djava.rmi.server.hostname=<Kafka服务器的IP或主机名>"

启动KafkaUILCC容器

docker run -d --name KafkaUILCC -p 8093:8093 -v /usr/local/kafka_UI_LCC/config/application.properties:/application.properties lcc1024/kafka_ui_lcc:1.0

浏览器输入以下网址即可访问

http://你部署的服务器ip:8093

使用说明

项目体验在线访问地址:Kafka WebUI By LCC

 

集群监控

image-20250104095509586

该界面对一些Kafka集群的指标进行统计并以图表的形式进行展示,主要包含集群的元数据信息、Broker的消息速率、数量、内存使用率等信息。

Topic

Topic列表

image-20250104095800997

这一模块中我们列出了集群中的所有Topic,可以根据使用范围筛选出Topic,也可点击查看其Partition分布图,同时还支持删除指定Topic

image-20250104100005838

Partition分布如上图,可以识别出分区副本、isr列表,以及指明其leader节点,同时还支持分区扩容操作

image-20250104100300374

创建Topic

image-20250104100404302

这一模块首先展示了Broker拓扑图,是否连通、拓扑分布是怎样的。此外,填写Topic名称、分区数、副本数可以创建新的Topic

Message

消息列表

image-20250104100654912

这一模块展示了Kafka集群中的所有消息列表,通过筛选面板可以根据Topic、日期筛选查询出符合条件的消息

Debug模拟

image-20250104101120550

这一模块可以实现生产者和消费者模拟功能

image-20250104101441302

选择好Topic,输入消息即可完成生产者消息的发送

image-20250104101831984

选择好Topic,点击开始消费,即可实时接收消息

Consumer Group

image-20250104102039324

这一模块展示了消费者组的详细信息,在第一个tab页包含所有,点击消费详情即可查看消费者组的详细消费信息

image-20250104102453291

在消费详情中首先展示了其Broker节点、Topic数等统计信息

除此之外还有分区消费情况和消费组成员列表

分区消费情况展示了当前消费者组订阅的所有分区,及其在这个分区上的消息消费情况,同时还支持修改消费偏移量操作

image-20250104103325367

消费者组成员列表展示了当前消费者组内所有消费者客户端的信息。具体来说,包含消费者客户端的主机名、订阅的分区列表、id等信息

image-20250104103541711

标签:Web,Kafka,Topic,集群,LCC,监控,可视化,WebUI
From: https://blog.csdn.net/qq_46248151/article/details/144929604

相关文章

  • 【Azure Event Hub】Kafka消息发送失败(Timeout Exception)
    问题描述使用AzureEventHub,客户端通过kafka发送消息到EventHub中,规律性的遇见TimeoutException"sendfail;nestedexceptionisorg.springframework.kafka.kafkaException:xxx" 问题解答Kafka客户端与EventHub服务端的连接(Connection)空闲事件过长,EventHub服务端......
  • 基于Python+flask的豆瓣音乐聚类分析可视化
    一、项目概述项目名称:豆瓣音乐聚类分析可视化项目简介:该项目基于Flask框架开发,用于提供音乐数据分析与可视化功能,涉及用户管理、音乐数据爬取、聚类分析及其可视化展示。系统包含用户和管理员角色,提供丰富的页面功能。主要功能:用户登录与注册音乐数据展示与搜索管理......
  • 基于Python+flask的电影数据可视化分析
    项目概述该项目基于Python的Flask框架开发,用于电影数据的分析与可视化,主要功能包括用户管理、数据采集与分析、可视化展示。运行环境开发语言:Python3.8+主要依赖库:Flask(Web框架)PyMySQL(数据库连接)BeautifulSoup(HTML解析)Jieba/NLTK/SnowNLP(自然语言处理)W......
  • 计算机毕设项目37q9m166+springboot基于Echarts的起点小说数据分析与可视化平台,计算机
    springboot基于Echarts的起点小说数据分析与可视化平台摘 要基于Echarts的起点小说数据分析与可视化平台是一个专为小说爱好者和数据分析师设计的综合性工具。该平台采用了java语言的springboot框架,数据采用MySQL数据库进行存储。结合B/S结构进行开发设计,功能强大,界面化操......
  • 软件设计模式课程设计---Python实现学生信息管理系统(MySQL数据库+前端可视化)
    效果图:代码目录:代码:main.pyimporttkinterastkfromtkinterimportmessageboxfromstudent_managerimportStudentManagerfromobserverimportStudentObserverfromfactoryimportStudentFactoryfromstrategyimportSortByName,SortByGradefromproxyim......
  • 数据科学丨Echarts,最强数据可视化工具!开源、美观、易上手!
    1.打开可视化数据分析的大门数据科学宛如一场探索之旅,其中数据收集与整理是基石,如探险家精心采集与规整标本般,为后续旅程备足素材;数据分析与挖掘仿若神奇的透视镜,借统计与算法之力洞察数据暗藏的玄机,挖掘深层模式;而数据解释与决策恰似睿智的领航员,依据洞察结果结合领域知识......
  • 如何使用可视化工具便捷修改网站模板?
    使用可视化工具可以简化网站模板的修改过程,无需编写代码。以下是详细步骤:选择可视化工具: 选择适合的可视化工具,如Elementor、Webflow或Wix。这些工具通常提供拖放界面,方便用户进行设计。注册和登录: 注册并登录所选的可视化工具账户。导入模板: 如果使用的是第三方模板,可以导......
  • 【最新原创毕设】基于SpringBoot的企业综合业务审批管理系+37708(免费领源码)可做计算机
    目 录摘要1绪论1.1选题背景与意义1.2国内外研究现状1.3论文结构与章节安排2 企业综合业务审批管理系统系统分析2.1可行性分析2.1.1技术可行性分析2.1.2 经济可行性分析2.1.3法律可行性分析2.2功能需求分析2.2.1功能性分析2.2.2非功能性......
  • Python+Django+Mysql开发个性化旅游酒店推荐系统 python在线酒店推荐系统设计开发 可
    Python+Django+Mysql开发个性化旅游酒店推荐系统python在线酒店推荐系统设计开发可视化、爬虫协同过滤推荐算法机器学习深度学习人工智能大数据开发教程文档HotelRecommendSysPy一、项目简介1、开发工具和使用技术Python3及以上版本,Django3.6及以上版本,mysql8,nav......
  • 计算机毕业设计Python+Spark中药推荐系统 中药识别系统 中药数据分析 中药大数据 中药
    温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!作者简介:Java领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO......