首页 > 其他分享 >Kafka集群管理工具Kafka-Manager安装及使用

Kafka集群管理工具Kafka-Manager安装及使用

时间:2022-12-30 16:07:05浏览次数:63  
标签:2.0 0.2 Manager kafka manager 管理工具 Kafka root localhost

一、kafka-manager 简介

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个基于Web的Kafka集群管理工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:

1)管理多个集群

2)轻松检查群集状态(主题,消费者,偏移,代理,副本分发,分区分发)

3)运行首选副本选举

4)使用选项生成分区分配以选择要使用的代理

5)运行分区重新分配(基于生成的分配)

6)使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置)

7)删除主题(仅支持0.8.2,并且在代理配置中设置delete.topic.enable = true)

8)主题列表现在指示标记为删除的主题(仅支持0.8.2+)

9)批量生成多个主题的分区分配,并可选择要使用的代理

10)批量运行重新分配多个主题的分区

11)将分区添加到现有主题

12)更新现有主题的配置

13)可随意开启对broker级别或者对topic级别的JMX轮询

14)可方便的过滤出没有id 、所有者、延迟或目录等的消费者

注:kafka-manager项目地址:https://github.com/yahoo/CMAK/releases,可对应下载相应的版本

二、安装kafka-manager

1、环境要求

  • Kafka 0.8.1.1 or 0.8.2.* or 0.9.0.*
  • Java 8+
  • zookeeper 2+

本次实验所用的环境是kafka_2.12-2.5.0、jdk-1.8.0_181、zookeeper-3.4.10

2、下载安装 kafka-manager

1)下载软件包

[root@localhost ~]# wget https://github.com/yahoo/CMAK/archive/2.0.0.2.tar.gz

2)sbt编译

# yum安装sbt

[root@localhost ~]# curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo

[root@localhost ~]# mv bintray-sbt-rpm.repo /etc/yum.repos.d

[root@localhost ~]# yum -y install sbt

[root@localhost ~]# sbt -version

[info] 1.2.8

sbt script version: 1.3.13

# 修改仓库地址

[root@localhost ~]# mkdir ~/.sbt && vim ~/.sbt/repositories

# 配置内容如下

1. [repositories] 
2. local
3. aliyun: http://maven.aliyun.com/nexus/content/groups/public/
4. typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
5. sonatype-oss-releases
6. maven-central
7. sonatype-oss-snapshots

# 因为要编译。所以下面这步操作要等很久(预计1个多小时,可能更久)

[root@localhost ~]# tar xf CMAK-2.0.0.2.tar.gz

[root@localhost ~]# cd CMAK-2.0.0.2

[root@localhost CMAK-2.0.0.2]# ./sbt clean dist

# 如果有下列提示,就代表编译成功了

[success] All package validations passed

[info] Your package is ready in /root/CMAK-2.0.0.2/target/universal/kafka-manager-2.0.0.2.zip

[success] Total time: 867 s, completed Aug 4, 2020 3:18:51 PM

# 如果编译太慢,请访问此链接下载:

https://mirrors.yangxingzhen.com/kafka-manager/kafka-manager-2.0.0.2.zip

3)解压

[root@localhost CMAK-2.0.0.2]# unzip target/universal/kafka-manager-2.0.0.2.zip -d /usr/local

[root@localhost CMAK-2.0.0.2]# mv /usr/local/kafka-manager-2.0.0.2/ /usr/local/kafka-manager

4)修改配置文件

[root@localhost CMAK-2.0.0.2]# cd /usr/local/kafka-manager/conf

[root@localhost conf]# vim application.conf

# 修改kafka-manager.zkhosts="kafka-manager-zookeeper:2181"为自己集群地址

  1. kafka-manager.zkhosts="172.168.1.193:2181,172.168.1.194:2181,172.168.1.195:2181"

5)启动kafka-manager

[root@localhost conf]# cd ../bin

# 前台启动,退出终端,服务会关闭(先确认启动没问题,再后台启动)

[root@localhost bin]# ./kafka-manager

# 后台启动,一直运行

[root@localhost bin]# nohup ./kafka-manager >/dev/null 2>&1 &

kafka-manager 默认的端口是9000,可通过-Dhttp.port,指定端口; -Dconfig.file=/usr/local/kafka-manager/conf/application.conf指定配置文件:

[root@localhost bin]# nohup ./kafka-manager -Dconfig.file=/usr/local/kafka-manager/conf/application.conf -Dhttp.port=8000 &

6)访问kafka-manager

# 浏览器访问服务器IP+9000端口,如图所示

Kafka集群管理工具Kafka-Manager安装及使用_vim

至此,kafka-manager安装完毕。

三、kafka-manager使用

1、新建Cluster集群

Kafka集群管理工具Kafka-Manager安装及使用_kafka_02

Kafka集群管理工具Kafka-Manager安装及使用_kafka_03

# 点击保存即可

Enable JMX Polling

是否开启JMX轮训,该部分直接影响部分kafka broker和topic监控指标指标的获取(生效的前提是 kafka 启动时开启了JMX_PORT。

Enable Active OffsetCache

是否开启offset缓存,决定kafka-manager是否缓存住topic的相关偏移量。

2、新建完成后,保存运行界面如下:

Kafka集群管理工具Kafka-Manager安装及使用_zookeeper_04

3、查看topic

Topic -->> List

Kafka集群管理工具Kafka-Manager安装及使用_vim_05

4、查看Brokers

Kafka集群管理工具Kafka-Manager安装及使用_vim_06

四、kafka-manager管理

1、新建主题(Topic)

Topic -->> Create

Kafka集群管理工具Kafka-Manager安装及使用_vim_07

2、查看主题

Topic -->> List -->> Test

Kafka集群管理工具Kafka-Manager安装及使用_zookeeper_08

  • 输入编号:7416,直达文章
  • 输入m|M,直达目录列表

标签:2.0,0.2,Manager,kafka,manager,管理工具,Kafka,root,localhost
From: https://blog.51cto.com/u_12018693/5980560

相关文章

  • Kafka在Zookeeper上的节点信息和查看方式
    Kafka简介Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数......
  • Kafka Reblance & max.poll.interval.ms 重复消费问题
    1.什么是kafkaReblance    消费组是MQ中一个非常重要的概念,一个消费组监听一个Topic时,Kafka服务端会给消费组中的每一个实例,进行队列分配,每一个实例指定消费一个或......
  • Zabbix终端管理工具zabbix_manager
    说明Zabbix_manager是Zabbix终端管理工具,可以在linux终端实现管理Zabbix同时可以通过Zabbix_manager实现对Zabbix的一键初始化,一键导出报表(报表为excel)等功能。Zabbix_ma......
  • Kafka的终极UI工具丨Offset Explorer功能简介
    OffsetExplorer(以前称为KafkaTool)是一个用于管理和使ApacheKafka®集群的GUI应用程序。它提供了一个直观的UI,允许人们快速查看Kafka集群中的对象以及存储在集群主题......
  • ID 为“Timer1”的控件需要页面上有ScriptManager。ScriptManager 必须在任何需要它的
    原文链接:https://blog.csdn.net/myy629464/article/details/76783370http://www.noobyard.com/article/p-ubifwkck-bo.html  解决办法:代码:(那个窗体出错那个源中写)......
  • 模拟spring-kafka实现kafka的consumer监听
    背景:因为某些原因,无法直接使用springboot提供的@KafkaListener,改为模拟springboot注解的方式搬过来实现首先创建一个业务处理的service,这个service主要用于消费下来的消息......
  • 这个API管理工具不登录不下载就能用
     现在市面上很多的API工具都有一个大BUG,就是不能支持离线使用,或者强迫你登录才能用,这就很恶心。一开始我们公司是用Postman,后来因为响应实在太慢真的很耽误事,就转战国......
  • 这个API管理工具不登录不下载就能用!
      现在市面上很多的API工具都有一个大BUG,就是不能支持离线使用,或者强迫你登录才能用,这就很恶心。一开始我们公司是用Postman,后来因为响应实在太慢真的很耽误事,就转战......
  • 这个API管理工具不登录不下载就能用!
    现在市面上很多的API工具都有一个大BUG,就是不能支持离线使用,或者强迫你登录才能用,这就很恶心。一开始我们公司是用Postman,后来因为响应实在太慢真的很耽误事,就转战国内API工......
  • Kafka集群升级实施方案
    一、背景我们组内维护的kafka集群承担着公司绝大部分实时数据的收集传输任务。但是,现阶段存在如下问题,已经对集群的稳定性、用户的使用以及管理员的运维造成了很大影响:1......