首页 > 其他分享 >kafka集群缩容

kafka集群缩容

时间:2022-12-19 14:22:39浏览次数:44  
标签:缩容 01 -- topics kafka json 集群 offline

#获取kafka主题列表
/data01/server/kafka/bin/kafka-topics.sh --zookeeper offline-op-kafka-ali-01:2181 --list > topics.txt


#通过py脚本格式化一下主题列表,生成topics.json
import json
obj = {}
obj["version"] = 1
obj["topics"] = []
with open("topics.txt") as f:
    for line in f.readlines():
        topic = {"topic": line.strip()}
        obj["topics"].append(topic)
with open("topics.json", "w") as f:
    json.dump(obj, f, indent=2)


#获取当前 partition 分配方案
kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ksyun-01:2181 --topics-to-move-json-file topics.json --broker-list "1,2,3" --generate > current.json

/data01/server/kafka/bin/kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ali-01:2181 --topics-to-move-json-file topics.json --broker-list "1,2,3" --generate > current.json


#执行
kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ksyun-01:2181 --reassignment-json-file current.json --execute
kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ali-01:2181 --reassignment-json-file current.json --execute

#验证,为空代表迁移完成!
./kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ksyun-01:2181 --reassignment-json-file current.json --verify | grep -v successsfully

kafka-reassign-partitions.sh --zookeeper offline-op-kafka-ali-01:2181 --reassignment-json-file current.json --verify | grep -v successsfully


#查看isr
./kafka-topics.sh --describe --zookeeper offline-op-kafka-ksyun-01:2181 --topic server-practice-laravel-php-log


#有哪些用户组来消费
./kafka-consumer-groups.sh --bootstrap-server offline-op-kafka-ksyun-01:9092 --list


#查看用户组消费情况
./kafka-consumer-groups.sh --bootstrap-server offline-op-kafka-ksyun-01:9092 --describe --group opentsdb-logstash

 

标签:缩容,01,--,topics,kafka,json,集群,offline
From: https://www.cnblogs.com/fengzi7314/p/16992031.html

相关文章

  • 消息中间件kafka之客户端操作
    消息中间件Kafka之客户端操作一、客户端API类型​​AdminClientAPI​​:允许管理和检测Topic、broker以及其他Kafka对象​​ProducerAPI​​:发布消息到一个或者多个Topic......
  • Kafka知识总结之集群环境搭建
    简述Kafka是一个分布式流平台,本质是一个消息队列。消息队列的三个作用:异步、消峰和解耦。一.安装zookeeper1.1.下载并解压#下载wgethttps://mirror.bit.edu.cn/apache/z......
  • Kafka知识总结之Broker原理总结
    简介这篇文章介绍Kafka的Broker工作流程,包括其中控制器的选举过程;kafka副本的leader选举以及leader和follower故障流程;简单讲述了生产环境中如何调整分区副本;kafka的文件存......
  • Kafka知识总结之生产者简单使用
    一.测试环境搭建引入依赖:<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>2.8.0</version></dependency>创......
  • Kafka数据可靠性探究
    概述Kafka作为商业级消息中间件,消息的可靠性保障是非常重要。那Kafka是怎么保障消息的可靠性的呢?上图是Kafka的消息发送基础架构,一条消息的完整生命周期是:生产者发送消息至K......
  • 服务器集群使用过程中遇到的一些问题
    自己参与开发的项目,在测试环境只有一台服务器,每次部署的时候只需要部署单台服务器。可是生产环境则不一样,生产环境部署了10台左右的应用服务,跑起来的效果和单台服务......
  • Redis Cluster集群分析&部署
    一、为什么使用RedisCluster集群   这里就要说到Redis集群的演变过程1.主从复制   工作模式为提供多台redis服务,选择其中的一台作为master节点向外提供读写服......
  • AlmaLinux 系统搭建 K8s 集群
    前言容器技术:有效的将单个操作系统的资源划分到孤立的组中,技术核心就是通过对资源的限制和隔离把进程运行在一个沙盒中。并且这个沙盒可以被打包成容器镜像(Image),任意地跨平......
  • K8S的Kafka监控(Prometheus+Grafana)
    欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos对于部署在K8S上的Kafka来说,Prometheus+Grafana是常用的监控......
  • TIDB-DM数据迁移第三部(集群管理)
    1、对现在dm集群进行缩容,将free状态的worker下线。tiupdmdisplaydm-test查看free状态节点tiupdmscale-indm172.16.1.13:8262-N2、扩容DM集群我是......