首页 > 其他分享 >Kafka命令行常用命令说明(一)

Kafka命令行常用命令说明(一)

时间:2023-04-28 11:09:24浏览次数:40  
标签:-- partition 192.168 kafka topic 2181 命令行 常用命令 Kafka


基于0.8.0版本。

 

##查看topic分布情况kafka-list-topic.sh



bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181  
  (列出所有topic的分区情况)
 
 
bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test (查看test的分区情况)



 



其实kafka-list-topic.sh里面就一句 



exec $(dirname $0)/kafka-run-class.sh kafka.admin.ListTopicCommand $@
实际是通过 
  kafka-run-class.sh脚本执行的包kafka.admin下面的类



 



##创建TOPIC kafka-create-topic.sh



bin/kafka-create-topic.sh   --replica 2 --partition 8 --topic test  --zookeeper 192.168.197.170:2181,192.168.197.171:2181

创建名为test的topic, 8个分区分别存放数据,数据备份总共2份

 

bin/kafka-create-topic.sh  
     --replica 1 --partition 1 --topic test2  
     
   --zookeeper  
   192.168.197.170:2181,192.168.197.171:2181
 
  
结果 topic: test2 partition: 0 leader: 170 replicas: 170 isr: 170


##重新分配分区kafka-reassign-partitions.sh



这个命令可以分区指定到想要的--broker-list上



bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --broker-list "171" --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --execute  
  
 
  

      
  
 
  

    cat topic-to-move.json 
  
 
  

    {"topics": 
  
 
  

         [{"topic": "test2"}], 
  
 
  

         "version":1 
  
 
  

    }


##为Topic增加 partition数目kafka-add-partitions.sh



bin/kafka-add-partitions.sh --topic test --partition 2  --zookeeper  192.168.197.170:2181,192.168.197.171:2181 (为topic test增加2个分区)



 



##控制台接收消息



bin/kafka-console-consumer.sh --zookeeper  192.168.197.170:2181,192.168.197.171:2181  --from-beginning --topic test

##控制台发送消息

bin/kafka-console-producer.sh --broker-list  192.168.197.170:9092,192.168.197.171: 9092    --topic test

##手动均衡topic, kafka-preferred-replica-election.sh

bin/kafka-preferred-replica-election.sh --zookeeper192.168.197.170:2181,192.168.197.171:2181--path-to-json-file preferred-click.json
cat preferred-click.json
{
 "partitions":
  [
    {"topic": "click", "partition": 0},
    {"topic": "click", "partition": 1},
    {"topic": "click", "partition": 2},
    {"topic": "click", "partition": 3},
    {"topic": "click", "partition": 4},
    {"topic": "click", "partition": 5},
    {"topic": "click", "partition": 6},
    {"topic": "click", "partition": 7},    {"topic": "play", "partition": 0},
     {"topic": "play", "partition": 1},
     {"topic": "play", "partition": 2},
     {"topic": "play", "partition": 3},
     {"topic": "play", "partition": 4},
     {"topic": "play", "partition": 5},
     {"topic": "play", "partition": 6},
     {"topic": "play", "partition": 7}  ]
}



##删除topic,慎用,只会删除zookeeper中的元数据,消息文件须手动删除



bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test666 --zookeeper 192.168.197.170:2181 ,192.168.197.171:2181

标签:--,partition,192.168,kafka,topic,2181,命令行,常用命令,Kafka
From: https://blog.51cto.com/u_16091571/6233564

相关文章

  • Docker CLI docker compose ls常用命令
    Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的Linux或Windows操作系统的机器上,也可以实现虚拟化。Docker是内核虚拟化,不使用Hypervisor是不完全虚拟化,依赖内核的特性实现资源隔离。本文主要介绍DockerCLI中d......
  • @KafkaListener属性简介
    @KafkaListener从2.2.4版开始,您可以直接在注释上指定Kafka使用者属性,这些属性将覆盖在使用者工厂中配置的具有相同名称的所有属性。可以使用#{…​}或属性占位符(${…​})在SpEL上配置注释上的大多数属性。例如:@KafkaListener(id="consumer-id",......
  • RPM常用命令以及组合使用场景
    本文分享自天翼云开发者社区《RPM常用命令以及组合使用场景》,作者:邬祥钊  当涉及到管理基于RedHat系的Linux系统时,RPM(RedHatPackageManager)是一个常用的软件包管理器。以下是一些常用的RPM命令以及它们的组合使用场景:常用命令:1.rpm-ivhpackage.rpm:安装......
  • Docker CLI docker compose logs常用命令
    Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的Linux或Windows操作系统的机器上,也可以实现虚拟化。Docker是内核虚拟化,不使用Hypervisor是不完全虚拟化,依赖内核的特性实现资源隔离。本文主要介绍DockerCLI中d......
  • Apk签名_自签名_命令行_四字节对齐_apktool_apksigner_keytool
    生成秘钥库keytool-genkey-alias别名-keyalgRSA-validity证书有效天数-keystore名称.keystore如需查看:keytool-list-keystore"antma.keystore"注意使用jarsigner签名为v1无法安装在新的设备上以下工具都在Androidstudio的SDK中apksigner签名代码:apksigner......
  • 腾讯云CDN命令行自动上传
    最近这个项目的运营提供的是腾讯云的CDN,一开始使用起来不是特别方便,因为运营那边无法提供部分权限的子账号,只能自己研究下操作了。开始为了方便测试对接下载正常,使用了腾讯云专属的cosbrowser的Win端来说手动拖进去,然后测试桶路径下下载链接是否可以已正常进行。cosbrowser下载......
  • Windows下的命令行分类
    目录一、Windows端口被占用二、目录文件三、网络命令四、基本命令五、关机、重启、注销、休眠、定时一、Windows端口被占用#查询端口netstat-ano#查询指定端口netstat-ano|findstr"端口号"#根据进程PID查询进程名称tasklist|findstr"进程PID号"#根据PID杀死任务......
  • Linux常用命令redis相关
    一、查询文件中的内容vim文件名使用/xxx即可查询文件中的xxx单词,n下一个选中单词,N上一个选中单词。一、防火墙1.查看防火墙状态:firewall-cmd--state2.启动防火墙systemctlstartfirewalld3.关闭防火墙systemctlstopfirewalld二、redis1、开启redis服......
  • 【kafka】-分区-消费端负载均衡
    一.为什么kafka要做分区?因为当一台机器有可能扛不住(类比:就像redis集群中的redis-cluster一样,一个master抗不住写,那么就多个master去抗写),把一个队列的单一master变成多个master,即一台机器扛不住qps,那么我就用多台机器扛qps,把一个队列的流量均匀分散在多台机器上不就可以了么。 ......
  • kafka入门例子 for java
    1,生产者importjava.util.Properties;importkafka.javaapi.producer.Producer;importkafka.producer.KeyedMessage;importkafka.producer.ProducerConfig;publicclassTestProducer{publicstaticvoidmain(String[]args){Propertie......