首页 > 其他分享 >Kafka常用命令

Kafka常用命令

时间:2022-09-29 09:34:25浏览次数:50  
标签:bin -- kafka sh usr 常用命令 Kafka local

启动 Kafka

后台常驻方式,带上参数 -daemon,如:

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

指定 JMX port 端口启动,指定 jmx,可以方便监控 Kafka 集群

JMX_PORT=9991 /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

停止 Kafka

/usr/local/kafka/bin/kafka-server-stop.sh

Topic

创建 Topic

参数 --topic 指定 Topic 名,--partitions 指定分区数,--replication-factor 指定备份数

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

注意,如果配置文件 server.properties 指定了 Kafka 在 zookeeper 上的目录,则参数也要指定,否则会报无可用的 brokers(下面部分命令也有同样的情况),如:

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 1 --topic test

列出所有 Topic

/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 

查看 Topic

/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test 

增加 Topic 的 partition 数

/usr/local/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --partitions 5 

查看 topic 指定分区 offset 的最大值或最小值

time 为 -1 时表示最大值,为 -2 时表示最小值:

/usr/local/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic test --time -1 --broker-list 127.0.0.1:9092 --partitions 0 

删除 Topic

/usr/local/kafka/bin/kafka-topics.sh --zookeeper localhost:2181 --topic test --delete 

生产消息

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 

消费消息

从头开始

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

从尾部开始

从尾部开始取数据,必需要指定分区:

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --offset latest --partition 0

指定分区

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --offset latest --partition 0

取指定个数

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --offset latest --partition 0 --max-messages 1 

消费者 Group

指定 Group

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test -group test_group --from-beginning

消费者 Group 列表

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查看 Group 详情

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --describe

输出:

Consumer group 'test_group' has no active members.

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
test            0          5               5               0               -               -               -

# CURRENT-OFFSET: 当前消费者群组最近提交的 offset,也就是消费者分区里读取的当前位置
# LOG-END-OFFSET: 当前最高水位偏移量,也就是最近一个读取消息的偏移量,同时也是最近一个提交到集群的偏移量
# LAG:消费者的 CURRENT-OFFSET 与 broker 的 LOG-END-OFFSET 之间的差距

删除 Group 中 Topic

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --topic test --delete

删除 Group

/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test_group --delete

平衡 leader

/usr/local/kafka/bin/kafka-preferred-replica-election.sh --bootstrap-server localhost:9092

自带压测工具

/usr/local/kafka/bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100 --producer-props bootstrap.servers=localhost:9092 

 

     

标签:bin,--,kafka,sh,usr,常用命令,Kafka,local
From: https://www.cnblogs.com/big-keyboard/p/16734623.html

相关文章

  • iptables 常用命令解析
    查看当前iptables规则:iptables-n-L--line-numbers该命令会以列表的形式显示出当前使用的iptables规则,并不做解析,每一条规则前面的编号可以用来做为其它操作,例如后面的......
  • Metasploit 常用命令手册
    Installationcurlhttps://raw.githubusercontent.com/rapid7/metasploit-omnibus/master/config/templates/metasploit-framework-wrappers/msfupdate.erb>msfinstall&&......
  • 我的 Kafka 旅程 - 文件存储机制
    存储机制Topic在每个Broker下存储所属的Partition,Partition下由Index、Log两类文件组成。写入Log由多个Segment文件组成,每个Segment文件容量最多为1GB,接收到的新......
  • 一文搞懂Kafka,在项目里面更加得心应手的使用
    大家好,又见面了。Apachekafka是主流的消息中间件的一种,本文对kafka的相关概念、原理、使用关键注意事项等进行总结说明。1.kafka关键概念与术语1.1简单的例子说明kafk......
  • kafka 从入门到了解
    点击上方蓝字关注我们!什么是kafkaApacheKafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布的消息队列,一般用作系统间解耦、异步通信、削峰填谷等作......
  • Docker常用命令及参数
    1、https://baijiahao.baidu.com/s?id=1692361731135557712&wfr=spider&for=pcDocker是一个被广泛使用的开源容器引擎,是一种操作系统级别的虚拟化技术,它以一种特殊进程......
  • kafka与zookeeper集群的部署
    一.首先需要java的坏境1、安装java环境rpm-ivhjdk-8u151-linux-x64.rpm2、配置java环境变量exportJAVA_HOME=/usr/java/jdk1.8.0_151exportCLASSPATH=.:$JAVA_HOME......
  • 【测试技术】git常用命令
    一、版本库常用命令初始化某目录为git项目。(默认为master分支)gitinit从远程clone一个项目 gitclone<http://abc.com/scm/abc/def.git>查看当前分支状态git......
  • Anaconda常用命令
    创建虚拟环境condacreate-n虚拟环境名python=python版本查看存在的虚拟环境condainfo-e激活虚拟环境activate环境绝对路径/环境名关闭虚拟环境deactivate......
  • 启动Redis常用命令
    首先启动虚拟机VM以及FINAL命令关闭防火墙systemctlstopfirewalld.service关闭防火墙运行Redis-server/usr/local/bin/redis-server/etc/redis.conf运行Re......