首页 > 其他分享 >kafka常用命令

kafka常用命令

时间:2024-01-23 16:44:48浏览次数:40  
标签:10.1 -- kafka sh groups 常用命令 server

进入kafka服务bin目录

查看主题
./kafka-topics.sh --list --bootstrap-server 10.1.1.2:9092


创建主题
./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --create --topic mytopic --partitions 1


查看消费者列表-list
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --list


查看i肖费者组详情--describe
查看指定消费组详情---group
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --describe --group defaultConsumerGroup


查看所有消费组详情-all-groups
./kafka-consumer-groups.sh -bootstrap-server 10.1.1.2:9092 --describe --all-groups


查询消费者成员信息--members
所有消费组成员信息
./kafka-consumer-groups.sh --describe -all-groups --members --bootstrap-server 10.1.1.2:9092


指定消费组成员信息
./kafka-consumer-groups.sh --describe --members --group defaultConsumerGroup --bootstrap-server 10.1.1.2:9092


修改到最新offset
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets -topic mytopic --to-latest --execute

重设位移位置
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets --topic mytopic --to-offset 100 --execute

重设位移有几种选项:
--to-earliest:设置到最早位移处,也就是0
--to-latest:设置到最新处,也就是主题分区HW的位置
--to-offset NUM:指定具体的位移位置
--shift-by NUM:基于当前位移向前回退多少
--by-duration:回退到多长时间


消费组参数说明:
CURRENT-OFFSET:当前消费者位移
LOG-END-OFFSET:分区最新位移
LAG: LOG-END-OFFSET减去CURRENT-OFFSET的值,表示积压量
CONSUMER-ID:是Kafka自己生成的
CLIENT-ID:是i肖费者代码里写的CLIENT ID,用于区分同消费者组中的不同客户端
删除指定topic与数据
./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --delete --topic inventory_topic


全局设置
修改server properties,如下的值:
log retention.hours=72
log cleanup.policy=delete
单独对某ftopics置过期时间
但如果只有某ftopic数据量过大想单独对这个topic的过期时间设置短点:
./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention ms=86400000

# retention ms=86400000 为一天,单位是毫秒。


查看设置:
$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics
Configs for topics:wordcounttopic are retention.ms=86400000


立即删除某个topic下的;
./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete

 

 

 

 

 参考:https://blog.csdn.net/qq_43753286/article/details/132031317

 

 

 

标签:10.1,--,kafka,sh,groups,常用命令,server
From: https://www.cnblogs.com/along007/p/17982824

相关文章

  • 安卓 adb 常用命令
    1. adb devices:查看当前连接的设备列表。 2. adb shell:进入模拟器或设备的shell 模式。可以在里面执行Linux 命令。 3. adb push < 源文件 > < 目标文件 > :将文件拷贝到模拟器或设备中。 4. adb pull < 源文件 > < 目标文件 > : 从模拟器或设备中将......
  • redis常用命令
    String数据类型set/get/append/strlen/delsetkeyvalue#存放数据getkeyvalue#获取数据appendkeyvalue#Redis的append命令是往一个key追加value。如果没有key,则创建一个并且设置value。strlenkey#获取指定Key的字符长度existstest#判断该键是否存在,存在......
  • vim的常用命令
    移动光标:h:向左移动一个字符j:向下移动一行k:向上移动一行l:向右移动一个字符w:跳到下一个单词的开头b:跳到前一个单词的开头0:跳到行首$:跳到行尾gg:跳到文件的开头G:跳到文件的末尾编辑文本:i:在光标前插入文本I:在行首插入文本a:在光标后插入文本A:在行尾插入文本o:在当......
  • 第三章 Spring Boot 整合 Kafka消息队列 消息者
    ​ 前言        Kafka是一个消息队列产品,基于Topicpartitions的设计,能达到非常高的消息发送处理性能。本文主是基于SpirngBoot封装了Apache的Kafka-client,用于在SpringBoot项目里快速集成kafka。 一、Kafka是什么?ApacheKafka是分布式发布-订阅消息系统。......
  • Zookeeper集群 +Kafka集群 之(Kafka集群)
    Kafka集群 消息队列(中间件)类型与特性 #Kafka概述#为什么需要消息队列(MQ)主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发toomanyconnection错误,引发雪崩效应。我......
  • 【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconne
    【问题解决】Kafka报错Bootstrapbrokerx.x.x.x:9092(id:-1rack:null)disconnected和服务器连接已经断开。可能kafka服务器停止问题复现近日针对某一客户需求开发了一个需要使用Kafka的功能,功能是什么暂且不论,在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功......
  • Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack:
    Kafka【问题02】KafkaTemplate报错Bootstrapbrokerlocalhost:9092(id:-1rack:null)disconnected问题解决1.报错信息主要的报错信息:Connectiontonode-1(localhost/127.0.0.1:9092)couldnotbeestablished.Brokermaynotbeavailable.和Bootstrapbrok......
  • Git常用命令
    1初始化仓库#1初始化仓库gitinit#初始化当前文件夹gitinit文件夹#在当前文件夹下创建文件夹,并把新创建的文件夹作为仓库——仓库目录下会出现.git文件夹,文件夹千万不要删除2查看仓库状态gitstatusgitstatus-s#查看仓库状态的简约显示#红色:工作区有......
  • Zookeeper集群 +Kafka集群 之 (Zookeeper集群)
    Zookeeper集群+Kafka集群 Zookeeper#Zookeeper定义Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。#Zookeeper工作机制Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受......
  • git常用命令速查表
    群友分享的速查表: __EOF__作者:持之以恒(韧)关于博主:擅长性能、全链路、自动化、企业级自动化持续集成(DevTestOps)、测开等......