首页 > 其他分享 >kafka 相关操作命令

kafka 相关操作命令

时间:2024-11-07 11:32:36浏览次数:5  
标签:bin 操作命令 -- kafka xx home 相关 config

/home/kafka/config/kafka_client_producer_jaas.conf 文件为对应集群的鉴权配置文件,例如
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule \
required username="dev-user" password="devuser@123";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN


1.查看topic列表
非鉴权
/home/kafka/bin/kafka-topics.sh --bootstrap-server 172.xx.xx.xxx:9092 --list
鉴权
/home/kafka/bin/kafka-topics.sh --bootstrap-server 172.xx.xx.xxx:9092 --list --command-config /home/kafka/config/kafka_client_producer_jaas.conf

2.查看某个topic分区副本等信息
非鉴权
/home/kafka/bin/kafka-topics.sh --bootstrap-server 172.xx.xx.xxx:9092 --describe
鉴权
/home/kafka/bin/kafka-topics.sh --bootstrap-server 172.xx.xx.xxx:9092 --describe --command-config /home/kafka/config/kafka_client_producer_jaas.conf

3.查看消费者组信息
非鉴权
/home/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.xx.xx.xxx:9092 --list
鉴权
/home/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.xx.xx.xxx:9092 --list --command-config /home/kafka/config/kafka_client_producer_jaas.conf

4.查看某个消费者组消费情况
非鉴权
/home/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.xx.xx.xxx:9092 --describe --group 消费者组名称
鉴权
/home/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.xx.xx.xxx:9092 --describe --group 消费者组名称 --command-config /home/kafka/config/kafka_client_producer_jaas.conf

5.获取某个topic消息数量
非鉴权
/home/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.xx.xx.xxx:9092 --topic b00_bi_mdb_slave
鉴权
/home/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.xx.xx.xxx:9092 --topic b00_bi_mdb_slave --command-config /home/kafka/config/kafka_client_producer_jaas.conf

6.控制台消费某个topic信息
非鉴权
/home/kafka/bin/kafka-console-consumer.sh --bootstrap-server 172.xx.xx.xxx:9092 --topic canal_iot_topic
鉴权
/home/kafka/bin/kafka-console-consumer.sh --bootstrap-server 172.xx.xx.xxx:9092 --topic canal_iot_topic --consumer.config /home/kafka/config/kafka_client_producer_jaas.conf

标签:bin,操作命令,--,kafka,xx,home,相关,config
From: https://www.cnblogs.com/hmysql/p/18531832

相关文章

  • Kafka在后端开发中的应用场景是什么?
    Kafka在后端开发中的应用场景非常广泛,主要体现在以下几个方面:异步处理:Kafka可以用于异步处理消息,使得各个模块之间的处理流程可以独立进行,不需要等待前一个流程完成即可开始下一个流程。消息系统(Messaging) :Kafka可以替代传统的消息代理,用于解耦生产者和消费者之间的关系,缓......
  • 深入理解 Kafka 的消息持久化机制
    在分布式系统中,消息队列扮演着至关重要的角色。Kafka作为一种高性能、高可靠的分布式消息队列系统,其强大的消息持久化机制是保证数据可靠性的关键。那么,什么是Kafka的消息持久化机制呢?一、Kafka简介Kafka是一个开源的分布式事件流平台,最初由LinkedIn公司开发,后来成为Apac......
  • kafka分片与副本消息同步的详细策略[持久化]
    kafka分片与副本消息同步的详细策略[持久化]参考文章Kafka学习之路(三)Kafka的高可用DataReplication(副本策略)1.消息传递同步策略Producer在发布消息到某个Partition时,先通过ZooKeeper找到该Partition的Leader,然后无论该Topic的ReplicationFactor为多少,Producer只将......
  • C++算法相关一些小细节
    C++算法相关一些小细节cin>>stl;//输入字符串时,遇到空格或者回车就会停止cout<<stl<<endl;//输出字符串时,遇到空格或者回车不会停止若要往字符数组读入一行字符串,包括空格,那么就要写成           String类1. 2.3.不能用printf直接......
  • 协程相关及asyncio使用
    上下文什么意思?参考博客https://blog.csdn.net/caizir913/article/details/108826764上下文是针对中断来体现其具体含义的在内核设计者的眼中,当一个任务在中断时,CPU会去执行中断对应的任务。中断结束后,再执行之前的task时,原有任务的相关数据(在处理原任务所需要的数据)需要保......
  • ePWM相关记录
    此处记录TMS320F28xePWM模块相关理解。此处先介绍几个名词概念TBCTR(时基计数器):时基计数器保存当前的计数值,用于生成PWM信号周期。TBPRD(时基周期寄存器):这个寄存器存储PWM信号的周期值,计数器从0开始计数,直到TBPRD的值。TBPHS(时基相位寄存器):这个寄存器控制PWM信号的相位偏移,主......
  • Cmake 实操 -- 使用文件操作命令添加源码文件并移除失效问题记录
    搜索文件使用file(GLOB_RECURSEfileListsearchDir/*.cpp)搜索searchDir目录下所有cpp文件,将路径保存到fileList中。GLOB_RECURSE:启用递归搜索。ps:searchDir不会被展开,如果searchDir中存在C/test/../test1,保存到fileList中的文件路径将仍然带有C/test/../test1,而不是C/test1......
  • Docker搭建kafka集群
    Docker搭建kafka集群kafka中的基本概念broker:消息中间件处理节点,一个broker就是一个kafka节点,一个或者多个broker就组成了一个kafka集群topic:kafka根据topic对消息进行归类,发布到kafka集群的每个消息,都要指定一个topicproducer:消息生产者,向broker发送消息的客户端consumer:消......
  • 在 Windows 11 中,如果在 WSL2 中使用了 mirrored 或 virtioproxy 模式,而子系统的 IP
    在Windows11中,如果在WSL2中使用了mirrored或virtioproxy模式,而子系统的IP地址与主机地址相同,通常这与WSL2的网络配置和虚拟化模式相关。1. 理解 mirrored 和 virtioproxy 模式mirrored模式:通常在虚拟化环境中,mirrored网络模式意味着虚拟机(或者在此情况下......
  • 【大数据学习 | kafka】消费者的分区分配规则
    1.概述上面我们提到过,消费者有的时候会少于或者多于分区的个数,那么如果消费者少了有的消费者要消费多个分区的数据,如果消费者多了,有的消费者就可能没有分区的数据消费。那么这个关系是如何分配的呢?现在我们知道kafka中存在一个coordinator可以管理这么一堆消费者,它可以帮......