首页 > 其他分享 >kafka常用命令

kafka常用命令

时间:2024-01-26 14:57:43浏览次数:25  
标签:-- 9092 kafka topic 常用命令 k8s local

mac本地安装kafka

brew install kafka

启动zookeeper、kafka

brew services start zookeeper

brew services start kafka

创建一个topic

kafka-topics --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic test_1

创建一个生产者producer

kafka-console-producer --bootstrap-server localhost:9092 --topic test_1

创建一个消费者

kafka-console-consumer --bootstrap-server localhost:9092 --topic test_1 --from-beginning

查看所有topic

kafka-topics --list -bootstrap-server localhost:9092

kafka-topics --list -bootstrap-server c02-01.kafka.k8s.local:9092,c02-02.kafka.k8s.local:9092,c02-03.kafka.k8s.local:9092

新建终端,向指定topic中发送消息中发送消息

 kafka-console-producer --broker-list localhost:9092 --topic test
 kafka-console-producer --broker-list c02-01.kafka.k8s.local:9092,c02-02.kafka.k8s.local:9092,c02-03.kafka.k8s.local:9092 --topic fota-event

新建终端,向指定topic接收消息

kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning

kafka-console-consumer --bootstrap-server c02-01.kafka.k8s.local:9092,c02-02.kafka.k8s.local:9092,c02-03.kafka.k8s.local:9092 --topic fota-event

停止kafka服务

./kafka-server-stop

停止zookeeper服务

./zookeeper-server-stop

groovy脚本/java程序发送kafka消息

--java--
--groovy--

标签:--,9092,kafka,topic,常用命令,k8s,local
From: https://www.cnblogs.com/xinxi-caas/p/17989393

相关文章

  • 怎么监测Kafka的消息堆积数量
    我们项目里也用到Kafka消息中间件,有时候也会关注主题的消息堆积数量我们用的工具是WGCLOUD,一款开源免费的运维软件,里面有个模块可以监测到Kafka的消息数量,包括消息堆积量等如下图......
  • Kafka 与 Zookeeper 关系
    Zookeeper为Kafka提供集群的管理。不仅保存着集群的Broker、Topic、Partition等元数据,还负责Broker故障发现、Leader选举、负载均衡等。Broker元数据管理在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点。每个Broker在启动时,都会到Zookeeper上......
  • Kafka 的数据存储设计
    Segment数据文件Partition在物理上由多个Segment数据文件组成,每个Segment数据文件大小相等、按顺序读写。每个Segment数据文件的第一个文件名从0开始,后续每个Segment文件名为上一个全局Partition的最大offset,文件扩展名为.log。在查找指定Offset的Message中,用......
  • Kafka 集群
    典型拓扑结构Kafka集群包含若干个Producer,若干个Broker(Kafka集群支持水平扩展,一般Broker数量越多,整个Kafka集群的吞吐量也就越高),若干个ConsumerGroup,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置。Producer使用Push模式将消息发布到Broker上,C......
  • Kafka 中一些常见的问题
    消息消费的顺序问题消息在被追加到Partition的时候都会分配一个特定的偏移量(offset),Kafka通过偏移量(offset)来保证消息在分区内的顺序性。为了保证Kafka中消息消费的顺序,可以采用以下2种方法:设置1个Topic只对应一个Partition破坏了Kafka的设计初衷,不推荐使用。......
  • Kafka 的高可用原理
    Kafka集群由若干个Broker组成,Topic由若干个Partition组成,每个Partition可存在不同的Broker上。可以这样说,一个Topic的数据,分散在多个机器上,即每个机器上都存放一部分数据。Kafka0.8以前Kafka0.8以前是没有高可用机制的。假设一个Topic,由3个Partiton组成。......
  • Kafka 特性总结
    Kafka特性可总结如下:1.高可用Kafka0.8以前是没有高可用机制的。Kafka0.8以后,通过副本机制来实现高可用,基于副本机制实现Kafka的高可用。2.持久性Kafka集群接收到Producer发过来的消息后,将其持久化到磁盘。此外,还支持数据备份。3.数据不易丢失通过合理的配置,Ka......
  • nfs服务的常用命令和路径文件介绍_
    1.NFS配置文件路径1.1路径:/etc/exports 1.2路径:/usr/sbin/exportfs 1.3路径:/usr/sbin/showmount 1.4路径:/var/lib/nfs/etab 1.5路径:/var/lib/nfs/xtab,  ......
  • 【K8S】label标签常用命令
    node节点增加、修改、删除、查看、查找label标签单个node增加标签:kubectllabelnode<nodename>type=basic所有node增加标签:kubectllabelnode--alltype=basic修改:kubectllabelnode<nodename>type=special--overwrite删除单个标签:kubectllabelnode<nodename>type-......
  • kafka为什么不支持读写分离?
    在kafka中,生产者写入消息,消费者读取消息的操作都是与leader副本进行交互的,从而实现的是一种主写主读的生产消费模型。kafka不支持读写分离,也就是主写从读。读写分离有以下不足:(1)主从延时。类似Redis,数据从写入主节点,再同步到从节点中的过程需要耗费一些时间。如果对延时的......