首页 > 其他分享 >kafka基础知识(持续更新中~)

kafka基础知识(持续更新中~)

时间:2024-09-03 22:54:45浏览次数:11  
标签:253.38 -- 更新 基础知识 topic sh 172.16 kafka

#broker.id属性在kafka集群中必须要是唯⼀

broker.id=0

#kafka部署的机器ip和提供服务的端⼝号

listeners=PLAINTEXT://192.168.65.60:9092

#kafka的消息存储⽂件

log.dir=/usr/local/data/kafka-logs

#kafka连接zookeeper的地址

zookeeper.connect=192.168.65.60:2181

./kafka-server-start.sh -daemon ../config/server.properties

./kafka-topics.sh --create --zookeeper 172.16.253.35:2181 --replication-factor 1 --partitions 1 --topic test

./kafka-topics.sh --list --zookeeper 172.16.253.35:2181 test

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092 --topic test

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092 --topic test

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092 --from-beginning --topic test

/usr/local/kafka/data/kafka-logs/主题-分区/00000000.log

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092 --consumer-property group.id=testGroup --topic test

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092 --

consumer-property group.id=testGroup1 --topic test

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092 --consumer-property group.id=testGroup2 --topic test

/kafka-consumer-groups.sh --bootstrap-server 172.16.253.38:9092 --describe --group testGroup

./kafka-topics.sh --create --zookeeper 172.16.253.35:2181 --replication-factor 1 --partitions 2 --topic test1

1# 0 1 2

2broker.id=2

3// 9092 9093 9094

4listeners=PLAINTEXT://192.168.65.60:9094

5//kafka-logs kafka-logs-1 kafka-logs-2

6log.dir=/usr/local/data/kafka-logs-2

1./kafka-server-start.sh -daemon ../config/server.properties

2./kafka-server-start.sh -daemon ../config/server1.properties

3./kafka-server-start.sh -daemon ../config/server2.properties

./kafka-topics.sh --create --zookeeper 172.16.253.35:2181 --replication-factor 3 --partitions 2 --topic my-replicated-topic

# 查看topic情况 ./kafka-topics.sh --describe --zookeeper 172.16.253.35:2181 --topic myreplicated-topic

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 --frombeginning --consumer-property group.id=testGroup1 --topic my-replicatedtopic

./kafka-console-producer.sh --broker-list 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 --topic myreplicated-topic

./kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 --frombeginning --consumer-property group.id=testGroup1 --topic my-replicatedtopic

<dependency>
 <groupId>org.apache.kafka</groupId>
 <artifactId>kafka-clients</artifactId>
 <version>2.4.1</version>
 </dependency>

package com.qf.kafka;
import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;
import java.util.concurrent.ExecutionException;
public class MySimpleProducer {
 private final static String TOPIC_NAME = "my-replicated-topic";
 public static void main(String[] args) throws ExecutionException, 
InterruptedException {
 //1.设置参数
 Properties props = new Properties();
 props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, 
"172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094");
 //把发送的key从字符串序列化为字节数组
 props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, 
StringSerializer.class.getName());
 //把发送消息value从字符串序列化为字节数组
 props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, 
StringSerializer.class.getName());
 //2.创建⽣产消息的客户端,传⼊参数
 Producer<String,String> producer = new KafkaProducer<String, 
String>(props);
 //3.创建消息
 //key:作⽤是决定了往哪个分区上发,value:具体要发送的消息内容
 ProducerRecord<String,String> producerRecord = new ProducerRecord<>
(TOPIC_NAME,"mykeyvalue","hellokafka");
 //4.发送消息,得到消息发送的元数据并输出
 RecordMetadata metadata = producer.send(producerRecord).get();
 System.out.println("同步⽅式发送消息结果:" + "topic-" + 
metadata.topic() + "|partition-"+ metadata.partition() + "|offset-" + metadata.offset());
 }
}

RecordMetadata metadata = producer.send(producerRecord).get();
 System.out.println("同步⽅式发送消息结果:" + "topic-" + 
metadata.topic() + "|partition-"
 + metadata.partition() + "|offset-" + metadata.offset());

标签:253.38,--,更新,基础知识,topic,sh,172.16,kafka
From: https://blog.csdn.net/m0_74969835/article/details/141858250

相关文章

  • 基础知识内容
    基础知识预览if语句注意结合and和or句式1ifcon1thenpasselseifcon2thenpasselseifcon3thenpasselsespassendif句式2ifconthenpasselsepassendif句式3+句式4ifcon1thenresult1ifcon1thenresult_Yelse......
  • Kafka 常用的传输和序列化数据方式
    Kafka常用的传输和序列化数据方式。不同的方式有不同的优缺点,选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。以下是几种常见的方式,包括:1.ProtoBuf(ProtocolBuffers)概述:ProtoBuf是Google开发的一种语言中立、平台中立的高效二进制序列化格......
  • C++入门基础知识48——【关于C++函数】之Lambda 函数与表达式
    成长路上不孤单......
  • 你的AI绘画工具SD该更新啦!6款超好用的SDXL负面提示词Embedding模型,让你的出图效果好上
    大家好,我是强哥AI绘画SDXL1.0模型发布以来,优质的SDXL大模型不断涌现,让图像的生成质量越来越高。但版本迭代后,之前的SD1.5的负面提示词Embedding并不能和SDXL大模型配合使用,而每次都输入一大串的反向提示词又实在麻烦。所以今天就给大家推荐6款可以配合SDXL......
  • 一场 Kafka CRC 异常引发的血案rD
    一、问题概述客户的生产环境突然在近期间歇式的收到了KafkaCRC的相关异常,异常内容如下Recordbatchforpartitionskywalking-traces-0atoffset292107075isinvalid,cause:Recordiscorrupt(storedcrc=1016021496,computecrc=1981017560)JAVA复制全屏报错......
  • win10更新为win11后OneNote笔记全部消失的完整解决方案
    目录背景解决步骤1:下载OneNoteforWindows10,找到笔记HereisthelinktooldOneNoteforWindows10app解决步骤2:导出找到的笔记使用OneNote网页版导出笔记解决步骤3:导入找到的笔记至新版OneNote解决报错:直接copy一份副本至当前笔记本背景电脑更新为win11后,我打开OneNote准......
  • 怎样更新电脑pip
    查看当前的pip版本pip--version  pipinstall--upgradepip首先输入这个命令后它会提示你下一步为:ERROR:Tomodifypip,pleaserunthefollowingcommand:d:\python安装位置\python.exe-mpipinstall--upgradepip后面这个是根据自己电脑的情况来的然后......
  • VMware Workstation 17.5.2 Pro for Linux 更新 OEM BIOS 2.7 支持 Windows Server 20
    VMwareWorkstation17.5.2ProforLinux更新OEMBIOS2.7支持WindowsServer2025VMwareWorkstation17.5.2PromacOSUnlocker&OEMBIOS2.7forLinux在Linux上运行macOSSonoma请访问原文链接:https://sysin.org/blog/vmware-workstation-17-unlocker-linux/,查......
  • VMware Workstation 17.5.2 Pro for Windows 更新 OEM BIOS 2.7 支持 Windows Server
    VMwareWorkstation17.5.2ProforWindows更新OEMBIOS2.7支持WindowsServer2025VMwareWorkstation17.5.2PromacOSUnlocker&OEMBIOS2.7forWindows在Windows上运行macOSSonoma请访问原文链接:https://sysin.org/blog/vmware-workstation-17-unlocker-win......
  • 亲测好用,ChatGPT 3.5/4.0新手使用手册~ 【2024年9月 更新】
    都知道ChatGPT很强大,聊聊天、写论文、搞翻译、写代码、写文案、审合同等等,无所不能~那么到底怎么使用呢?其实很简单了,国内AI产品发展也很快,很多都很好用了~我一直在用,建议收藏下来~  有最先进、最新的GPT模型,还有很多其他效率工具都是在各自领域,绝对领先地位的产品~①......