首页 > 其他分享 >Kafka生产和消费

Kafka生产和消费

时间:2023-11-25 19:06:04浏览次数:31  
标签:11 00 消费 -- 192.168 Kafka topic 生产 kafka

生产,私有topic:

[root@gbxhf bin]# export PATH=$PATH:/data/kafka_2.12-2.8.2/bin;cd /data/kafka_2.12-2.8.2/bin
[root@gbxhf bin]# kafka-console-producer.sh --bootstrap-server 192.168.1.200:8423,192.168.1.201:8423   --topic "RDSP-IPCM-NOTICE" --producer.config /home/srd/config/client.properties


OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N [2023-11-23 14:49:25,242] WARN The configuration 'group.id' was supplied but isn't a known config. (org.apache.kafka.clients.producer.ProducerConfig)

>

[{"filePath": "data/ipcm", "fileType": "ipcm", "fileName": "20231120003000.20231120003712.373", "noticeTime

": "2023-11-20 00:37:12", "fileendTime": "2023-11-20 00:37:12", "filesize": "1692358", "unitid": "2023040698823913472", "coltime": "2023-11-20 00:30:00", "remark": "", "uuid": "1009616", ", "colitem": ["10001"], "retcode": "0", "failreason": "", "traceid": "08c4c95c-cd01-4322-a7ab-14db8dff4b2a"}]

>

消费,私有topic:

kafka-console-consumer.sh --bootstrap-server 192.168.1.200:8423,192.168.1.201:8423 --topic RDSP-IPCM-NOTICE --consumer.config /home/srd/config/client.properties

相较于私有topic,公有topic的参数更简单,不要带配置文件的路径参数

公有topic生产:

[root@gbxhf bin]# kafka-console-producer.sh --bootstrap-server 192.168.1.200:8422,192.168.1.201:8422   --topic "IPnldd-IPCM-NOTICE" 

OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N [2023-11-23 14:49:25,242] WARN The configuration 'group.id' was supplied but isn't a known config. (org.apache.kafka.clients.producer.ProducerConfig)

>

[{"filePath": "data/ipcm", "fileType": "ipcm", "fileName": "20231120003000.20231120003712.373", "noticeTime

": "2023-11-20 00:37:12", "fileendTime": "2023-11-20 00:37:12", "filesize": "1692358", "unitid": "2023040698823913472", "coltime": "2023-11-20 00:30:00", "remark": "", "uuid": "1009616", ", "colitem": ["10001"], "retcode": "0", "failreason": "", "traceid": "08c4c95c-cd01-4322-a7ab-14db8dff4b2a"}]

>

公有topic消费:

[root@gbxhf bin]# kafka-console-consumer.sh --bootstrap-server 192.168.1.200:8422,192.168.1.201:8422   --topic "IPnldd-IPCM-NOTICE"


标签:11,00,消费,--,192.168,Kafka,topic,生产,kafka
From: https://blog.51cto.com/u_16158934/8561631

相关文章

  • Introducing the kafka producer
    IntroductionAswesawintheprevioussections,Ithinkwehavesomebasicinformationaboutthekafkaproducers,today,letmediginthisconcept. Kafkaproducersaregoingtowritedatatotopicsaremadeofpartitions,nowtheproducersinkafkawil......
  • Linux下利用Docker快速部署Kafka
    1.摘要Kafka是由Apache软件基金会开发一个开源流处理平台,使用Scala和Java编写,该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个按照分布式事务日志架构的大规模发布/订阅消息队列。这种工作方式使它为企业级基础设施来处理流失数据非常......
  • 全网最全图解Kafka适用场景
    消息系统消息系统被用于各种场景,如解耦数据生产者,缓存未处理的消息。Kafka可作为传统的消息系统的替代者,与传统消息系统相比,kafka有更好的吞吐量、更好的可用性,这有利于处理大规模的消息。根据经验,通常消息传递对吞吐量要求较低,但可能要求较低的端到端延迟,并经常依赖kafka可靠......
  • 全网最全图解Kafka适用场景
    消息系统消息系统被用于各种场景,如解耦数据生产者,缓存未处理的消息。Kafka可作为传统的消息系统的替代者,与传统消息系统相比,kafka有更好的吞吐量、更好的可用性,这有利于处理大规模的消息。根据经验,通常消息传递对吞吐量要求较低,但可能要求较低的端到端延迟,并经常依赖kafka可靠的......
  • 生产实践:Redis与Mysql的数据强一致性方案
    公众号「架构成长指南」,专注于生产实践、云原生、分布式系统、大数据技术分享。数据库和Redis如何保持强一致性,这篇文章告诉你目的Redis和Msql来保持数据同步,并且强一致,以此来提高对应接口的响应速度,刚开始考虑是用mybatis的二级缓存,发现坑不少,于是决定自己搞要关注的问题点......
  • 消费陷阱
    消费陷阱是指商家利用消费者的心理弱点,诱导消费者进行不理性的消费行为,从而获取不正当利益的行为。消费陷阱主要有以下几种类型:价格陷阱:商家通过虚假宣传、价格欺诈等手段,让消费者误以为商品价格低于市场价,从而诱导消费者购买。信息陷阱:商家通过夸大产品功效、隐瞒产品缺陷等手......
  • 平台工程时代的 Kubernetes 揭秘:2023年生产状况报告深度剖析
    Kubernetes在生产环境中的复杂性已经成为常态,在2023年这个平台工程盛行的时代,容器管理的最大亮点可能在于其灵活性,然而在运维政策和治理等方面仍然存在诸多挑战。八年过去了,在生产环境中使用Kubernetes仍然需要面临许多挑战。 SpectroCloud刚刚与DimensionalResearch合......
  • Kafka-合理设置broker、partition、consumer数量
     1.broker的数量最好大于等于partition数量一个partition最好对应一个硬盘,这样能最大限度发挥顺序写的优势。一个broker如果对应多个partition,需要随机分发,顺序IO会退化成随机IO。实验条件:3个Broker,1个Topic,无Replication,异步模式,3个Producer,消息Payload为100字节:场景1:p......
  • Kafka 配置部署及SASL_PLAINTEXT安全认证
    1、下载安装Kafka下载地址:ApacheKafka#下载文件wgethttps://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz#文件解压缩tar-zxvfkafka_2.12-3.5.1.tgz#修改目录名称mvkafka_2.12-3.5.1kafka_2.12#进入目录cdkafka_2.122、Zookeeper 配置2.......
  • 智能监控如何最大化保障生产工人权益,助力电焊车间智能化?
    电焊车间加装监控可以加强对电焊车间的生产过程监控,保障员工的生产工作安全,提高工作效率,降低生产成本。但是传统的监控只能单一的去“看”,并不能最大化发挥视频监控的作用,而智能视频监控就不一样。它可以有效提高安全监控效率,最大化地保障安全生产,那么,具体方案包括哪些内容呢?1、视......