首页 > 其他分享 >Kafka 生产者-消费者

Kafka 生产者-消费者

时间:2023-10-18 16:31:43浏览次数:30  
标签:消费者 生产者 Broker Kafka 消息 服务端 客户端

消息系统通常都会由生产者,消费者,Broker三大部分组成,生产者会将消息写入到Broker,消费者会从Broker中读取出消息,不同的MQ实现的Broker实现会有所不同,不过Broker的本质都是要负责将消息落地到服务端的存储系统中。具体步骤如下:

  1. 生产者客户端应用程序产生消息:
  1. 客户端连接对象将消息包装到请求中发送到服务端
  2. 服务端的入口也有一个连接对象负责接收请求,并将消息以文件的形式存储起来
  3. 服务端返回响应结果给生产者客户端
  1. 消费者客户端应用程序消费消息:
  1. 客户端连接对象将消费信息也包装到请求中发送给服务端
  2. 服务端从文件存储系统中取出消息
  3. 服务端返回响应结果给消费者客户端
  4. 客户端将响应结果还原成消息并开始处理消息

标签:消费者,生产者,Broker,Kafka,消息,服务端,客户端
From: https://blog.51cto.com/u_16270511/7919416

相关文章

  • 从一次Kafka宕机说起(JVM hang)
    一、背景时间大概是在夏天7月份,突然收到小伙伴的情报,我们线上的一个kafka实例的某个broker突然不提供服务了,也没看到什么异常日志,反正就是生产、消费都停了。因为是线上服务,而且进程还在,就是不提供服务了,第一反应就是保留一下stack信息,先重启吧因为这个现象是第一次出现,不确......
  • Kafka 什么速度那么快
    批量发送消息Kafka采用了批量发送消息的方式,通过将多条消息按照分区进行分组,然后每次发送一个消息集合,看似很平常的一个手段,其实它大大提升了Kafka的吞吐量。消息压缩消息压缩的目的是为了进一步减少网络传输带宽。而对于压缩算法来说,通常是数据量越大,压缩效果才会越好。因为有......
  • Kafka如何解决消息丢失的问题
    在Kafka的整个架构中可以总结出消息有三次传递的过程:Producer端发送消息给Broker端Broker将消息进行并持久化数据Consumer端从Broker将消息拉取并进行消费在以上这三步中每一步都可能会出现丢失数据的情况,那么Kafka到底在什么情况下才能保证消息不丢失呢?Producer端丢......
  • Kafka 入门教程
     Kafka是分布式发布-订阅消息系统,它最初由LinkedIn公司开发,使用Scala语言编写,之后成为Apache项目的一部分。在Kafka集群中,没有“中心主节点”的概念,集群中所有的服务器都是对等的,因此,可以在不做任何配置的更改的情况下实现服务器的的添加与删除,同样的消息的生产者和消费者......
  • Kafka:用于日志处理的分布式消息系统
    周末躺不平,摆不烂,卷不动,随便读一篇paper吧原文:Kafka:aDistributedMessagingSystemforLogProcessing作者:JayKreps/NehaNarkhede/JunRao这三尊神就是当初在LinkedIn开发Kafka的大佬摘要日志处理已经成为了当下互联网公司数据管道(datapipeline)的重要组成部分。......
  • kafka 消费报错
    具体报错信息Traceback(mostrecentcalllast):File"/root/kafkatomysql.py",line166,in<module>consumer.commit()File"/usr/local/python3.9/lib/python3.9/site-packages/kafka/consumer/group.py",line527,incommitself._coo......
  • 博学谷学习记录 自我总结 用心分享 | Kafka刨析
    基本概念Kafka 体系架构Kafka体系架构包括若干Producer、若干Broker、若干Consumer,以及一个 ZooKeeper 集群。在Kafka中还有两个特别重要的概念—主题(Topic)与分区(Partition)。Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题(发送到Kafka集群......
  • 大白话教你认识 Kafka,背后原理竟能秒懂 转载
    一、Kafka基础消息系统的作用应该大部份小伙伴都清楚,用机油装箱举个例子所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。引入一个场景,我们知道中国移动,中国联通,中国电信的日志处理,是交给外包去做大数据分析的,假设现在它们的日志都交给了你......
  • Kafka服务报UnknownHostException解决办法
    问题描述启动需要连接kafka服务的项目,报如下错误09:57:01.336[http-nio-8085-exec-3]WARNorg.apache.kafka.clients.NetworkClient-[ConsumerclientId=consumer-group-1,groupId=XX-group]ErrorconnectingtonodeMY_HOST_NAME:9092(id:0rack:null)java.net.Unk......
  • AMQP消息转换器(指定消费者和发布者的数据序列化方式)
       ......