首页 > 其他分享 >kafka消费者学习

kafka消费者学习

时间:2022-10-08 23:35:41浏览次数:44  
标签:消费 消费者 群组 kafka 学习 消息 分区 读取

转自:https://www.cnblogs.com/cxuanBlog/p/11949238.html

1.介绍 

 Kafka 消费者从属于消费者群组。一个群组中的消费者订阅的都是相同的主题,每个消费者接收主题一部分分区的消息。

 

图1

上图中,左图为两个消费者消费4个分区,如果在某些环境下比如用户产生消息特别多的时候,生产者产生的消息仍旧让消费者吃不消,那就继续增加消费者。右图为增加后,4个消费者。可以通过增加消费组的消费者来进行水平扩展提升消费能力

这也是为什么建议创建主题时使用比较多的分区数,这样可以在消费负载高的情况下增加消费者来提升性能。另外,消费者的数量不应该比分区数多,因为多出来的消费者是空闲的,没有任何帮助。

如果应用需要读取全量消息,那么请为该应用设置一个消费组;如果该应用消费能力不足,那么可以考虑在这个消费组里增加消费者

图2

上图中,消费者群组1和2都能够收到 T1 主题的全量消息,在逻辑意义上来说它们属于不同的应用。Kafka 一个很重要的特性就是,只需写入一次消息,可以支持任意多的应用读取这个消息。【那这样看,每个群组针对同一个分区都会有不同的偏移量来指示读取到哪了?】

2.例子

明天再来总结。

 

3.消费者配置

 

4.提交偏移量

 

标签:消费,消费者,群组,kafka,学习,消息,分区,读取
From: https://www.cnblogs.com/BlueBlueSea/p/16770666.html

相关文章

  • kafka的缺陷
    转自:https://mp.weixin.qq.com/s/_RIvZwK1sJJP8xnUDyAk1Q1.broker和partition的问题全量复制的问题。  2.缓存页写回可能丢失 3.进阶 ......
  • ansible学习笔记03(最佳实践)
    1、控制提权Ansibleplaybook能实现多种不同方式的提权操作,提权的级别取决于你打算控制的级别,ansible使用命令或连接参数,在play、role、block和tasks中,都可以设置提权,设......
  • RE : 从零开始学习多项式(重制版)
    原版在这感觉原版讲得太仓促了,很多技巧性的东西但是没有什么根本性的解释,所以有了重置版。重制版预估还会加入很多新的东西,希望我能在一周内完工[双手合十]。目录多项......
  • 20221415_获奖感言及学习总结
    20221415_获奖感言及学习总结获奖感言很荣幸可以获得娄老师的奖品。我会再接再厉学好编程。学习总结敢学、不服输的态度C语言最开始的学习无疑是痛苦的,如果一直对......
  • vue个人学习笔记
    工程简介vue学习笔记1.what:基于标准HTML、CSS和JavaScript构建,并提供了一套声明式的、组件化的编程模型,帮助你高效地开发用户界面。2.why为什么要选择vue呢?vue作为......
  • kafka的生产者学习
    转自:https://www.cnblogs.com/cxuanBlog/p/11949238.html1.流程介绍图1大概流程:创建一个ProducerRecord 对象,它是Kafka中的一个核心类,由记录要发送到的主题名称(T......
  • Flask学习笔记(八)-Flask-Sqlalchemy基本使用详解
    一、环境的安装pipinstallflask-sqlalchemypipinstallpymysql二、基本使用1、最小型应用:对于Flask的应用来说,需要做的就是为Flask实例选择加载配置,然后把S......
  • 【10月】C语言学习第1天
    指针符号&和*&用于指向变量数据位置,用十六进制表示*用于指向变量内存储的值-----------------------------------------函数对变量进行操控:由于函数返回只有一个值,固......
  • OpenGL 学习系列---基本形状的绘制
    在之前的一篇博客中,讲述了​​OpenGL基础绘制流程​​ 及相关的代码,其中关于OpenGL程序编译部分都是可以在其他项目中接着复用的,接下来会讲到如何去绘制其他的基本图元......
  • ​OpenGL 学习系列---坐标系统
    在前面​​绘制基本图形​​中,遇到了很明显的问题,圆形不像圆形,正多边形不像正多边形?就像下面图形一样:不规则的形状好好的正五边形却东倒西歪的,这就是因为我们前面的绘制都是......