首页 > 其他分享 >kafka 消息位移提交几种方式:消息重复消息、消息丢失的关键

kafka 消息位移提交几种方式:消息重复消息、消息丢失的关键

时间:2024-09-21 18:54:11浏览次数:13  
标签:消费 kafka 丢失 提交 拉取 位移 消息

消费位移

Kafka 中的位移(offset)是用来记录消息在分区中的位置的标志,简单说就是记录消费者的消费进度,每次消息消费后需要更新消费进度,也就是位移提交

由此可见一旦位移提交发生异常,会导致消费进度不正确,就必然发生消息丢失或者重复消费

消息位移存储内部主题__consumer_offsets消息消费后需要执行位移的提交

消息位移提交几种方式

自动提交

enable.auto.commit 配置为true 默认每5s 提交一次 (auto.commit.interval.ms)拉取消息之前也会检查 是否可以进行位移提交

消息重复消费例子

消费者拉取了一批消息,消费后,消费位移自动提交前应用崩溃了,下次应用恢复,又从上次位移提交的地方消费

通过减小位移提交的时间间隔,能减少消息重复消费的可能,但会使消息位移提交频繁

消息丢失例子

消费者拉取到消息,此时消息位移刚好自动提交,但消息还没来及处理,然后应用崩溃了,下次应该恢复了,由于位移已经提交, 未处理的几条消息,就丢失了。

除了极端情况下消息可能存在丢失或重复消费,重复消息业务可以通过幂等性保证, 但消息丢失是可怕的,我们甚至都不知道

手动提交

对于业务来说消息拉取后,正确处理完才算消费了,自动提交可以更加灵活精准控制消息位移的提交

使用方式 设置enable.auto.commit 配置为false

同步提交

它会阻塞当前线程,直到提交成功或发生错误。同步提交确保位移提交的可靠性,但会增加延迟。

ConsumerRecords<String,String> records =    kafkaConsumer.poll(Duration.ofMillis(1000));

for(ConsumerRecord<String,String> record:records){
// 消息处理逻辑
}

kafkaConsumer.commitSync();

异步提交

它不会阻塞当前线程,提交过程在后台进行。异步提交提高了性能,但需要处理可能的提交失败情况。

kafkaConsumer.commitASync()

KafkaConsumer API 还为手动提交提供了带参数的方法

commitSync(Map<TopicPartition, OffsetAndMetadata>;

commitAsync(Map<TopicPartition, OffsetAndMetadata>)

总结

一般情况我们消息位移自动提交就可以满足我们大部分场景,当然也有场景需要控制消息位移提交,需要我们在可靠性与性能之间做取舍,自动位移提交代码稍微复杂点,需要处理好位移提交失败的情况。

标签:消费,kafka,丢失,提交,拉取,位移,消息
From: https://blog.csdn.net/happycao123/article/details/142421633

相关文章

  • 观察者模式:如何发送消息变化的通知?
    观察者模式是一种非常流行的设计模式,也常被叫作订阅-发布模式。观察者模式在现代的软件开发中应用非常广泛,比如,商品系统、物流系统、监控系统、运营数据分析系统等。现在我们常说的基于事件驱动的架构,其实也是观察者模式的一种最佳实践。当我们观察某一个对象时,对象传递出的每一个......
  • 备忘录模式:如何在聊天会话中记录历史消息?
    相较于其他的设计模式,备忘录模式不算太常用,但好在这个模式理解、掌握起来并不难,代码实现也比较简单,应用场景就更是比较明确和有限,一般应用于编辑器或会话上下文中防丢失、撤销、恢复等场景中。下面就一起来了解一下吧。一、模式原理分析备忘录模式的原始定义是:捕获并外部化对象的......
  • Ajv-ts 有什么新消息?
     零食故事:假设您有一篮子零食:constsnacks=['apple','banana','chocolate'];现在,您想与您的朋友分享这些零食。但你不是把整个篮子都给他们,而是把每件零食都拿出来,一一递给他们:console.log(...snacks);//output:applebananachocolate...(摊开)操作符就像是把......
  • RabbitMQ进阶--保证消息的可靠性
    1.使用rabbitmq可能存在的问题在我们使用消息队列时,是否考虑过一个问题,如果在发送消息的时候存在网络波动,会引发哪些问题?无法正确的发送和接收消息重复多次的消费同一条消息举个例子,我们在购物的时候,已经支付完成,但是消息没有正确的被消费,前端发送请求查询支付状态时,肯定......
  • uniapp精仿支付宝UI界面,首页/理财/消息/生活/口碑/我的,还有模拟支付宝扫码支付/收付款
    uniapp精仿支付宝UI界面,首页/理财/消息/生活/口碑/我的,还有模拟支付宝扫码支付/收付款等功能,界面漂亮颜值高,视频商城小工具等,蚂蚁森林种树养鸡农场偷菜样样齐用于视频,商城,直播,聊天等sumer-alipay介绍uniapp精仿支付宝UI界面,首页/理财/消息/生活/口碑/我的,还有模拟支付宝......
  • Linux | 进程间通信:管道、消息队列、共享内存与信号量
    文章目录《深入理解进程间通信:管道、消息队列、共享内存与信号量》一、进程间通信介绍(一)进程间通信目的(二)进程间通信发展(三)进程间通信分类二、管道(一)什么是管道(二)匿名管道(三)管道特点(四)命名管道三、共享内存(一)共享内存简介(二)共享内存数据结构(三)共享内存函数四、消息队......
  • Kafka 安全机制详解及配置指南
    个人名片......
  • 公众号发送模板消息
    gradle配置plugins{id'java'id'org.springframework.boot'version'3.0.4'id'io.spring.dependency-management'version'1.1.0'}group='com.example'version='0.0.1-SNAPSHO......
  • 分布式消息服务Kafka版的详细解析和配置方式
    分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,它向用户提供计算、存储和带宽资源独占式的Kafka专享实例。以下是对分布式消息服务Kafka版的详细解析和配置方式的介绍。一、分布式消息服务Kafka版解析1.Kafka概述Kafka是一个开源的分布式消息系统,由Apa......
  • SQL Server Service Broker:如何在企业应用中实现高效的异步消息处理|分布式系统中的异
    随着企业应用系统的复杂性不断增加,如何在大规模数据交互中保持高效、稳定的系统性能成为了开发人员的关键挑战。SQLServer的ServiceBroker是一个帮助开发者实现异步消息传递的功能模块,能够有效地处理高并发的数据库操作和事务。通过使用ServiceBroker,企业系统能够在不影响主......