首页 > 其他分享 >RocketMQ【消息丢失】

RocketMQ【消息丢失】

时间:2023-11-13 15:24:40浏览次数:33  
标签:生产者 丢失 half 磁盘 RocketMQ 消息

一、流程图       

      

 二、消息丢失场景    

      2.1、场景1中生产者将消息发送给Rocket MQ的时候,如果出现了网络抖动或者通信异常等问题,消息就有可能会丢失。

      2.2、场景2中消息需要持久化到磁盘中,这时会有两种情况导致消息丢失:

               1、RocketMQ为了减少磁盘的IO,会先将消息写入到os cache中,而不是直接写入到磁盘中,消费者从os cache中获取消息类似于直接从内存中获取消息,速度更快,过一段时间会由os线程异步的将消息刷入磁盘中,此时才算真正完成了消息的持久化。在这个过程中,如果消息还没有完成异步刷盘,RocketMQ中的Broker宕机的话,就会导致消息丢失。

               2、如果消息已经被刷入了磁盘中,但是数据没有做任何备份,一旦磁盘损坏,那么消息也会丢失。

       2.3、消费者成功从RocketMQ中获取到了消息,还没有将消息完全消费完的时候,就通知RocketMQ我已经将消息消费了,然后消费者宕机,但是RocketMQ认为消费者已经成功消费了数据,所以数据依旧丢失了。

三、如何保证消息不丢失   

    场景1中保证消息不丢失的方案是使用RocketMQ自带的事务机制来发送消息,大致流程为:

          1、首先生产者发送half消息到RocketMQ中,此时消费者是无法消费half消息的,若half消息就发送失败了,则执行相应的回滚逻辑;

          2、half消息发送成功之后,且RocketMQ返回成功响应,则执行生产者的核心链路;

          3、如果生产者自己的核心链路执行失败,则回滚,并通知RocketMQ删除half消息;

          4、如果生产者的核心链路执行成功,则通知RocketMQ commit half消息,让消费者可以消费这条数据。

标签:生产者,丢失,half,磁盘,RocketMQ,消息
From: https://www.cnblogs.com/xiaobaicai12138/p/17829221.html

相关文章

  • 3分钟白话RocketMQ系列—— 如何消费消息
    =白话3分钟,快速了解RocketMQ如何消费消息。看完如果不了解,欢迎来打我。我们知道RocketMQ主要分为消息生产、存储(消息堆积)、消费三大块领域。前面已经介绍了生产消息、存储消息两大块内容,那接下来,我们白话一下RocketMQ是如何消费消息的,揭秘消息消费全过程。注意,如果白话中不小......
  • 3分钟白话RocketMQ系列—— 如何存储消息
    白话3分钟,快速了解RocketMQ如何存储消息。看完如果不了解,欢迎来打我。我们知道RocketMQ主要分为消息生产、存储(消息堆积)、消费三大块领域。那接下来,我们白话一下,RocketMQ是如何存储消息的,揭秘消息存储全过程。注意,如果白话中不小心提到相关代码配置与类名,请参考RocketMQ4.9.4......
  • Vue使用vuex刷新页面后state数据丢失
    使用 createPersistedState做持久化安装:npminstallvuex-persistedstate--save使用:importVuefrom'vue';importVuexfrom'vuex';importcreatePersistedStatefrom'vuex-persistedstate'importnavCollapsefrom'./modules/navCol......
  • kafka复习:(2)客户端发送消息并异步处理返回结果
    packagecom.cisdi.dsp.modules.metaAnalysis.rest.kafka2023;importorg.apache.kafka.clients.producer.*;importorg.apache.kafka.common.serialization.StringSerializer;importjava.time.Duration;importjava.util.Properties;importjava.util.concurrent.E......
  • windows10 使用Xshell时出现丢失msvcr110.dll
    Xshell启动报错如下:无法启动此程序,因为计算机中丢失MSVCR110.dll。尝试重新安装该程序以解决此问题。解决步骤如下:(亲测有效)1.进入网址:https://www.microsoft.com/zh-CN/download/details.aspx?id=30679点击下载; 2.下载以下两个程序包; 3.下载完成后依次安装 安装后......
  • gitlab由16.4.1升级到16.4.2后样式丢失的处理方法,升级16.5.1和16.5.2 都会出同样的问
    gitlab由16.4.1升级到16.4.2后,主页样式丢失的处理方法1.通过chrome的F12功能,通过报错可以看到多个文件找不到的问题,共计4个CSS文件,1个JS文件,一个SVG文件。更新后正常2.处理办法,在这个目录(/opt/gitlab/embedded/service/gitlab-rails/public/)下,逐个找到对应的文件,并拷贝找不到......
  • 好消息,支付宝【支付交易投诉】工具升级,可以直接处理投诉了。。。
    大家好,我是小悟兄弟们,阅读本文之前,建议先阅读【好消息,终于可以获取到支付宝【支付交易投诉】的信息了。。。】。为了使工具更好用,也为帮助商家更好地处理消费者投诉,提升用户满意度,提高处理效率,满足用户需求,一直在研究完善功能。于是对工具进行了升级,可以直接查看详情、提交退款、处......
  • 好消息,微信消费者投诉工具升级,可以直接回复用户、处理投诉了。。。
    大家好,我是小悟兄弟们,阅读本文之前,建议先阅读【连夜干出来一个自动处理【微信消费者投诉管理系统】,支持多商户】。为了使工具更好用,也为帮助商户更好地处理消费者投诉,提升用户满意度,提高处理效率,满足用户需求,一直在研究完善功能。于是对工具进行了升级,可以直接回复用户、查看详情、......
  • websocket的消息丢失处理,以及前端监听心跳处理方案
    消息丢失处理方案:1、后台通过websocket传输给前端消息,并且后台生成校验此消息的定时任务,设置每5秒重发2、前端接收到消息后将消息通过websocket传输给后台3、后台如接收到前端的消息则删除对应的发送消息定时任务,如未收到消息则继续发送,设置最多发送5次(超过5次默认认为此条消......
  • Java_消息队列_RocktMQ
    RocketMQ安装RocketMQ的安装包分为两种,二进制包和源码包sudoapt-getinstalldefault-jdksudoapt-getinstallmaven解耦,异步,削峰填谷异步消息可以作为解耦消息的生产和处理的一种解决方案部署:包括NameServer、Broker、Proxy组件NameServer需......