首页 > 其他分享 >RabbitMQ-消息丢失、重复、积压等解决方案

RabbitMQ-消息丢失、重复、积压等解决方案

时间:2023-03-24 22:32:42浏览次数:33  
标签:积压 宕机 ack 解决方案 Broker RabbitMQ 成功 发送 消息

高并发场景的分布式事务,我们采用柔性事务+可靠消息+最终一致性方案(异步确保型),可靠性是最重要的,那么如何保证消息的可靠性呢?

一、消息丢失

1、消息发送出去,由于网络问题没有抵达服务器 做好容错方法(try-catch),发送消息可能会网络失败,失败后要有容错机制,可记录到数据库,采用定期扫描重发的方式。 做好日志记录,每个消息状态是否都被服务器收到都应该记录 做好定期重发,如果消息没有发送成功,定期去数据库扫描未成功的消息进行重发

2、消息抵达Broker,Broker要将消息写入磁盘(持久化)才算成功。此时Broker尚未持久化完成,宕机。

publisher 也必须加入确认回调机制,确认成功的消息,修改数据库消息状态。 生产者消息确认回调应该增加日志记录,确认回调成功后修改记录日志的状态: 3、自动ACK的状态下。消费者收到消息,但没来得及消费然后宕机。

一定开启手动ACK,消费成功才移除,失败或者还没来得及处理就 noAck并重新入队。 防止消息丢失记住这两条: 1、做好消息确认机制(publisher,consumer【手动ack】】) 2、每一个发送的消息都在数据库做好记录。定期将失败的消息再发送一遍

二、消息重复

出现重复的几种情况# 1、消息消费成功,事务已经提交,ack时,机器宕机,导致没有ack成功。 Broker的消息重新由 unack 变为ready,并发送给其他消费者 2、消息消费失败,由于重试机制,自动又将消息发送出去。 3、成功消费,ack时宕机,消息又unack变为ready,Broker又重新发送 解决方案# 消费者的业务消费接口应该设计为幂等性的。比如扣库存有工作单的状态标识。 使用防重表(redis/mysql),发送消息每一个都有业务的唯一标识,处理过就不用再处理。 rabbitMQ的每一个消息都有 redilivered字段,可以获取是否被重新投递过来的,而不是第一次被投递过来的。

三、消息积压 消费者宕机 消费者消费能力不足 发送者发送流量太大 上线更多的消费者,进行正常的消费 上线专门的队列消费服务,将消息先批量取出来,记录数据库,离线慢慢处理

标签:积压,宕机,ack,解决方案,Broker,RabbitMQ,成功,发送,消息
From: https://blog.51cto.com/u_15993308/6148315

相关文章

  • 性能测试:如何在RunnerGo 中寻找高效的解决方案
    性能测试是软件质量保障的关键环节之一,性能测试可以评估应用的可靠性、稳定性和响应时间。然而,性能测试通常需要大量的时间和资源,因此需要使用高效的性能测试工具来减少测试......
  • 性能测试:如何在RunnerGo 中寻找高效的解决方案
    性能测试是软件质量保障的关键环节之一,性能测试可以评估应用的可靠性、稳定性和响应时间。然而,性能测试通常需要大量的时间和资源,因此需要使用高效的性能测试工具来减少测......
  • ChatGPT4 给出数据库开发者最容易犯的 10 个错误和解决方案
    近期ChatGPT4发布,作为数据库领域的开发者,也是10年老DBA,也是迫不及待体验了一把。ChatGPT4目前是付费使用,使用次数也有限制,门槛更高,API调用费用是ChatGPT3.5的15......
  • ChatGPT4 给出数据库开发者最容易犯的 10 个错误和解决方案
    近期ChatGPT4发布,作为数据库领域的开发者,也是10年老DBA,也是迫不及待体验了一把。 ChatGPT4目前是付费使用,使用次数也有限制,门槛更高,API调用费用是ChatGPT3.5......
  • JAVA 大文件上传解决方案(500M以上)
    我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用。这次项目的需求:支持大文件的上传和续传,要求续传支持所有......
  • 异步编程解决方案 Promise
    1.回调地狱2.Promise的使用3.Promise的状态4.Promise的结果5.Promise的then方法6.Promise的catch方法7.回调地狱的解决方案1.回调地狱回调地狱:在......
  • 安全高效 | AIRIOT智慧工地管理解决方案
     建筑工地施工材料、机械设备、工程车、人员各个环节管理相对复杂、建筑业也是安全事故频发的高危行业,安全管控尤为重要。建筑施工单位想要保障安全生产,做好能......
  • 5 Why 分析法,一种用于归纳抽象出解决方案的好方法
    最近在看了《微信背后的产品观-张小龙手抄版》,其中有段话如下:用户需求是零散的,解决方案是归纳抽象的过程那如何归纳抽象呢?是否有一定的实践方法论呢?经过一轮探讨和......
  • docker容器安装RabbitMQ
    https://blog.csdn.net/qq_45502336/article/details/118699251?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1......
  • RabbitMQ 03 直连模式-可视化界面
    这里先演示最简单的模型:直连模式。其结构图为:一个生产者->消息队列->一个消费者生产者只需要将数据丢进消息队列,而消费者只需要将数据从消息队列中取出,这样就实现了......