首页 > 其他分享 >优先队列和惰性队列

优先队列和惰性队列

时间:2023-06-20 12:55:37浏览次数:48  
标签:优先 消费 队列 内存 MQ 惰性 消息

1.优先队列

1.1 场景

在我们系统中有一个订单催付的场景,我们的客户在天猫下的订单淘宝会及时将订单推送给我们,如
果在用户设定的时间内未付款那么就会给用户推送一条短信提醒, 很简单的一个功能对吧,但是, tmall
商家对我们来说,肯定是要分大客户和小客户的对吧,比如像苹果,小米这样大商家-年起码能给我们创
造很大的利润,所以理应当然,他们的订单必须得到优先处理,而曾经我们的后端系统是使用redis来存
放的定时轮询,大家都知道redis只能用List做一个简简单 单的消息队列,并不能实现一个优先级的场景,
所以订单量大了后采用RabbitMQ进行改造和优化,如果发现是大客户的订单给一个相对比较高的优先级,
否则就是默认优先级。

1.2 实现

     Map<String, Object> arg = new HashMap<>();
        //允许0-255之间 此处设置为10 避免浪费
        arg.put("x-max-priority", 10);

        //消息设置优先级
        AMQP.BasicProperties properties = new AMQP.BasicProperties()
                .builder().priority(5).build();

2.惰性队列

正常情况:消息是保存在内存中
惰性队列:消息是保存在磁盘中

2.1 使用场景

RabbitMQ从3.6.0版本开始引入了惰性队列的概念。惰性队列会尽可能的将消息存入磁盘中,而在消
费者消费到相应的消息时才会被加载到内存中,它的-一个重要的设计目标是能够支持更长的队列,即支持
更多的消息存储。当消费者由于各种各样的原因(比如消费者下线、宕机亦或者是由于维护而关闭等)而致
使长时间内不能消费消息造成堆积时,惰性队列就很有必要了。
默认情况下,当生产者将消息发送到RabbitMQ的时候,队列中的消息会尽可能的存储在内存之中,
这样可以更加快速的将消息发送给消费者。即使是持久化的消息,在被写入磁盘的同时也会在内存中驻留
一份备份。 当RabbitMQ需要释放内存的时候,会将内存中的消息换页至磁盘中,这个操作会耗费较长的
时间,也会阻塞队列的操作,进而无法接收新的消息。虽然RabbitMQ的开发者们一-直在升级相关的算法,
但是效果始终不太理想,尤其是在消息量特别大的时候。

2.2 两种模式

队列具备两种模式: default 和lazy。默认的为default 模式,在3.6.0之前的版本无需做任何变更。lazy
模式即为惰性队列的模式,可以通过调用channel.queueDeclare方法的时候在参数中设置,也可以通过
Policy的方式设置,如果一个队列同时使用这两种方式设置的话, 那么Policy的方式具备更高的优先级。
如果要通过声明的方式改变已有队列的模式的话,那么只能先删除队列,然后再重新声明一个新的。
在队列声明的时候可以通过x-queue-mode"参数来设置队列的模式,取值为"default'和"lazy"。下面示
例中演示了一个惰性队列的声明细节:
Map<String, Object> args = new HashMap<String, Object>();
args.put("x-queue-mode", "lazy");
channel.queueDeclare("myqueue", false, false, false, args);

在发送1百万条消息,每条消息大概占1KB的情况下,普通队列占用内存是1.2GB,而惰性队列仅仅
占用1.5MB

3.幂等性

3.1 概念

用户对于同一操作发起的一次请求或者多次请求的结果是一·致的, 不会因为多次点击而产生了副作用。
举个最简单的例子,那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常,
此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额发现多扣钱
了,流水记录也变成了两条。在以前的单应用系统中,我们只需要把数据操作放入事务中即可,发生错误
立即回滚,但是再响应客户端的时候也有可能出现网络中断或者异常等等

3.2 消息重复消费

消费者在消费MQ中的消息时,MQ已把消息发送给消费者,消费者在给MQ返回ack时网络中断,
故MQ未收到确认信息,该条消息会重新发给其他的消费者,或者在网络重连后再次发送给该消费者,
但实际上该消费者已成功消费了该条消息,造成消费者消费了重复的消息。

3.3 解决思路

MQ消费者的幂等性的解决-般使用全局ID或者写个唯一标识比如时间戳或者UUID或者订单消费
者消费MQ中的消息也可利用MQ的该id来判断,或者可按自己的规则生成一个全局唯一id, 每次消费消
息时用该id先判断该消息是否已消费过。

3.4 消费端的幂等性保障

在海量订单生成的业务高峰期,生产端有可能就会重复发生了消息,这时候消费端就要实现幕等性,
这就意味着我们的消息永远不会被消费多次,即使我们收到了- -样的消息。业界主流的幕等性有两种操作:a.
唯一ID+指纹码机制,利用数据库主键去重b.利用redis的原子性去实现

3.5 消费端的幂等性保障

在海量订单生成的业务高峰期,生产端有可能就会重复发生了消息,这时候消费端就要实现幕等性,
这就意味着我们的消息永远不会被消费多次,即使我们收到了一样的消息业界主流的幕等性有两种操作:a.
唯一ID+指纹码机制,利用数据库主键去重, b.利用redis的原子性去实现

3.6 唯一ID+指纹码机制

指纹码:我们的一些规则或者时间戳加别的服务给到的唯一信息码,它并不一定是我们系统生成的,基
本都是由我们的业务规则拼接而来,但是一定要保证唯一性,然后就利用查询语句进行判断这个id是否存
在数据库中,优势就是实现简单就一个拼接,然后查询判断是否重复;劣势就是在高并发时,如果是单个数
据库就会有写入性能瓶颈当然也可以采用分库分表提升性能,但也不是我们最推荐的方式。

3.7 Redis原子性

利用redis执行setnx命令,天然具有幕等性。从而实现不重复消费

标签:优先,消费,队列,内存,MQ,惰性,消息
From: https://www.cnblogs.com/lwx11111/p/17493339.html

相关文章

  • 【剑指 Offer】用两个栈实现队列(C++_Easy_栈/队列)
    1.题目用两个栈实现一个队列。队列的声明如下,请实现它的两个函数appendTail和deleteHead,分别完成在队列尾部插入整数和在队列头部删除整数的功能。(若队列中没有元素,deleteHead操作返回-1)2.示例2.1示例1输入:[“CQueue”,“appendTail”,“deleteHead”,“deleteHead”......
  • 线性结构中的栈、队列和串是怎么回事?
    一.栈1.栈的概念栈(stack)是一种操作受限的线性表,栈的操作被限定在线性表的尾部进行,栈结构有两个特殊概念:栈顶:栈的尾部被称为栈顶(Top);栈底:另一端固定不动,被称为栈底(Bottom)。栈中的元素只能先入后出。最早进入栈的元素所在的位置是栈底,最后进入栈的元素所在的位置是......
  • 数据结构代码整理_队列Queue(C++)
    所谓队列,就是先进先出规则的实现。基于链表实现main.cpp#include<iostream>#include"Queue.h"usingnamespacestd;intmain(){ Queueq; q.append(1); q.append(2); Queue_entrya; q.retrieve(a); cout<<a<<""<<q.empty(); return......
  • 深度优先搜索算法-dfs讲解
    迷宫问题有一个迷宫:S**.....***T(其中字符S表示起点,字符T表示终点,字符*表示墙壁,字符.表示平地。你需要从S出发走到T,每次只能向上下左右相邻的位置移动,不能走出地图,也不能穿过墙壁,每个点只能通过一次。)现在需要你求出是否可以走出这个迷宫我们将这个走迷宫过程称为dfs(深度优先搜索)......
  • 了解如何使用 7 PM 框架和模板优化优先级
    需求的优先级是项目经理工作中常被提及的,每一种优先级决策技术都有利有弊,也有对应的应用场景,如何选择合适的优决策技术,是产品经理做好优先级管理的前提。那么在项目管理工作中,要如何去评估需求的优先级呢?本文将介绍7个PM优先级框架及模版,并详细阐述其应用场景及应用步骤,助力PM更快......
  • 延迟队列
    1.延迟队列概念延时队列,队列内部是有序的,最重要的特性就体现在它的延时属性上延时队列中的元素是希望在指定时间到了以后或之前取出和处理简单来说,延时队列就是用来存放需要在指定时间被处理的元素的队列。2.使用场景1.订单在十分钟之内未支付则自动取消2.新创建的店铺,如果......
  • 数据结构:栈与队列
    栈:栈是一种后进先出的数据结构,我们可以想象为一个瓶子,往里放东西。又比如,函数的递归调用,就是一种栈的结构。php中用数组实现栈:$arr=array();//入栈functionpush(&$arr,$val){$size=count($arr);$arr[$size]=$val;}//出栈functionpop(&$arr){$si......
  • 【题解】CF754D Fedor and coupons(优先队列)
    【题解】CF754DFedorandcoupons题目链接CF754DFedorandcouponsCF1029CMaximalIntersection后者是前者的加强版。思路分析最开始,先考虑不删区间\((k=0)\)的情况:也就是给你一大堆区间,让你找他们的交集。这个还是比较好想的,我们刚开始让第二个区间与第一个区间相交......
  • c++线程安全队列--有锁
    C++线程安全队列是一种数据结构,用于在多线程环境中安全地共享数据。它提供了一组功能,确保多个线程可以同时读取和写入队列,而不会导致竞争条件或数据损坏。C++线程安全队列的常见功能:入队操作(Enqueue):将一个元素添加到队列的尾部。这个操作必须是原子的,以确保在多线程环境中不会......
  • P1903 [国家集训队] 数颜色 / 维护队列 题解
    一、题目描述:给你一个长度为$n$的序列$a$,你需要进行$m$次操作。$类型\1\:将第\x\个元素的值修改为\v\。$$类型\2\:求区间\l\到\r\中有多少种数字。$数据范围:$1\len,m\le1333333,所有数字\le1\times10^6$ 二、解题思路:带......