首页 > 其他分享 >如果任务过多,队列积压怎么处理?

如果任务过多,队列积压怎么处理?

时间:2024-05-27 23:01:43浏览次数:22  
标签:积压 队列 过多 快递 线程 内存 IO 发短信

如果任务过多,队列积压怎么处理?

1、内存队列满了应该怎么办

如图:
在这里插入图片描述
大家可以看到,虽然现在发短信和广告投递,彼此之间的执行效率不受彼此影响,但是请大家注意,投放广告之后还要把请求放到内存队列里面去,而内存空间是很有限的,比方说有一个很热情的厨师,他强行的把自己做好的菜,往客人嘴里塞,然而作为一个普通人你的肠胃对食物的消化速度远远比不了人家做菜的速度,就这样,你肠胃里的食物,还没消化完,厨师还是不停的往你嘴里送。

不用多说这样下去你的肠胃一定会有问题,那么同理发短信的速度,远远比不上商户们投放广告速度,内存就像人的肠胃样,是会被撑爆的,那么如果现在我们没办法改变我们肠胃的消化能力,又不想被热情的厨师做的菜撑爆,那我们最好先客人跟厨师说明,它的饭量大概是多少,当厨师发现你快吃不下的时候人家厨师或许就放慢做菜速度,乃至停止继续做菜了。

内存队列也是一样,我们可以通过对发送短信系统的压测,评估出一个对数据处理的执行效率,从而制定内存队列的大小,投放广高系统,刚知道队列快满的时候可以选择,延缓将数据放入队列的速度甚至极端情况,就可以将数据丢弃,因为本来发短信也不是什么太重要的事情。

2、问题要治本——发短信导致吞吐量降低的问题不能忽略!!

内存被撑爆的问题,算是解决了,但是不是有一种治标不治本呢?因为最根本的问题是还是发送短信的环节导致的?我们所谓的调整内存队列大小,换句话说就是因为发送短信的效率低下最终还是影响了系统的吞吐量,是不是很不爽呢?那么你可能会问了,创建多个线程,多部署几台与短信运营商交互的机器不就行了吗?如图

在这里插入图片描述
是的,没错,这样三个线程消费队列中的请求的的确确是加强了消费速度,但是还是有令人不舒服的地方:

线程是宝贵的系统资源,确实不想为发短信这样的事情开辟更多资源

单个线程的利用率还是很低,只要进行了短信发送就意味着这个线程将被长时间阻塞,还是没能解决消费过慢的根本原因

以一个购物狂的生活状态为背景,思考如何解决队列数据消费过慢的问题

假如有怎么一个购物狂,人生最大的快乐就是网购,拆包裹,由于对购物的热情已达到一种病态的程度,以至于当他买了一将商品之后,就日日夜夜的在快递存放点蹲守等着收自己的快递,直到拿到了才罢休。

我们把这种取快递的方式如果比作是IO操作的一种方式,那就是阻塞IO了,也就是说我只要调用了read方法我必须读取到所要的信息才行,否则我就一直在这里阻塞着。这也是发短信系统中的线程所采取的IO读写方式。

过了几天,购物狂也明白了,毕竟他还要买买买啊,老在这花大把的时间干等,也不是一个事儿,所以他现在稍微理性了些,不管在快递存放点取没取到包裹,就会回去了,但是别忘了拆包裹对他来说也是很重要的一部分。

所以他来往快递存放点的频率非常高,快递还没有送达,他就来快递存放点好几个来回,这也就表示他空手而归成了将常便饭,你想每天都要去一个地方好几回,而且也都是做的无用功,但这个过程对购物狂的时间消耗是实实在在的。

像上面这种情况就可以被看做是非阻塞IO的处理方式,当你发起IO请求的时候&#x

标签:积压,队列,过多,快递,线程,内存,IO,发短信
From: https://blog.csdn.net/OnlyoneFrist/article/details/139250018

相关文章

  • 消息队列练习题
    题目:要求进程A创建一条消息队列之后向进程B发送SIGUSR1信号,进程B收到该信号之后打开消息队列并把进程的PID作为消息写入到消息队列中,要求进程B在写入消息之后,发SIGUSR2信号给进程A,进程A收到该信号则从消息队列中读取消息并输出消息正文的内容。进程A的代码://构造用于接收消息......
  • 代码随想录算法训练营第三十七天 | 860.柠檬水找零、406.根据身高重建队列、452.用最
    目录860.柠檬水找零思路代码 406.根据身高重建队列思路代码452.用最少数量的箭引爆气球思路代码860.柠檬水找零本题看上好像挺难,其实挺简单的,大家先尝试自己做一做。代码随想录思路    这题还有什么难不难的,这道题不是非常经典的入门题吗。......
  • 系统编程练习题----使用消息队列实现两个进程之间的通信
    目录题目思路代码展示进程A进程B结果展示题目要求进程A创建一条消息队列之后向进程B发送SIGUSR1信号,进程B收到该信号之后打开消息队列并写入一段信息作为消息写入到消息队列中,要求进程B在写入消息之后,发SIGUSR2信号给进程A,进程A收到该信号则从消息队列中读取消息并输出消息正文......
  • 【ROS】-- 自定义回调队列
    在ros中,我们常用的回调处理是ros::spin()或者ros::spinOnce(),但是,这两个是阻塞式单线程处理的,即当不做其他处理的情况下,某一个回调函数堵塞,其他topic或者service的回调函数就无法进入。使用ros多线程的方式可以解决该问题,但引入多线程会导致线程安全的问题。针对某些场景,......
  • 互斥锁、进程间通信(IPC)、队列(queue)模块、队列实现进程间通信、生产者和消费者模型
    【一】互斥锁【1】什么是进程同步(互斥锁)互斥锁(Mutex)是一种用于多线程编程中控制对共享资源访问的机制。其作用是保证在同一时刻只有一个线程在访问共享资源,从而避免多个线程同时读写数据造成的问题。互斥锁的基本原理是在对共享资源进行访问前加锁,使得其他线程无法访问该......
  • 队列——顺序存储
    核心思路:1、使用顺序存储的方式定义队列时,使用数组存储队列元素,然后声明两个int类型的指针——rear和front,分别指向队尾元素的下一个位置和队头元素的位置。2、初始化队列时,队列的首尾指针都指向0。3、当队列为空时,队尾和队头指针指向同一个位置(不一定等于0)。4、队满条......
  • 队列——链式存储
    核心思路:1、首先定义队列结点,包含数据域和指针域;然后定义链式队列,包含队列节点类型的队头和队尾指针。2、初始化:带头结点:给头结点分配内存,然后队头和队尾指针指向头结点,同时队头指针的next指向NULL。不带头结点:队头和队尾指针都指向NULL。3、入队:......
  • aardio 队列
    1//queue队列结构2//队列的特点:先进先出3importconsole;4classqueueEx{5ctor(){6this.items={}7};8//排队9入队=function(element){10..table.push(this.items,element);11}12//出列13出队......
  • Java队列简介
    在现代应用程序开发中,队列是一种常见且强大的数据结构,用于存储和管理待处理的任务序列。结合MySQL数据库,我们可以利用队列实现任务的持久化存储与高效处理。本文将通过四个案例,详细介绍如何在Java中使用队列,并结合MySQL数据库实现数据的存储与检索,涵盖基础队列操作、消息队列......
  • 【数据结构】栈和队列
    栈和队列栈栈的实现stack.h文件stack.c文件队列队列的实现queue.h文件queue.c文件栈栈:一种特殊的线性表,其中允许在固定的一端进行插入和删除元素操作,进行数据插入和删除操作的一段称为栈顶,另一端称为栈底,栈中的数据元素遵守后进先出的原则LIFO(lostinfirstout)......