首页 > 其他分享 >消息队列作用(解耦、异步、削峰)

消息队列作用(解耦、异步、削峰)

时间:2024-08-22 23:37:41浏览次数:8  
标签:异步 队列 削峰 系统 消息 下单 日志

原文:消息队列作用(解耦、异步、削峰)图详解

一、消息队列简介

简单来说,“消息队列”是在消息的传输过程中保存消息的容器。

  • MQ 全称为 Message Queue,消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信。
  • 消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

消息队列中间件是分布式系统中重要的组件,主要解决应用耦合异步消息流量削锋等问题

二、解耦

  • 传统做法

    • 传统的做法是,订单系统调用库存系统的接口。如下图:

      img
    • 传统模式的缺点:假如库存系统无法访问,则订单减库存将失败,从而导致订单失败,订单系统与库存系统耦合。

如何解决以上问题呢?

  • 使用消息队列

    • 引入应用消息队列后的方案,如下图:

      img
    • 订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。

    • 库存系统:订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进行库存操作。

    • 在下单时库存系统不能正常使用。也不影响正常下单,因为下单后,订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦。

举个新例子:

比如说某一个系统 A 要与其他系统打交道(即调用其中的方法),如果其它系统改变或者新增系统,那么 A 系统都会改变,这样的话耦合度比较高,比较麻烦。

img

使用消息队列来解决这个问题。

我们 A 系统将产生的数据发入消息队列中,其它的系统再去消息队列来进行消费,那么其他系统的减少或者新增系统即与 A 系统关系不大了,这样来实现解耦的功能。

img

三、异步

场景说明:用户注册后,需要发注册邮件和注册短信。

  • 传统做法

    • a. 串行:将注册信息写入数据库成功后,发送注册邮件,再发送注册短信。

      img
    • b. 并行:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信。

      img
  • 使用消息队列

    • 将不是必须的业务逻辑,异步处理。改造后的架构如下:

      img

举个新例子

某一个用户使用系统 A,但是 A 要调用系统 B、C、D,但是每一个系统返回的时间是不一样的,你必须要等待全部返回后才可以响应用户。

img

如果我们这里采用消息队列,当用户发送请求后,我们把数据传给消息队列,然后再直接响应给用户我已经发送了信息。

img

四、流量削峰

场景说明:商品秒杀业务,一般会因为流量过大,导致流量暴增,应用挂掉。

  • 传统做法

    • 限制用户数量。
  • 使用消息队列

    • 用户的请求,服务器接收后,首先写入消息队列,秒杀业务根据规则处理消息:

      img
    • 假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面。

举个新例子

比如平常用户的请求我们会直接访问数据库,在大量用户过来的时候,这样的话我们会对数据库照常比较大的压力:

img

在这里我们增加一个消息队列,这样的话不管你请求来多少,我先存入消息队列,然后我再让系统慢慢的处理你的请求(如右图),这样很好的减缓了数据库的访问压力。

五、消息通讯

消息通讯是指,消息队列一般都内置了高效的通信机制,因此也可以用在纯的消息通讯。比如实现点对点消息队列,或者聊天室等。

  • 使用消息队列实现点对点通信

    • 客户端 A 和客户端 B 使用同一队列,进行消息通讯:

      img
  • 使用消息队列实现聊天室通信

    • 客户端 A,客户端 B,客户端 N 订阅同一主题,进行消息发布和接收。实现类似聊天室效果:

      img

六、日志处理

日志处理是指将消息队列用在日志处理中,比如 Kafka 的应用,解决大量日志传输的问题。

  • 使用消息队列完成日志处理

    • 日志采集客户端,负责日志数据采集,定时写受写入 Kafka 队列

    • Kafka 消息队列,负责日志数据的接收,存储和转发

    • 日志处理应用:订阅并消费 kafka 队列中的日志数据

      img

七 . 使用消息队列带来的一些问题

1、系统可用性降低:

系统可用性在某种程度上降低,为什么这样说呢?在加入 MQ 之前,你不用考虑消息丢失或者说 MQ 挂掉等等的情况,但是,引入 MQ 之后你就需要去考虑了!

2、系统复杂性提高:

加入 MQ 之后,你需要保证消息没有被重复消费、处理消息丢失的情况、保证消息传递的顺序性等等问题!

3、一致性问题:

我上面讲了消息队列可以实现异步,消息队列带来的异步确实可以提高系统响应速度。但是,万一消息的真正消费者并没有正确消费消息怎么办?这样就会导致数据不一致的情况了。

标签:异步,队列,削峰,系统,消息,下单,日志
From: https://www.cnblogs.com/Higurashi-kagome/p/18374994

相关文章

  • Little Bird(单调队列优化的DP)
    题目描述有一排\(n\)棵树,第\(i\)棵树的高度是\(d_i\)。有一只鸟要从第\(1\)棵树飞到第\(n\)棵树。如果鸟降落在第\(i\)棵树,那么它下一步可以降落到第\(i+1,i+2,\dots,i+k\)棵树之中的一棵。如果鸟降落到一棵不矮于当前树的树,那么它的劳累值会\(+1\),否则不会。求劳累值的最小值......
  • Sound(单调队列)
    题目描述第一行有三个整数\(n,m,c(1\leqn\leq10^6,1\leqm\leq10^4,0\leqc\leq10^4)\)。第二行\(n\)个非负整数\(a_1,a_2,\dots,a_n(1\leqa_i\leq10^6)\)。求有多少个i满足[i...i+m-1]区间的极差<=c输出从小到大输出所有满足条件的\(i\),一行一个。如果没有\(i\)满足条......
  • 队列
    队列1.基本概念及描述队列也是一种特殊的线性表,队列的插入和删除在表的两端进行,插入的那端称为队尾,删除的那端叫做队首,插入和删除操作分别叫做进队和出队。生活中的排队购票现象就是队列的例子,先到先享受,队列具有“先进先出”(FirstInFirstOut)的特点.2.顺序队列及其实现C语......
  • 队列操作(深入理解FreeRTOS队列之队列实战)
    文章目录一、队列的操作二、学习总结在FreeRTOS中,队列的本质是环形缓冲区。一、队列的操作1、创建队列2、写队列3、读队列详细可看此篇博客:FreeRTOS——队列(基于百问网DshanMCU-F103实现挡球板游戏改造)-CSDN博客基于链表解析队列的使用:代码示例:#include"......
  • 单调栈和单调队列优化DP
    单调栈和单调队列优化DPluoguP1725琪露诺一道比较板的题明显是一个DP,则有\[{dp}_i=\max_{j=i-r}^{i-l}dp_j+a_i\]如果暴力则为\(O(n^2)\)但是发现\(\max_{j=i-r}^{i-l}dp_j\)就是单调队列所解决的问题,所以直接单调队列维护即可#include<bits/stdc++.h>#defineFAS......
  • Linux系统中利用消息队列实现两个进程的通信
    在Linux系统中进程间的通信有很多的方法,这次利用消息队列实现进程的通信进程一的代码实现#include<sys/types.h>#include<sys/ipc.h>#include<stdio.h>#include<sys/msg.h>#include<sys/types.h>#include<sys/ipc.h>#include<string.h>structmsgbuf{ ......
  • 高性能无锁队列 Disruptor 核心原理分析及其在i主题业务中的应用
    小结:生产者生产数据时,需要入队。消费者消费数据时,需要出队。入队时,不能覆盖没有消费的元素。出队时,不能读取没有写入的元素。因此,Disruptor中需要维护一个入队索引(生产者数据生产到哪里,对应AbstractSequencer中的cursor)和一个出队索引(所有消费者中消费进度最小的序号)。 ......
  • 数据结构:栈、队列详解篇
    数据结构:栈、队列详解篇一、栈(一)栈的概念(二)栈的实现1、结构定义2、功能实现(1)栈的初始化(2)栈的销毁(3)栈的扩容(4)压栈(5)出栈(6)取栈顶元素、判空、栈的大小(三)例题分析1、有效的括号题目分析二、队列(一)队列的概念(二)队列的实现1、结构定义2、功能实现(1)队列结点生成(2)队列初始......
  • Python开发中,SQLAlchemy 的同步操作和异步操作封装,以及常规CRUD的处理。
    在我们使用Python来和数据库打交道中,SQLAlchemy是一个非常不错的ORM工具,通过它我们可以很好的实现多种数据库的统一模型接入,而且它提供了非常多的特性,通过结合不同的数据库驱动,我们可以实现同步或者异步的处理封装。1、SQLAlchemy介绍SQLAlchemy 是一个功能强大且灵活的Python......
  • C++ queue(STL queue,队列)用法详解
    只能访问queue<T>容器适配器的第一个和最后一个元素。只能在容器的末尾添加新元素,只能从头部移除元素。许多程序都使用了queue容器。queue容器可以用来表示超市的结账队列或服务器上等待执行的数据库事务队列。对于任何需要用FIFO准则处理的序列来说,使用queue容器适......