首页 > 其他分享 >01-业界主流的分布式消息队列与MQ的技术选型

01-业界主流的分布式消息队列与MQ的技术选型

时间:2022-10-04 23:01:34浏览次数:54  
标签:01 队列 RabbitMQ Kafka 选型 MQ 消息 RocketMQ

业界主流的分布式消息队列(MQ)与技术选型

MQ的应用场景

  • 服务解耦
  • 削峰填谷
  • 异步化缓冲

MQ的应用思考点

  • 业务
    • 生产端的可靠性投递
    • 消费端的幂等性
  • MQ
    • MQ高可用
    • 低延时
    • 可靠性(副本)
    • 堆积能力
    • 可扩展性

业界主流的MQ对比

  • ActiveMQ
  • RabbitMQ
  • RocketMQ
  • Kafka

前沿

比较目前主流的三种MQ, ActiveMQ虽然也很好但是, 现在除了传统的行业, 以及老系统, 基本很少被使用了, 所以就不考虑ActiveMQ了, 因为很多传统行业一般也都是RabbitMQ

选取原则

首先,产品应该是开源的。开源意味着如果队列使用中遇到bug,可以很快修改,而不用等待开发者的更新。

其次,产品必须是近几年比较流行的,要有一个活跃的社区。这样遇到问题很快就可以找到解决方法。同时流行也意味着bug较少。流行的产品一般跟周边系统兼容性比较好。

最后,作为消息队列,要具备以下几个特性:

1、消息传输的可靠性:保证消息不会丢失。

2、支持集群,包括横向扩展,单点故障都可以解决。

3、性能要好,要能够满足业务的性能需求。

RabbitMQ

RabbitMQ开始是用在电信业务的可靠通信的,也是少有的几款支持AMQP协议的产品之一。

  • 优点:
    • 轻量级,快速,部署使用方便
    • 支持灵活的路由配置。RabbitMQ中,在生产者和队列之间有一个交换器模块。根据配置的路由规则,生产者发送的消息可以发送到不同的队列中。路由规则很灵活,还可以自己实现。
    • RabbitMQ的客户端支持大多数的编程语言。
  • 缺点:
    • 如果有大量消息堆积在队列中,性能会急剧下降
    • RabbitMQ的性能在Kafka和RocketMQ中是最差的,每秒处理几万到几十万的消息。如果应用要求高的性能,不要选择RabbitMQ。
    • RabbitMQ是Erlang开发的,功能扩展和二次开发代价很高。

RocketMQ

  • RocketMQ是一个开源的消息队列,使用java实现。借鉴了Kafka的设计并做了很多改进。
  • RocketMQ主要用于有序,事务,流计算,消息推送,日志流处理,binlog分发等场景。经过了历次的双11考验,性能,稳定性, 可靠性没的说。
  • RocketMQ几乎具备了消息队列应该具备的所有特性和功能。
  • java开发,阅读源代码、扩展、二次开发很方便。
  • 对电商领域的响应延迟做了很多优化。在大多数情况下,响应在毫秒级。如果应用很关注响应时间,可以使用RocketMQ。
  • 性能比RabbitMQ高一个数量级,每秒处理几十万的消息。
  • 缺点:
    • 跟周边系统的整合和兼容不是很好。

Kafka

Kafka的可靠性,稳定性和功能特性基本满足大多数的应用场景。

跟周边系统的兼容性是数一数二的,尤其是大数据和流计算领域,几乎所有相关的开源软件都支持Kafka。

Kafka高效,可伸缩,消息持久化。支持分区、副本和容错。

Kafka是Scala和Java开发的,对批处理和异步处理做了大量的设计,因此Kafka可以得到非常高的性能。它的异步消息的发送和接收是三个中最好的,但是跟RocketMQ拉不开数量级,每秒处理几十万的消息。

如果是异步消息,并且开启了压缩,Kafka最终可以达到每秒处理2000w消息的级别。

但是由于是异步的和批处理的,延迟也会高,不适合电商场景。

如何进行技术选型

  • 各个MQ的性能, 优缺点, 相应的业务场景
  • 集群架构模式, 分布式, 可扩展, 高可用, 可维护性
  • 综合成本问题, 集群规模, 人员成本
  • 未来的方向, 规划, 思考

标签:01,队列,RabbitMQ,Kafka,选型,MQ,消息,RocketMQ
From: https://www.cnblogs.com/flower-dance/p/16754744.html

相关文章

  • 03-RabbitMQ核心概念[简介, AMQP协议, 整体架构, 消息流转]
    核心概念RabbitMQ简介RabbitMQ是一个开源的消息代理和队列服务器,用来通过普通协议在完全不同的应用之间共享数据,RabbitMQ是使用Erlang语言来编写的,并且RabbitMQ是......
  • 01-单节点文件上传存在的问题
    目前文件上传的问题单向存储不支持集群文件数据冗余(高可用概念)可扩展差因为单向存储文件,会被Nginx轮询,导致上传到一台Tomcat上,会导致后续如果该请求没有......
  • 大名鼎鼎的RPC和MQ到底有啥区别和联系
    RPC(RemoteProcedureCall)远程过程调用,主要解决远程通信间的问题,不需要了解底层网络的通信机制。RPC框架知名度较高的有Thrift(FB的)、dubbo(阿里的)。 RPC的一般需要经历4......
  • 01.JavaScript简介
    JavaScript(JS)isalightweight,interpreted,orjust-in-timecompiledprogramminglanguagewithfirst-classfunctions.Whileitismostwell-knownasthe......
  • 做题记录整理图论1 P3629 [APIO2010] 巡逻(2022/10/3)
    P3629[APIO2010]巡逻写一道题顶写三道题系列,为了写这道题专门去学习了树的直径的两种求法,可以说是血赚了https://www.luogu.com.cn/blog/lscsznmhw/solution-p3629......
  • RabbitMQ-工作模式
    1.Hello_wordl!代码实现consumerpackagecn.pickle.consumer;importcom.rabbitmq.client.*;importjava.io.IOException;importjava.util.concurrent.Timeou......
  • Microsoft word 2019 for Mac中文激活版
    Microsoftword2019是功能强大的文档编辑工具,被认为是office的主要程序,拥有文字搜索、导航、文档的编辑共享、重点部分的标注等多种功能,word拥有视图学些功能,字体的颜色变......
  • Canal + RabbitMQ 实现监听 MySQL 数据库
    第一步:开启Mysql Biglog日志,Mysql8.0以上默认开启日志(window路径:C:\ProgramData\MySQL\MySQLServer8.0\mysql.ini)1.添加配置[mysqld]log-bin=mysql-bin#开启bi......
  • 贤鱼的刷题日常--P1981 [NOIP2013 普及组] 表达式求值
    ......
  • rabbitmq安装
    rabbitmq简介AMQP,即advancemessagequeuingprotocol(高级消息队列协议),是一个网络协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中......