首页 > 其他分享 >Kafka不能满足我们的要求,其尤其表现在低延迟和高可靠性方面

Kafka不能满足我们的要求,其尤其表现在低延迟和高可靠性方面

时间:2023-10-07 16:13:54浏览次数:46  
标签:高可靠性 Supported Kafka 消息传递 model ActiveMQ RocketMQ 延迟

为什么选择RocketMQ | RocketMQ https://rocketmq.apache.org/zh/docs/

为什么 RocketMQ

在阿里孕育 RocketMQ 的雏形时期,我们将其用于异步通信、搜索、社交网络活动流、数据管道,贸易流程中。随着我们的贸易业务吞吐量的上升,源自我们的消息传递集群的压力也变得紧迫。

根据我们的研究,随着队列和虚拟主题使用的增加,ActiveMQ IO模块达到了一个瓶颈。我们尽力通过节流、断路器或降级来解决这个问题,但效果并不理想。于是我们尝试了流行的消息传递解决方案Kafka。不幸的是,Kafka不能满足我们的要求,其尤其表现在低延迟和高可靠性方面,详见下文。在这种情况下,我们决定发明一个新的消息传递引擎来处理更广泛的消息用例,覆盖从传统的pub/sub场景到高容量的实时零误差的交易系统。

Apache RocketMQ 自诞生以来,因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余年的大规模场景打磨,RocketMQ 已经成为业内共识的金融级可靠业务消息首选方案,被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景。

提示

下表显示了RocketMQ、ActiveMQ和Kafka之间的比较

RocketMQ vs. ActiveMQ vs. Kafka

Messaging ProductClient SDKProtocol and SpecificationOrdered MessageScheduled MessageBatched MessageBroadCast MessageMessage FilterServer Triggered RedeliveryMessage StorageMessage RetroactiveMessage PriorityHigh Availability and FailoverMessage TrackConfigurationManagement and Operation Tools
ActiveMQ Java, .NET, C++ etc. Push model, support OpenWire, STOMP, AMQP, MQTT, JMS Exclusive Consumer or Exclusive Queues can ensure ordering Supported Not Supported Supported Supported Not Supported Supports very fast persistence using JDBC along with a high performance journal,such as levelDB, kahaDB Supported Supported Supported, depending on storage,if using levelDB it requires a ZooKeeper server Not Supported The default configuration is low level, user need to optimize the configuration parameters Supported
Kafka Java, Scala etc. Pull model, support TCP Ensure ordering of messages within a partition Not Supported Supported, with async producer Not Supported Supported, you can use Kafka Streams to filter messages Not Supported High performance file storage Supported offset indicate Not Supported Supported, requires a ZooKeeper server Not Supported Kafka uses key-value pairs format for configuration. These values can be supplied either from a file or programmatically. Supported, use terminal command to expose core metrics
RocketMQ Java, C++, Go Pull model, support TCP, JMS, OpenMessaging Ensure strict ordering of messages,and can scale out gracefully Supported Supported, with sync mode to avoid message loss Supported Supported, property filter expressions based on SQL92 Supported High performance and low latency file storage Supported timestamp and offset two indicates Not Supported Supported, Master-Slave model, without another kit Supported Work out of box,user only need to pay attention to a few configurations Supported, rich web and terminal command to expose core metrics
   

 

 

 

 

 

 

 

翻译

搜索

复制

标签:高可靠性,Supported,Kafka,消息传递,model,ActiveMQ,RocketMQ,延迟
From: https://www.cnblogs.com/papering/p/17746549.html

相关文章

  • kafka常用命令
    1、启动Kafka./bin/kafka-server-start.sh./config/server.properties&2、停止Kafka./bin/kafka-server-stop.sh3、创建Topic#通过zookepper./bin/kafka-topics.sh--create--zookeeper192.168.209.102:2181--partitions3--replication-factor2--topictest#......
  • Strimzi Kafka Bridge(桥接)实战之三:自制sdk(golang版本)
    欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos本篇概览本文是《StrimziKafkaBridge(桥接)实战》的第三篇,前文咱们掌握了StrimziKafkaBridge的基本功能:基于http提供各种kafka消息的服务此刻,如果想通过http接口调......
  • yisa_get_msg_from_kafka_per_pn.py
      #!/usr/bin/python#-*-coding:utf-8-*-#抽取kafka数据到redis_mq模块#作者:王成#日期:2017-04-14importMySQLdbimporttimeimportsysimportredisimportrequestsimportjsonimportyaml,loggingfromlogging.handlersimportTimedRotatingFileHandler,......
  • Kafka 搭建过程
    目录1.关于Kafka2.Kafka搭建过程3.参考本文主要介绍Kafka基本原理,以及搭建过程。1.关于KafkaApacheKafka是一个开源的分布式事件流平台,被设计用来实现实时数据流的发布、订阅、存储和处理。Kafka的主要特性包括:高吞吐量:Kafka可以处理高速流动的数据,并保证数据的写入和读取......
  • Kafka介绍
    Kafka是一个分布式流处理平台,最初由LinkedIn开发并开源。它的设计目标是为了解决大规模数据处理的问题,具有高性能、可扩展性和可靠性的特点。以下是Kafka的一些关键特点和概念:消息发布和订阅:Kafka使用发布-订阅模式,消息由一个或多个生产者发布到一个或多个主题(topics),然后由一......
  • RabbitMQ 死信交换机、延迟队列、惰性队列
    如果一个队列设置了死信交换机,该队列的消息就有了极大的可靠性保障,当出现以下情况时,消息就会投递到死信交换机中:队列中的消息在被消费者处理后,抛出异常,返回了nack或者reject如果队列设置了ttl或者消息本身设置了ttl,消息因为超时而未消费队列容量已经满了,后续发来的消息......
  • 国标GB28181协议下视频监控平台EasyGBS播放器起播慢或延迟高问题解决方案
    GB28181视频监控国标平台EasyGBS是基于国标GB28181协议、支持多路设备同时接入的视频监控/视频云服务平台,支持对多平台、多终端分发RTSP、RTMP、FLV、HLS、WebRTC等格式的视频流。国标GB28181平台EasyGBS可提供视频直播监控、云端录像、云存储、检索回放、智能告警、语音对讲、平......
  • Kafka简单入门
    使用docker安装dockerpullbitnami/kafkadockerrun-d-p9092:9092--namekafka-server\-eALLOW_PLAINTEXT_LISTENER=yes\-eKAFKA_CFG_ZOOKEEPER_CONNECT=ip:2181\-eKAFKA_BROKER_ID=1\-eKAFKA_CFG_LISTENERS=PLAINTEXT://:9092\-eKAFKA_CFG_ADVERTISE......
  • VCS代码保护+SOC中的复位电路+verdi生成部分原理图+verdi查看delta cycle+自定义的原
    VCS代码保护在新思公司的一些vip的实现中,一些代码进行了加密,导致无法查看源码,加密的方法也是使用新思的工具VCS。在编译的命令行添加+protect选项,在代码前后加上编译指示,则生成对应的加密vp、svp文件,中间的部分被加密。https://blog.csdn.net/woodhorse007/article/details/524......
  • 高可靠性振弦采集仪可减少对仪器维护保养
    高可靠性振弦采集仪可减少对仪器维护保养振弦采集仪是一种用于测量机械设备振动和振动频率的仪器。在现代工业中,振动是许多机械故障的先兆,因此振动监测是维护和预测设备发生故障的重要手段。高可靠性振弦采集仪可以大大减少机械设备的维护保养成本,提高生产效率,本文将介绍其主要优......