首页 > 其他分享 >为什么kafka延迟比rocketmq延迟高

为什么kafka延迟比rocketmq延迟高

时间:2022-11-26 12:04:30浏览次数:43  
标签:pull 模式 kafka topic push rocketmq 延迟


说kafka延迟比rocketmq延迟高 是有一个前提的 就是topic较多的时候 这个和这2个MQ的数据存储结构有关系的 在topic少的时候延迟基本一致。

kafka的数据存储结构设计师尽可能的保证吞吐量,所以在设计时是尽可能保证log日志小,它的数据结构如下 其中topic是逻辑概念,分区对应就是一个物理文件夹:

为什么kafka延迟比rocketmq延迟高_kafka

所以在topic比较多时,分区文件数量会非常庞大 磁盘顺序读效率还不如随机读效率,则会在topic比较多时 磁盘顺序读就蜕变为随机读,延迟也就高了。

即 kafka 性能对于topic 有阈值(20 个)。

淘宝业务比较复杂,topic会比较多 则为了解决这个痛点 rockertmq 就诞生了 它的数据存储结构 对此做了优化 日志目录只有一个 commit log ,结构如下:

为什么kafka延迟比rocketmq延迟高_数据存储_02

出发点不一样,kafka定位就是处理日志和大数据 在这些业务领域,topic不会太多,延迟问题自然也就没有。

数据存储结构是主要原因,还有就是kafka只支持pull模式。而rocketmq有pull、push两种模式 (虽然这个push模式是假push),push模式延迟肯定是比pull模式延迟低。

push模式是基于pull模式的,本地有个定时线程去pull broker的消息,缓存到本地,然后push到消费线程那边。

rabbit 的push模式 是真的push 所以 延迟最低的就是兔子。 兔子不支持分布式,只支持主从模式 本身设计就是小而美的单机版。cpu消耗比kafka之类低多了。


标签:pull,模式,kafka,topic,push,rocketmq,延迟
From: https://blog.51cto.com/u_11440114/5888794

相关文章

  • 东城海淀物理机托管,线路稳定,延迟低
    稳定性及售后服务很重要。服务器不同于PC机,大部分企业应用要求24小时不间断的运行,这就是要求服务器必须要高度稳定,尽量减少宕机时间。不同品牌的服务器,宕机的概率会有所不......
  • 东城海淀高防物理机,线路稳延迟低
    全自动调整防护,拦截一切已知攻,击网络防护工程师秒响应、保姆式技术服务7*24小时系统全程监控站点运行状态!游戏、视频网、平台专,用服务器提供真机IP测试,攻,击压力测试,您身......
  • 东城海淀物理机租用供应线路稳定,延迟低
    邮件服务器以及FTP服务器侧重硬盘的存储能力和响应能力,需要重视硬盘的容量和内存的性能;二、其次,要考虑服务器的性能以及兼容性。一般来说,购买服务器之前,都会确定好要运行什......
  • Linux部署kafka集群
    Linux部署kafka集群(亲测有效)原创 陈肖萧晓 若愚Linux 2022-11-2308:00 发表于山东收录于合集#linux7个#kafka1个#集群1个Linux部署kafka(亲测有效)网上有太......
  • Go 语言系列20:defer 延迟调用
    含有​​defer​​​语句的函数,会在该函数将要返回之前,调用另一个函数。简单点说就是​​defer​​语句后面跟着的函数会延迟到当前函数执行完后再执行。下面是一个简单......
  • 面试官问:为什么kafka这么快,又能保证消息不丢失?
    小菜鸡最近在疯狂面试中,就是为了能拿到一份满意的offer,这不上周又去头条受虐了。面试过程中,由于小菜鸡的充分准备(letcode各种刷),各种算法题不在话下,顺利的通过的头条变态的算......
  • Kafka是什么-第一篇
    前言如果有幸目睹过系统从零到一的演变过程,大家估计都会有一种感叹,就是随着业务复杂度和流量的不断上升,系统变得越来越难以维护,面对高额的维护成本,攻城师们不得不对现有架构......
  • 昌平怀柔物理机租用供应线路稳定,延迟低
    一个好的视频服务器机房是保证存放在服务器里面的视频网站正常运行,如视频服务器机房数据中心的安全指数、网络资源的布置、抗攻击能力、外接电源断时,是否有自己的备用电源......
  • 昌平怀柔高防物理机,线路稳延迟低
    普通公司无法为服务器建立一间机房,用空调保证恒温恒湿防尘供电,而且适宜人生存的温度却不适用于服务器,相反适宜服务器的温度又不是适应人的生存。随着现在云服务器的广泛应......
  • Kafka 消费端分区重平衡
    Kafka消费端分区重平衡什么是分区再均衡分区的所有权从一个消费者转移到另一个消费者,这样的行为被称为分区再均衡(Rebalance)。Rebalance实现了消费者群组的高可用性和伸......