首页 > 其他分享 >深入研究消息队列01

深入研究消息队列01

时间:2023-08-29 17:00:48浏览次数:35  
标签:Serverless 场景 队列 Redis 回帖 深入研究 01 消息

一、消息队列技术趋势

  早年业界消息队列演进的主要推动力在于功能(如延迟消息、事务消息、顺序消息等)、场景(实时场景、大数据场景等)、分布式集群的支持等等。近几年,随着云原生架构和 Serverless 的普及,业界 MQ 主要向实时消息和流消息的融合架构、Serverless、Event、协议兼容等方面演进。从而实现计算、存储的弹性,实现集群的 Serverless 化。

二、业界主流消息队列

当时有个业务背景:用户的回复会包含图片和表情等复杂结构数据,导致内容可能会特别长。另外遇到高峰时,回帖数量会特别多,短时间内可能有几千万的回帖,回帖的总内容很大。

Redis 的问题在于数据都存在内存里,如果数据没有及时消费,就会打爆内存。而且因为回帖内容可能很大,在 Redis 的 Value 里存大的数据会有性能和稳定性问题。而 MySQL 在 insert 上是有性能瓶颈的,短时间内大量回帖,插入会特别频繁,性能就扛不住。

而 Kafka 就没有这个问题,作为一个消息队列,它的特点就是高吞吐、大消息、高并发、持久化,不会存在性能、功能、稳定性方面的问题。这就是我们选择 Kafka 的理由。

其实如果没有大消息和大流量等复杂场景,是可以选用非标准消息队列产品的。比如在用户状态审核的场景中,只需要向下游传递用户 ID 和审核结果,结构简单,数量有限。这时候选择非标准消息队列比如 Redis 和 MySQL 也是可以的。


标签:Serverless,场景,队列,Redis,回帖,深入研究,01,消息
From: https://blog.51cto.com/u_6478076/7278219

相关文章

  • C-小美的01串翻转_牛客周赛 Round 9
    链接:https://ac.nowcoder.com/acm/contest/63869/C来源:牛客网题目描述小美定义一个01串的权值为:每次操作选择一位取反,使得相邻字符都不相等的最小操作次数。例如,"10001"的权值是1,因为只需要修改一次:对第三个字符取反即可。现在小美拿到了一个01......
  • BUUCTF [极客大挑战 2019]HardSQL
    判断过滤哪些关键词和字符报错注入报错注入在没法用union联合查询时用,但前提还是不能过滤一些关键的函数。报错注入就是利用了数据库的某些机制,人为地制造错误条件,使得查询结果能够出现在错误信息中。这里主要记录一下xpath语法错误和concat+rand()+group_by()导致主键重复xpa......
  • 018-管理后台操作日志功能开发
    1.功能分析1.1.查询列表1.1.1.页面效果1.1.2.功能要求分页查询默认查询10条每页从第1页开始查询日志只提供查询操作搜索条件日志来源:精准搜索请求ip:精准搜索点击搜索按钮是按照录入的搜索条件进行查询数据并渲染点击重置按钮的时候清空搜索条件,并重新渲染数据1.2.插入日志1.2......
  • IPQ4019 IPQ4029 IPQ6010|IIOT|5G and WiFi 6:Application in Business and Industry
    5GandWiFi6:Application inBusinessandIndustryIntroductionAstheworldhurtlestowardsaneraofunprecedenteddigitaltransformation,twotechnologiesstandattheforefront,poisedtoreshapethelandscapeofbusinessandindustry:5GandWiFi6.Th......
  • 园子的脱困努力-线上大会合作:欢迎预约直播——2023腾讯全球数字生态大会 + 腾讯云微服
    在园子脱困的关键时期,每一笔收入都很重要,一边在会员救园,一边我们要努力把握每一个商务合作机会,争取早日走出困境。之前园子维持生存的收入主要来自于与云厂商的合作,但去年由于云厂商推广策略的调整,这块收入几乎没有了。当我们对这块收入不报任何希望时,这个月开始,有些云厂商又回......
  • 016-管理后台导航功能开发
    1.功能分析1.1.查询列表1.1.1.页面效果1.1.2.功能要求分页查询默认查询10条每页从第1页开始查询默认导航信息只提供查询按钮非默认导航提供查询,修改,删除按钮点击新增按钮弹出新增导航页面搜索条件导航名称:支持模糊搜索点击搜索按钮是按照录入的搜索条件进行查询数据并渲染点......
  • 017-管理后台通用js提取
    //定义全局常量,可供全局使用varzhuhuo={config:{},//bootstrap-table属性配置信息options:{},/***参数初始化*/set:function(id){ //判断配置信息里面是否有值,且当前的事件监听不为空if($.tools.getLength(zhuhu......
  • 015-管理后台框架布局搭建
    1.功能分析管理后台我们先看下大体页面布局如下包含左侧菜单栏,头部导航栏,tab窗体,还有内容显示区域,以及页脚.2.基本实现2.1.文件引入2.2.页面引入引入hplus下的index.html2.3.页面调整我们需要对css,js等做调整,可以使用thymeleaf方式引入<!--css相关调整--><linkrel="sho......
  • 01 linux 定时任务之关机
    定时关机例:设置在每天03:00定时关机在Linux系统终端执行以下代码 sudo-s#进入rootsudogedit/etc/crontab#编辑/etc/crontab 在打开的窗口添加以下内容,保存并退出  0003***root/sbin/shutdown-hnow#......
  • P9588 队列
    思路观察发现\(x\),\(y\),\(z\)都可以很大,所以如果直接用队列老老实实地操作,肯定过不了。因为每次加入都是\(1,2,3,\cdotsx\)所以这段是连续的,所以我们考虑一段一段的存入队列,记录每一段的左右端点。操作\(2\)的删除,就一段一段地删除,如果删不完一段,就改这一段的左端点。......