首页 > 其他分享 >MPP架构和hadoop架构比对

MPP架构和hadoop架构比对

时间:2024-05-14 16:44:13浏览次数:15  
标签:学徒 架构 MPP 小工 切菜 hadoop mpp

架构比对

简单一句描述。
mpp架构,就是找一群和自己能力差不多的任一起做事,每个人做的事情是一致的。
hadoop架构,就是找一群能力差一些的人,但只需要他们每个人只做一部分工作。
image.png

举例说明

一个特色小饭店如何成为连锁餐饮巨头。
一个做宫保鸡丁的夫妻店生意越来越好,顾客经常吃不上,于是考虑扩张。

第一阶段-存算一体

于是把周围的店铺也租下来,招聘了几个学徒,经过七七四十九天学习,徒弟们终于把买菜、洗菜、切菜、炒菜、摆盘、上菜搞定了,顾客表示很满意。
师傅和学徒组成了mpp架构,即starRocks。

第二阶段-存算分离

经过半年生意越来越好,还是供不应求。再招聘一批学徒的话,还得培养七七四十九天,太累人。
现在流程太长了,每个人都得去买菜、洗菜、切菜、炒菜、摆盘、上菜。
于是乎,招聘了一批小工,专门负责去买菜和洗菜。
这样师傅和学徒们只要负责切菜、炒菜、摆盘、上菜,效率又提升了,接住了这部分客户需求。
师傅和学徒组成了mpp架构,即starRocks。小工们类似于hdfs。

第三阶段-混合模型

又过了一年,顾客越来越多,且还不满足只有宫保鸡丁,还想吃地三鲜、咖喱鸡肉、清炒土豆丝、红蘑土豆片等等。

 鸡肉土豆胡萝卜花生米
宫保鸡丁 鸡肉丁 土豆丁 胡萝卜丁  
咖喱鸡肉 鸡肉块      
地三鲜   土豆条    
清炒土豆丝   土豆丝    
红蘑土豆片   土豆片    

从上述菜品可以看出,土豆的需求量很大,且类型还多。
于是乎把切菜也包给小工做,但毕竟小工能力弱,买菜、洗菜、切菜全都做的话,就风险很大。
所以分成5组,第一组负责买菜、第二组负责洗菜、第三组负责土豆去皮,第四组负责土豆切条,第五组负责土豆切丝。
这样分工的好处就是,可以直接从市场上招聘大量的小工来提升做菜效率。
那么师傅和学徒只要关心炒菜即可。
师傅和学徒组成了mpp架构,即starRocks。小工们从hdfs升级为hive+hdfs,相当于承担了更多的重复性劳动。

功能比较

mpp架构,就是找一群和自己能力差不多的任一起做事,每个人做的事情是一致的。
hadoop架构,就是找一群能力差一些的人,但只需要他们每个人只做一部分工作。
换句话说,hadoop擅长把大问题拆分成小问题,一层一层处理。mpp是把大问题进行切片,每个节点还是处理大问题,只是大问题的数据量变少。

功能清单MPPhadoop补充说明
数据最大吞吐量 mpp相比hadoop,受限于单个人的处理能力,因为单个服务器的处理能力是有上限的
单机计算性能 mpp招聘的人能力强,一般是采用C++,hadoop是基于java
数据写入效率 在hadoop由于每个人做的工作是一样的,且简单,不需要考虑东西发给谁,只要均匀分布即可。但在mpp则要求是这个人的东西一定要都发给这个人
数据读取效率 因为mpp在存储数据的时候是按照规则存储,只要按照规则去拿效率一定是高的;而hadoop的是随机分布,只是保证均匀
安装部署 简单 复杂 mpp一般是一体化安装,hadoop是需要至少安装hive、hdfs、zk等组件
SQL开发能力 MPP理论上可以更多的函数处理,hadoop有些特别的计算需要依赖代码实现
 

标签:学徒,架构,MPP,小工,切菜,hadoop,mpp
From: https://www.cnblogs.com/huanghanyu/p/18191612

相关文章

  • 中电金信:专题报告·商业银行对公数字化转型体系架构及实践拆解
    当今,数字化转型已然成为商业银行发展的关键动力,在这个数字时代,对公业务数字化转型更是势在必行。 基于此,中电金信发布《商业银行对公数字化转型专题报告》(简称《报告》),针对对公数字化转型进行了专题研究。报告对主要商业银行对公数字化转型进行了深入的业务调研和分析总结,从对......
  • 按图索骥,快速做好架构图
    架构图是程序员必备的技能之一。很多同学觉得老是画不好架构图,且经常无从下手,那就看看下面这篇文章,笔者整理分享了关于架构图的相关内容,需要了解相关知识的同学可以进来看看哦!许多的小伙伴坦言画不好架构图,因为有很多困难阻碍了他们的进阶之路。当你想用一张或几张图来描述你......
  • Java-SSM-Day01 Maven实战案例:构建微服务Maven工程架构
    1.项目需求与结构分析:  需求案例:搭建一个电商平台项目,该平台包括用户服务、订单服务、通用工具模块等。项目架构:1.用户服务:负责处理用户相关的逻辑,例如用户信息的管理、用户注册、登录等。2.订单服务:负责处理订单相关的逻辑,例如订单的创建、订单支付、退货、订单查......
  • openGauss 架构
    架构发布者上的更改会在它们发生时实时传送给订阅者。订阅者按照数据在发布者上被提交的顺序应用数据,这样任意单一订阅中的发布的事务一致性才能得到保证。逻辑复制被构建在一种类似于物理流复制的架构上。它由“walsender”和“apply”进程实现。walsender进程开始对WAL的逻辑......
  • VMware vSphere Bitfusion 4.5.4 - 面向 AI 和 ML 应用提供弹性基础架构
    VMwarevSphereBitfusion4.5.4-面向AI和ML应用提供弹性基础架构请访问原文链接:VMwarevSphereBitfusion4.5.4-面向AI和ML应用提供弹性基础架构,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgVMwarevSphereBitfusion4.5|23NOV2021|Build4......
  • 架构每日一学 4:成为首席架构师,你必须学会顺应人性
    架构师生存法则之二:架构活动需要顺应人性 https://www.cnblogs.com/rottenorange-cn/p/18186331程序员入行的第一天起就进入了一个机器的世界。在别人的眼中,程序员平时很少说话,更多的时间在和电脑打交道。程序员工作时间久了大脑会被格式化,就像一个一个方格。它有一定好处,就......
  • 架构每日一学 5:拼多多如何通过洞察人性脱颖而出?
    本文首发于公众平台:腐烂的橘子上一篇文章,我们讲到架构活动一定要顺应人性,今天我们就来聊一聊,拼多多如何通过洞察人性在电商行业脱颖而出。拼多多从诞生到现在,可以说是颠覆了整个互联网的认知。2015年,阿里巴巴几乎垄断了互联网电商的全部流量,淘宝有21亿商品可供用户选择,配......
  • You Only Cache Once:YOCO 基于Decoder-Decoder 的一个新的大语言模型架构
    这是微软再5月刚刚发布的一篇论文提出了一种解码器-解码器架构YOCO,因为只缓存一次KV对,所以可以大量的节省内存。以前的模型都是通过缓存先前计算的键/值向量,可以在当前生成步骤中重用它们。键值(KV)缓存避免了对每个词元再次编码的过程,这样可以大大提高了推理速度。但是随着词元......
  • m基于FPGA的MPPT最大功率跟踪算法verilog实现,包含testbench
    1.算法仿真效果其中Vivado2019.2仿真结果如下:   使用matlab进行显示如下:   2.算法涉及理论知识概要       在太阳能光伏系统中,最大功率点跟踪(MaximumPowerPointTracking,MPPT)是提高能量转换效率的关键技术之一。爬山法(HillClimbingAlgorithm,HCA)......
  • 架构每日一学 4:成为首席架构师,你必须学会顺应人性
    本文首发于公众平台:腐烂的橘子架构师生存法则之二:架构活动需要顺应人性程序员入行的第一天起就进入了一个机器的世界。在别人的眼中,程序员平时很少说话,更多的时间在和电脑打交道。程序员工作时间久了大脑会被格式化,就像一个一个方格。它有一定好处,就是你在写代码的时候更容易......