首页 > 其他分享 >Hadoop MapReduce

Hadoop MapReduce

时间:2022-10-15 17:44:42浏览次数:41  
标签:shuffle 分而治之 Hadoop MapReduce 阶段 机制

学习MapReduce,首先要理解它的思想——分而治之,先分再合,分而治之,所谓的分而治之,意思就是将一个复杂的问题,按照一定的分解方法分解为规模较小的若干的部分,再逐个解决,分别找出各部分的结果,然后把各部分的结果组成整个问题的最终结果。

在这里,先附上一张MapReduce的整体流程图

 

 

 

 

 

 

 

MapReduce的执行阶段可以分为Map阶段和Reduce阶段,其中还有一个非常重要的机制——Shuffle机制

  先介绍Map阶段

 

 

 

 

 

 接下来介绍Reduce阶段

MapReduce中非常重要的机制——shuffle机制

 

 

 

 

 

 

 

 

 但shuffle机制也存在着许多弊端

 

标签:shuffle,分而治之,Hadoop,MapReduce,阶段,机制
From: https://www.cnblogs.com/feng-233/p/16794638.html

相关文章