学习MapReduce,首先要理解它的思想——分而治之,先分再合,分而治之,所谓的分而治之,意思就是将一个复杂的问题,按照一定的分解方法分解为规模较小的若干的部分,再逐个解决,分别找出各部分的结果,然后把各部分的结果组成整个问题的最终结果。
在这里,先附上一张MapReduce的整体流程图
MapReduce的执行阶段可以分为Map阶段和Reduce阶段,其中还有一个非常重要的机制——Shuffle机制
先介绍Map阶段
接下来介绍Reduce阶段
MapReduce中非常重要的机制——shuffle机制
但shuffle机制也存在着许多弊端
标签:shuffle,分而治之,Hadoop,MapReduce,阶段,机制 From: https://www.cnblogs.com/feng-233/p/16794638.html