Shuffle与Stage划分

一：Shuffle

     在宽依赖关系中，RDD会根据每条记录的key进行不同分区的数据聚集，数据聚集的过程称为Shuffle。例如，对一个RDD进行reduceByKey()操作，RDD中相同key的所有记录将进行聚合，而key相同的所有记录可能不在同一个分区中，甚至不在同一个节点上，但是该操作必须将这些记录聚集到一起进行计算才能保证结果准确，因此reduceByKey()操作会产生Shuffle，也会产生宽依赖。

二：Stage划分

     在Spark中，对每一个RDD的操作都会生成一个新的RDD，将这些RDD用带方向的直线连接起来（从父RDD连接到子RDD）会形成一个关于计算路径的有向无环图，称为DAG（Directed Acyclic Graph）。 

     Spark会根据DAG将整个计算划分为多个阶段，每个阶段称为一个Stage。每个Stage由多个Task任务并行进行计算，每个Task任务作用在一个分区上。

    Stage的划分依据为是否有宽依赖，即是否有Shuffle。Spark调度器会从DAG图的末端向前进行递归划分，遇到Shuffle则进行划分，Shuffle之前的所有RDD组成一个Stage，整个DAG图为一个Stage。经典的单词计数执行流程的Stage划分：    

     再看一个比较复杂一点的Stage划分： 

   该图中的依赖关系一共可以划分为3个Stage：从后向前进行递归划分，由于RDD6到RDD7的转换是Shuffle操作，因此在RDD6与RDD7之间划开，然后继续向前查找，RDD3、RDD4、RDD5、RDD6为一个Stage；由于RDD1到RDD2的转换是Shuffle操作，因此在RDD1与RDD2之间划开，然后继续向前查找，RDD1为一个Stage；整个转换过程为一个Stage。