Spark是一个快速、通用、可扩展的大数据分析引擎,是集批处理、实时流处理、交互式查询、机器学习与图计算为一体的大数据开源项目。
一、对比MapReduce
1.Hadoop中的job处理流程:
》从hdfs读取数据
》 在map阶段,执行mapper function,然后split到磁盘
》在reduce阶段,从各个map执行机器的中间结果,执行reduce function,最后再将结果输出到hdfs;
实际场景中,复杂任务需要拆分成多个的hadoop job,而每个job又可能涉及多次磁盘IO,所以复杂海量数据的场景下hadoop就比较法力。
2.Spark可以在内存中存储输入数据、中间结果、最终数据,在复杂递归场景中,Spark上一个job结果可以马上被下一个job使用,带来了非常大的性能提升。
二、RDD
1.Resilient Distributed Datasets, 弹性分布式式数据集,并行、容错,可以使用Transform操作或读取外部数据集创建;
2.RDD操作
操作分类:Transformation/Actions
Transformation: 懒操作算子,不触发计算
map,flatMap,filter,mappartitions,mappartitionsWithIndex,union,intersection,subtract,distinct,groupByKey,reduceByKey,aggregateByKey,sortNyKey,join,cartesian,coalesce;
Actions: 真正的执行操作,触发计算
reduce,collect,count,first,take,takeOrdered,top,saveAsTextFile,countByKey,foreach;
三、DAG
1.依赖关系
RDD的转换和动作会生成RDD之间的依赖关系,这样的计算链依赖关系就形成了逻辑上的DAG;
RDD和它依赖的RDD的关系有两种不同的类型,窄依赖和宽依赖;
窄依赖:将partition数据根据规则进行转化,只是将数据从一个形式转换到另一个形式。窄依赖不会引入昂贵的shuffle,可以执行流水线优化将多个窄依赖整合后连续执行;
宽依赖:子partition是父RDD所有partition Shuffle的结果;
Shuffle:将数据汇总后重新分发的过程,汇总过程数据量可能会很大,则引起数据落磁盘操作,会降低性能;
2.Stage的划分
DAG可以认为是RDD之间形成的血缘关系(Lineage),借助Lineage,可以保证RDD在被计算前,父级RDD已经完成了计算,同时也实现了容错性,可以在计算结果丢失时,重新计算;
Spark执行是以Job为基本单位,会根据job的依赖关系,将DAG划分为不同的Stage。Stage划分会以Action为基准,向前回溯,遇到宽依赖,就形成一个Stage;
四、Spark图示
1.架构图示
2.DAG图示
3.scheduler图示
4.任务调度图示
标签:依赖,笔记,RDD,job,开发,spark,数据,DAG,Spark From: https://www.cnblogs.com/coder-ydq/p/17682455.html