Python On Spark的执行流程
分布式代码执行的重要特征？
代码在集群上运行，是被分布式运行的。
在Spark中，非任务处理部分由Driver执行（非RDD代码）
任务处理部分是由Executor执行（RDD代码）
Executor的数量可以很多，所以任务的计算是分布式在运行的。
Pyspark的架构体系？
Python On Spark Driver端由JVM执行，Executor端由JVM做命令转发，底层由Python解释器进行工作。
RDD？
RDD叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。
五大特征：
1..RDD是有分区的
2.计算方法都会作用到每一个分区之上
3.RDD之间室友相互依赖关系的
4.KV型RDD可以有分区器
5.RDD分区数据的读取会尽量靠近数据所在地
标签：14,Python,分区,笔记,RDD,进度,Executor,Spark,分布式 From： https://www.cnblogs.com/yuncannotjava/p/17963972