一、RDD基本介绍
1、为什么需要RDD
没有RDD之前：
1.MR:只提供了map和reduce的API,而且编写麻烦,运行效率低!---早淘汰了!
2.使用Python/Scala/Java的本地集合:但是只能完成本地单机版的,如果要实现分布式的,---很困难!
所以需要有一个分布式的数据抽象,也就是用该抽象,可以表示分布式的集合，那么基于这个分布式集合进行操作,就可以很方便的完成分布式的WordCount! (该分布式集合底层应该将实现的细节封装好,提供简单易用的API!)
在此背景之下,RDD就诞生了!
MR中的迭代：
MR的这种方式对数据领域两种常见的操作不是很高效。第一种是迭代式的算法。比如机器学习中ALS、凸优化梯度下降等。这些都需要基于数据集或者数据集的衍生数据反复查询反复操作。MR这种模式不太合适，即使多MR串行处理，性能和时间也是一个问题。数据的共享依赖于磁盘。另外一种是交互式数据挖掘，MR显然不擅长。
Spark中的迭代：
我们需要一个效率非常快，且能够支持迭代计算和有效数据共享的模型，Spark应运而生。RDD是基于工作集的工作模式，更多的是面向工作流。 但是无论是MR还是RDD都应该具有类似位置感知、容错和负载均衡等特性。
2、什么是RDD
Spark起源
在Spark开山之作Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing这篇paper中（以下简称 RDD Paper），Matei等人提出了RDD这种数据结构，文中开头对RDD的定义是：
RDD设计的核心点
RDD提供了一个抽象的数据模型，不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换操作（函数），不同RDD之间的转换操作之间还可以形成依赖关系，进而实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘IO和序列化开销，并且还提供了更多的API(map/reduec/filter/groupBy...)。
3、RDD定义
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。所有的运算以及操作都建立在 RDD 数据结构的基础之上。 可以认为RDD是分布式的列表List或数组Array，抽象的数据结构，RDD是一个抽象类Abstract Class和泛型Generic Type：
Resilient弹性：【RDD的数据可以保存到内存或者磁盘】
Distributed分布式：【RDD的数据可以分布式存储在集群中的节点，用于分布式计算】
Dataset数据集：【一个用于存放数据的集合】
4、RDD的5大特性
1、（必须的）RDD是有一系列分区组成的
2、（必须的）对RDD做计算，相当于对RDD的每个split或分区做计算
3、（必须的）RDD之间存在着依赖关系，宽依赖和窄依赖
4、（可选的）对于KV类型的RDD，我们可以进行自定义分区方案
5、（可选的）移动数据不如移动计算，让计算程序离数据越近越好
5、RDD特点
特点1:分区-RDD逻辑上是分区的，每个分区的数据是抽象存在的，计算的时候会通过一个compute函数得到每个分区的数据。
特点2:只读-RDD是只读的，要想改变RDD中的数据，只能在现有的RDD基础上创建新的RDD。
特点3:依赖-RDDs之间维护着这种血缘关系，也称之为依赖
特点4:缓存-如果在应用程序中多次使用同一个RDD，可以将该RDD缓存起来，该RDD只有在第一次计算的时候会根据血缘关系得到分区的数据
特点5:checkpoint-随着迭代的进行，RDDs之间的血缘关系会越来越长，一旦在后续迭代过程中出错，则需要通过非常长的血缘关系去重建，势必影响性能。为此，RDD支持checkpoint将数据保存到持久化的存储中，这样就可以切断之前的血缘关系
