2.1.4.1 persist 方法和 cache 方法 RDD 通过 persist 或 cache 方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。 通过查看 RDD 的源码发现 cache 最终也是调用了 persist 无参方法(默认存储只存在内存中)： 2.1.4.2 存储级别 默认的存储级别都是仅在内存存储一份，Spark 的存储级别还有好多种，存储级别在 object StorageLevel 中定义的。 持久化级别 说明 MORY_ONLY(默认) 将 RDD 以非序列化的 Java 对象存储在 JVM 中。如果没有足够的内存存储 RDD，则某些分区将不会被缓存，每次需要时都会重新计算。这是默认级别 MORY_AND_DISK(开发中可以使用这个) 将 RDD 以非序列化的 Java 对象存储在 JVM 中。如果数据在内存中放不下，则溢写到磁盘上．需要时则会从磁盘上读取 MEMORY_ONLY_SER (Java and Scala) 将 RDD 以序列化的 Java 对象(每个分区一个字节数组)的方式存储．这通常比非序列化对象(deserialized objects)更具空间效率，特别是在使用快速序列化的情况下，但是这种方式读取数据会消耗更多的 CPU MEMORY_AND_DISK_SER (Java and Scala) 与 MEMORY_ONLY_SER 类似，但如果数据在内存中放不下，则溢写到磁盘上，而不是每次需要重新计算它们 DISK_ONLY 将 RDD 分区存储在磁盘上 MEMORY_ONLY_2, MEMORY_AND_DISK_2 等 与上面的储存级别相同，只不过将持久化数据存为两份，备份每个分区存储在两个集群节点上 OFF_HEAP(实验中) 与 MEMORY_ONLY_SER 类似，但将数据存储在堆外内存中。(即不是直接存储在 JVM 内存中) 总结： RDD 持久化/缓存的目的是为了提高后续操作的速度 缓存的级别有很多，默认只存在内存中,开发中使用 memory_and_disk 只有执行 action 操作的时候才会真正将 RDD 数据进行持久化/缓存 实际开发中如果某一个 RDD 后续会被频繁的使用，可以将该 RDD 进行持久化/缓存
标签：2024.1,存储,缓存,17,日报,RDD,ONLY,内存,MEMORY From： https://www.cnblogs.com/Arkiya/p/17971267