标签：sparkContext val 创建 RDD new spark sparkConf
- 从集合（内存中创建出来）RDD
val sparkConf = new sparkConf().setMaster("local[*]").setAppName("spark")
val sparkContext = new SparkContext(sparkConf)
val rdd1 = sparkContext.parallelize(
List(1,2,3,4)
)
val add2 = sparkContext.makeRDD(
List(1,2,3,4)
)
rdd1.collect().foreach(println)
rdd2.collect().foreach(println)
sparkContext.stop()
- 从外部存储（文件）创建RDD
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")
val sparkContext = new SparkContext(sparkConf)
val fileRDD: RDD [ String ] = sparkContext.textFile("input")
sparkContext.stop()
- 从其他的RDD创建
主要是通过一个RDD运算后，再产生新的RDD。
标签：sparkContext,
val,
创建,
RDD,
new,
spark,
sparkConf
From： https://www.cnblogs.com/lambertlt/p/16607193.html