标签：Seq start 创建 启动 RDD sh spark
1.启动spark命令
1. start-dfs.sh
2. start-yarn.sh
3. start-spark-all.sh
4. start-history-server.sh
5. spark-shell --master spark://node1:7077
2. 创建RDD数据集
1. 从现有的Scala集合创建RDD数据集
- parallelize(Seq, numSlices):第二个参数不用传递，代表创建的RDD的分区数，如果没传递，有一个默认值
默认分区就是spark.default.parallelism
如果master是local[n]，那么这个值就是n，如果yarn和standalone上运行的话，spark.default.parallelism=yarn/standalone
- makeRDD也是从集合中创建RDD数据集
makeRDD(Seq, numSlices) -- 底层是parallelize实现的
makeRDD(Seq( ( T, Seq(String) ) ) ) -- 这种方式可以指定分区数据在那个节点上
2. 从外部文件系统创建RDD数据集（HDFS）
3. 从另外一个RDD使用转换算子创建RDD数据集
标签：Seq,
start,
创建,
启动,
RDD,
sh,
spark
From： https://www.cnblogs.com/jsqup/p/16612885.html