题记部分
一、Local模式
1.1、概述
Local模式就是运行在一台计算机上的模式,通常就是用于在本机上练手和测试的。
可以通过以下几种方式设置Master
(1)local:所欲计算都运行在一个线程当中,没有任何并行计算,通常我们在本机执行一些测试代码,或者练手,就用这种模式。
(2)local[K]:指定使用几个线程来运行计算,比如local[4]就是运行4个Worker线程。通常我们的CPU有几个Core,就指定几个线程,最大化利用CPU的计算能力。
(3)local[*]:这种模式直接帮你按照CPU最多Cores来设置线程数了。
1.2、安装使用及测试
(1)将Spark的tar包上传到集群的任意节点的合适目录并解压
(2)使用spark-submit求SparkPi
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--executor-memory 1G \
--total-executor-cores 2 \
./exemples/jars/spark-examples_2.11-2.2.1.jar \
100
1.3、spark-submit 参数说明
参数名 | 参数说明 |
--master |
master的地址,提交任务到哪里执行(spark://host:port,yarn,local) |
--deploy-mode |
在本地(client)启动 driver 或在 cluster 上启动,默认是 client |
--class |
应用程序的主类,仅针对 java 或 scala 应用 |
--name |
应用程序的名称 |
--jars |
用逗号分隔的本地jar包,设置后,这些jar将包含在 driver 和 executor 的classpath下 |
--packages |
包含在 driver 和 executor 的 classpath 中的 jar 的 maven 坐标 |
--execlude-packages |
为了避免冲突而指定不包含的 package |
--repositories
|
远程 repository |
--conf PROP=VALUE
|
指定 spark 的配置属性,例如 --conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" |
--properties-file
|
加载的配置文件,默认为 conf/spark-defaults.conf |
--driver-memory
|
Driver 内存,默认 1G |
--driver-java-options
|
传给 driver 的额外的 Java 选项 |
--driver-library-path
|
传给 driver 的额外的库路径 |
--driver-class-path
|
传给 driver 的额外的类路径 |
--executor-memory
|
每个 executor 的内存,默认是 1G |
--total-executor-cores
|
所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用 |
--num-executors
|
启动的 executor 数量。默认为 2。在 yarn 下使用 |
--executor-core
|
每个 executor 的核数。在 yarn 或者 standalone 下使用 |
二、Standalone模式
三、HA
四、Yarn模式
五、Mesos模式
— 业精于勤荒于嬉,行成于思毁于随 —
标签:03,--,driver,调度,模式,executor,Spark,local,spark From: https://www.cnblogs.com/houhuilinblogs/p/18458525