spark程序如何在不同的安装模式下运行

1. 本地

spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/app/spark-2.3.1/examples/jars/spark-examples_2.11-2.3.1.jar 100

2. standalone

1. 必须把spark的自带独立调度器启动了----master worker
2. spark-submit --class org.apache.spark.examples.SparkPi --master spark://node1:7077 /opt/app/spark-.3.1/examples/jars/spark-examples_2.11-2.3.1.jar 100

3. yarn

1. 必须把YARN启动了
2. spark-submit --class org.apache.spark.example.SparkPi --master yarn --deploy-mode client /opt/app/spark-2.3.1/examples/spark-examples_2.11-2.3.1.jar 100

4. 我们编写好的代码如果做测试使用，一般使用local本地默认运行，如果在真正的运行程序。

上线运行，会选择使用standlone、yarn、mesos运行。