spark-submit 提交的参数

spark-submit 是用于提交Spark应用到集群的命令行工具。它允许用户控制Spark应用的各种参数，比如应用名、集群URL、运行模式、资源分配等。
以下是一些常用的 spark-submit 参数：
--master: 指定Spark集群的URL，例如 local, local[*], spark://23.195.26.187:7077, yarn, mesos 等。
--deploy-mode: 指定是以client模式运行，还是以cluster模式运行。在client模式下，驱动程序运行在提交应用的机器上；在cluster模式下，驱动程序在集群中的某个节点上运行。
--class: 指定包含主函数的入口类。
--name: 指定Spark应用的名称。
--conf: 设置Spark配置属性，如 --conf spark.executor.memory=4g。
--driver-memory: 指定驱动程序的内存大小，如 --driver-memory 4g。
--executor-memory: 指定每个executor的内存大小，如 --executor-memory 4g。
--total-executor-cores: 指定集群中总共使用的CPU核心数，如 --total-executor-cores 8。

示例代码：
spark-submit \
--master spark://23.195.26.187:7077 \
--deploy-mode cluster \
--conf spark.executor.memory=4g \
--conf spark.cores.max=8 \
--name "MySparkApp" \
--class com.example.MySparkApp \
/path/to/your/sparkapp.jar \
arg1 arg2 arg3

在这个例子中，我们提交了一个名为 MySparkApp 的应用到指定的Spark集群。应用的入口类是 com.example.MySparkApp，位于 /path/to/your/sparkapp.jar。最后的 arg1 arg2 arg3 是传递给应用的参数。