首页 > 其他分享 >05-集群提交:spark-submit脚本

05-集群提交:spark-submit脚本

时间:2022-08-14 22:02:44浏览次数:54  
标签:05 -- Driver 指定 submit 用于 Executor 进程 spark

结构: 命令 + 选项 + 文件 + 参数
基础选项优先级:代码中配置【程序特有】 > 参数选项【运行模式、程序名称、资源选项】 > 配置文件【公共配置】

  • --master:用于指定程序的运行的模式:Local、Standalone、YARN、Mesos、K8s

    • local[N]:使用本地模式,给定N核CPU
    • spark://主机名:7077:使用Standalone模式,提交给Master
    • yarn:使用YARN集群模式,提交给RM
  • --deploy-mode:决定了Driver进程运行的位置,两种模式:client【默认】、cluster

  • --class:运行某个类,用Python写不用管,用于Java/Scala

  • --name:指定程序的名字,等同于代码中setAppName

  • --jars:指定额外的第三方依赖包,例如读写MySQL,需要MySQL的驱动包

  • --conf:指定一些其他配置--conf key=value, 等同于代码中set方法

Spark程序集群模式运行时会启动两种进程:Driver驱动进程 + Executor计算进程,每种进程运行时都需要资源

Driver资源选项

  • --driver-memory:用于指定Driver进程运行时能够使用的内存大小
  • --driver-cores:用于指定Driver进程运行时能够使用CPU的核数
  • --supervise:用于保证Driver进程安全,故障以后会自动重启

Executor资源选项

  • --executor-memory:用于指定每个Executor能使用的内存数

  • --executor-cores:用于指定每个Executor能使用的CPU核心数

  • --total-executor-cores:用于指定Standalone情况下,所有Executor使用的总CPU核数

  • --num-executors:用于Spark on YARN情况下,指定启动的Executor的个数

  • --queue:用于指定将程序提交到哪个队列中运行

标签:05,--,Driver,指定,submit,用于,Executor,进程,spark
From: https://www.cnblogs.com/z-h-q/p/16586462.html

相关文章

  • 01-Spark的功能及特点
    定义:基于内存式计算的分布式的统一化的数据分析引擎功能:多语言数据分析引擎工具栈实现离线数据批处理:类似于MapReduce、Pandas,写代码做处理实现交互式即时数据查询......
  • 02-Spark的应用及使用
    应用场景离线场景:实现离线数据仓库中的数据清洗、数据分析、即席查询等应用比较成熟,工作中主要的应用场景使用Spark对各种数据源数据进行处理:Hive、RDBMS、文件Hive......
  • 03-Spark的计算流程设计
    MR的计算流程设计step1:读取数据:Input功能一:实现分片,将读取到的数据进行划分,将不同的数据才能分给不同Task功能二:转换KVstep2:处理数据:Map、Shuffle、ReduceMap:负......
  • 20第四章:05_批量消息
    一、批量发送消息发送限制生产者进行消息发送时可以一次发送多条消息,这可以大大提升Producer的发送效率。不过需要注意以下几点:批量发送的消息必须具有相同的Topic......
  • week03-day05练习
    <script>//1,使用reduce求数组中所有元素的乘积,//vararr=[2,3,4,5,6,7]vararr01=[2,3,4,5,6,7];varresult=arr01......
  • PySpark 大数据处理
    本文主要介绍Spark的一些基本算子,PySpark及SparkSQL的使用方法。虽然我从2014年就开始接触Spark,但几年来一直没有真正地学以致用,时间一久便忘了如何使用,直到在工作中用......
  • 攻防世界 | Web-ics-05
    题目描述其他破坏者会利用工控云管理系统设备维护中心的后门入侵系统打开题目先进来随便点点看看有什么功能 除了“设备维护中心”,其他都没反应,对应了题目,那么应......
  • 1059 C语言竞赛——20分
    C语言竞赛是浙江大学计算机学院主持的一个欢乐的竞赛。既然竞赛主旨是为了好玩,颁奖规则也就制定得很滑稽:冠军将赢得一份“神秘大奖”(比如很巨大的一本学生研究论文集……......
  • 1057 数零壹——20分
    给定一串长度不超过10^5的字符串,本题要求你将其中所有英文字母的序号(字母a-z对应序号1-26,不分大小写)相加,得到整数N,然后再分析一下N的二进制表示中有多少0、多少1。例如给定......
  • 1056 组合数的和——15分
    给定N个非0的个位数字,用其中任意2个数字都可以组合成1个2位的数字。要求所有可能组合出来的2位数字的和。例如给定2、5、8,则可以组合出:25、28、52、58、82、85,它们的和为33......