首页 > 其他分享 >Spark on YARN的两种部署模式

Spark on YARN的两种部署模式

时间:2024-01-12 16:44:37浏览次数:25  
标签:ResourceManager 启动 部署 Driver ApplicationMaster YARN 模式 Executor Spark

 

Client模式和Cluster模式最最本质的区别是:Driver程序运行在哪里。  Client模式:学习测试时使用,生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示  Cluster模式:生产环境中使用该模式 1.Driver程序在YARN集群中,和集群的通信成本低 2.Driver输出结果不能在客户端显示 3.该模式下Driver运行ApplicattionMaster这个节点上,由Yarn管理,如果出现问题,yarn会重启 ApplicattionMaster(Driver)

 

具体流程步骤如下: 1)、Driver在任务提交的本地机器上运行,Driver启动后会和ResourceManager通讯申请启动ApplicationMaster ; 2)、随后ResourceManager分配Container,在合适的NodeManager上启动ApplicationMaster,此时的 ApplicationMaster的功能相当于一个ExecutorLaucher,只负责向ResourceManager申请Executor内存; 3)、ResourceManager接到ApplicationMaster的资源申请后会分配Container,然后ApplicationMaster在资源分 配指定的NodeManager上启动Executor进程; 4)、Executor进程启动后会向Driver反向注册,Executor全部注册完成后Driver开始执行main函数; 5)、之后执行到Action算子时,触发一个Job,并根据宽依赖开始划分Stage,每个Stage生成对应的TaskSet,之后 将Task分发到各个Executor上执行。

 

具体流程步骤如下: 1)、任务提交后会和ResourceManager通讯申请启动ApplicationMaster; 2)、随后ResourceManager分配Container,在合适的NodeManager上启动ApplicationMaster,此时的 ApplicationMaster就是Driver; 3)、Driver启动后向ResourceManager申请Executor内存,ResourceManager接到ApplicationMaster的资源申请 后会分配Container,然后在合适的NodeManager上启动Executor进程; 4)、Executor进程启动后会向Driver反向注册; 5)、Executor全部注册完成后Driver开始执行main函数,之后执行到Action算子时,触发一个job,并根据宽依赖开 始划分stage,每个stag

标签:ResourceManager,启动,部署,Driver,ApplicationMaster,YARN,模式,Executor,Spark
From: https://www.cnblogs.com/daitu66/p/17961081

相关文章

  • 部署Alist
    安装curl-fsSL"https://alist.nn.ci/v3.sh"|bash-sinstall默认安装在 /opt/alist 中更新curl-fsSL"https://alist.nn.ci/v3.sh"|bash-supdate卸载curl-fsSL"https://alist.nn.ci/v3.sh"|bash-suninstall密码#添加可执行权限sudoch......
  • Mixtral 8X7B MoE模型基于PAI的微调部署实践
    作者:熊兮、求伯、一耘引言Mixtral8x7B是MixtralAI最新发布的大语言模型,在许多基准测试上表现优于GPT-3.5,是当前最为先进的开源大语言模型之一。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台,提供了对于Mixtral8x7B模型的全面支持,开发者和企业用户可以基......
  • 如何通过命令部署
    如何通过命令部署.net3.5组件服务问题:系统安装.net一直报错,无法安装该功能。问题现象:终极解决方案:将windows10系统镜像文件拷贝在硬盘或者U盘中,鼠标右击选择“装载”。这时会自动跳转到已经装载好的驱动器中,我们找到x64文件夹,双击打开。定位到J:\x64\sources\sxs路径下面......
  • 12-Helm Chart:如何在生产环境中释放部署
    通过前面的课程,相信你对Kubernetes中的对象有了很多了解。Kubernetes是一个强大的容器调度系统,你可以通过一些声明式的定义,很方便地在Kubernetes中部署业务。现在你一定很想尝试在Kubernetes中部署一个稍微复杂的系统,比如下面这个典型的三层架构:前端、后端和数据层。(htt......
  • 《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程
    ......
  • 实践总结 3 种前端部署后页面检测版本的方法
    领导:为什么每次项目部署后,有的用户要清缓存才能看到最新的页面我:浏览器有默认的缓存策略,如果服务器在响应头中没有禁用缓存,那么浏览器每次请求页面会先看看缓存里面有没有,有的话从缓存取,造成还是取的旧页面。正常来说,用户只需要点击刷新按钮,刷新一下页面就好了,不必清除浏览器缓存......
  • 在Linux Docker中部署RStudio Server,实现高效远程访问
    在LinuxDocker中部署RStudioServer,实现高效远程访问  ......
  • 如何构建一个 NodeJS 影院微服务并使用 Docker 部署
    如何构建一个NodeJS影院微服务并使用Docker部署前言如何构建一个NodeJS影院微服务并使用Docker部署。在这个系列中,将构建一个NodeJS微服务,并使用DockerSwarm集群进行部署。以下是将要使用的工具:NodeJS版本7.2.0MongoDB3.4.1DockerforMac1.12.6在尝试......
  • [Cisco ASAv] 思科自适应安全虚拟设备 (ASAv)部署与初始化配置(含ASDM)
    CiscoASAv是什么设备?CiscoASAv(AdaptiveSecurityVirtualAppliance)是思科公司提供的一种虚拟化网络安全解决方案。它是基于CiscoASA(AdaptiveSecurityAppliance)硬件防火墙的软件实现,旨在提供类似于物理ASA设备的网络安全功能。ASAv以虚拟机(VM)的形式部署在虚拟化平台上,如VMwar......
  • Docker本地部署Firefox火狐浏览器并远程访问
     Docker本地部署Firefox火狐浏览器并远程访问Firefox是一款免费开源的网页浏览器,由Mozilla基金会开发和维护。它是第一个成功挑战微软InternetExplorer浏览器垄断地位的浏览器之一。 在Docker中打开Firefox意味着我们将在一个Docker容器中运行Firefox浏览器。这对于一些特......