首页 > 其他分享 >Yarn运行流程

Yarn运行流程

时间:2023-04-08 23:33:56浏览次数:34  
标签:Container ResourceManager 流程 ApplicationMaster Yarn 任务 NodeManager 运行

  1. 用户向ResourceManager中提交应用程序,其中包括ApplicationMaster程序。

  2. ResourceManager为ApplicationMaster分配一个 Container(分配后Container由NodeManager创建),然后NodeManager在 Container中运行ApplicationMaster。

  3. ApplicationMaster首先向ResourceManager注册,

  4. ApplicationMaster为各个任务申请资源,并监控它的运行状态,直到运行结束。

  5. ApplicationMaster申请成功后,ResourceManager为该应用程序的所有任务都分配一个Container

  6. ApplicationMaster与目标NodeManager通信,请求NodeManager创建Container,

  7. 然后NodeManager在 Container中运行其任务。

  8. 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让 ApplicationMaster 随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。在应用程序运行过程中,用户可以随时通过 RPC向 ApplicationMaster查询应用程序的当前运行状态。

  9. 应用程序运行完成后,ApplicationMaster向 ResourceManager注销并关闭自己,Container也会被回收。

标签:Container,ResourceManager,流程,ApplicationMaster,Yarn,任务,NodeManager,运行
From: https://www.cnblogs.com/lgjb/p/17299579.html

相关文章

  • yarn的安装和使用
    安装命令:pminstall-gyarn切换源yarnconfigsetregistryhttps://registry.npm.taobao.org查看源yarnconfiggetregistry......
  • python基础篇: python中的流程控制,你都了解吗?
    在之前的文章中大致的介绍过python中的流程控制语句,今天通过一些案例来详细了解一下python中的流程语句。目前python中流程控制语句,包含如下,如有遗漏欢迎留言补充。条件判断语句在python中条件判断语句包括了if、else、elif,还有在python3.10的版本新增了match-case语句。i......
  • 2023应用上架谷歌商店流程
    海外开发基础环境有可以科学的环境手机要支持/安装谷歌框架有外币信用卡/借记卡-visa之类的注册谷歌账号,开启两步验证-后面开也ok最好使用GmailPS:最好一卡一号注册GooglePlay开发者账号注册开发者网站Gp管理中心帮助网站开发者政策中心进入注册开发者网站,按需选......
  • Android HAL机制的深入理解及在Linux上移植和运行的一个好玩的HAL小例子
    PS:要转载请注明出处,本人版权所有。PS:这个只是基于《我自己》的理解,如果和你的原则及想法相冲突,请谅解,勿喷。环境说明  Ubuntu18.04.x前言  近一年来,虽然还是做的是AIOT相关的事情,但是某些事情却发生了一些变化。随着个人的阅历提升,现在的AI在边缘端部署已经不局限于......
  • docker in docker运行pipeline
    一、配置JenkinsMaster挂载Dockerdockerrun--namejenkins-itd--privileged=true-p8081:8080-p50000:50000-v/etc/localtime:/etc/localtime:ro-v/var/run/docker.sock:/var/run/docker.sock-v/bin/docker:/usr/bin/docker-v/mnt/jenkins-data:/var/......
  • flask框架04 导出项目 local flask生命执行流程 wtforms
    今日内容详细目录今日内容详细1请求上下文分析(源码:request原理)1.1导出项目的依赖1.2函数和方法1.3threading.local对象1.4偏函数1.5flask整个生命执行流程(1.1.4版本为例)2wtforms(了解)1请求上下文分析(源码:request原理)1.1导出项目的依赖#之前pipfreeze>requ......
  • 【web 开发基础】PHP 的流程控制之嵌套(巢状)条件分支结构 -PHP 快速入门 (15)
    嵌套条件分支结构嵌套条件分支结构,也称为巢状条件分支结构。其实就是将if语句进行嵌套,即是在if或者else后面的语句块中又包含if语句。if语句可以无限层第嵌套在其他if语句中,这给程序的不同部分的条件执行提供了充分的弹性,是程序设计中经常使用的技术。其语法格式如下所示:if(表达式1......
  • Mac Apple 芯片运行 Vue 项目中 node-sass 转为 sass 遇到的问题记录,node-sass 替换成
    背景:前段时间因为某些原因将window笔记本换成MacM1pro,然后运行项目的时候发现高于node12版本的项目中不支持node-sass。记录下解决相关问题之后的记录......
  • linux系统升级/更新OpenSSL版本操作流程记录
    问题描述:有时OpenSSL版本过老升级,或者需要更新OpenSSL版本1.登录linux系统后输入opensslversion查看现在使用的版本我的输入后版本信息为:OpenSSL1.1.1gFIPS 21Apr2020,可以看到是一年前更新版本,是有些老。2.登录openssl官网查看最新版本。登录https://www.openssl.org......
  • PySide2或PyQt5 运行时提示This application failed to start because no Qt platform
    1.把PySide2或者PyQt5安装在解释器目录下的 \plugins\platforms 目录添加到环境变量Path中。比如,我的环境就是把下面这个路径加到环境变量 Path 中 c:\Python38\Lib\site-packages\PySide2\plugins\platforms 2. 确保环境变量中没有中文......