首页 > 其他分享 >Yarn原理图

Yarn原理图

时间:2024-09-10 16:56:16浏览次数:10  
标签:reduce 原理图 Yarn 发送 分组 心跳 RM 资源

        Yarn是hadoop的三大组件之一,是资源调度器,负责资源调度和资源的分配。具体原理如下图:

        客户端向resource Manager发送资源请求。

        RM接收到请求之后,会在某一台机器上创建Application Master ,并建立心跳机制进行反向注册,并合计自己需要多少cpu和内存,再向RM申请资源。

        RM会校验它的权限,并看看资源够不够,都通过了会告诉AM可以,并返回一个nodemaneger列表。

        AM会根据列表,去寻找nodemaneger,创建map任务和reduce任务。

        在map阶段,先分区,排序,规约,分组。将数据交给reduce的分组,分组之后再聚合,最后将结果进行输出。

        任务过程中,要向AppMaster发送心跳,汇报进度。AppMaster向Resource Maneger发送心跳,汇报进度。Resource Maneger向客户端发送进度。

        当所有任务完成之后,把资源统统释放掉。

标签:reduce,原理图,Yarn,发送,分组,心跳,RM,资源
From: https://blog.csdn.net/weixin_58468790/article/details/142103402

相关文章

  • 1001-基于51单片机LCD液晶显示器的8路抢答器(8路,串口,LCD1602)原理图 仿真 源代码
    1001-基于51单片机LCD液晶显示器的8路抢答器(8路,串口,LCD1602)原理图仿真源代码功能描述:8路抢答器1、提前抢答视为违规抢答,蜂鸣器提示2、A机为选手按钮控制,B机为主持人控制。双机通过串口通信3、可设置抢答时间:10s,20s,30s,40s4、LCD显示抢答过程有哪些资料:1、仿真工......
  • 工业图像输出卡设计原理图:FMC214-基于FMC兼容1.8V IO的Full Camera Link 输出子卡
    FMC214-基于FMC兼容1.8VIO的FullCameraLink输出子卡  一、板卡概述 基于FMC兼容1.8V IO的Full Camera Link 输出子卡支持Base、Middle、Full Camera link信号输出,兼容1.8V、2.5V、3.3V IO FPGA信号输出。适配xilinx不同型号开发板和公司内部各......
  • 图像信号处理卡设计原理图:FMC213V3-基于FMC兼容1.8V IO的Full Camera Link 输入子卡
    FMC213V3-基于FMC兼容1.8VIO的FullCameraLink输入子卡 一、板卡概述   该板卡为了考虑兼容1.8V电平IO,适配Virtex7,Kintex Ultrascale,Virtex ultrasacle + FPGA而特制,如果要兼容原来的3.3V 也可以修改硬件参数。板卡支持1路Full Camera link输入,同时......
  • yarn运行vue项目命令
    yarn运行vue项目命令1、安装yarnnpminstallyarn-g2、安装项目依赖:yarninstall3、运行开发服务器:yarnserve4、构建生产环境代码:yarnbuild5、运行单元测试:yarntest:unit6、运行端到端测试:yarntest:e2e7、检查代码质量和格式:yarnlint8、修复代......
  • Altium Design设置原理图图纸大小
    点击原理图右下角Panels选项,选择Properties打开在Properties界面可以对图纸单位,图纸大小,方向,边缘尺寸等进行调整图纸模版包括:模型图纸:  A0_portrait~A4_portrait公制图纸:A0~A4英制图纸:A~ECAD标准图纸: A~EOrCAD标准图纸:Orcad_a~ Orcad_e其他格式......
  • 山东大学计算机组成原理实验6七段译码设计(含原理图,引脚分配,实验结果输入输出)
    实验目的熟悉QuartusII的设计流程全过程,学习计数器的设计和硬件测试。掌握原理图的设计方法。实验原理4位计数器连接7段译码,多数码管进行显示控制。实验框图如图6所示。图6 原理图示意图其中,CNT4B采用74161计数器芯片实现,DECL7S采用7448(共阳)设计。实验内容(1)设计工程......
  • yarn 失败
    1、输入yarn后,下载失败报错connectETIMEDOUT10.136.33.5:8081atTCPConnectWrap.afterConnect[asoncomplete](net.js:1141:16)[1/4]Resolvingpackages...[2/4]Fetchingpackages...infoThereappearstobetroublewithyournetworkconnection.Retrying.........
  • 国产GD32单片机开发入门(一) GD32F103C8T6开发板电路原理图分析
    文章目录一.概要二.技术名词解释三.板子主要电子器件四.原理图电路分析1.原理图总览2.电源电路1)5V电路2)3.3V电路3.LED指示灯电路4.复位电路5.晶振电路1)高频晶振电路2)低频晶振电路6.调试下载电路1)调试电路(SWD接线方式)2)BOOT电路7.外围接口电路8.模块拓展接口9......
  • esp-toothbrush 硬件原理图介绍
    前言个人邮箱:[email protected]项目视频链接硬件介绍电池管理(1)我们项目采用TP4056电源芯片给锂电池充电。因为我们采用的是3.7V锂电池,通过插上USB接口5V供电。通过查看TP4056芯片手册的典型应用可知,该芯片是满足要求的。(2)通过典型应用,我们基本可以知道......
  • [pnpm] pnpm 与 npm/yarn 的对比
    JavaScript应用程序通常依赖于许多外部库,这些依赖项通常通过包管理器来管理。默认情况下,Node.js使用NPM作为包管理器。由于早期的NPM存在各种不足,社区后来开发了Yarn和pnpm作为替代品。如果要使用Yarn和pnpm,则需要先通过NPM进行安装。早期NPM的不足依赖树......