首页 > 其他分享 >Hadoop Yarn

Hadoop Yarn

时间:2022-10-16 00:02:24浏览次数:49  
标签:Container Hadoop Yarn 节点 YARN Scheduler 管理器 资源管理

Yarn是Hadoop的资源管理器,它是一个通用的资源管理系统,为上层应用提供统一的资源管理和调度,这里展示一张YARN的官方架构图,各位可以看一下。

 

 

 接下来让我们看看架构图中出现的概念

 Container(容器)是YARN中的资源抽象,它封装了某个节点上的多维度资源。YARN会为每个任务分配Container。

ResoureManager(资源管理器)负责整个系统的资源分配和管理,是一个全局资源管理器,主要有两个组件构成:调度器(Scheduler)和应用程序管理器(ApplicationManager)

NodeManager(节点管理器)是每个节点上的资源和任务管理器。它定时向ResoureManager汇报本节点上的资源使用情况和各个Container的运行状态,接受并处理来自ApplicationManager的Container启动/停止等请求

ApplicationManager(主应用),用户提交的每个应用程序均包含一个AM,应用程序里的“老大”,其主要功能包括以下三点:负责程序内部各阶段的资源申请,监督程序的执行情况,与NodeManager协同工作完成任务的执行和监控。

程序提交YARN的交互流程

 

这张是YARN程序提交时的交互流程

 

 接下来让我们看一下YARN资源调度器Scheduler

 

 第一个看看FIFO Scheduler

 

 

 第二个是Capacity Scheduler

 

第三个是Fair Scheduler

 

 

标签:Container,Hadoop,Yarn,节点,YARN,Scheduler,管理器,资源管理
From: https://www.cnblogs.com/feng-233/p/16795388.html

相关文章

  • Hadoop安装
    记录第一次搭建Hadoop集群。使用版本:Ubuntu:ubuntu-20.04.5-desktop-amd64.isoHadoop:hadoop-2.7.5.tar.gz对vim的基本命令:进入编辑状态:insert删除:delete退出编辑......
  • hadoop集群搭建与简单应用
    系统镜像:CentOS-6.5-x86_64-Li.iso虚拟机:VMwareWorkstation16Pro(16.0.0build-16894299)JDK:1.8.0_161hadoop:2.7.0创建虚拟机虚拟机安装后将系统install对mas......
  • Hadoop MapReduce
    学习MapReduce,首先要理解它的思想——分而治之,先分再合,分而治之,所谓的分而治之,意思就是将一个复杂的问题,按照一定的分解方法分解为规模较小的若干的部分,再逐个解决,分别找出......
  • Yarn
    ......
  • 解决Yarn慢的问题
    如果觉得安装速度慢,安装源和原来npm是一样的,可以通用,修改方法如下:在国内不管使用npm还是yarn,安装速度都很慢。因为镜像源地址在国外,有qiang的存在,导致速度很慢,这里换上淘......
  • 搭建Hadoop伪分布模式环境实验
    我使用的是Finalshell,不是Xshell,各位可以参考一下1.首先,开启虚拟机,等待连接成功,输入"start-all.sh"启动HDFS,Yarn,然后输入jps查看进程是否正常2.打开HDFSWeb界面,在本地......
  • 使用Hadoop patch包修复的一次经历
    原因:因为公司的平台的数据量在30P左右,使用了Hadoop3.1.2的版本,而且使用的纠删码功能,报错信息如下:java.io.IOException:UnexpectedEOSfromthereaderatorg.apache.hadoo......
  • 浅谈MySQL、Hadoop、BigTable、Clickhouse数据读写机制
    个人理解,欢迎指正数据库引擎写数据读数据补充MySqlInnoDB:支持事务,高速读写性能一般Myisam:不支持事务,高速读写性能好以InnoDB更新一条记录为例1、B+Tree......
  • yarn serve 开启项目服务失败 assets emit different content to the same filename
    error:  answer:删除public的文件,重新yarnserve;......
  • 数据算法--Hadoop-Spark大数据处理技巧 pdf
    高清扫描版下载链接:https://pan.baidu.com/s/1SCA5hN-0ZbEK_uHZgpBkVg点击这里获取提取码 ......