首页 > 其他分享 >11.12日记

11.12日记

时间:2023-11-12 18:57:05浏览次数:35  
标签:Container 11.12 ApplicationMaster 应用程序 Scheduler 日记 资源 资源分配

度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位用一个抽象概念“资源容器”(Resource Container,简称Container)表示,Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装在一起,从而限定每个任务使用的资源量。此外,Scheduler是一个可插拔的组件,用户可根据自己的需要设计新的调度器,YARN提供了多种直接可用的调度器,比如Fair Scheduler和Capacity Scheduler等。
2.1.1 Scheduler

Scheduler是一个可插拔的插件,负责各个运行中的应用的资源分配,受到资源容量,队列以及其他因素的影响。是一个纯粹的调度器,不负责应用程序的监控和状态追踪,不保证应用程序的失败或者硬件失败的情况对 TASK 重启,而是基于应用程序的资源需求执行其调度功能,使用了叫做资源 container 的概念,其中包括多种资源,比如,cpu,内存,磁盘,网络等。在 Hadoop 的 MapReduce 框架中主要有三种Scheduler:FIFO Scheduler,Capacity Scheduler 和 Fair Scheduler。

    FIFO Scheduler:先进先出,不考虑作业优先级和范围,适合低负载集群。
    Capacity Scheduler:将资源分为多个队列,允许共享集群,有保证每个队列最小资源的使用。
    Fair Scheduler:公平的将资源分给应用的方式,使得所有应用在平均情况下随着时间得到相同的资源份额。

2.1.2 ApplicationManager

ApplicationManager 主要负责接收 job 的提交请求,为应用分配第一个Container 来运行 ApplicationMaster,还有就是负责监控 ApplicationMaster,在遇到失败时重启 ApplicationMaster 运行的 Container。
2.2 ApplicationMaster(AM)

ApplicationMaster(AM):用户提交的每个应用程序均包含一个AM,主要功能包括:

    与ResourceManager调度器协商以获取资源(用Container表示);
    将得到的任务进一步分配给内部的任务(资源的二次分配);
    与NM通信以启动/停止任务;
    监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。

当一个 ApplicationMaster 启动后,会周期性的向 ResourceManager 发送心跳报告来确认其健康和所需的资源情况,在建好的需求模型中,ApplicationMaster 在发往 ResourceManager 中的心跳信息中封装偏好和限制,在随后的心跳中, ApplicationMaster 会对收到集群中特定节点上绑定了一定的资源的 Container 的租约,根据 ResourceManager 发来的 Container,ApplicationMaster 可以更新它的执行计划以适应资源不足或者过剩,Container 可以动态的分配和释放资源。

标签:Container,11.12,ApplicationMaster,应用程序,Scheduler,日记,资源,资源分配
From: https://www.cnblogs.com/zhangmingmkzj/p/17827559.html

相关文章

  • 2023.11.12——每日总结
    学习所花时间(包括上课):9h代码量(行):0行博客量(篇):1篇今天,上午学习,下午学习;我了解到的知识点:1.mybatis明日计划:学习......
  • 2023.11.12日报
    今天主要在做大数据实验三,有个问题记录一下代码如下packageTest3;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.*;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase.util.Bytes;importjava.io.IOException;p......
  • 11.12打卡
    1.简化路径(70)返回的 规范路径 必须遵循下述格式:始终以斜杠 '/' 开头。两个目录名之间必须只有一个斜杠 '/' 。最后一个目录名(如果存在)不能 以 '/' 结尾。此外,路径仅包含从根目录到目标文件或目录的路径上的目录(即,不含 '.' 或 '..')。返回简化后得到的 规范路......
  • 11.11日记
    二叉查找树在频繁的动态更新过程中,可能会出现树的高度远大于log2n的情况,从而导致各个操作的效率下降。极端情况下,二叉树会退化为链表,时间复杂度会退化到O(n)。我上一节说了,要解决这个复杂度退化的问题,我们需要设计一种平衡二叉查找树,也就是今天要讲的这种数据结构。很多书籍里,但凡......
  • 11.6-11.12总结
    includeincludeincludeusingnamespacestd;classAbstractFile{public:virtualvoidadd(AbstractFile*element)=0;virtualvoidremove(AbstractFile*element)=0;virtualvoiddisplay()=0;};classVideoFile:publicAbstractFile{private:stringf......
  • springboot学习日记(二)
    运行springboot项目报错o.s.b.d.LoggingFailureAnalysisReporter,查资料试着查一下端口占用8080。netstat-aon|findstr8080发现8080端口被进程8768占用。 查找8768进程的程序tasklist|findstr8768发现是腾讯会议。。。 退出了再试试,还是没解决问题。。很好,排除一......
  • 日记 2023.11.10:2023 syzx 秋季训练 6
    日记2023.11.10:2023syzx秋季训练6*HIA拆位,带权并查集/二分图判定。B按位做差,于是只需要一次bfs。bonus:长度\(\leq5000\)(单次)或\(\leq20\)(多次)https://codeforces.com/problemset/problem/1852/C?不是同一题。C分类讨论。钦定\(A\leqB\)。必然有一维,满足两个......
  • nfls 11.10挂分日记
    今天老老实实写了对拍,但是还是挂分了。T1数论分块,学了一下双指针的写法,我那个写法又对于大肠选手直接T飞了。没注意到这个数据其实很大概率都是全部输出0,在没有精心构造的情况下几乎全都跑挂了。T2一个最短路的变形题目,每个行每个列跑一个最短路就好了,将关键点之间连边,然......
  • springboot学习日记(一)
    今天连下数据库,不小心打成netstartmysql了,好糗。。以后等时机到了笔记也该换成markdown写了,好久没写md后面得复习下。然后idea这边连数据库很简单不用写专门的程序,右侧栏database直接可以点开具体到连接某个数据库。记录一下注解的原理和作用:以前,『XML』是各大框架的青睐者,它......
  • 11.7日记
    cp命令:复制文件或目录(9)将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下,并重命名为bashrc1sudocp~/.bashrc/usr/sudomv/usr/.bashrc/usr/.bashrc1(10)在目录“/tmp”下新建目录test,再把这个目录复制到“/usr”目录下mkdir/tmp/testsudocp-r/tmp/test/usr/mv命......