YARN

MapReduce（Hadoop 1.x）的设计缺陷

身兼两职：计算框架+资源管理框架  JobTracker+TaskTracker(1:N)

• JobTracker

- 既做资源管理，又做任务调度

- 任务太重，开销过大

- 存在单点故障

• 资源描述模型过于简单，资源利用率较低

- 仅把Task数量看作资源，没有考虑CPU和内存

- 强制把资源分为Map Task Slot和Reduce Task Slot，无法兼容其他的框架，通用性差

• 扩展性较差，集群规模上限4K

YARN所处的位置

 架构

 工作机制

 资源调度策略

- FIFO调度器

--- 调度策略：

     单队列，将所有任务放入一个队列，先进队列的先获得资源，排在后面的任务只有等待

--- 缺陷：

    资源利用率低，无法交叉运行任务

    灵活性差，比如紧急任务无法插队，耗时长的任务拖慢耗时短的任务

- 容量调度器

--- 核心思想：提前做预算，在预算指导下分享集群资源

--- 调度策略

     集群资源由多个队列分享

     每个队列都要预设资源分配的比例（预算）

     空闲资源优先分配给“实际资源/预算资源”比例最低的队列

     队列内部采用FIFO调度策略

--- 特点

     层次化的队列设计：子队列可使用父队列资源

     容量保证：每个队列都要预设资源占比，防止资源独占

     弹性分配：空闲资源可以分配给任何队列，当多个队列争用时，会按比例进行平衡

     支持动态管理：可以调整队列的容量，权限等参数，也可动态增加，暂停队列

     访问控制：用户只能向自己的队列中提交任务，不能访问其他的队列

     多租户：多用户共享集群资源

--- 配置：

    全局配置：在yarn-site.xml中配置

    yarn.resourcemanager.scheduler.class------org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

    自定义配置：在capacity-scheduler.xml中配置

- 公平调度器

--- 调度策略

   多队列公平共享集群资源

   通过平分的方式，动态分配资源，无需预先设定资源分配比例

   队列内部可配置调度策略：FIFO，Fair(默认)

--- 资源抢占

   终止其他队列的任务，使其让出所占的资源，然后将资源分配给占用资源量少于最小资源量限制的队列

--- 队列权重

   当队列中有任务等待，并且集群中有空闲资源时，每个队列可以根据权重获得不同比列的空闲资源

--- 配置：yarn-size.xml和fair-scheduler.xml