标签：HDFS fs 文件 Hadoop hadoop MapReduce 数据

Hadoop

Hadoop介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决：海量数据的存储和分析计算的问题。（大数据技术涉及到的问题有：海联数据的收集、存储和计算。）
广义上Hadoop通常指一个更广泛的概念——Hadoop生态圈。

• Hadoop核心组件
  Hadoop HDFS（分布式文件存储系统）：解决海量数据存储
  Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度
  Hadoop MapReduce（分布式计算框架）：解决海量数据计算

官网 http://hadoop.apache.org/

HDFS简介

• HDFS主要是解决大数据如何存储问题的。分布式意味着是HDFS是横跨在多台计算机上的存储系统。

• HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错的，适应于具有大数据集的应用程序，它非常适于存储大型数据(比如TB 和PB)。

• HDFS使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。

HDFS重要特性

（ 1 ）主从架构

• HDFS集群是标准的master/slave主从架构集群。

• 一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。

• Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

• 官方架构图中是一主五从模式，其中五个从角色位于两个机架（Rack）的不同服务器上。

（ 2 ）分块存储

• HDFS中的文件在物理上是分块存储（block）的，默认大小是128M（ 134217728 ），不足128M则本身就是一块
  。

• 块的大小可以通过配置参数来规定，参数位于hdfs-default.xml中：dfs.blocksize。

（ 3 ）副本机制

• 文件的所有block都会有副本。副本系数可以在文件创建的时候指定，也可以在之后通过命令改变。

• 副本数由参数 dfs.replication 控制，默认值是 3 ，也就是会额外再复制 2 份，连同本身总共 3 份副本。

（ 4 ）元数据管理

在HDFS中，Namenode管理的元数据具有两种类型：

文件自身属性信息
文件名称、权限，修改时间，文件大小，复制因子，数据块大小。
文件块位置映射信息
记录文件块和DataNode之间的映射信息，即哪个块位于哪个节点上。

（ 5 ）namespace

• HDFS支持传统的层次型文件组织结构。用户可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的
  层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。

• Namenode负责维护文件系统的namespace名称空间，任何对文件系统名称空间或属性的修改都将被Namenode
  记录下来。

• HDFS会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。

（ 6 ）数据块存储

• 文件的各个block的具体存储管理由DataNode节点承担。

• 每一个block都可以在多个DataNode上存储。

HDFS shell操作

HDFS shell命令行解释说明

命令行界面（英语：command-line interface，缩写：CLI），是指用户通过键盘输入指令，计算机接收到指令后
，予以执行一种人际交互方式。
Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]

介绍

HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统（hdfs://nn:8020）等
具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。
如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统。

文件系统协议

hadoop fs -ls file:/// #操作本地文件系统

hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布式文件系统

hadoop fs -ls / #直接根目录，没有指定协议 将加载读取fs.defaultFS值

区别

hadoop dfs 只能操作HDFS文件系统（包括与Local FS间的操作），不过已经Deprecated；

hdfs dfs 只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用；

hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广；
目前版本来看，官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。

参数说明

HDFS文件系统的操作命令很多和Linux类似，因此学习成本相对较低。
可以通过hadoop fs -help命令来查看每个命令的详细用法。

HDFS shell命令行常用操作

1 、创建文件夹

hadoop fs -mkdir [-p] ...
path 为待创建的目录
-p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。

hadoop fs -mkdir /itcast

2 、查看指定目录下内容

hadoop fs -ls [-h] [-R] [< path> ...]
path 指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录

3 、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] ...
-f 覆盖目标文件（已存在下）
-p 保留访问和修改时间，所有权和权限。
localsrc 本地文件系统（客户端所在机器）
dst 目标文件系统（HDFS）

hadoop fs -put zookeeper.out /itcast

hadoop fs -put file:///etc/profile hdfs://node1:8020/itcast

4 、查看HDFS文件内容

hadoop fs -cat ...
读取指定文件全部内容，显示在标准输出控制台。
注意：对于 大文件内容读取，慎重 。

hadoop fs -cat /itcast/zookeeper.out

5 、下载HDFS文件

hadoop fs -get [-f] [-p] ...

[root@node2 ~]# mkdir test

[root@node2 ~]# cd test/

[root@node2 test]# ll

total 0

[root@node2 test]# hadoop fs -get /itcast/zookeeper.out ./

[root@node2 test]# ll

total 20

-rw-r--r-- 1 root root 18213 Aug 18 17:54 zookeeper.out

6 、拷贝HDFS文件

hadoop fs -cp [-f] ...
-f 覆盖目标文件（已存在下）

[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast

[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast/666.txt #重命令

[root@node3 ~]# hadoop fs -ls /itcast

Found 4 items

-rw-r--r-- 3 root supergroup 2 2021-08-18 17:58 /itcast/1.txt

-rw-r--r-- 3 root supergroup 2 2021-08-18 17:59 /itcast/666.txt

7 、追加数据到HDFS文件中

hadoop fs -appendToFile ...
将所有给定本地文件的内容追加到给定dst文件。
dst如果文件不存在，将创建该文件。
如果为-，则输入为从标准输入中读取。

#追加内容到文件尾部 appendToFile

[root@node3 ~]# echo 1 >> 1.txt

[root@node3 ~]# echo 2 >> 2.txt

[root@node3 ~]# echo 3 >> 3.txt

[root@node3 ~]# hadoop fs -put 1.txt /

[root@node3 ~]# hadoop fs -cat /1.txt

[root@node3 ~]# hadoop fs -appendToFile 2.txt 3.txt /1.txt

[root@node3 ~]# hadoop fs -cat /1.txt

8 、HDFS数据移动操作

hadoop fs -mv ...
移动文件到指定文件夹下
可以使用该命令移动数据，重命名文件的名称

9、HDFS其他命令

 命令官方指导文档
https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/FileSystemShell.html

HDFS工作流程与机制

官方架构图

主角色：namenode

• NameNode 是Hadoop分布式文件系统的核心，架构中的主角色。

• NameNode维护和管理文件系统元数据 ，包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。

• 基于此，NameNode成为了访问HDFS的唯一入口。

• NameNode内部通过内存和磁盘文件两种方式管理元数据。

• 其中磁盘上的元数据文件包括Fsimage内存元数据镜像文件和edits log（Journal）编辑日志。

从角色：datanode

• DataNode是Hadoop HDFS中的从角色，负责 具体的数据块存储 。

• DataNode的数量决定了HDFS集群的整体数据存储能力。通过和NameNode配合维护着数据块。

主角色辅助角色： secondarynamenode

• Secondary NameNode充当NameNode的辅助节点，但不能替代NameNode。

• 主要是帮助主角色进行元数据文件的合并动作。可以通俗的理解为主角色的“秘书”。

namenode职责

• NameNode仅存储HDFS的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件， 不存储实际数据。

• NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件。

• NameNode不持久化存储每个文件中各个块所在的datanode的位置信息，这些信息会在系统启动时从DataNode重建。

• NameNode是Hadoop集群中的单点故障。

• NameNode所在机器通常会配置有大量内存（RAM）。

datanode职责

• DataNode负责最终数据块block的存储。是集群的从角色 ，也称为Slave。

• DataNode启动时，会将自己注册到NameNode并汇报自己负责持有的块列表。

• 当某个DataNode关闭时，不会影响数据的可用性。NameNode将安排由其他DataNode管理的块进行副本复制。

• DataNode所在机器通常配置有大量的硬盘空间，因为 实际数据存储在DataNode中。

HDFS写数据流程（上传文件）

写数据完整流程图

核心概念--Pipeline管道

Pipeline，中文翻译为管道。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。
客户端将数据块写入第一个数据节点，第一个数据节点保存数据之后再将块复制到第二个数据节点，后者保存后将其复制到第三个数据节点。

• 为什么datanode之间采用pipeline线性传输，而不是一次给三个datanode拓扑式传输呢？

• 因为数据以管道的方式，顺序的沿着一个方向传输，这样能够充分利用每个机器的带宽，避免网络瓶颈和高延迟时的连接，最小化推送所有数据的延时。

• 在线性推送模式下，每台机器所有的出口宽带都用于以最快的速度传输数据，而不是在多个接受者之间分配宽带。

核心概念--ACK应答响应

• ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。表示发来的数据已确认接收无误。

• 在HDFS pipeline管道传输数据的过程中，传输的反方向会进行ACK校验，确保数据传输安全。

核心概念--默认 3 副本存储策略

1 、HDFS客户端创建对象实例DistributedFileSystem， 该对象中封装了与HDFS文件系统操作的相关方法。
2 、调用DistributedFileSystem对象的create()方法，通过RPC请求NameNode创建文件。
NameNode执行各种检查判断：目标文件是否存在、父目录是否存在、客户端是否具有创建该文件的权限。检查通过，NameNode就会为本次请求记下一条记录，返回FSDataOutputStream输出流对象给客户端用于写数据。

3 、客户端通过FSDataOutputStream输出流开始写入数据。
4 、客户端写入数据时，将数据分成一个个数据包（ packet 默认64k ）,内部组件 DataStreamer 请求NameNode挑选出适合存储数据副本的一组DataNode地址，默认是 3 副本存储。DataStreamer将数据包流式传输到 pipeline 的第一个DataNode,该DataNode存储数据包并将它发送到pipeline的第二个DataNode。同样，第二个DataNode存储数据包并且发送给第三个（也是最后一个）DataNode。

5 、传输的反方向上，会通过ACK机制校验数据包传输是否成功；
6 、客户端完成数据写入后，在FSDataOutputStream输出流上调用close()方法关闭。

7 、DistributedFileSystem联系NameNode告知其文件写入完成，等待NameNode确认。
因为namenode已经知道文件由哪些块组成（DataStream请求分配数据块），因此仅需等待最小复制块即可成功返回。最小复制是由参数dfs.namenode.replication.min指定，默认是1.

HDFS读数据流程（下载文件）

读数据完整流程图

1 、HDFS客户端创建对象实例DistributedFileSystem， 调用该对象的open()方法来打开希望读取的文件。
2 、DistributedFileSystem使用RPC调用namenode来确定 文件中前几个块的块位置（分批次读取）信息 。对于每个块，namenode返回具有该块所有副本的datanode位置地址列表，并且该地址列表是排序好的，与客户端的网络拓扑距离近的排序靠前。

3 、DistributedFileSystem将FSDataInputStream输入流返回到客户端以供其读取数据。
4 、客户端在FSDataInputStream输入流上调用read()方法。然后，已存储DataNode地址的InputStream连接到文件中第一个块的最近的DataNode。数据从DataNode流回客户端，结果客户端可以在流上重复调用read（）。

5 、当该块结束时，FSDataInputStream将关闭与DataNode的连接，然后寻找下一个block块的最佳datanode位置。这些操作对用户来说是透明的。所以用户感觉起来它一直在读取一个连续的流。客户端从流中读取数据时，也会根据需要询问NameNode来检索下一批数据块的DataNode位置信息。
6 、一旦客户端完成读取，就对FSDataInputStream调用close()方法。

Map Reduce

MapReduce的思想核心是“先分再合，分而治之”。
所谓“分而治之”就是把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，然后把各部分的结果组成整个问题的最终结果。
这种思想来源于日常生活与工作时的经验。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创.

理解MapReduce思想

Mp表示第一阶段，负责“拆分”：即把复杂的任务分解为若干个"简单的子任务”来并行处理。可以进行拆分的
前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。
Reduce表示第二阶段，负责"合并"：即对map阶段的结果进行全局汇总。
这两个阶段合起来正是MapReduce,思想的体现。

应对大数据

一个比较形象的语言解释MapReduce
要数停车场中的所有停放车的总数量。
你数第一列，我数第二列.这就是Mp阶段，人越多，能够同时数车的人就越多，速度就越快。
数完之后，聚到一起，把所有人的统计数加在一起。这就是Reduce合并汇总阶段。

函数式思想

MapReduce借鉴了函数式语言中的思想，用Map和Reducei两个函数提供了高层的并行编程抽象模型。
map:对一组数据元素进行某种重复式的处理；
reduce:对Map的中间结果进行某种进一步的结果整理。

• MapReducet中定义了如下的Map和Reduce两个抽象的编程接口，由用户去编程实现
  map:(k1;vl)→(k2;v2)
  reduce:(k2;[v2])(k3;v3)
• 通过以上两个编程接口，大家可以看出MapReduce处理的数据类型是<key,value>键值对。

统一架构

如何提供统一的计算框架，如果没有统一封装底层细节，那么程序员则需要考虑诸如数据存储、划分、分发、结果
收集、错误恢复等诸多细节；为此，MapReduce?设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节。
MapReduce最大的亮点在于通过抽象模型和计算框架把需要做什么(what need to do)与具体怎么做(how to do)分
开了，为程序员提供一个抽象和高层的编程接口和框架。
程序员仅需要关心其应用层的具体计算问题，仅需编写少量的处理应用本身计算问题的业务程序代码。
至于如何具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来，交给计算框架去处理：从分布代码的执
行，到大到数千小到单个节点集群的自动调度使用。

MapReduce介绍

分布式计算是一种计算方法，和集中式计算是相对的。
随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。
分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。

Hadoop MapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数干个节点）上的大量数据（多TB数据集）。
MapReduce是一种面向海量数据处理的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。

MapReduce实例进程

一个完整的MapReduce程序在分布式运行时有三类

• MRAppMaster:负责整个MR程序的过程调度及状态协调
• MapTask：负责map阶段的整个数据处理流程
• ReduceTask:负责reduce阶段的整个数据处理流程

阶段组成

一个MapReduce编程模型中只能包含一个Map阶段和一个Reducel阶段，或者只有Map阶段；
不能有诸如多个map阶段、多个reduce阶段的情景出现；
如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序串行运行。

数据类型

注意：整个MapReduce程序中，数据都是以kv键值对的形式流转的；
在实际编程解决各种业务问题中，需要考虑每个阶段的输入输出kv分别是什么；
MapReducel内置了很多默认属性，比如排序、分组等，都和数据的k有关，所以说kv的类型数据确定及其重要的。

官方实例

示例程序路径：/export/server/hadoop-3.3.0/share/,hadoop/mapreduce/
示例程序：hadoop-mapreduce--examples--3.3.0.jar
MapReduce程序提交命令：[hadoop jaryarn jar]hadoop-mapreduce-examples-3.3.0.jar args.…
提交到哪里去？提交到YAR集群上分布式执行。

整体执行流程

MAP阶段

• 第一阶段：把输入目录下文件按照一定的标准逐个进逻辑切片形成切片规划。
  默认Split size=Block size（l28M),每一个切片由一个MapTask处理。（getSplits)

• 第二阶段：对切片中的数据按照一定的规则读取解析返回<key,value>对。
  默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormat）

• 第三阶段：调用Mapper类中的map方法处理数据。
  每读取解析出来的一个<key,value>,调用一次map方法。

• 第四阶段：按照一定的规则对Map输出的键值对进行分区partition。默认不分区，因为只有一个reducetask分区的数量就是reducetask运行的数量。

• 第五阶段：Map输出数据写入内存缓冲区，达到比例溢出到磁盘上。溢出spill的时候根据key进行排序sort默认根据key字典序排序。

• 第六阶段：对所有溢出文件进行最终的merge合并，成为一个文件。

Reduce阶段

• 第一阶段：ReduceTask会主动从MapTask复制拉取属于需要自己处理的数据。
• 第二阶段：把拉取来数据，全部进行合并merge,即把分散的数据合并成一个大的数据。再对合并后的数据排序。
• 第三阶段是对排序后的键值对调用reduce方法。键相等的键值对调用一次reduce方法。最后把这些输出的键值对写入到HDFS文件中。

Shuffle

Suffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。
而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规侧则"打乱”成具有一定规则的数据，以便reducei端接收处理。
一般把从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。

Map端Shuffle

• Collect阶段：将MapTask的结果收集输出到默认大小为l00M的环形缓冲区，保存之前会对key进行分区的计算，默认Hash分区。
• Spill阶段：当内存中的数据量达到一定的阀值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了combiner,还会将有相同分区号和key的数据进行排序。
• Merge阶段：把所有溢出的临时文件进行一次合并操作，以确保一个MapTaski最终只产生一个中间数据文件。

Reduce端shuffle

• Copy阶段：ReduceTask启动Fetcher?线程到已经完成MapTask的节点上复制一份属于自己的数据
• Merge阶段：在ReduceTaski远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。
• Sort阶段：在对数据进行合并的同时，会进行排序操作，由于MapTask阶段已经对数据进行了局部的排序，ReduceTask.只需保证Copy的数据的最终整体有效性即可。

shuffle弊端

• Shuffle,是MapReduce程序的核心与精髓，是MapReducel的灵魂所在。
• Shuffle也是MapReduce被诟病最多的地方所在。MapReduce相比较于Spark、Flink计算引擎慢的原因，跟Shuffle机制有很大的关系。
• Shufflet中频繁涉及到数据在内存、磁盘之间的多次往复。

YARN

Apache Hadoop Yarn 是一种新的Hadoop资源管理器

通用的资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度

资源管理系统：集群的硬件资源，和程序运行相关，比如内存CPU养。
调度平台：多个程序同时申请计算资源如何分配，调度的规则（算法）。
通用：不仅仅支持MapReduce程序，理论上支持各种计算程序。YARN不关心你干什么，只关心你要资源，在有资源的情况下给你，用完之后还我。

• 可以把Hadoop YARN理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存、CPL等）。
• Hadoop能有今天这个地位，YARN可以说是功不可没。因为有了YARN,更多计算框架可以接入到HDFS中，而不单单是MapReduce,正是因为YARN的包容，使得其他计算框架能专注于计算性能的提升。
• HDFS可能不是最优秀的大数据存储系统，但却是应用最广泛的大数据存储系统，YARN功不可没。

Yarn三大组件

• ResourceManager RM
  YARN集群中的主角色，决定系统中所有应用程序之间资源分配的最终权限，即最终仲裁者。
  接收用户的作业提交，并通过N分配、管理各个机器上的计算资源。
• NodeManager(Nw)
  YARN中的从角色，一台机器上一个，负责管理本机器上的计算资源。
  根据RM命令，启动Container容器、监视容器的资源使用情况。并且向RM主角色汇报资源使用情况。
• ApplicationMaster AM)
  用户提交的每个应用程序均包含一个AM。
  应用程序内的“老大”，负责程序内部各阶段的资源申请，监督程序的执行情况。

Yarn核心交互流程

1. MR祖业的提交 Client--->RM

2. 资源申请 MrAppMaster --->RM

3. MR作业状态汇报 Container（Map|Reduce Tas k）--->Container（MrApptask）

4. 节点汇报 NM-->RM

MR提交Yarn交互流程

当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序。
第一个阶段是客户端申请资源启动运行本次程序的ApplicationMaster;第二个阶段是由ApplicationMaster根据本次程序内部具体情况，为它申请资源，并监控它的整个运行过程，直到运行完成。

• 第1步、用户通过客户端向YARN中ResourceManager提交应用程序（比如hadoop jart提交MR程序）；
• 第2步、ResourceManager为该应用程序分配第一个Container(容器)，并与对应的NodeManageri通信，要求它在这个Container中启动这个应用程序的ApplicationMaster。
• 第3步、ApplicationMaster启动成功之后，首先向ResourceManager注册并保持通信，这样用户可以直接通过ResourceManage查看应用程序的运行状态（处理了百分之几）；
• 第4步、AM为本次程序内部的各个Task任务向RM申请资源，并监控它的运行状态：
• 第5步、一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。
• 第6步、NodeManager为任务设置好运行环境后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
• 第7步、各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随
  时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过RP℃向ApplicationMaster查询应用程序的当前运行状态。
• 第8步、应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己.

Yarn程序资源调度器Scheduler

在理想情况下，应用程序提出的请求将立即得到YAR批准。但是实际中，资源是有限的，并且在繁忙的群集上，应用程序通常将需要等待其某些请求得到满足。YAR调度程序的工作是根据一些定义的策略为应用程序分配资源。 在YARN中，负责给应用分配资源的就是Scheduler,它是ResourceManager的核心组件之一。Scheduler完全专用于调度作业，它无法跟踪应用程序的状态。 一般而言，调度是一个难题，并且没有一个“最佳”策略，为此，YAR提供了多种调度器和可配置的策略供选择。

FIFO Scheduler

FIFO Scheduler是Hadoop1.x中JobTracker原有的调度器实现，此调度器在YARN中保留了下来。
FIFO Scheduler是一个先进先出的思想，即先提交的应用先运行。调度工作不考虑优先级和范围，适用于负载较低的小规模集群。当使用大型共享集群时，它的效率较低目会导致一些问题。
FIFO Schedulerf拥有一个控制全局的队列queue,默认queue名称为default,该调度器会获取当前集群上所有的资源信息作用于这个全局的queue。

优势：无需配置、先到先得、易于执行

缺点：任务优先级不会变高，因此高优先级的作业需要等待，不适合共享集群

Capacity Scheduler

Capacity Scheduler容量调度是Apache Hadoop3.x默认调度策略。该策略允许多个组织共享整个集群资源，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。
Capacity可以理解成一个个的资源队列，这个资源队列是用户自己去分配的。队列内部又可以垂直划分，这样一个
组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是采用的是先进先出(FIFO)策略。

优势：

• 层次化的队列设计(Hierarchical Queues)
  层次化的管理，可以更容易、更合理分配和限制资源的使用。
• 容量保证(Capacity Guarantees)
  每个队列上都可以设置一个资源的占比，保证每个队列都不会占用整个集群的资源。
• 安全(Security)
  每个队列有严格的访问控制。用户只能向自己的队列里面提交任务，而且不能修改或者访问其他队列的任务
• 弹性分配(Elasticity)
  空闲的资源可以被分配给任何队列。
  当多个队列出现争用的时候，则会按照权重比例进行平衡。

Fair Scheduler

Fair Schedulerl叫做公平调度，提供了YARN应用程序公平地共享大型集群中资源的另一种方式。使所有应用在平均情况下随着时间的流逝可以获得相等的资源份额。
Fair Scheduler设计目标是为所有的应用分配公平的资源（对公平的定义通过参数来设置）。
公平调度可以在多个队列间工作，允许资源共享和抢占。

有两个用户A和B,每个用户都有自己的队列。
A启动一个作业，由于没有B的需求，它分配了集群所有可用的资源。
然后B在A的作业仍在运行时启动了一个作业，经过一段时间，A,B各自作业都使用了一半的资源。
现在，如果B用户在其他作业仍在运行时开始第二个作业，它将与B的另一个作业共享其资源，因此B的每个作业将
拥有资源的四分之一，而A的继续将拥有一半的资源。结果是资源在用户之间公平地共享。

优点：

• 分层队列：队列可以按层次结构排列以划分资源，并可以配置权重以按特定比例共享集群
• 基于用户或组的队列映射：可以根据提交任务的用户名或组来分配队列。如果任务指定了一个队列，则在该队列中提交任务。
• 资源抢占：根据应用的配置，抢占和分配资源可以是友好的或是强制的。默认不启用资源抢占。

标签：HDFS,fs,文件,Hadoop,hadoop,MapReduce,数据
From： https://www.cnblogs.com/liurui12138/p/17196323.html