HDFS概述

Hadoop的分布式文件系统

hadoop的三大核心子项目（HDFS,YARN,MapReduce）之一，用来解决海量数据存储问题

优点：

• 海量数据存储，典型文件大小GB~TB，百万以上文件数量，PB以上数据规模（文件切分分散存储，128M）
• 高容错（多副本策略），高可用（HA，安全模式），高可扩展（10K节点规模）
• 构建成本低（构建在廉价商用机器上），安全可靠（提供容错机制）
• 适合大规模离线批处理（流式数据访问，数据位置暴露给计算框架，如MR,Spark）

缺点：（不适合的场景）

• 不适合低延迟的数据访问（文件拆分，存储，副本，位置记录等等，写延迟高，读取时需要寻址，获取数据后合并）
• 不适合大量小文件存储（元数据占用NameNode大量空间，移动计算时任务数量增加）
• 不支持并发写入（写入失败的话维护成本高）
• 不支持文件随机修改，仅支持追加写入（多个节点的副本修改压力大）

系统架构

•  典型的主从架构，主节点NameNode，从节点DataNode，NameNode存储元数据信息，触发容灾备份，DataNode存储Block
• DataNode每隔3s需要向NameNode发送心跳，报告节点状态和数据块的信息

•  文件切分在客户端完成
• NameNode存储文件切分后的block信息，这部分信息会存储在内存中，且持久化到文件；block的位置信息只在内存中存储，因为DataNode会定时发送心跳汇报

 数据存储Block

• Block是HDFS的最小存储单元
• Block和元数据分开存储，Block存储在DataNode中，元数据存储在NameNode中

如何设置Block的大小？

•     目标：最小化寻址开销，当前多数磁盘的读写速度是130-190MB/s，默认大小是128M
•     两面性：块太大，增加了寻址开销，作业执行时间长，块太小，任务数太多，作业调度时间长

多副本

•    默认副本数是3，可更改，但不建议
•    自动机架感知，将副本存储到不同的DataNode上，实现数据的高容错
•    副本均匀分布，提高访问带宽和读取性能，实现负载均衡

Block文件

•    Block文件是DataNode本地磁盘中命名为blk_blockId的linux文件
•    DataNode在启动时自动创建存储目录，无需格式化
•    DataNode的current目录下的文件名都以blk_为前缀
•    Block元数据文件（*.meta）由一个包含版本，类型信息的头文件和一系列的校验值组成

 Block副本放置策略(3.x开始)

　　节点选择：同等条件下，优先选择空闲节点

• 副本1：优先找离client网络位置最近的，空闲的DataNode节点，如果client在DataNode节点，则直接放在当前节点
• 副本2：放在不同的机架节点上（2.x的副本2是选择当前机架上的不同节点,3.x是优先选择跨机架的节点）
• 副本3：放在与第二个副本同一个机架的不同的节点上
• 副本N：随机选择

metaData的存储与合并

元数据

• 存放在NameNode内存中
• 包含HDFS中文件及目录的基本属性信息（如文件的owner，权限信息，创建时间等），文件由哪些block构成，block的位置存放信息

元数据信息的持久化

• fsimage文件，是文件系统的元数据的持久性检查点文件（类似于flink的checkpoint吧)，文件名上会记录对应的transactionId，不包含block的位置信息
• edits(编辑日志文件)---磁盘文件形式，后续对元数据的修改，以日志的形式追加到edits文件中，因为直接频繁修改fsimage，压力大
• 文件系统客户端执行写操作的时候，首先会被记录在edit log中，通过前后缀记录当前的transactionId，记录后则认为是一次成功的操作
• edits文件不能过大，需要定期合并到fsimage中
• 通过fsimage+edits可以恢复某个时间点的元数据

 edits与fsimage的合并机制

 读写操作

写操作：

1、客户端请求上传文件，NameNode检查目录和权限，返回能否上传

2、客户端接收到允许上传，将文件切分为块

3、客户端上传block文件，NameNode检查DataNode信息池，返回要写入的DataNode列表

4、客户端请求建立block传输通道，传输管道依次建立

5、客户端以packet为单位发送数据，DataNode接收到数据后写入磁盘并分发给下一个DataNode

6、按照建立的管道顺序，依次返回写入成功直到第一个DataNode汇总，返回给客户端写入成功

7、重复3-6，直到所有的block传输完成，客户端向NameNode报告文件写入成功，NameNode记录元数据信息

注意：NameNode是在文件全部上传成功之后才会记录元数据信息，假设在block只有一部分写入成功，那么这部分block在发送心跳时，NameNode检查发现这部分是没有元数据信息记录的，视为脏数据，这部分数据就会被删掉

读操作：

1、客户端请求读取文件，NameNode检查目录树和权限

2、NameNode查询文件对应的block块信息，以及block块与DataNode的映射关系，按照DataNode与客户端的距离由近到远返回给客户端

3、客户端与最近的DataNode建立连接，读取block数据；每个block块重复同样的操作

4、客户端将组成文件的block的文件拼装成一个文件