Hadoop（十二）NameNode 和 SecondaryNameNode

一、NN和2NN工作机制

1、NameNode中的元数据存储在哪里？

• 存储在NameNode节点的磁盘中会导致效率过低，因为经常需要进行随机访问和响应客户请求；存储在内存中，一旦元数据丢失，整个集群就无法工作，也不合适。因此产生了在磁盘中备份元数据的FsImage。
• 引入Edits文件（只进行追加操作，效率很高），每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中，可以通过FsImage和Edits的合并，合成元数据。
• 如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。

2、NameNode工作机制

第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存
（2）客户端对元数据进行增删改的请求
（3）NameNode记录操作日志，更新滚动日志
（4）NameNode在内存中对元数据进行增删改
第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint，直接带回NameNode是否检查结果
（2）Secondary NameNode请求执行CheckPoint
（3）NameNode滚动正在写的Edits日志
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并
（6）生成新的镜像文件fsimage.chkpoint
（7）拷贝fsimage.chkpoint到NameNode
（8）NameNode将fsimage.chkpoint重新命名成fsimage

二、FsImage镜像文件和Edits编辑日志

在/opt/module/hadoop-3.1.3/data/tmp/dfs/name/current目录中有如下文件

-rw-rw-r--. 1 user user     952 Sep 14 00:17 edits_0000000000000000502-0000000000000000514
-rw-rw-r--. 1 user user     465 Sep 14 01:17 edits_0000000000000000515-0000000000000000522
-rw-rw-r--. 1 user user      42 Sep 14 02:17 edits_0000000000000000523-0000000000000000524
-rw-rw-r--. 1 user user 1048576 Sep 14 02:17 edits_0000000000000000525-0000000000000000525
-rw-rw-r--. 1 user user 1048576 Sep 17 21:21 edits_inprogress_0000000000000000526
-rw-rw-r--. 1 user user    5161 Sep 14 02:17 fsimage_0000000000000000524
-rw-rw-r--. 1 user user      62 Sep 14 02:17 fsimage_0000000000000000524.md5
-rw-rw-r--. 1 user user    5161 Sep 17 21:21 fsimage_0000000000000000525
-rw-rw-r--. 1 user user      62 Sep 17 21:21 fsimage_0000000000000000525.md5
-rw-rw-r--. 1 user user       4 Sep 17 21:21 seen_txid
-rw-rw-r--. 1 user user     219 Sep 17 21:21 VERSION

• Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息
• Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中
• seen_txid文件：保存的是一个数字，就是最后一个edits_的数字
• 每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并

1、oiv查看Fsimage文件
（1）基本语法

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

（2）实操

[user@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current
[user@hadoop102 current]$ hdfs oiv -p XML -i 
fsimage_0000000000000000525 -o /opt/module/hadoop-3.1.3/fsimage.xml
[user@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/fsimage.xml

2、oev 查看Edits文件
（1）基本语法

hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径

（2）实操

[user@hadoop102 current]$ hdfs oev -p XML -i
edits_0000000000000000525-0000000000000000525 -o /opt/module/hadoop3.1.3/edits.xml
[user@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/edits.xml