1.想要把一个大文件存储到hdfs,首先进行划分,将文件划分为一个一个的block,这个block默认为512MB,可修改.
2.备份(也就是副本)
将文件划分后,一个block丢失则原来的大文件没有用了.为了确保文件的安全性,hdfs提供了副本,也就是备份,将文件划分之后hdfs默认将每一个block备份到其他不同datanode上(默认是备份两个不同datanode,可修改),这样一个block丢失可以将备份的复制到原位置,确保了hdfs文件系统的安全性
3.hdfs的副本数修改:
方式一:文件是hdfs.site.xml,默认是三个副本,基本无需修改
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
方式二:上传文件是自定义副本数量
命令: hadoop fs -D dfs.replication=2 -put test.txt /tmp/
-D表示执行文件系统命令时自行加入配置项
这时副本数根据配置文件来,我也没搞懂
4.查看副本,文件状态
命令: hdfs fsck path [-files [-blocks [-locations]]]
5。block配置，也在hdfs.site.xml文件
1684354456B=256MB,这是默认,可以自行修改
6.namenode元数据,元数据文件(edits)
一:edits文件,记录hdfs的每一次记录
二:FSImage文件(edits文件的合并)
三:配置,配置文件在hdfs.site.xml
查看元数据:(里面有edits文件与fsimage文件)
四:元数据合并控制参数
(1)定时过程:基于:dfs.namenode.checkpoint.period,默认 3600（ 秒 ）即1小时 dfs.namenode.checkpoint.txns，默认1000000，即 100W 次事务.只要有一个达到条件就执行。
(2)检查是否达到条件，默认60秒检查一次,基于:dfs.namenode.checkpoint.check.period.默认60 （秒），来决定.
五:合并由secondarynamenode处理
namenode运行客户所操作的命令后,生成edits文件,操作的文件或文件夹放入namenode与datanode,而namenode的fsimage文件由secondarynamenode把namenode的edits文件拿过来进行合并,再返回到namenode里.
没有secondarynamenode就没有fsimage文件
7.数据的写入流程:
一. 客户端向NameNode发起请求
二. NameNode审核权限、剩余空间后 ，满足条件允许写入， 并告知客户端写入的DataNode地址
三. 客户端向指定的DataNode发送数据包
四. 被写入数据的 DataNode 同时完成数据副本的复制 工作，将其接收的数据分发给其它DataNode
五. 写入完成,客户端通知NameNode,NameNode做元数据记录工作
8.数据的读流程:
一、客户端向NameNode申请读取某文件
二 、 NameNode判断客户端权限等细节后，允许读取，并返回此文件的block列表
三、 客户端拿到block列表后自行寻找DataNode读取即可
namenode就是干分析与记录的事儿,datanode完全是存放数据的,secondarynamenode就是把namenode生产出来的edits文件合并为fsimage文件,增加整个系统的性能
标签：hdfs,存储,副本,文件,edits,namenode,block,分布式 From： https://blog.csdn.net/m0_72898512/article/details/143082648