暑假总结3

Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Hadoop的核心模块之一，它主要解决Hadoop的大数据存储问题，其思想来源与Google的文件系统GFS。HDFS的主要特点：

• 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。
• 运行在廉价的机器上。
• 适合大数据的处理。HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。

　　HDFS中的两个重要角色：

　　[Namenode]

　　1）管理文件系统的命名空间。

　　2）记录 每个文件数据快在各个Datanode上的位置和副本信息。

　　3）协调客户端对文件的访问。

　　4）记录命名空间内的改动或者空间本省属性的改动。

　　5）Namenode 使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的命名空间，包括文件映射，文件属性等。

　　从社会学来看，Namenode是HDFS里面的管理者，发挥者管理、协调、操控的作用。

　　[Datanode]

　　1）负责所在物理节点的存储管理。

　　2）一次写入，多次读取（不修改）。

　　3）文件由数据库组成，一般情况下，数据块的大小为64MB。

　　4）数据尽量散步到各个节点。

　　从社会学的角度来看，Datanode是HDFS的工作者，发挥按着Namenode的命令干活，并且把干活的进展和问题反馈到Namenode的作用。