知识点补充
HDFS优缺点：
优点
（1）高容错性。节点存放的副本比较多。
（2）适合处理大数据。 GB、TB、PB级别的数据都可以处理。
（3）可以构建在廉价的机器上，通过多副本机制来提高可靠性。
缺点
（1）不是低延时数据的处理，如毫秒级的数据操作（mysql）
（2）无法高效地对大量小文件进行存储。
存储大量小文件时会占用NameNode大量的内存来存放文件目录信息和块信息，但是NameNode的内存有限。
小文件存储的寻址时间会超出他的读取时间，这违反了HDFS的设计。
（3）不支持并发写入和文件的随机修改。
HDFS的组成（架构）
NameNode
(1)管理HDFS的名称空间（2）配置副本策略（3）管理数据块（Block）的映射信息（4）处理客户端的读写操作
，SecondaryNameNode,
DataNode
（1）存储实际数据块（2）执行数据块的读写操作
Client
（1）将用户上传的文件切分为若干个block，然后上传（2）与NameNode进行交互，获取文件的位置信息。
HDFS文件块Block大小（重点）
（1）HDFS文件在物理上是以文件块的形式存储的，每个文件块都有大小限制，且文件没有沾满单个文件块不会占用多余的空间。块的大小可由参数dfs.blocksize来进行配置。
（2）一般文件的寻址时间即为寻找目标块的时间。
（3）文件的寻址时间为文件传输时间的1%，为最佳状态。
（4）普通磁盘的传输速率为100MB/s(128MB/s).
HDFS的块设置太小会增加文件的寻址时间，太大磁盘传数据的时间会明显大于块寻址的时间，程序处理数据会非常慢。
HDFS块大小设置主要取决于磁盘传输速率。
标签：HDFS,存储,文件,寻址,NameNode,数据 From： https://www.cnblogs.com/20203923rensaihang/p/17129660.html