HDFS读写数据流程

文件写入

（1）HDFSClient上传文件到集群，HDFSClient会创建本地的分布式文件系统（Distributed FileSystem），向集群NameNode请求上传文件

（2）NameNode检查目录树是否允许创建文件，检查权限，检查目录结构。然后给客户端做出响应。

（3）若响应可以上传文件，HDFSClient会请求上传第一个Block,请求NameNode返回对应的DataNode信息。

（4）NameNode在返回对应的DataNode信息时会优先考虑节点距离和负载均衡等要素返回DataNode信息。

（5）HDFS创建文件传输流并与第一个DataNode建立传输通道，DataNode之间再建立传输通道。

（6）HDFS会创建缓冲队列，传输数据，传输数据的基本单位为Packet（每个Packet大小为64k，由chunk组成，每个chunk由512b和4b检验序列组成）ByteBuffer在DataNode的存储是并发的，有两份相同数据在操作，一份在存入DataNode另一份在传入到其它DataNode

文件读取

与文件写入类似。