HDFS微观流程
每个block块都被划分成多个大小为64k的paccket
每个paccket中都有两个部分组成,一个是packet Header,一个是packet Data
packet Header存储一些变量值:
pktlen:(packet总长度)、
offsetInBlock:(记录当前packet在blocck中的位置)、
seqNo:(在同一个block块中的唯一编号(序列号))
lastPaccketInBlock:(是否是block块中的最后一个packet标识)
dataLen:(真实文件数据的大小)
packet Data 真实的数据(包含两部分):
1、chunk checkSum 数据校验文件 (比例1)
2、chunk data 真实的文件数据 (比例128)
客户端发送packet的时候是先将packet发送到数据队列,数据进入到数据队列的时候会先同步一份给确认队列,然后再进行传输,当过程中突然断电,下次启动的时候使用确认队列中的未传输完成的packet先传到数据队列中,再重复之前的流程
标签:HDFS,队列,微观,packet,数据,流程,block From: https://www.cnblogs.com/peculiar/p/18194226