(1)程序先找到数据存储的目录
(2)遍历目录对每个文件进行切片
(3)遍历一个文件:
获取文件大小
计算切片大小
默认情况下,切片大小等于blocksize
每次切片时都要判断剩下部分师否大于块的1.1倍,小于1.1划分为1个切片
讲切片信息写到一个切片规划文件中
整个切片的核心过程在getSplit()方法中完成。
InputSplit只记录了切片元数据信息,比如起始位置、长度以及节点列表。
(4)提交切片规划文件到YARN上,YARN的MrAppMaster可以根据切片规划文件计算开启MapTask数
首先进入写切片的方法
再次进入,打断点
进入第1个断点,进入到FileInputFormat类中.FileInputFormat继承了InputFormat类,同样InputFormat的实现类还有:
向下执行获取最大值最小值参数,来设置切片大小,遍历目录,对文件切片
对文件切片,先进行判断文件是否支持切片,然后计算切片大小
标签:文件,遍历,InputFormat,代码,MapReduce,YARN,切片,FileInputFormat From: https://www.cnblogs.com/20203923rensaihang/p/17143136.html