- 逻辑切片
1、逻辑切片对block块进行切分,切分的结果将影响map任务的数量
2、split切片的大小默认是128M,与block块大小一样,一个block块会有一个切片
3、如果读取到最后一个block块时会与前一个block进行合并,合并后的大小如果大于1281.1将会各自生成一个切片,合并后的大小如果小于1281.1,就会只生成一个切片
- map任务
1、数据进入到map任务会被封装成<k,v>键值对的格式
2、map任务要做的事,每个需求的处理逻辑是不一样的,所以map任务的逻辑需要自己在程序中编写
3、每读取到的一行数据都会执行一遍map逻辑
- 环形缓冲区
概述
1、被map任务处理过的数据要写入磁盘中,直接写入磁盘的话,当map任务生成的数据过多时会来不及写入磁盘,环形缓冲区可以解决这个问题
2、环形缓冲区是一个基于内存的数据结构,默认大小是100M
工作内容
1、map任务输出的键值对会先进入到环形缓冲区
2、对map任务的键值对结果根据建进行编号【编号取决于reduce的个数,reduce的个数可以在执行mapreduce作业之前自己设置,默认只提供一个reduce】
3、编号之后对缓冲区的键值对数据进行排序【快速排序】
4、当环形缓冲区的数据内容达到80%的时候开始向磁盘将这80%的数据整个溢写到磁盘,形成一个小文件
小文件写到磁盘后
会把每个map任务产生小文件合并成一个,合并的过程中排序归并排序
,【将编号一样的排在一起】
环形缓冲区最终在磁盘上小文件的数量
1、溢写的百分比,百分比越小,生成的小文件越多
2、split切片的大小,切片越大,map任务处理的数据量越多,就会有很多的80%溢写,生成的小文件就越多
- reduce阶段
标签:map,流程,reduce,mapreduce,切片,任务,键值,缓冲区 From: https://www.cnblogs.com/w-ll/p/185267411、reduce从每个map结果文件中拉取分区编号相同的数据,形成一个文件
2、拉取的次数多,形成的小文件就多,这时会把分区编号去掉然后把小文件合并,合并的过程中使用归并排序,相同的键为一组,值生成一个迭代器,构成一个新的键值对
3、归并排序后的结果交给reduce任务【reduce任务的逻辑需要自己编写】进行处理
4、每一个分组后的键值对,都会执行一遍reduce方法的逻辑