执行流程MapTask执行流程Read：读取阶段MapTask会调用InputFormat中的getSplits方法来对文件进行切片切片之后，针对每一个Split，产生一个RecordReader流用于读取数据数据是以Key-Value形式来产生，交给map方法来处理。每一个键值对触发调用一次map方法Map：映射阶段map方法在获

本质上是三个进程运行，一个maptask一个reducetask 一个MR程序写程序 添加依赖后，mapperreducer driveryarn集群的配置为了实现数据落盘和网络传输还要进行序列化和反序列化，本质就是将各个结构体里的基本数据类型一一传递 实现writable接口顺序要一致输入和输出基本

MapReduce执行流程MapTask执行流程Read：读取阶段MapTask会调用InputFormat中的getSplits方法来对文件进行切片切片之后，针对每一个Split，产生一个RecordReader流用于读取数据数据是以Key-Value形式来产生，交给map方法来处理。每一个键值对触发调用一次map方法Map：映射阶

十、优化1.数据倾斜maptask和reducetask的个数1.1maptask的个数：文件的大小、文件的个数、集群上blocksize的大小问题：小文件过多的问题（maptask并不是越多越好）在map执行前进行合并，减少maptask的个数//配置文件修改配置<property><name>hive.

什么时候需要使用序列化？需要在不同服务器传递内存数据时，用序列化。序列化后的所有属性需要再反序列化，那么有先后顺序反序列化吗？有的，比如序列化的属性有abc则反序列化的属性必须是cabc数据切片一般为数据块的倍数，为什么？一般一个数据切片对应启动一个maptask任务，可以保证

MapReduce原理 问题1.什么是计算,什么是分布式计算?答案:计算指的是从海量数据中提取出有效的价值信息的过程(广义上解释),狭义上指的是1+1=2即:数学运算.分布式计算指的是多台机器协调,共同完成同1个计算任务.问题2:分布式计算的两种模式?答案:分散汇

 先贴一张hadoop的部分类图 如图所示，组要的过程都在LocalJobRunable的内部类Job中，主要当然是map/reduce（MapTask和ReduceTask）。 1.TaskSplitMetaInfo把job分解为几个task，并返回task头信息 2.MapTask中    计算maptask数量  运行map-- 遍历执行task将mapper循环