概念
- 面向批处理的分布式计算框架；
- 一种编程模型，分为Map（映射）和Reduce（化简）阶段
核心思想
- 分而治之，并行计算；
- 移动计算而非移动数据
特点
- 计算跟着数据走
- 良好的扩展性（计算能力随着节点数增加近似线性递增）
- 高容错
- 适合海量数据的离线批处理
- 降低了分布式编程的门槛
不适合的场景
- 流计算（输入数据集是动态的，MapReduce是静态的）
- OLAP(毫秒或秒级别返回结果)
- DAG计算
-多个作业存在依赖关系，后一个的输入是前一个的输出，构成有向无环图DAG
-每个MapReduce作业的输出结果都会落盘，造成大量的磁盘IO，导致性能非常低下
缺点
慢，大量的落盘和读盘操作，IO频繁，大量的网络传输
原理
作业提交原理
B站有博主总结挺好，就直接备份了
标签：DAG,计算,批处理,MapReduce,落盘,简述,IO From： https://www.cnblogs.com/yb38156/p/18301966