- 基础：google的三大论文——论文GFS、MapReduce、BigTable（kv存储）
- 基于上述论文，开发了产品Hadoop：包含存储(HDFS)+计算(mapreduce）两部分
- HDFS架构
- https://www.w3cschool.cn/hadoop/xvmi1hd6.html
- HDFS：Hadoop Distributed File System，分布式文件系统
- MapReduce计算
- https://www.yiibai.com/hadoop/intro-mapreduce.html
- 介绍：一种分布式的计算方式指定一个Map（映#x5C04;）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组
- 输入：
Welcome to Hadoop Class
Hadoop is good
Hadoop is bad
- 步骤：
-
输入拆分：input splits
输入到MapReduce工作被划分成固定大小的块叫做 input splits ，输入折分是由单个映射消费输入块。
映射 - Mapping
这是在 map-reduce 程序执行的第一个阶段。在这个阶段中的每个分割的数据被传递给映射函数来产生输出值。在我们的例子中，映射阶段的任务是计算输入分割出现每个单词的数量(更多详细信息有关输入分割在下面给出)并编制以某一形式列表<单词，出现频率>
重排 - Shuffling
这个阶段消耗映射阶段的输出。它的任务是合并映射阶段输出的相关记录。在我们的例子，同样的词汇以及它们各自出现频率。
Reducing
在这一阶段，从重排阶段输出值汇总。这个阶段结合来自重排阶段值，并返回一个输出值。总之，这一阶段汇总了完整的数据集。
在我们的例子中，这个阶段汇总来自重排阶段的值，计算每个单词出现次数的总和。
