项目起源
Hadoop由ApacheSoftwareFoundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由GoogleLab开发的 Map/Reduce和 GoogleFileSystem(GFS) 的启发
Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
- GFS --> HDFS
- Map-Reduce --> MR
- BigTable --> HBase
Hadoop的优势
- 高可靠性
- 因为 Hadoop 假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。
- 高扩展性
- 在集群间分配任务数据,可方便的扩展数以千计的节点。
- 高效性
- 在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
- 高容错性
- 自动保存多份副本数据,并且能够自动将失败的任务重新分配。
Hadoop组成
以Hadoop2.0为例
HDFS:一个高可靠、高吞吐量的分布式文件系统
MapReduce
标签:HDFS,Google,Map,--,简介,Hadoop,GFS From: https://www.cnblogs.com/xfeiyun/p/16982388.html