一句话简述:Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。
Hadoop的由来
爬取全球的网站,然后计算页面的PageRank
要解决网站的问题:
a:这些网站怎么存放
b:这些网站应该怎么计算
发布了三篇论文
a:GFS(Google File System)
b:MapReduce(数据计算方法)
c:BigTable:HBase
Doug cutting 花费了自己的两年业余时间,将论文实现了出来;.看到他儿子在牙牙学语时,抱着黄色小象,亲昵的叫 hadoop,他灵光一闪,就把这技术命名为 Hadoop,而且还用了黄色小象作为标示 Logo,不过,事实上的小象瘦瘦长长,不像 Logo 上呈现的那么圆胖。“我儿子现在 17 岁了,所以就把小象给我了,有活动时就带着小象出席,没活动时,小象就丢在家里放袜子的抽屉里。” Doug Cutting 大笑着说。
Hadoop(java)
自1.x
HDFS 分布式文件系统
MapReduce 计算框架
2.x之后多了 yarn 作业调度和集群资源管理框架
一句话简述:Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。
标签:网站,简介,Hadoop,分布式计算,小象,hadoop,Doug From: https://www.cnblogs.com/Nana7mi/p/16613981.html