Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。Hadoop 技术在互联网领域已经得到了广泛的运用,例如,Yahoo 使用4 000 个节点的Hadoop集群来支持广告系统和Web 搜索的研究;Facebook 使用1 000 个节点的集群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周200TB 的数据,从而进行搜索日志分析和网页数据挖掘工作;中国移动研究院基于Hadoop 开发了“大云”(Big Cloud)系统,不但用于相关数据分析,还对外提供服务;淘宝的Hadoop 系统用于存储并处理电子商务交易的相关数据。国内的高校和科研院所基于Hadoop 在数据存储、资源管理、作业调度、性能优化、系统高可用性和安全性方面进行研究,相关研究成果多以开源形式贡献给Hadoop 社区,除了上述大型企业将Hadoop 技术运用在自身的服务中外,一些提供Hadoop 解决方案的商业型公司也纷纷跟进,利用自身技术对Hadoop 进行优化、改进、二次开发等,然后以公司自有产品形式对外提供Hadoop 的商业服务。比较知名的有创办于2008 年的Cloudera 公司,它是一家专业从事基于ApacheHadoop 的数据管理软件销售和服务的公司,它希望充当大数据领域中类似RedHat 在Linux 世界中的角色。该公司基于Apache Hadoop 发行了相应的商业版本Cloudera Enterprise,它还提供Hadoop 相关的支持、咨询、培训等服务。在2009 年,Cloudera 聘请了Doug Cutting(Hadoop 的创始人)担任公司的首席架构师,从而更加加强了Cloudera 公司在Hadoop 生态系统中的影响和地位。最近,Oracle 也表示已经将Cloudera 的Hadoop 发行版和Cloudera Manager 整合到Oracle Big Data Appliance 中。同样,Intel 也基于Hadoop 发行了自己的版本IDH。从这些可以看出,越来越多的企业将Hadoop 技术作为进入大数据领域的必备技术.
本周我安装了Hadoop的环境,并且对社会实践的作业进行了相关了解,但还是玩的太久,导致进度缓慢,自我约束能力还是有待提高
标签:基于,Cloudera,服务,7.13,Hadoop,数据,公司 From: https://www.cnblogs.com/baizhuoran/p/18300614