首页 > 其他分享 >hadoop简介

hadoop简介

时间:2022-08-22 19:34:56浏览次数:53  
标签:网站 简介 Hadoop 分布式计算 小象 hadoop Doug

一句话简述:Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。

Hadoop的由来

Google

爬取全球的网站,然后计算页面的PageRank

要解决网站的问题:

a:这些网站怎么存放

b:这些网站应该怎么计算

发布了三篇论文

a:GFS(Google File System)

b:MapReduce(数据计算方法)

c:BigTable:HBase

 

 

Doug cutting 花费了自己的两年业余时间,将论文实现了出来;.看到他儿子在牙牙学语时,抱着黄色小象,亲昵的叫 hadoop,他灵光一闪,就把这技术命名为 Hadoop,而且还用了黄色小象作为标示 Logo,不过,事实上的小象瘦瘦长长,不像 Logo 上呈现的那么圆胖。“我儿子现在 17 岁了,所以就把小象给我了,有活动时就带着小象出席,没活动时,小象就丢在家里放袜子的抽屉里。” Doug Cutting 大笑着说。

 

 

Hadoop(java)

自1.x

HDFS                       分布式文件系统

MapReduce       计算框架

2.x之后多了 yarn     作业调度和集群资源管理框架

 

 

一句话简述:Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。

 

 

 

 

 

 

 

 

 

 

 

标签:网站,简介,Hadoop,分布式计算,小象,hadoop,Doug
From: https://www.cnblogs.com/Nana7mi/p/16613981.html

相关文章

  • Hadoop 二十三
    文件的更名和移动:    获取文件详细信息       遇到的问题:不能直接在web上上传文件。   权限问题:修改后即可正常创建  参考:https:/......
  • Hadoop 二十二
    参数优先级: 拿副本数举例子,优先级:hdfs-default.xml=>hadfs.xml=>在项目资源目录下的优先级高=>代码里的配置优先级高文件下载: ......
  • Hadoop集群搭建
    Hadoop集群搭建(完全分布式版本)一、准备工作三台虚拟机:master、node1、node2时间同步ntpdatentp.aliyun.com调整时区cp/usr/share/zoneinfo/Asia/Shanghai......
  • Altium Designer简介及使用流程
    AltiumDesigner简介及使用流程AltiumDesigner(简称AD)是一个设计原理图和PCB的专业软件,功能十分强大,且使用方便,比较容易上手。它的前身大家也比较熟悉,就是Protel。在学校......
  • hadoop day2-搭建
    hadoop搭建准备工作三台虚拟机:master、node1、node2检查时间是否同步:date检查java的jdk是否被安装好:java-version修改主机名三台分别执行vim/etc/hostname并将内......
  • Hadoop搭建出现问题的强制解决办法
    1、停止正在运行的集群stop-all.sh2、删除所有节点hadoop根目录中的tmp文件夹3、在主节点(master)中hadoop的根目录中的bin目录下,重新格式化HDFS./hdfsnamenode-forma......
  • 大数据Hadoop之——HDFS小文件问题与处理实战操作
    目录一、背景1)小文件是如何产生的?2)文件块大小设置3)HDFS分块目的二、HDFS小文件问题处理方案1)HadoopArchive(HAR)2)Sequencefile3)CombineFileInputFormat4)开启JVM重用5)合并本......
  • Hadoop及其三大组件原理
    Hadoop是什么?由Apache基金会开发的分布式系统基础架构海量数据的存储和分析计算 Hadoop架构历史:1.0HDFS和MapReduce2.0在1.0基础上增加了YARN(任务调度),解放了Ma......
  • Mybatis源码1JDBC->mybatis主要流程->mybatis Excutor简介
    Mybatis源码1JDBC->mybatis主要流程->mybatisExcutor简介一丶mybatis概述MyBatis是一款优秀的持久层框架,它支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎......
  • Hadoop 二十一
     今天进行在windows上的上传操作   运行结果 ......