首页 > 其他分享 >Hadoop简介

Hadoop简介

时间:2022-12-14 15:56:05浏览次数:46  
标签:HDFS Google Map -- 简介 Hadoop GFS

项目起源

Hadoop由ApacheSoftwareFoundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由GoogleLab开发的 Map/Reduce和 GoogleFileSystem(GFS) 的启发

Google是Hadoop的思想之源(Google在大数据方面的三篇论文)

  • GFS --> HDFS
  • Map-Reduce --> MR
  • BigTable --> HBase

Hadoop的优势

  • 高可靠性
    • 因为 Hadoop 假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。
  • 高扩展性
    • 在集群间分配任务数据,可方便的扩展数以千计的节点。
  • 高效性
    • 在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
  • 高容错性
    • 自动保存多份副本数据,并且能够自动将失败的任务重新分配。

Hadoop组成

以Hadoop2.0为例

HDFS:一个高可靠、高吞吐量的分布式文件系统

MapReduce

 

标签:HDFS,Google,Map,--,简介,Hadoop,GFS
From: https://www.cnblogs.com/xfeiyun/p/16982388.html

相关文章

  • Hadoop初识
    什么是大数据大数据(BIGDATA),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海......
  • 基于Vision Transformers的文档理解简介
    文档理解是从pdf、图像和Word文档中提取关键信息的技术。这篇文章的目标是提供一个文档理解模型的概述。文档理解算法使用编码器-解码器结构分析文档内容,该管道结合了计算......
  • Spring Cloud架构流程简介
    相对于传统的单体架构,微服务架构引入了太多的概念,让新手有点无可适从。所以,我们要清楚哪些是自身需要的。下面我们分析一下哪些组件是开发一个使用微服务架构的系统所必需......
  • 路由分发、名称空间、虚拟环境、视图层三板斧、JsonResponse对象、request对象获取文
    今日内容详细路由分发​ django的每一个应用都可以有自己独立的路由层(urls.py)静态文件(static文件夹)模板层(templates文件夹)​ 基于这个特性多人开发项目就可以完全解......
  • 【JAVA笔记】Java中的常用工具API简介、Object类的特点、JavaBean类重写Object类中的
    一、Java常用工具API简介   根据步骤查找API文档使用对应功能API网址:https://www.apiref.com/java11-zh/index.html什么是API?二、Object类的特点1.java.lan......
  • Python Web开发一:Web开发简介
    PythonWeb开发一:Web开发简介​​一、背景知识​​​​二、前端开发和后端开发要做什么​​​​1.Web前端开发​​​​1.1html文件​​​​1.2CSS​​​​1.3资源文件​​......
  • RobotFramework学习笔记:Robot Framework和BrowserLibrary(PlayWright)简介
    1为什么要开始写这个? 大家如果在测试学习交流群的话,就应该能感受到群里满满的学习氛围,近期呢,群里有一位大佬利用自己空闲的时间,准备录制一系列的自动化学习视频,目前会主要......
  • TensorFlow简介
    什么是TensorFlow?TensorFlow是Google开源软件库,为机器学习工程中的问题提供了一整套解决方案。类比于Spark/Flink是大数据工程问题的解决方案。该软件库把机器学习......
  • Alpha-Beta算法简介
    Alpha-Beta-Chessprogrammingwiki 可运行的代码(最后的注释值得一看):nclude<stdio.h>#include<vector>struct{intscore;char*kids;}nodes[]={{......
  • 静态文件配置、静态文件相关配置、form表单、request对象、pycharm连接数据库、django
    目录静态文件配置静态文件相关配置form表单request对象pycharm连接数据库django连接数据库ORM简介ORM基本操作ORM基本语句静态文件配置编写一个用户登录页面静态文......