首页 > 其他分享 >hadoop概述

hadoop概述

时间:2022-09-19 19:24:13浏览次数:62  
标签:海量 Hadoop MapReduce Yarn hadoop 概述 数据

1.什么是Hadoop

1)Hadoop是一个由apache基金会所开发的一种分布式系统基础框架。

2)它只要解决的是海量数据的存储和海量数据的分析计算。

3)从广义上来讲,hadoop通常是指Hadoop生态圈。

 2.Hadoop的优势

1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障也不会导致数据的丢失。

2)高扩展性:在集群间分配任务数据,可方便扩展数以万计的节点。

3)高效性:在MapReduce的思想下,Hadoop市并行工作的,以加快任务处理的速度。

4)高容错性:能够自动将失败的任务重新分配。

3.Hadoop的组成

 

 Hadoop1.x中,MapReduce同时处理业务逻辑运算和资源调度

 

 在Hadoop2.x中增加了Yarn,Yarn只负责资源调度,MapReduce只负责运算

 

标签:海量,Hadoop,MapReduce,Yarn,hadoop,概述,数据
From: https://www.cnblogs.com/hxnp/p/16659682.html

相关文章

  • Dubbo概述
    1.什么是RPCRPC(RemoteProcedureCall):远程过程调用。目标是为了实现多台计算机/服务器,互相调用方法的解决方案。补充:他只是一个思想,并不是一个实现。RPC的概念主......
  • 第二章 Redis-6.0概述安装
    一.缓存数据库的概念传统的数据库管理系统把所有数据都放在磁盘上进行管理,所以称做磁盘数据库(DRDB:Disk-ResidentDatabase)。磁盘数据库需要频繁地访问磁盘来进行数据的操......
  • QT-项目结构概述(一)
    前置环境:Win10+VS2010+qt4.8.6QT项目在VS中文件夹的结构:(在电脑文件夹中除了GeneratedFiles的其他文件都在同一级,添加到VS中会自动分到下面文件夹中。)-FormFiles:存放项......
  • ASP.NET Core 01基础知识概述
    Program.cs使用Web模板创建的ASP.NETCore应用包含Program.cs文件中的应用程序启动代码。Program.cs文件中包含:已配置应用所需的服务。应用的请求处理管道定义......
  • Spring Boot 项目访问hbase 编译遇到 java.io.FileNotFoundException: HADOOP_HOME an
    在window10系统下,使用idea创建了一个springboot项目,并使用hbase-client接口访问hbase,在编译的时候,遇到如下错误:  根据提示,打开链接:https://cwiki.apache.org/con......
  • 计算机网络(一)概述
    计算机网络在信息时代中的应用Internet是全球最大最重要的计算机网络中文译名互联网、因特网。注意互联网≠互连网互联网的两个重要基本特点连通性和资源共享互联网概......
  • LightGBM 算法概述
    LightGBM算法概述简要解释LightGBMLightGBM(LightGradientBoostingMachine)是一个开源的机器学习算法。它是基于决策树的算法,使用梯度提升来集成树。您可以在GitHu......
  • 数字图像处理概述
    计算机视觉技术任务:通过对采集的图片或视频进行处理以获得相应场景的相关信息。流程:视频处理以图像处理为基础图像数据最流行的表示方式:数字图像。成像方式不止可......
  • 编译原理:编译过程概述
    编译原理概述编译,就是一个把源代码变成目标代码的过程。如果源代码编译后直接在操作系统上运行,那目标代码就是汇编代码,再通过汇编和链接的过程形成可执行文件,然后通过加......
  • MS-TCT: Multi-Scale Temporal ConvTransformer for Action Detection概述
    1.针对的问题为了在未修剪视频中建模时间关系,以前的多种方法使用一维时间卷积。然而,受核大小的限制,基于卷积的方法只能直接获取视频的局部信息,不能学习视频中时间距离......