首页 > 其他分享 >概述

概述

时间:2023-11-15 23:45:30浏览次数:30  
标签:Cloudera Hadoop 概述 版本 Apache 数据

目录

1、Hadoop是什么

1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

2)主要解决,海量数据的存储和海量数据的分析计算问题。

3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

2、Hadoop 三大发行版本

  • Hadoop 三大发行版本:Apache、Cloudera、Hortonworks
  1. Apache 版本最原始(最基础)的版本,对于入门学习最好。2006
  2. Cloudera 内部集成了很多大数据框架,对应产品 CDH。2008
  3. Hortonworks 文档较好,对应产品 HDP。2011
  • Hortonworks 现在已经被 Cloudera 公司收购,推出新的品牌 CDP。

3、Hadoop 优势

  1. 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
  2. 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。(双十一,业务增加,需要增加服务器,hadoop有很好的扩展性)
  3. 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
  4. 高容错性:能够自动将失败的任务重新分配。

4、Hadoop组成

4.1 Hadoop1.x、2.x、3.x区别
4.2 HDFS概述
  1. NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表块所在的DataNode等。
  2. DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和
  3. Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。
4.3 YARN概述
  • 为什么要使用容器

    1. 使用完可以自动释放,将资源回归给NM
    2. 针对不同的任务开启定制化的容器,可在一个几点运行多个任务
4.4 MapReduce

标签:Cloudera,Hadoop,概述,版本,Apache,数据
From: https://www.cnblogs.com/lipinbigdata/p/17832997.html

相关文章

  • Oracle多租户系列--多租户简要概述
    简要概述Oracle12cRelease1(12.1)引入了多租户选项,是Oracle数据库历史上最大的架构变化之一,引入了容器数据库(CDB)和可插拔数据库(PDB)的概念。容器数据库(CDB):从表面上看,它与传统的Oracle数据库非常相似,因为它包含了大部分您已经熟悉的工作部分(控制文件、数据文件、undo、te......
  • 微服务 01.概述(1)
    1.微服务是什么是一种软件架构由很多小型项目组成大型应用三天内容:完成对黑马商城微服务的拆分来了解微服务项目前置操作1配置docker导入mysql2后端数据库配置+启动嘞设置3.前端控制台启动nginx2.单体项目和微服务的区别1.单体项目部署在一台服务器上,并发能力差......
  • openGauss学习笔记-123 openGauss 数据库管理-设置账本数据库-账本数据库概述
    openGauss学习笔记-123openGauss数据库管理-设置账本数据库-账本数据库概述123.1背景信息账本数据库融合了区块链思想,将用户操作记录至两种历史表中:用户历史表和全局区块表。当用户创建防篡改用户表时,系统将自动为该表添加一个hash列来保存每行数据的hash摘要信息,同时在blockc......
  • 视觉VO(10-1)优化概述
    视觉VO(10-1)优化概述文字部分https://wym.netlify.app/2019-07-03-orb-slam2-optimization1/  思维导图整理 https://www.processon.com/diagraming/6538ba379675f91751210aae       请注意本质图优化仅优化位姿 ......
  • 网络空间安全概述学习总结
    一、信息时代与信息安全1、信息技术与产业空前繁荣(1)我国已成为信息技术与产业大国(2)量子信息技术高速发展2、信息安全形势严峻(1)敌对势力的破坏(2)黑客攻击(3)病毒入侵(4)利用计算机进行经济犯罪(5)网络上的有害内容泛滥(6)隐私保护问题严重(7)信息战、网络战已经开始(8)科学技术进步......
  • 《网络空间安全导论》第一章 网络空间安全概述
    1.1信息时代与信息安全1.1.1信息技术与产业空前繁荣1.我国已经成为信息技术与产业大国,网民规模世界第一,超级计算机技术居世界领先水平。2.量子信息技术高速发展,推动了量子计算机、量子通信和量子密码的发展。1.1.2信息安全形式严峻1.敌对势力的破坏:美国国家安全局NSA对我国......
  • JVM系列-第10章-垃圾回收概述和相关算法-cnblog
    title:JVM系列-第10章-垃圾回收概述和相关算法tags:-JVM-虚拟机categories:-JVM-1.内存与垃圾回收篇keywords:JVM,虚拟机。description:JVM系列-第10章-垃圾回收概述和相关算法。cover:'https://gitee.com/youthlql/randombg/raw/master/logo/jvm.png'ab......
  • openGauss学习笔记-120 openGauss 数据库管理-设置密态等值查询-概述及使用gsql操作密
    openGauss学习笔记-120openGauss数据库管理-设置密态等值查询-概述及使用gsql操作密态数据库120.1密态等值查询概述随着企业数据上云,数据的安全隐私保护面临越来越严重的挑战。密态数据库将解决数据整个生命周期中的隐私保护问题,涵盖网络传输、数据存储以及数据运行态;更进一步......
  • 1. WPF DataBinding--概述
    数据绑定为应用程序提供了一种简单而一致的方式来表示数据并与之交互,UI元素可以绑定到不同的数据源(.net对象和XML),什么是数据绑定数据绑定是一个UI和它显示数据建立联系的过程。如果建立了正确的绑定,当数据发生变化并发出适当的通知时,UI元素也会自动跟着变化,当UI元素的数据表现发生......
  • JavaScript--DOM概述&Element对象获取与使用
      通过DOM对HTML进行操作  1、获取Element对象 2、常见的HTMLElement对象的使用查看文档:https://www.w3cschool.cn/jsref/<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"conten......