首页 > 其他分享 >HDFS核心概念与架构

HDFS核心概念与架构

时间:2023-01-10 11:02:42浏览次数:35  
标签:HDFS 存储 架构 核心 DataNode NameNode 数据 节点

HDFS简介

HDFS是Hadoop项目的核心子项目,在大数据开发中通过分布式计算对海量数据进行存储与管理,它基于流数据模式访问和处理超大文件的需求而开发,可以运行在廉价的商用服务器上,为海量数据提供了不怕故障的存储方法,进而为超大数据集的应用处理带来了很多便利。
HDFS的特点:
 支持大型数据集
 遵循简单一致性模型
 运行于廉价的商用服务器上
 不适合低延迟数据访问
 存储大量小文件的效率不高
 不支持多用户写入、不支持修改文件

HDFS数据存储架构

一个HDFS集群由一个元数据节点(NameNode)和一些数据节点(DataNode)组成,NameNode是一个用来管理文件命名空间的主服务器,DataNode则用来管理对应节点的数据存储。

HDFS核心概念与架构_HDFS


一个HDFS集群由一个元数据节点(NameNode)和一些数据节点(DataNode)组成,NameNode是一个用来管理文件命名空间的主服务器,DataNode则用来管理对应节点的数据存储。

默认将一个文件块复制三份分别存放。

HDFS核心概念与架构_数据_02


HDFS核心概念与架构_元数据_03


HDFS数据读写特点:一次写入,多次读取。

HDFS主要组件

数据块(Block):HDFS中最基本的存储单位,默认64M(128M)。

NameNode和DataNode:NameNode存储文件元数据信息,DataNode存储实际文件数据。 从元数据节点(SecondaryNameNode):定期将NameNode中的元数据进行合并。它的目的是帮助 NameNode 合并编辑日志,减少 NameNode 启动时间。

HDFS核心概念与架构_元数据_04


BackupNode:对NameNode中的元数据进行备份。

JournalNode:两个NameNode为了同步数据,会通过一组JournalNode的独立进程进行相互通信。

HDFS核心概念与架构_Hadoop_05


HDFS核心概念与架构_数据_06

HDFS数据读写

客户端从HDFS中读取数据的过程如下图:

HDFS核心概念与架构_元数据_07


客户端从HDFS中写入数据的过程如下图:

HDFS核心概念与架构_HDFS_08

更多内容及Java+大数据个人原创视频,可关注公众号观看:

HDFS核心概念与架构_Hadoop_09


原创文章,转载请注明出处!!



标签:HDFS,存储,架构,核心,DataNode,NameNode,数据,节点
From: https://blog.51cto.com/dreamboy/5999410

相关文章

  • MapReduce核心概念及架构
    MapReduce简介MapReduce常用于对大规模数据集(大于1TB)的并行运算,或对大数据进行加工、挖掘和优化等处理。MapReduce将并行计算过程高度抽象到了两个函数map和reduce中,程序员......
  • ZooKeeper核心概念和架构
    ZooKeeper简介ZooKeeper是一个分布式应用程序协调服务,主要用于解决分布式集群中应用系统的一致性问题。它能提供类似文件系统的目录节点树方式的数据存储,主要用途是维护和监......
  • 带你认识数仓的增量备份核心设计
    摘要:增量备份是重要的常规备份策略,正确快速识别增量变化文件的相关信息对增量备份至关重要。本文分享自华为云社区《其疾如风,GaussDB(DWS)增量备份核心设计》,作者:我的橘子......
  • 基于Kintex-7 FPGA的核心板电路设计
    1.引言    FieldProgrammableGateArray(简称,FPGA)于1985年由XILINX创始人之一RossFreeman发明,第一颗FPGA芯片XC2064为XILINX所发明,FPGA一经发明,后续的发展速度之快,......
  • jQuery核心函数和核心对象
    视频jQuery主要结构详解(function(window){varjQuery=function(){returnnewxxx();}window.$=window.jQuery=jQuery;})(window)核心函数和核......
  • C++核心知识回顾(自定义数据类型)
    复习C++类自定义数据类型最灵活的方式就是使用C++的类结构现在定义一个货币类型Currency:enumsignType{PLUS,MINUS};classCurrency{public:Currency(signTy......
  • Vue搭建项目的完整流程 如何搭建一个完整的vue项目 vue项目架构
    vue项目架构技术栈:vue3、vue-router、vuex(和pinia)、elementplus、axios、ts、sass1、安装vue3脚手架+tsvuecreateadmin2、分析目录结构node_modules......
  • java操作hdfs
    packagecagy.hap;importjava.io.FileNotFoundException;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Fil......
  • 学习笔记——Mybatis核心配置文件概述及根标签
    2023-01-09一、Mybatis核心配置文件概述及根标签1、核心配置文件的概述(即“mybatis-config.xml”)MyBatis的配置文件包含了会深深影响MyBatis行为的设置和属性信息。2、......
  • HDFS常用基础命令
    hadoopfs-cat/wc/output1/part-r-00000hadoopfs-ls/wc/output1hadoopfs-rm-r/wc/output1删除目录以及下面的文件hadoopfs-puthl.txt/wc/data//当前目录......