首页 > 其他分享 >HDFS概述

HDFS概述

时间:2022-10-29 17:24:34浏览次数:57  
标签:HDFS 文件 写入 概述 服务器 分布式

HDFS概述

1.1 HDFS产出背景及定义

1)HDFS产生背景

随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

2)HDFS定义

HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。

HDFS的使用场景:适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

1.2 HDFS优缺点

1.3 HDFS组成架构

1.4 HDFS文件块大小(重点)

标签:HDFS,文件,写入,概述,服务器,分布式
From: https://www.cnblogs.com/niunai/p/16839150.html

相关文章

  • 学习心得 HDFS读数据过程
    HDFS读数据过程   第一步:打开文件。用Fliesystem先申明一个对象,然后生成一个子类DistributedFileSystem,这个时候生成FS的实例对象,其实是分布式文件系统HDFS的实例对象......
  • 分布式文件系统HDFS
      ......
  • 结构性型模式概述01--代理模式
    结构性型模式概述:Java-JDK动态代理详解(AOP)动态代理是如何实现的?JDKProxy和CGLib有什么区别?文章目录​​结构性型模式概述:​​​​[Java-JDK动态代理详解(AOP)](java......
  • 结构性型模式概述02--适配器模式--桥接模式
    文章目录​​适配器模式(Adapter模式)详解​​​​优点:​​​​缺点:​​​​模式的结构与实现​​​​模式结构:​​​​模式的应用场景​​​​桥接模式(Bridge模式)详解​......
  • 红黑树-概述
    hash不支持范围hash不排序hash不支持模糊排序hash碰撞hash模糊数据库为什么使用B+树而不是B树B树只适合随机检索,而B+树同时支持随机检索和顺序检索;B+树空间利用率更高,可减少......
  • javaSE01概述与第一个程序
    java概述与第一个程序为什么是java市场需求高java语言用途广:服务器程序,Android应用,软件工具,嵌入式领域,大数据技术Java语言发展史1991年SUN公司詹姆斯•高斯林提出要求:......
  • Hadoop - hdfs源码体系结构
    ......
  • CSS_概述与CSS_与html结合方式
    CSS_概述1.概念:Cascading Style Sheets 层叠样式表层叠:多个样式可以作用在同一个html的元素上,同时生效2.将内容展示和样式控制......
  • (八)进程概述
    1程序和进程程序是包含一系列信息的文件,这些信息描述了如何在运行时创建一个进程:二进制格式标识:每个程序文件都包含用于描述可执行文件格式的元信息。内核利用此信息来......
  • Spark SQL概述、函数用法
    SparkSQL  底层还是基于RDD的,常用的语言DSL底层架构    在idea中的操作引入pom依赖<dependency><groupId>org.apache.spark</gr......