首页 > 其他分享 >Hadoop--HDFS特点

Hadoop--HDFS特点

时间:2022-12-31 16:31:38浏览次数:41  
标签:HDFS 存储 副本 文件 -- 写入 Hadoop 数据

1,分布式存储团叶槲蕨,支持海量数据存储。(GB、TB、PB级别数据)

2,高容错性,数据拥有多个副本(副本冗余机制)。副本丢失后,自动恢复。

3,低成本部署,hadoop可在廉价的服务器上

4,能够检测和快速应对硬件故障,通过RPC心跳机制来实现

5,简化的一致性模型,这里指的是用户在使用HDFS时,所有关于文件相关的操作,如文件切块、块的复制、块的存储等细节并不需要去关注,所有的工作都已被框架封装完毕。用户所需要折仅仅是将数据上传到HDFS。这大大简化了分布式文件存储工作的难度和管理的复杂度。

6,HDFS不能做到低延迟的数据访问(毫秒级内给出响应)。介是Hadoop的优势在它的高吞吐率(吞吐率批的是:单位时间内产生的数据流)。可以说HDFS的设计是牺牲了低延迟的数据访问,而获取的是数据的高吞吐率,如果要想获取低延迟的数据访问,可以通过Hbase框架来实现

7,HDFS不许修改数据,所以适用场景是:一次写入,多次读取(once write,many read)。注意:HDFS允许追加数据,但不允许修改数据。追加和修改的意义是不同的。

8,HDFS不支持并发写入,一个文件同一个时间只能有一个写入者

9,HDFS不适合存储海量小文件,因为会浪费 namenode服务节点的内存空间。

Hadoop--HDFS特点_HDFS

标签:HDFS,存储,副本,文件,--,写入,Hadoop,数据
From: https://blog.51cto.com/u_15130867/5982147

相关文章

  • 第九章《字符串》第3节:String类对象的存储方式
    ​大多数情况下,程序员都会用String类对象表示一个字符串。虚拟机在存储String类对象时会创建一个常量池,把符合条件的对象都存储到常量池中。所谓常量池是指一块用于保存对象......
  • 遗传算法解决函数优化问题
    遗传算法解决函数优化问题作者:Cukor丘克环境:MatlabR2020a+vscode为什么要学习遗传算法为什么要学习遗传算法,或者说遗传算法有什么厉害的地方。例如求解以下函......
  • 接口
    接口的定义和使用接口用关键字interface来定义publicinterface接口名{}接口不能被实例化接口和类之间时实现关系,用implements关键字表示 ,publicclass类名imp......
  • WSGI服务器源码分析
    一、wsgiref模块在web开发中,后端服务分为服务器和应用程序:服务器本质就是通过socket进行请求的接收应用程序就是对请求进行相应业务处理为了开发方便,将上述两部分分......
  • IDEA安装与配置教程
    一、下载并安装IDEA1、下载1、官网:下载IntelliJIDEA(这里以Windows系统为例,其他系统类似)2、安装1、下载完成后,直接点击安装包安装,即可。2、开始安装,然后下一......
  • 解决Linux Cache/Buffer及Swap过大的问题
    目录问题描述什么是Cache/Buffer?什么是Swap?什么是Cache/Buffer什么是SwapCache/Buffer及Swap过大会导致哪些问题?解决方法手动清除Cache/Buffer调整swapBuffer/Cache与......
  • P3919 【模板】可持久化线段树 1(可持久化数组)
    \(P3919\)【模板】可持久化线段树\(1\)(可持久化数组)一、题目描述如题,你需要维护这样的一个长度为\(N\)的数组,支持如下几种操作:在某个历史版本上修改某一个位置上......
  • Allure02-测试集特性、模块特性与功能特性
    allure的特性allure支持pytest自带的特性fixture、parametrize、xfail、skipallure提供了很多特性(装饰器)allure可以将这些特性信息写入到测试报告中@allure.su......
  • [年终总结]2022
    感觉22年过得挺快的一眨眼就过去了。总结一下一年里的事情吧。技术上感觉没学多少感觉今年几乎就是按照智能车展开的,先是年初深入了解了一下RTOS,之后就是智能车的图像,主......
  • 图像处理学习——2-读detector.py-掌握模型输出值的含义
    Detector这个类在初始化的时候定义了许多成员变量:def__init__(self,classes,anchor_num,load_param,export_onnx=False):super(Detector,self).__init......