首页 > 其他分享 >HDFS特点:

HDFS特点:

时间:2023-01-02 11:00:14浏览次数:29  
标签:HDFS 存储 副本 文件 写入 特点 数据


HDFS特点:_数据

1,分布式存储团叶槲蕨,支持海量数据存储。(GB、TB、PB级别数据)

2,高容错性,数据拥有多个副本(副本冗余机制)。副本丢失后,自动恢复。

3,低成本部署,hadoop可在廉价的服务器上

4,能够检测和快速应对硬件故障,通过RPC心跳机制来实现

5,简化的一致性模型,这里指的是用户在使用HDFS时,所有关于文件相关的操作,如文件切块、块的复制、块的存储等细节并不需要去关注,所有的工作都已被框架封装完毕。用户所需要折仅仅是将数据上传到HDFS。这大大简化了分布式文件存储工作的难度和管理的复杂度。

6,HDFS不能做到低延迟的数据访问(毫秒级内给出响应)。介是Hadoop的优势在它的高吞吐率(吞吐率批的是:单位时间内产生的数据流)。可以说HDFS的设计是牺牲了低延迟的数据访问,而获取的是数据的高吞吐率,如果要想获取低延迟的数据访问,可以通过Hbase框架来实现

7,HDFS不许修改数据,所以适用场景是:一次写入,多次读取(once write,many read)。注意:HDFS允许追加数据,但不允许修改数据。追加和修改的意义是不同的。

HDFS特点:_HDFS_02

8,HDFS不支持并发写入,一个文件同一个时间只能有一个写入者

9,HDFS不适合存储海量小文件,因为会浪费 namenode服务节点的内存空间。

标签:HDFS,存储,副本,文件,写入,特点,数据
From: https://blog.51cto.com/u_15130867/5983517

相关文章

  • Hadoop--HDFS特点
    1,分布式存储团叶槲蕨,支持海量数据存储。(GB、TB、PB级别数据)2,高容错性,数据拥有多个副本(副本冗余机制)。副本丢失后,自动恢复。3,低成本部署,hadoop可在廉价的服务器上4,能够检测和......
  • 智能且高效,华为云CDN三大特点助企业云上创新
    互联网的普及给我们的生活带来了巨大改变,也衍生出很多围绕互联网相关的服务产品,如CDN加速服务就在互联网大潮流中迎来了高速的发展,以此来满足人们对网络速度的更高需求。而......
  • 【Hadoop】hdfs dfs -test命令
    使用方法hdfsdfs-test-[defswrz]<path>:Answervariousquestionsabout<path>,withresultviaexitstatus.-dreturn0if<path>isadirectory.......
  • java list集合概述和特点
           ......
  • java开源工作流的特点介绍
    我们都知道,在业务量激增的情况下,采用工作效率高的低代码开发平台已然成为趋势。目前,有不少专业的服务商正在积极研发低代码开发平台,立志为客户朋友提升办公协作效率而提升......
  • const,let,var的特点
    const实际上保证的并不是变量的值不得改动,而是变量指向的那个内存地址所保存的数据不得改动。对于简单类型的数据(数值、字符串、布尔值),值就保存在变量指向的那个内存地址,因......
  • 分布式开源工作流引擎有什么特点?
    在竞争越来越激烈的社会中,拥有提质增效的办公软件,可以为企业带来更可观的市场价值。分布式开源工作流引擎在企业数字化发展进程中深受欢迎,在帮助企业提升办公效率上发挥了......
  • 实验1:HADOOP实验-HDFS与MAPREDUCE操作
    云计算技术与应用    石家庄铁道大学信息学院 实验1:HADOOP实验-HDFS与MAPREDUCE操作本次实验属于验证型实验,通过本次实验学生将掌握以下内容:1、利用虚拟机搭建集......
  • 工业SCADA平台eForceCon是什么,工业SCADA平台eForceCon产品特点
    上海力控元申工业SCADA平台组态软件eForceCon应用于中大型SCADA调度系统,是助力智能工厂建设的统一监控平台。其设计涵盖从现场监控站到调度中心,为企业提供从下到上的完整的......
  • java表单工具都有哪些特点?
    随着数字化进程步伐的加快,java表单工具也逐渐在传统的表单制作工具中脱颖而出,成为提质增效的有利工具。那么,java表单工具都有哪些特点?为了帮助大家解答疑惑,小编特意整理出......