首页 > 其他分享 >Harley浅谈Hadoop(HDFS)

Harley浅谈Hadoop(HDFS)

时间:2022-08-19 01:44:14浏览次数:75  
标签:HDFS 副本 1.1 文件 Hadoop 分布式 浅谈

 

一、HDFS概述

 

1.1、HDFS产出背景及定义

 

1.1.1、HDFS产生背景

 

  随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种

 

1.1.2、HDFS定义

 

  Hadoop(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。

  HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。

 

1.2、HDFS 优缺点

 

1.2.1、优点

 

(1)高容错性

1️⃣ 数据自动保存多个副本。它通过增加副本的形式,提高容错性。

2️⃣ 某一个副本丢失以后,它可以自动回复。

 

(2)适合处理大数据

1️⃣ 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据

2️⃣ 文件规模:能够处理百万规模以上的文件数量,数量相当之大。

 

(3)可构建在廉价机器上,通过多副本机制,提高可靠性。

 

标签:HDFS,副本,1.1,文件,Hadoop,分布式,浅谈
From: https://www.cnblogs.com/harleyblogs/p/16600669.html

相关文章

  • 浅谈 Exgcd 和同余问题
    \[\large\text{本以为学的是数学专题,实际上学的是}\]\[\huge\stackrel{\text{xuán}}{\textbf{数}}\textbf{学专题}\]玄学专题\(\Huge\textbf{1}\\small\text{Exgcd(扩......
  • 【DS】浅谈树状数组倍增
    无意中看到的一个小trick,便记录下来。引入给您一个数组,您需要实现以下操作和询问:\(\bullet\)插入一个数字\(x\)。\(\bullet\)查询排名为\(k\)的数\(x\)。......
  • openssh-浅谈openssl和openssh的升级
    最近项目上有服务器漏洞被扫描出来,是关于openssl的之前没怎么关注过这个问题,于是着手去了解了以下发现有些坑,分享下自己的经验。中间过程比较长,想省事的直接跳到第四节,......
  • HDFS shell命令行常用操作
    1、创建文件夹hadoopfs-mkdir[-p]...path为待创建的目录-p选项的行为与Unixmkdir-p非常相似,它会沿着路径创建父目录。hadoopfs-mkdir-p/wjb/itcast 2......
  • Hadoop学习第一天
    学习课程是B站上的黑马程序员第一阶段主要是基础的概念,数据、大数据;大数据特点;数据分析的基本流程、方向;分布式、集群;操作系统,虚拟机。基本上就是这些基本概念的学习。第......
  • 浅谈MySQL的sql_mode
    SQLmode今天我们来分享一下MySQL的SQLmode,这也是我们比较容易忽略的一点,我们在一开始安装数据库的时候其实就要先考虑要保留哪些SQLmode,去除哪些,合理的配置能够减少......
  • Hadoop 十八
    HDFS文件块HDFS的文件在物理上是分块存储块的大小可以通过配置参数来规定,一般是2^n,2.x/3.x是128M,1.x中是64M。块设置的太大,会增大处理时间。块设置的太小,会增加寻址时......
  • hadoop入门之虚拟机安装
    今天按照黑马的视频和课程资料安装了三台Centos的linux虚拟机,步骤非常简单但是视频提示会有很多踩坑的点,我就比较顺利从VMware安装到激活,网络的配置以及虚拟机的安装都非常......