首页 > 其他分享 >hadoop核心-纠删码存储技术

hadoop核心-纠删码存储技术

时间:2022-10-18 14:34:39浏览次数:58  
标签:HDFS 存储 副本 存储技术 hadoop 删码

1、纠删码存储技术

CDH6主要集成打包了Hadoop3,包括Hadoop3的一些新特性的官方支持,比如纠删码等。纠删码可以将HDFS的存储开销降低约50%,同时与三份副本策略一样,还可以保证数据的可用性。

副本方式:

默认情况下,HDFS的数据块都会保存三个副本。副本方式是一种容忍磁盘故障简单而有效的方法,但代价是额外的存储开销。

例如,对于较少访问的数据集,它们的第二个或者第三个副本会比较少访问,但是仍会消耗相同的存储空间。

纠删码:

纠删码是一种数据保护技术,通过在原始数据中加入新的校验数据,使得各个部分的数据产生关联性。在一定范围的数据出错情况下,通过纠删码技术都可以进行恢复。

它使用更少的存储却可以保证相同级别的容错,在典型配置下,与三副本方式相比,EC可以将存储成本降低约50%。

 

2、CDH6.0集成纠删码

https://blog.csdn.net/Hadoop_SC/article/details/84592482

 

标签:HDFS,存储,副本,存储技术,hadoop,删码
From: https://www.cnblogs.com/chong-zuo3322/p/16802452.html

相关文章

  • Linux 下搭建 Hadoop 环境
    Linux下搭建Hadoop环境作者:Grey原文地址:博客园:Linux下搭建Hadoop环境CSDN:Linux下搭建Hadoop环境环境要求操作系统:CentOS7下载地址安装说明需要准备两个......
  • 1_hadoop入门
    内容大纲:1.Hadoop架构详解大数据概述大数据发展史 //谷歌的3驾马车Hadoop的分类 //Apache社区版,Cloudera商业版(CDH版)应用场景特点Hadoop的架构图//Hadoop1.X......
  • hadoop的源码编译
    前期准备1.CentOS联网配置CentOS能够连接外网。注意:采用root用户编译,减少文件夹权限出现的问题。2.jar包准备hadoop源码、jdk8、maven、ant、protobuf(1)hadoop-2.7......
  • Hadoop生态系统—数据仓库Hive的安装
    一、数据仓库数据仓库是一个面向主题的、集成的、随时间变化,但信息本身相对稳定的数据集合,相比于传统型数据库,它主要用于支持企业或组织的决策分析处理。主要有以下3个特......
  • hadoop集群启动脚本文件myhadoop.sh
    #!/bin/bashif[$#-lt1]thenecho"NoArgsInput..."exit;ficase$1in"start")echo"===================启动hadoop集群==================="......
  • Hadoop Yarn
    Yarn是Hadoop的资源管理器,它是一个通用的资源管理系统,为上层应用提供统一的资源管理和调度,这里展示一张YARN的官方架构图,各位可以看一下。   接下来让我们看看架构......
  • Hadoop安装
    记录第一次搭建Hadoop集群。使用版本:Ubuntu:ubuntu-20.04.5-desktop-amd64.isoHadoop:hadoop-2.7.5.tar.gz对vim的基本命令:进入编辑状态:insert删除:delete退出编辑......
  • hadoop集群搭建与简单应用
    系统镜像:CentOS-6.5-x86_64-Li.iso虚拟机:VMwareWorkstation16Pro(16.0.0build-16894299)JDK:1.8.0_161hadoop:2.7.0创建虚拟机虚拟机安装后将系统install对mas......
  • Hadoop MapReduce
    学习MapReduce,首先要理解它的思想——分而治之,先分再合,分而治之,所谓的分而治之,意思就是将一个复杂的问题,按照一定的分解方法分解为规模较小的若干的部分,再逐个解决,分别找出......
  • 搭建Hadoop伪分布模式环境实验
    我使用的是Finalshell,不是Xshell,各位可以参考一下1.首先,开启虚拟机,等待连接成功,输入"start-all.sh"启动HDFS,Yarn,然后输入jps查看进程是否正常2.打开HDFSWeb界面,在本地......