1、纠删码存储技术
CDH6主要集成打包了Hadoop3,包括Hadoop3的一些新特性的官方支持,比如纠删码等。纠删码可以将HDFS的存储开销降低约50%,同时与三份副本策略一样,还可以保证数据的可用性。
副本方式:
默认情况下,HDFS的数据块都会保存三个副本。副本方式是一种容忍磁盘故障简单而有效的方法,但代价是额外的存储开销。
例如,对于较少访问的数据集,它们的第二个或者第三个副本会比较少访问,但是仍会消耗相同的存储空间。
纠删码:
纠删码是一种数据保护技术,通过在原始数据中加入新的校验数据,使得各个部分的数据产生关联性。在一定范围的数据出错情况下,通过纠删码技术都可以进行恢复。
它使用更少的存储却可以保证相同级别的容错,在典型配置下,与三副本方式相比,EC可以将存储成本降低约50%。
2、CDH6.0集成纠删码
https://blog.csdn.net/Hadoop_SC/article/details/84592482