• 2024-08-16Hadoop 中的大数据技术:调优篇(2)
    HDFS—存储优化纠删码纠删码原理概述HDFS默认情况下,一个文件有3个副本,这虽然提高了数据的可靠性,但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码机制,通过计算方法,可以节省大约50%的存储空间。纠删码操作命令[[email protected]]$hdfsecUsage:bin/hdfs
  • 2024-08-16Hadoop 中的大数据技术:调优篇(3)
    HDFS—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失,如何恢复NameNode?故障模拟终止NameNode进程[lzl@hadoop12current]$kill-919886删除NameNode存储的数据[[email protected]]$rm-rf/opt/module/hadoop-3.1.3/data/dfs/