网站首页
编程语言
数据库
系统相关
其他分享
编程问答
调优篇
2024-08-16
Hadoop 中的大数据技术:调优篇(2)
HDFS—存储优化纠删码纠删码原理概述HDFS默认情况下,一个文件有3个副本,这虽然提高了数据的可靠性,但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码机制,通过计算方法,可以节省大约50%的存储空间。纠删码操作命令[
[email protected]
]$hdfsecUsage:bin/hdfs
2024-08-16
Hadoop 中的大数据技术:调优篇(3)
HDFS—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失,如何恢复NameNode?故障模拟终止NameNode进程[lzl@hadoop12current]$kill-919886删除NameNode存储的数据[
[email protected]
]$rm-rf/opt/module/hadoop-3.1.3/data/dfs/