• 2024-08-16Hadoop 中的大数据技术:调优篇(2)
    HDFS—存储优化纠删码纠删码原理概述HDFS默认情况下,一个文件有3个副本,这虽然提高了数据的可靠性,但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码机制,通过计算方法,可以节省大约50%的存储空间。纠删码操作命令[[email protected]]$hdfsecUsage:bin/hdfs
  • 2024-08-16Hadoop 中的大数据技术:调优篇(3)
    HDFS—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失,如何恢复NameNode?故障模拟终止NameNode进程[lzl@hadoop12current]$kill-919886删除NameNode存储的数据[[email protected]]$rm-rf/opt/module/hadoop-3.1.3/data/dfs/
  • 2024-08-12Hadoop 中的大数据技术:HDFS(1)
    Hadoop中的大数据技术:HDFS(1)大家好!在为您带来精彩的技术干货之前,先给您推荐一个我精心运营的公众号[大数据深度洞察]。在这里,您将获取更多独家的技术分享、实用案例以及行业前沿资讯。亲爱的读者们,当您准备开启这篇充满价值的技术文章之旅时,不妨先关注我的公众号[大数据深