首页 > 其他分享 >HDFS的垃圾回收机制

HDFS的垃圾回收机制

时间:2024-03-18 13:56:17浏览次数:21  
标签:HDFS 删除 文件 hadoop 回收 垃圾桶 垃圾

HDFS的垃圾回收机制

1. 垃圾桶机制解析

每一个文件系统都会有垃圾桶机制,便于将删除的数据回收到垃圾桶里面去,避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据,都可以进行恢复。

2. 垃圾桶机制配置

HDFS的垃圾回收的默认配置属性为0,也就是说,如果不小心误删除了某样东西,那么这个操作是不可恢复的

修改Hadoop包下 /etc/hadoop/core-site.xml 文件

cd /export/servers/hadoop-3.3.0/etc/hadoop
vim mapred-site.xml
  • 可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,例如1440 = 24h = 1天
  <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
   </property>
  • 注意:需要配置到集群的每个机器中,然后重启hdfs集群生效

3. 垃圾桶机制验证

如果启用垃圾箱配置,dfs命令删除的文件不会立即从HDFS中删除。相反,HDFS将其移动到垃圾目录(每个用户在/user//.Trash下都有自己的垃圾目录)。只要文件保留在垃圾箱中,文件可以快速恢复。

使用skipTrash选项删除文件,该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。

image-20240315214934293

  • 只是做了一个移动,并没有真正的删除(变成了一个隐藏文件)

  • 在node1 根目录下 /user/root/.Trash/目录下

# 恢复文件到根目录下
hadoop fs -cp /user/root/.Trash/Current/itcast.txt /

# 指定跳过垃圾桶,直接删除
hadoop fs -rm -skipTrash /itcast.txt

标签:HDFS,删除,文件,hadoop,回收,垃圾桶,垃圾
From: https://www.cnblogs.com/luoluoange/p/18080248

相关文章

  • HDFS 安全模式
    HDFS安全模式安全模式概述:安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求,是一种保护机制,用于保证集群中的数据块的安全性。在NameNode主节点启动时,HDFS首先进入安全模式,集群会开始检查数据块的完整性。DataNode在启动的......
  • HDFSDATANODE数据传输详解
    本文主要阐述datanode中一个socket连接接收字节流的构成,帮助datanode的接收与处理数据。注意hadoop版本为3.1.1。写在前面Datanode本质上也是TCPServer,一般的TCPServer接到客户端请求以后会分配一个线程处理,对于Datanode而言,这个线程可以叫做Op处理连接。每个OP连接会多次和客户......
  • 基于深度学习算法的垃圾分类图像识别研究
    概要  在科技发达、智能时代中,深度学习、机器学习以及人工智能成为了高频词。它们看似深不可测,但是又离不开我们的生活。深度学习和机器学习是一种技术、而人工智能一种是一种体现。使用深度学习和机器技术,使机器拥有人的某种大脑结构从而来实现人的某种行为,它不仅解决了......
  • Hadoop大数据应用:Linux 部署 HDFS 分布式集群
    目录  一、实验1.环境2.Linux部署HDFS分布式集群3.Linux使用 HDFS文件系统二、问题1.ssh-copy-id报错2.如何禁用sshkey检测3.HDFS有哪些配置文件4.hadoop查看版本报错5.启动集群报错6.hadoop的启动和停止命令7.上传文件报错8.HDFS使用命令  ......
  • Python的垃圾回收机制
    什么是垃圾回收机制垃圾回收(GarbageCollection)是一种自动内存管理机制,用于检测和释放不再被程序使用的内存资源,以避免内存泄漏和资源浪费。 在编程中,当对象被创建时,系统为其分配一块内存空间。但是,当对象不再被程序使用时,如果没有及时释放相关的内存空间,就会导致内存泄漏。垃......
  • HDFSRPC协议详解
    本文主要阐述HDFSRPCserver端一个socket连接接收字节流的构成,帮助读者理解HDFSRPC协议。注意hadoop版本为3.1.1。写在前面关于proto写入和读取,使用writeDelimitedTo和read,应该是通用的方式,不作过多的介绍。处理rpc各种情况以后server都会使用统一的应答格式(包含错误与正确),......
  • CMS垃圾收集器
     CMS概述CMS(ConcurrentMarkSweep)收集器是一种以获取最短回收停顿时间为目标的收集器。CMS收集器主要用于要求低延迟(即:提高响应速度)的互联网项目。设置CMS收集器参数:-XX:+UseConcMarkSweepGC。采用的是"标记-清除算法",整个过程分为4步(1)初始标记CMSinitialmark......
  • 七、hive、hdfs、hbase查询总结
    【hive】1.连接hive:hive2.hive中查询:同mysql,如select* fromtablename;  注意:hive中的操作一定要加分号;否则语句一直不结束 【hdfs】1.查询文件或目录hdfsdfs-ls目录名  如:hdfsdfs-ls/winhadoop/org/ipva_third_data/2024/03/07查看根目录hdfsdfs......
  • HDFS读数据流程、NN和2NN工作机制、DataNode工作机制、数据完整性
    HDFS读数据流程    事件描述:客户端要下载一个200m的数据文件,hdfs是如何读取的。   两个对象:一个客户端、一个集群   流程:       1.客户端创建一个分布式文件系统(DistributedFileSystem),向集群NameNode请求下载文件。       ......
  • CMS垃圾收集器
    CMSGC的英文名为:“MostlyConcurrentMarkandSweepGarbageCollector”(最大-并发-标记-清除-垃圾收集器)。作用范围:老年代算法:并发标记清除算法。启用参数:-XX:+UseConMarkSweepGC默认回收线程数:(处理器核心数量+3)/4Java9之后使用CMS垃圾收集器后,默认年轻代就为ParNew收......