HDFS的垃圾回收机制
1. 垃圾桶机制解析
每一个文件系统都会有垃圾桶机制,便于将删除的数据回收到垃圾桶里面去,避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据,都可以进行恢复。
2. 垃圾桶机制配置
HDFS的垃圾回收的默认配置属性为0,也就是说,如果不小心误删除了某样东西,那么这个操作是不可恢复的
修改Hadoop包下 /etc/hadoop/core-site.xml 文件
cd /export/servers/hadoop-3.3.0/etc/hadoop vim mapred-site.xml
- 可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,例如1440 = 24h = 1天
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
- 注意:需要配置到集群的每个机器中,然后重启hdfs集群生效
3. 垃圾桶机制验证
如果启用垃圾箱配置,dfs命令删除的文件不会立即从HDFS中删除。相反,HDFS将其移动到垃圾目录(每个用户在/user/
使用skipTrash选项删除文件,该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。
-
只是做了一个移动,并没有真正的删除(变成了一个隐藏文件)
-
在node1 根目录下 /user/root/.Trash/目录下
# 恢复文件到根目录下
hadoop fs -cp /user/root/.Trash/Current/itcast.txt /
# 指定跳过垃圾桶,直接删除
hadoop fs -rm -skipTrash /itcast.txt
标签:HDFS,删除,文件,hadoop,回收,垃圾桶,垃圾
From: https://www.cnblogs.com/luoluoange/p/18080248