首页 > 其他分享 >hdfs开启回收站(废纸篓)

hdfs开启回收站(废纸篓)

时间:2023-05-25 20:31:54浏览次数:44  
标签:hdfs hadoopdeploy fs 22 hadoop01 sbin dfs 纸篓 回收站

1、背景

我们知道,在mac系统上删除文件,一般情况下是可以进入 废纸篓里的,如果此时我们误删除了,还可以从 废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢?答案是存在的。

废纸篓

2、开启hdfs trash功能

  • 当我们启用 Trash 功能后,从HDFS中删除某些内容时, 文件或目录不会立即被清除,而是会被移动到回收站目录中(/user/${username}/.Trash/current)。

小知识点:Trash 中还存在一个检查点,目录路径大概为/user/${username}/.Trash/current/{检查点创建的时间戳}检查点用于存储该检查点创建之前删除的所有文件或目录。

2.1 core-site 配置

修改 core-site.xml文件

<!-- 文件垃圾桶保存时间,单位秒 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>
<!-- 前后2次检查点创建的时间间隔,单位分钟,该值需要<=fs.trash.interval的值,新的检查点被创建后,旧的检查点就会被系统删除  -->
<property>
    <name>fs.trash.checkpoint.interval</name>
    <value>1440</value>
</property>

每个节点的 core-site.xml文件都需要修改。

2.2 启动hdfs

[hadoopdeploy@hadoop01 sbin]$ start-dfs.sh
Starting namenodes on [hadoop01]
Starting datanodes
Starting secondary namenodes [hadoop03]
[hadoopdeploy@hadoop01 sbin]$

2.3 删除操作-进入.Trash目录

[hadoopdeploy@hadoop01 sbin]$ hadoop fs -ls /
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -put start-dfs.sh /start-dfs.sh
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -ls /
Found 1 items
-rw-r--r--   2 hadoopdeploy supergroup       5170 2023-05-22 22:36 /start-dfs.sh
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -rm /start-dfs.sh
2023-05-22 22:36:42,612 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop01:8020/start-dfs.sh' to trash at: hdfs://hadoop01:8020/user/hadoopdeploy/.Trash/Current/start-dfs.sh
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -ls /
Found 1 items
drwx------   - hadoopdeploy supergroup          0 2023-05-22 22:36 /user
[hadoopdeploy@hadoop01 sbin]$

删除操作-进入.Trash目录

2.4 直接删除-不进入.Trash目录

[hadoopdeploy@hadoop01 sbin]$ hadoop fs -ls /
Found 1 items
drwx------   - hadoopdeploy supergroup          0 2023-05-22 22:36 /user
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -put start-dfs.sh /start-dfs.sh
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -ls /
Found 2 items
-rw-r--r--   2 hadoopdeploy supergroup       5170 2023-05-22 22:41 /start-dfs.sh
drwx------   - hadoopdeploy supergroup          0 2023-05-22 22:36 /user
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -rm -skipTrash /start-dfs.sh
Deleted /start-dfs.sh
[hadoopdeploy@hadoop01 sbin]$ hadoop fs -ls /
Found 1 items
drwx------   - hadoopdeploy supergroup          0 2023-05-22 22:36 /user
[hadoopdeploy@hadoop01 sbin]$

直接删除-不进入.Trash目录

标签:hdfs,hadoopdeploy,fs,22,hadoop01,sbin,dfs,纸篓,回收站
From: https://blog.51cto.com/u_10535186/6351035

相关文章

  • hdfs开启回收站(废纸篓)
    1、背景我们知道,在mac系统上删除文件,一般情况下是可以进入废纸篓里的,如果此时我们误删除了,还可以从废纸篓中恢复过来。那么在hdfs中是否存在类似mac上的废纸篓这个功能呢?答案是存在的。2、开启hdfstrash功能当我们启用Trash功能后,从HDFS中删除某些内容时,文件或目录不会......
  • HDFS的block为什么是128M?增大或减小有什么影响?
    1、首先先来了解几个概念寻址时间:HDFS中找到目标文件block块所花费的时间。原理:文件块越大,寻址时间越短,但磁盘传输时间越长;文件块越小,寻址时间越长,但磁盘传输时间越短。2、为什么block不能设置过大,也不能设置过小如果块设置过大,如果块设置的太大,从磁盘传输数据的时间会明显大于定位......
  • HDFS文件因Hadoop版本原因导致append操作失败的问题
    问题重现:2023.05.24练习B站尚硅谷Hadoop3里的HDFS的Shell操作(append)[[email protected]]$hadoopfs-appendToFileliubei.txt/sa点击查看代码[[email protected]]$hadoopfs-appendToFileliubei.txt/sa2023-05-2420:30:37,303WARNhdfs.......
  • HDFS学习进阶
    一、HDFS元数据管理HDFS是一个分布式文件存储系统,文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息(metadata)由NameNode节点来处理。随着存储文件的增多,NameNode上存储的信息也会越来越多。在HDFS中主要是通过两个组件FSImage(快照文件,......
  • HDFS学习基础
    一、HDFS基础知识HDFS 是 HadoopDistributeFileSystem 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广......
  • HDFS架构与原理浅析
    当需要存储的数据集的大小超过了一台独立的物理计算机的存储能力时,就需要对数据进行分区并存储到若干台计算机上去。管理网络中跨多台计算机存储的文件系统统称为分布式文件系统(distributedfileSystem)。分布式文件系统由于其跨计算机的特性,所以依赖于网络的传输,势必会比普通的本......
  • 电脑文件删除时如何不显示“是否放入回收站”的二次确认窗口?
      本文介绍Windows电脑删除文件时,开启或取消显示确认删除这一提示弹窗的方法。  在Windows电脑中,我们删除任何一个文件时,无论是用鼠标右键选择“删除”选项,还是用快捷键Ctrl与D,默认情况下都会有一个名为“删除文件”的提示框,询问你是否确认要将该文件放入回收站。  在部分......
  • Linux防止误删文件rm命令删除文件到回收站
    全局配置:/etc/profile当前用户:~/.bashrc 一、配置:方式一:1.建立一个存放rm后的目录: sudomkdir/Recycle_Bin注意:目录名、目录路径都可以随意,就是注意目录所在磁盘的空间即可 2.根据需要全局配置或局部配置 里,添加rm 删除文件到回收站aliasrm='mv......
  • 4、HDFS-java操作类HDFSUtil及junit测试(HDFS的常见操作以及HA环境的配置)
    目录Hadoop系列文章目录一、pom.xml二、junit测试类三、操作类(帮助类)四、高可用环境的操作类本文编写了java对HDFS的常见操作,并且均测试通过。其功能包含构造conf、设置系统环境变量、创建目录、判断文件是否存在、获取文件/目录的大小等,具体见下图。本文分为四部分,即pom.xml、ju......
  • 12、HDFS Trash垃圾桶回收介绍与示例
    文章目录Hadoop系列文章目录一、介绍二、HDFSTrash功能开启1、关闭HDFS集群2、修改core-site.xml文件3、同步集群配置文件4、启动HDFS集群三、HDFSTrash功能验证1、删除文件并验证2、不进回收站的删除3、从Trash中恢复文件4、清空Trash本文主要介绍HDFSTrash垃圾桶回收。前提......