首页 > 其他分享 >hadoop垃圾回收

hadoop垃圾回收

时间:2024-01-23 11:55:06浏览次数:28  
标签:fs hadoop 回收 垃圾 atguigu trash 回收站 user

开启回收站之后,删除的文件会送进回收站,等待超时后再彻底删除,这样子方便恢复原数据,起到防止误删除、备份等作用。本质上是将文件放在特定目录存储,跟windows的回收站功能一样。

单位是min

参数说明:

1、默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间;

2、默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间,意思是多长时间去检查一次,准备删除文件。如果该值为0,则该值设置和fs.trash.interval的参数值相等;

3、要求fs.trash.checkpoint.interval <= fs.trash.interval

具体启用的话,是修改core-site.xml,配置垃圾回收时间是1分钟:

 

那回收站文件的路径在哪儿呢?

回收站目录在HDFS集群中的路径:/user/atguigu/.Trash/….

需要注意,通过网页上HDFS目录管理里删除的文件并不会走回收站。

通过程序删除的文件同样也不会走回收站,除非你在代码里显式调用了moveToTrash()

Trash trash = New Trash(conf);

trash.moveToTrash(path);

所以只有命令行里,通过hadoop fs -rm指令删除的文件,才会走回收站。且当你执行这个指令的时候,会有以下提示:

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /user/atguigu/input

2021-07-14 16:13:42,643 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop102:9820/user/atguigu/input' to trash at: hdfs://hadoop102:9820/user/atguigu/.Trash/Current/user/atguigu/input

 

那如何恢复回收站数据呢?

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /user/atguigu/.Trash/Current/user/atguigu/input /user/atguigu/input

 

标签:fs,hadoop,回收,垃圾,atguigu,trash,回收站,user
From: https://www.cnblogs.com/chong-zuo3322/p/17982014

相关文章

  • 【开源】基于JAVA的生活废品回收系统
    一、摘要1.1项目介绍生活废品回收系统是可持续发展的解决方案,旨在鼓励人们分离和回收生活垃圾,减少环境污染和资源浪费,生活废品回收系统涵盖了城市居民的日常生活,包括收集、分类、处理和收集废物的完整过程。本文提出了一种基于Vue技术的生活废品回收系统,该系统可以通过垃圾的收集......
  • 旧物回收小程序开发:开启环保新篇章
    随着社会的发展,环保问题日益受到人们的关注。旧物回收作为环保行动的重要一环,具有重大的意义。而随着移动互联网的普及,小程序成为了一种新的应用形态,为旧物回收提供了新的解决方案。本文将探讨旧物回收小程序开发的意义、功能设计以及未来展望。一、旧物回收小程序开发的意义推动环......
  • 实验 3 Spark 和 Hadoop 的安装
    (1)启动Hadoop,在HDFS中创建用户目录“/user/hadoop”;  (2)在Linux系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt,并在该文件中随便输入一些内容,然后上传到HDFS的“/user/hadoop”目录下;  (3)把HDFS中“/user/hadoop”目录下的test.txt......
  • 赛博垃圾桶 【发疯记录】
    2024.1.21线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建图线段树建......
  • wpf 内存减少使用 GC回收
    代码App.xaml.csprotectedoverridevoidOnStartup(StartupEventArgse){//新增内存回收this.MemoryHelper();} privatevoidMemoryHelper(intsecond=30){Threadt=newThread(()=>{while(......
  • Hive报错:Call From hadoop01/172.23.238.2 to hadoop01:10020 failed on connection e
    问题描述在阿里云服务器上安装的Hadoop和Hive,刚开始关闭了防火墙。但是由于服务器被被黑客安装挖矿程序,所以开启了防火墙。但是即使开启了所有可能的端口,但是在向Hive中插入数据时,依然报错提示:CallFromhadoop01/172.23.238.2tohadoop01:10020failedonconnectionexception......
  • 可回收箱控制主板升级助推生活垃圾数据化、资源化
    随着居民生活水平的提高,每年有大量的塑料、玻璃、饮料瓶、电子产品、废纸、金属、衣物等废弃物没有被回收处理,制约了经济的可持续发展,资源的回收再利用是经济良性循环的重要手段,是打造环保生态链的关键。沐渥可回收箱控制板自带高精度称重计量,支持两种方式通讯、双电机驱动带电流......
  • hadoop完全分布式安装部署
    简介Hadoop的完全分布式模式是在多台机器上运行Hadoop集群,实现更高的性能和可伸缩性。以下是Hadoop完全分布式模式的简要安装部署。环境准备确保你的环境满足以下要求:•操作系统:CentOS•Java:安装Java8或更高版本•SSH:确保所有节点之间可以通过SSH互相通信安装部署JDK......
  • Hadoop组件架构
    一、HDFS1.HDFS架构HDFS是一个主/从(Master/Slave)体系结构,由三部分组成:NameNode和DataNode以及SecondaryNamenode:NameNode负责管理整个文件系统的元数据,比如文件名、文件目录结构、文件属性(生成时间、block副本数、权限)、block大小以及组成文件的block信息。DataNode负责文件......
  • Hadoop集群搭建
    Hadoop集群搭建1、服务器配置服务器名称配置master2C2Gslave12C2Gslave21C2G1.1修改主机名#Centos永久修改主机名命令hostnamectlset-hostnamemaster1.2主机映射vim/etc/hosts#需要设置的服务器:ip为内网,其他服务器:ip为外网172.16.0.3mas......