首页 > 其他分享 >hdfs 快照同步

hdfs 快照同步

时间:2022-11-17 10:35:32浏览次数:53  
标签:hdfs 同步 快照 hadoop Ddfs source dir

生成快照目录
hadoop dfsadmin -allowSnapshot hdfs_dir
创建快照
hadoop dfs -createSnapshot hdfs_dir snapshot_name
source_hdfs与target_hdfs 都要建快照
对比两端快照后将源端同步给目的端
hadoop distcp -Ddfs.client.use.datanode.hostname=true -Ddfs.replication=1 -update -diff snapshot1 snapshot2 source_hdfs_dir target_hdfs_dir

标签:hdfs,同步,快照,hadoop,Ddfs,source,dir
From: https://www.cnblogs.com/afra17/p/16898567.html

相关文章

  • SpringClouldAlibaba 之 Sentinel流控规则同步到nacos(并重新生成镜像)
    前言上一篇我们将流控规则配置到了nacos让服务启动时拉取流控规则从而实现持久化但是是有一个缺陷的,毕竟在nacos中维护这个流控规则不太友好,毕竟sentinel为我们提供了可视......
  • fork的仓库同步源仓库
    概述github、gitee中,fork后的仓库不会自动同步源仓库。可以通过设置远程同步源的方式来拉取源仓库代码。查看远程仓库gitremote-v设置upstream上游仓库设置源仓库......
  • C#多线程(二)同步基础篇
    C#多线程(二)同步基础篇 回顾上节:我们对多线程已经有了基础的认知,知道其工作原理和一些基本维护操作,并且引出了线程安全的概念。这一篇我们要讲的主题--同步,是解决线程......
  • KVM 虚拟机 创建快照
     KVM 快照的定义:快照就是将虚机在某一个时间点上的磁盘、内存和设备状态保存一下,以备将来之用 KVM的快照功能和VMware一样,可以实现热备和回滚的功能,在进行快照之前需要确......
  • AD 域控同步相关命令
    1、同步所有域控repadmin/syncall2、查看当前域同步状态repadmin/showrepl*3、查看指定DC的同步状态repadmin/showreplDC43、域控中 DNS测试DCDiag/test:dns4、显示......
  • python操作hdfs
    安装安装hadoop关于hadoop的安装配置会在另一篇文章中介绍,这里只介绍python的hdfs库的安装.安装hdfs库所有python的三方模块均采用pip来安装.pipinstallhdfshdfs......
  • C++ folly库解读(三)Synchronized —— 比std::lock_guard/std::unique_lock更易用、功
    目录传统同步方案的缺点folly/Synchronized.h简单使用Synchronized的模板参数withLock()/withRLock()/withWLock()——更易用的加锁方式升级锁ulock()和withULo......
  • 从博客园与51CTO同步文章的说明?
    1.收到51CTO博客的邀请,只需要同步文章即可多个平台发布自己的文章,希望帮助更多的人,我把操作过程分享给大家,时间查收的可能晚了一点,但是回复了。下面是我加了一下小姐姐的......
  • js闭包问题、js事件循环机制、async与defer、同步与异步模式
    js闭包问题定义:闭包就是有权访问其他函数作用域内的其他变量的函数。实现机制:在访问变量的函数中return一个匿名函数,这时匿名函数的作用域链将指向该函数的作用域。!!!由于......
  • 时钟同步一键设置脚本
    大规模linux集群的运维工作很是繁杂,各类设置非常的多,如ntp时间同步的设置,需要再多节点上操作,容易遗漏。经过几天的辛勤劳动,编写出了一个自动设置的脚本,执行以下命令,就可以......