首页 > 其他分享 >hdfs基本命令

hdfs基本命令

时间:2024-02-26 20:33:20浏览次数:25  
标签:基本 hdfs fs 查看 文件 hadoop 修改 命令 目录

  1. 创建目录

    hadoop fs –mkdir [-p] <path>
    
  2. 查看目录下的内容

    hadoop fs –ls [-h] [-R] [<path>]
    -h  人性化显示文件大小
    -R 递归查看指定目录及子目录
    
    
  3. 上传文件

    hadoop fs –put [-f] [-p] <localsrc> <dst>
    -f   覆盖目标文件(若文件已存在)
    -p   保留访问和修改时间、所有权和权限
    localsrc   本地文件系统
    dst   目标文件系统
    
    
  4. 下载文件

    hadoop fs –get [-f] [-p] <src> <localdst>
    -f   覆盖目标文件(目标文件存在)
    -p   保留访问和修改时间、所有权和权限
    
  5. 上传并删除文件

    hadoop fs –moveFromLocal <localsrc> <dst>
    
    
  6. 下载并且删除

    hadoop fs –moveToLocal <localsrc> <dst>
    
  7. 从本地拷贝文件

    hadoop fs -copyFromLocal <localsrc> <dst>
    
    
  8. 拷贝文件到本地

    hadoop fs –copyToLocal <path> <localdst>
    
    
  9. 合并下载文件

    hadoop fs –getmerge [-nl] [-skip-empty-file] <src> <localdst>
    -nl   每个文件末尾添加换行符
    -skip-empty-file   跳过空白文件
    
    
  10. 拷贝文件

    hadoop fs –cp [-f] <src> <dst>
    -f   覆盖目标文件(文件存在的情况下)
    
    
  11. 追加数据到文件中

    hadoop fs –appendToFile <localsrc> <dst>
    localsrc  本地文件,如果为”-”,则输入从标准输入中读取
    dst 目标文件不存在则创建
    
  12. 查看文件内容

    hadoop fs –cat <src>
    
    
  13. 查看文件开头内容

    hadoop fs –head <src>
    
    
  14. 查看文件末尾内容

    hadoop fs –tail [-f] <src>
    -f   动态显示文件中追加的内容
    
    
  15. 查看磁盘空间

    hadoop fs –df [-h] [<path>]
    
    
  16. 查看文件使用的空间

    hadoop fs –du [-s] [-h] <path>
    -s   显示指定路径文件长度的汇总摘要而不是单个文件的摘要
    -h   人性化显示文件大小
    
    
  17. 修改文件副本个数

    hadoop fs –setrep [-R] [-w] <rep> <path>
    -R 表示递归修改文件夹及其子目录所有
    -w 客户端是否等待副本修改完毕
    
    
  18. 查看校验码信息

    hadoop fs –checksum <path>
    
    
  19. 显示路径下的目录、文件和字节数

    hadoop fs -count [-q] [-h] [-v] <paths>
    -q   控制显示的列
    -v   显示标题行
    
    
  20. 查找目录文件

    hadoop fs –find <path> <expression>
    expression说明:
    -name pattern   查找的文件名
    -iname pattern  忽略大小写查找文件名
    -print    打印(默认值)
    -print0   打印在一行
    
    
  21. 删除文件

    hadoop fs –rm [-f] [-R|-r][-skipTrash] <path>
    -f   如果文件不存在,-f选项将不会显示诊断消息或修改退出状态以反映错误
    -R   选项递归地删除目录及其下的任何内容
    -skipTrash  选项将绕过垃圾箱(如果启用),并立即删除指定的文件
    
    
  22. 移动文件

    hadoop fs –mv <src> <dst>
    
    

标签:基本,hdfs,fs,查看,文件,hadoop,修改,命令,目录
From: https://www.cnblogs.com/cxygg/p/18035126

相关文章

  • GRE基本原理
    GRE概述如图所示,通过在IPv4网络上建立GRE隧道,解决了两个IPv6网络的通信问题。GRE还具备封装组播报文的能力。由于动态路由协议中会使用组播报文,因此更多时候GRE会在需要传递组播路由数据的场景中被用到,这也是GRE被称为通用路由封装协议的原因。如图所示,乘客协议为IPv6,封装协......
  • k8s Rollout命令
    k8s支持deployment的回滚Deployment是一种声明式的定义形式Replicaset是最直接管理Pod的资源形式通过yaml文件定义一个deployment会生成一个replicaset控制器,RS控制器会根据模板来创建PodDeployment相较于RS支持回滚和滚动升级#ReplicaSet是kubernetes中的一种副本控制器......
  • Git基本使用
    Git基本使用Git简介Git是什么Git是一个开源的分布式版本控制系统。Git和其它版本控制系统(包括Subversion和近似工具)的主要差别在于Git对待数据的方式。从概念上来说,其它大部分系统以文件变更列表的方式存储信息,而Git是把数据看作是对小型文件系统的一系列快照。什......
  • Redis扩展数据类型&命令
    StreamRedisStream是Redis5.0版本引入的一种新的数据类型,它是一个持久化的、可查询的、可扩展的消息队列服务。Stream类型的数据结构类似于一个日志系统,数据被添加到Stream的末尾,并且每个数据都会被分配一个唯一的序列号,这个序列号是按照时间顺序递增的。主体队列:Stre......
  • .NET高级调试之sos命令输出看不懂怎么办
    一:背景1.讲故事很多.NET开发者在学习高级调试的时候,使用sos的命令输出会发现这里也看不懂那里也看不懂,比如截图中的这位朋友。.NET高级调试属于一个偏冷门的领域,国内可观测的资料比较少,所以很多东西需要你自己去探究源代码,然后用各种调试工具去验证,相关源代码如下:coreclr:......
  • makecab命令工具 无损数据压缩工具
    CabinetMaker-无损数据压缩工具MAKECAB[/V[n]][/D变量=值...][/L目录]源文件[目标文件]MAKECAB[/V[n]][/D变量=值...]/F指令文件[...]源文件要压缩的文件。目标文件压缩后的文件名。如果省略,将用下划线(_)替换源文件名的最后一个字符作为目标文件名。......
  • 3-8. 蜜蜂 - 基本的移动逻辑和动画
    动画切割图片,制作动画,注意:锚点在中心点注意:beeFly和beeChase使用相同的动画,但是速度不一样代码Enemy因为蜜蜂的行动方式与野猪、蜗牛都不一样,它是在空中飞的,所以它检测玩家和移动的方式都是不一样的,所以我们需要对Enemy中FoundPlayer、OnDrawGizmosSelected、Mov......
  • PowerShell 中,你可以使用一些命令来处理映像文件,包括挂载、捕捉、卸载、格式转换和编
    PowerShell中,你可以使用一些命令来处理映像文件,包括挂载、捕捉、卸载、格式转换和编辑映像。以下是一些常用的命令:挂载映像(MountImage):powershellCopyCodeMount-WindowsImage-ImagePath"C:\Path\To\Image.wim"-Path"C:\Mount\Directory"-Index1捕捉映像(CaptureIm......
  • 关于 ‘--exec’ 参数( find 命令)及介绍 ‘xargs ’命令区别
    findgoal.log.*.gz-mtime+2-execrm-rf{}\;findgoal.log.*.gz-mtime+3|xargsrm-f前言:find命令一直都是系统管理员的常用命令之一,其参数中“-exec”尤其实用。而“xargs”命令,针对查询也有属于自己的见解。本文着重讲解的是围绕find命令查询为主线,使用-exe......
  • powershell 电源管理命令
    PowerShell中,你可以使用以下命令来管理电源设置:Get-Command-ModulePowerManagement:查看可用的电源管理命令。Get-CimInstance-Namespaceroot\cimv2\power-ClassNameWin32_PowerPlan:获取当前系统中的电源计划信息。Get-CimInstance-Namespaceroot\cimv2\powe......