首页 > 系统相关 >HDFS shell命令行常用操作

HDFS shell命令行常用操作

时间:2022-10-05 15:56:58浏览次数:45  
标签:HDFS fs 文件 hadoop shell shenzi 命令行 txt yuan

1.hadoop fs -mkdir [-p] <path> path为待创建的目录,如果没有一个父目录就加一个-p

例:hadoop fs -mkdir /yuan 创建一个shenzi的目录

2. hadoop fs -ls [-h] [-R] [path] path指定目录路径 -h人性化显示文件大小 -R递归查看指定目录及其子目录

3.hadoop fs -put [-f] [-p] <localsrc>…<dst> ,-f覆盖目标文件(已存在下),-p保留访问和修改时间,所有权和权限,localsrc本地文件系统(操作的那台机器),dst目标文件系统(HDFS)

例:hadoop fs -put shenzi.txt /yuan表示把shenzi这个文件上传到根目录下的yuan中,hadoop fs -put file:///etc/profile hdfs://node1:8020/yuan表示把etc下的profile文件上传到hdfs的指定目录下

4. hadoop fs -cat ... 读取指定文件全部内容,显示在标准输出控制台。注意:对于大文件内容读取,慎重,在之前的Linux命令中说过cat只适合查看小文件内容

例:hadoop fs -cat /yuan/shenzi 表示查看根目录下的yuan中的shenzi文件

5. hadoop fs -get [-f] [-p] <src>...<localdst> 下载文件到本地文件系统指定目录,localdst必须是目录 -f表示覆盖目标文件(已存在下)-p表示保留访问和修改时间,所有权和权限

例:hadoop fs -get /yuan/shenzi ./

6. hadoop fs -cp [-f] ... -f表示覆盖目标文件(已存在下)

例:hadoop fs -cp /small/1.txt /itcast表示把small下的1.txt复制到目录itcast下

7. hadoop fs -appendToFile ... 将所有给定本地文件的内容追加到给定dst文件,若不存在dst文件,则创建该文件

例:echo 1 >> 1.txt

echo 2 >> 2.txt

echo 3 >> 3.txt

hadoop fs -put 1.txt /上传1.txt

hadoop fs -cat /1.txt cat查看文件,内容为1

hadoop fs -appendToFile 2.txt 3.txt /1.txt,将2.txt和3.txt的内容追加到1.txt中

hadoop fs -cat /1.txt cat查看文件,内容为1 2 3(分为三行)

8. hadoop fs -mv ... 移动文件到指定文件夹下,可以使用该命令移动数据,重命名文件的名称

例:hadoop fs -mv /yuan/shenzi /yuan/jiangjun把yuan下的shenzi文件移动到yuan下的jiangjun

hadoop fs -mv hdfs://node1:8020/yuan/shenzi hdfs://node1:8020/yuan/jiangjun hdfs://node1:8020/xinhai表示把hdfs中目录yuan下名为shenzi,jiangjun的文件移动到xinhai文件夹

上面介绍的只是一些入门常用的命令,想进一步学习shell命令的话可以去下面的这个官方命令文档看看

HDFS shell命令官方指导文档:https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/FileSystemShell.html

标签:HDFS,fs,文件,hadoop,shell,shenzi,命令行,txt,yuan
From: https://www.cnblogs.com/feng-233/p/16755694.html

相关文章

  • 大数据常用shell命令一
    一、系统变量$HOME$USER$PWD$SHELL  二、自定义变量定义变量(a=2),变量名由数字、字母、下划线;1.1环境变量名建议用大写字母,JAVA_HOME1.2等号两侧不能有空格1.3变量默......
  • FinallShell 连接 centos7失败 各种问题
      百度翻了三个小时各种找方法解决,最后一招解决了n个问题,咳咳咳  把那个还原默认设置点了包治百病什么 Centos7,提示connectionrefused,什么 连接......
  • 反弹Shell小实验
    反弹Shell实验环境攻击机:kali(IP:192.168.40.132)目标机:CentOS(IP:192.168.40.135)实验步骤首先在攻击机监听一个随机端口:nc-lvp6767第二步在目标机输入命令:bash......
  • 07_音频录制01_命令行
    终于要开始进行FFmpeg实战了,一起来感受一下FFmpeg的强大吧。命令简介FFmpeg的bin目录中提供了3个命令(可执行程序),可以直接在命令行上使用。ffmpegffmpeg的主要作用:对......
  • 如何指定Hadoop命令行日志输出级别
    温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:​​https://github.com/fayson/cdhproject​​提示:代码块部分可......
  • shell脚本练习
    1、创建用户及密码touchuser#创建用户存放文件[root@bogonsh]#catuserxiaomingxiaowangwangwulisixiaoqiangvim​​user.sh​​#创建脚本#!/bin/bash#创建lin......
  • 0460-HDFS纠删码的机架感知
    温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:​​https://github.com/fayson/cdhproject​​提示:代码块部分可......
  • 0482-HDFS上一次检查点异常分析
    温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:​​https://github.com/fayson/cdhproject​​提示:代码块部分可......
  • 0464-如何离线分析HDFS的FsImage查找集群小文件
    温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:​​https://github.com/fayson/cdhproject​​提示:代码块部分可......
  • ES命令行
    RESTAPIsIndexmanagementCreateindexAPI创建新索引PUT/twittercurl-XPUT"localhost:9200/twitter?pretty"索引设置:创建的每个索引都可以有与之关联的特......