首页 > 系统相关 >HDFS shell命令行常用操作

HDFS shell命令行常用操作

时间:2022-08-17 11:47:42浏览次数:48  
标签:HDFS fs wjb hadoop shell 命令行 txt root

1、创建文件夹

hadoop fs -mkdir [-p] ...

path 为待创建的目录 -p选项的行为与Unix mkdir -p非常相似,它会沿着路径创建父目录。

hadoop fs -mkdir -p /wjb/itcast

 

2、查看指定目录下内容

hadoop fs -ls [-h] [-R] [ ...]

path 指定目录路径

-h 人性化显示文件

size -R 递归查看指定目录及其子目录

[root@node1 ~]# hadoop fs -ls -h -R /wjb
执行结果:   drwxr-xr-x   - root supergroup    0 2022-08-17 10:59 /wjb/itcast

 

3、上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] ...

-f 覆盖目标文件(已存在下)

-p 保留访问和修改时间,所有权和权限。

localsrc 本地文件系统(客户端所在机器)

dst 目标文件系统(HDFS)

 

hadoop fs -put file:///root/1.txt hdfs://node1:8020/wjb

 

4、查看HDFS文件内容

hadoop fs -cat ...

读取指定文件全部内容,显示在标准输出控制台。

注意:对于大文件内容读取,慎重。

[root@node1 ~]# hadoop fs -cat /wjb/1.txt
hello hadoop!

 [root@node1 ~]# hadoop fs -tail /wjb/1.txt
 hello hadoop!

两种都可以

 

5、下载HDFS文件

hadoop fs -get [-f] [-p] ...

下载文件到本地文件系统指定目录,localdst必须是目录

-f 覆盖目标文件(已存在下)

-p 保留访问和修改时间,所有权和权限。

 

[root@node2 ~]# hadoop fs -get hdfs://node1:8020/wjb/1.txt file:///root/
[root@node2 ~]# ll
总用量 8
-rw-r--r--  1 root root   14 8月  17 11:15 1.txt
-rw-------. 1 root root 1340 9月  11 2020 anaconda-ks.cfg

 

6、拷贝HDFS文件

hadoop fs -cp [-f] ...

-f 覆盖目标文件(已存在下)

 

7、追加数据到HDFS文件中

hadoop fs -appendToFile ...

将所有给定本地文件的内容追加到给定dst文件。 dst如果文件不存在,将创建该文件。 如果为-,则输入为从标准输入中读取。

 [root@node2 ~]# echo Hello > 1.txt
 [root@node2 ~]# echo Hadoop > 2.txt
 [root@node2 ~]# echo ! > 3.txt
 [root@node2 ~]# hadoop fs -put 1.txt /wjb
 [root@node2 ~]# hadoop fs -appendToFile 2.txt 3.txt /wjb/1.txt
 [root@node2 ~]# hadoop fs -cat /wjb/1.txt
 Hello
 Hadoop
 !

 

标签:HDFS,fs,wjb,hadoop,shell,命令行,txt,root
From: https://www.cnblogs.com/wjingbo/p/16594528.html

相关文章

  • shell中系统任务设置
    shell中系统任务设置1、系统启动流程启动计算机的硬件(BIOS)读取时间选择对应的启动模式(USBHDDEFI)如果是Linux系统,回去找/boot目录.引导这个系统启动计算机系统......
  • 【环境配置】| vscode中命令行运行如何设置默认环境、切换环境?
    1转到setting.json使用快捷键CTRL+SHIFT+P从调出的窗口中输入'python',选择解释器(Interpreter)2查看当前环境3选择目标环境4测试......
  • 命令行翻译工具trans同名劫持外部包装器Shell脚本,自动判断需要中翻英或英翻中,并自动朗
    注:以下脚本逻辑依赖于开源软件translate-shell,请先按照官方说明安装trans到本地目录,并修改以下脚本中的路径为trans的实际的绝对路径。官方软件包:https://github.com/soi......
  • 【鸟哥 Linux 10.4】Linux Bash Shell 操作环境(包含通配符相关内容)
    【鸟哥Linux10.4】LinuxBashShell操作环境(包含通配符相关内容)Linux命令的路径搜寻顺序当我们在linux终端输入一行命令,系统是怎么直到我们要执行的是什么呢?其实系......
  • 【转】shell中各种括号的作用
    原文链接:https://blog.csdn.net/taiyang1987912/article/details/39551385一、小括号,圆括号()1、单小括号()①命令组。括号中的命令将会新开一个子shell顺序执行,所以括......
  • 使用Xshell连接阿里云无法输入password
    首先打开云服务器点击远程连接用vcn的连接方式去修改sshd的配置文件命令为:vi/etc/ssh/sshd_config按照官方给的错误提示进入编辑后发现参数没有问题于是乎我重......
  • shell脚本echo打印错位
    问题描述在脚本中使用curl命令请求Jenkins的API获取job的编号,随后将编号和其他字符串拼接后,使用echo命令打印出来,但打印后字符串错位了。脚本大致如下:num=`curlAPI_URL......
  • shell脚本
    ####@Title:to_omp_quota_config##@Kind:shell####@Author:####@Tips:ThisisaUNCHOSENTEMPLATE##ANDyoucouldwritedownyourcodebelowc......
  • shell特殊字符
    ;分号连续运行命令#ifdowneth0;ifupeth0 |管道正则表达式中表示或者#echo"ooooee"|egrep'(oo|ee)'{2}表示匹配oooo或者eeee的字符前面命令的标......
  • shell 正则匹配
    if[["abcyyy13554221547HelloxxxWorld"=~yyy([0-9]{11})(Hello)xxx(.*)]]thenechoTheregexmatches!echo$BASH_REMATCHec......