首页 > 其他分享 >HDFS操作方法

HDFS操作方法

时间:2022-11-20 20:58:36浏览次数:45  
标签:HDFS hdfs 操作方法 hadoop dfs input 目录

利用Shell命令与HDFS进行交互

Hadoop支持很多Shell命令,其中fs是HDFS最常用的命令,利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。

下文示例命令是以"./bin/hadoop dfs"开头的Shell命令方式,实际上有三种shell命令方式。

  1. hadoop fs
  2. hadoop dfs
  3. hdfs dfs

hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统
hadoop dfs只能适用于HDFS文件系统
hdfs dfshadoop dfs的命令作用一样,也只能适用于HDFS文件系统

查看命令使用方法

启动Hadoop后可以在终端输入如下命令,查看hdfs dfs,总共支持哪些操作。

 cd /usr/local/hadoop/      # 进入hadoop安装目录
./bin/hdfs dfs

上述命令执行后,会显示类似如下的结果(这里直接去了部分命令)

img

hdfs dfs命令的统一格式是类似hdfs dfs -ls这种形式,即在-后面跟上具体的操作。
查看某个命令的作用,例如,当需要查询put命令的具体用法时,可以采用如下命令:
./bin/hdfs dfs -help put
输出如下:

img

HDFS目录&文件操作

目录操作

需要注意的是,Hadoop系统安装好以后,第一次使用HDFS时,需要首先在HDFS中创建用户目录。本教程全部采用hadoop用户登录Linux系统,因此,需要在HDFS中为hadoop用户创建一个用户目录,命令如下:

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop

该命令中表示在HDFS中创建一个“/user/hadoop”目录,“–mkdir”是创建目录的操作,“-p”表示如果是多级目录,则父目录和子目录一起创建,这里“/user/hadoop”就是一个多级目录,因此必须使用参数“-p”,否则会出错。“/user/hadoop”目录就成为hadoop用户对应的用户目录。
可以使用如下命令显示HDFS中与当前用户hadoop对应的用户目录下的内容:
./bin/hdfs dfs -ls .
该命令中,“-ls”表示列出HDFS某个目录下的所有内容,“.”表示HDFS中的当前用户目录,也就是“/user/hadoop”目录,因此,上面的命令和下面的命令是等价的:
./bin/hdfs dfs -ls /user/hadoop
如果要列出HDFS上的所有目录,可以使用如下命令:
./bin/hdfs dfs -ls
下面,可以使用如下命令创建一个input目录:
./bin/hdfs dfs -mkdir input
在创建个input目录时,采用了相对路径形式,实际上,这个input目录创建成功以后,它在HDFS中的完整路径是“/user/hadoop/input”。如果要在HDFS的根目录下创建一个名称为input的目录,则需要使用如下命令:
./bin/hdfs dfs -mkdir /input
可以使用rm命令删除一个目录,比如,可以使用如下命令删除刚才在HDFS中创建的“/input”目录(不是“/user/hadoop/input”目录):
./bin/hdfs dfs -rm -r /input
上面命令中,“-r”参数表示如果删除“/input”目录及其子目录下的所有内容,如果要删除的一个目录包含了子目录,则必须使用“-r”参数,否则会执行失败。
hdfs dfs后面的参数基本和linux系统相关命令一致,所以如果有linux基础很好上手

文件操作

在实际应用中,经常需要从本地文件系统向HDFS中上传文件,或者把HDFS中的文件下载到本地文件系统中。
首先,使用vim编辑器,在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件myLocalFile.txt,里面可以随意输入一些单词,比如,输入如下三行:

Hadoop
Spark
XMU DBLAB

然后,可以使用如下命令把本地文件系统的“/home/hadoop/myLocalFile.txt”上传到HDFS中的当前用户目录的input目录下,也就是上传到HDFS的“/user/hadoop/input/”目录下:
./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt input
可以使用ls命令查看一下文件是否成功上传到HDFS中,具体如下:
./bin/hdfs dfs -ls input
该命令执行后会显示类似如下的信息:

Found 1 items   
-rw-r--r--   1 hadoop supergroup         36 2017-01-02 23:55 input/ myLocalFile.txt

下面使用如下命令查看HDFS中的myLocalFile.txt这个文件的内容:
./bin/hdfs dfs –cat input/myLocalFile.txt
下面把HDFS中的myLocalFile.txt文件下载到本地文件系统中的“/home/hadoop/下载/”这个目录下,命令如下:
./bin/hdfs dfs -get input/myLocalFile.txt /home/hadoop/
可以使用如下命令,到本地文件系统查看下载下来的文件myLocalFile.txt:

cd ~
ls
cat myLocalFile.txt

最后,了解一下如何把文件从HDFS中的一个目录拷贝到HDFS中的另外一个目录。比如,如果要把HDFS的“/user/hadoop/input/myLocalFile.txt”文件,拷贝到HDFS的另外一个目录“/input”中(注意,这个input目录位于HDFS根目录下),可以使用如下命令:
./bin/hdfs dfs -cp input/myLocalFile.txt /input

利用Web界面管理HDFS

浏览器访问Hadoop Master节点ip:50070,上面的端口取决于你配置文件/usr/local/hadoop/etc/hadoop/hdfs-site.xml写的多少,如下图我写的50090,所以我访问50090端口

img

即可看到HDFS的web管理界面

img

标签:HDFS,hdfs,操作方法,hadoop,dfs,input,目录
From: https://www.cnblogs.com/victoryhan/p/16909259.html

相关文章

  • Hadoop总结——HDFS
    一、HDFS概述1.1HDFS产生背景随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理......
  • hdfs 快照同步
    生成快照目录hadoopdfsadmin-allowSnapshothdfs_dir创建快照hadoopdfs-createSnapshothdfs_dirsnapshot_namesource_hdfs与target_hdfs都要建快照对比两端快......
  • python操作hdfs
    安装安装hadoop关于hadoop的安装配置会在另一篇文章中介绍,这里只介绍python的hdfs库的安装.安装hdfs库所有python的三方模块均采用pip来安装.pipinstallhdfshdfs......
  • hdfs
        滑动机制   为什么不直接传给datanode的原因 中断后如何处理   读流程 namenode重要的块  在整个集群中性信息量操作的统计hdfsdfsa......
  • Linux系统中线程同步方式中的条件变量操作方法
      大家好,今天主要和大家聊一聊,如何使用Linux中线程同步方式中的条件变量。    第一:条件变量基本简介   条件变量是线程可用的另一种同步机制,条件变量用于自动阻......
  • Hadoop群启脚本和关闭(YARN、HDFS、Zookeeper、JobHistoryServer)
    注意配置~目录下的(.bashrc)文件,在其中配置JAVA_HOME,并source~/.bashrc全部机器都配置哦群启:#!/bin/baseecho"==============正在启动Zookeeper服务......
  • 2 HDFS高可用机制
    HDFS高可用对于保证NameNode元数据的一致性和编辑日志的安全性,采用Zookeeper来存储编辑日志文件。两个NameNode一个是Active状态的,一个是Standby状态的,一个时间点只能有......
  • HDFS Java API
    HDFS(HadoopDistributedFileSystem)是Hadoop项目的核心子项目,在大数据开发中通过分布式计算对海量数据进行存储与管理。它基于流数据模式访问和处理超大文件的需求而开发......
  • HDFS接口编程 FDFS课堂测试
    调用HDFS文件接口实现对分布式文件系统中文件的访问,如创建、修改、删除等。  这个代码确实是有问题的,这个老师,有点内个  这老师有点不太靠谱啊,是不是写一个截图......
  • 03-分布式文件系统HDFS
    目录​​一,HDFS简介​​​​1,什么是HDFS​​​​2,优缺点​​​​2.1优点​​​​2.2缺点​​​​二,HDFS原理​​​​1,系统架构​​​​1.1角色分工​​​​1.2设计思想......