首页 > 其他分享 >Hadoop:HDFS配置与基本命令

Hadoop:HDFS配置与基本命令

时间:2024-03-26 11:22:39浏览次数:27  
标签:hdfs fs name HDFS hadoop Hadoop 命令 ... namenode

接上篇Hadoop的单机布署,接下来准备以单机的形式体验一把HDFS。

 

写在前而,我本机hadoop的根目录是/hadoop/hadoop-2.10.2,请各位读者根据实际情况辨别各自的路径。

第一步,修改配置文件

/hadoop/hadoop-2.10.2/etc/hadoop/core-site.xml

<configuration>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/hadoop/hdfs/data</value>
     </property>
 
     <property>
         <name>fs.default.name</name>
         <value>hdfs://127.0.0.1:9000</value>
     </property>
 </configuration>

备注:

1) hadoop.tmp.dir,这个配置的是HDFS系统以来的基础目录,如果不配置它会设置为/tmp目录下,而/tmp目录下的文件不是永久性的,所以可能出现问题。

2) fs.default.name,设置的是HDFS的namenode的访问地址,因为namenode存放的是系统的所有元数据信息,也就是文件系统访问的入口,所以这个是必须要配置的。如果是用域名,则要使用本机可解析的域名地址。

/hadoop/hadoop-2.10.2/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/hadoop/hdfs/hdfs_node</value>
    </property>
 
    <property>
        <name>dfs.datannode.data.dir</name>
        <value>/hadoop/hdfs/hdfs_data</value>
    </property>
</configuration>

备注:

1) dfs.replication:从命名上可以看出这里配置的是每一个block的复制的份数,这里我们为了测试,简单配置为1.
2) dfs.namenode.name.dir:namenode依赖的根目录文件
3) dfs.datannode.data.dir:datanode依赖的根目录文件

 

第二步:HDFS格式化

hadoop namenode -format

 

第三步:启动进程

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode

启动之后,运行jps命令,验证是否启动成功。如果启动成功,可看到

 补充:关闭进程

hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop secondarynamenode

 

第四步:初步试用

#列出根目录
hadoop fs -ls /

#查看根目录大上
fs -df -h /

#创建文件
hadoop fs -touchz /hello
hadoop fs -touchz /world

#将本地磁盘的大文件拷贝到hdfs中
hadoop fs -put hadoop.tar /

#删除目录
hadoop fs -rmr dir/

 

补充:完整的hdfs命令格式

hadoop fs [generic options]
    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] [-h] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] [-l] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-usage [cmd ...]]

 

hadoop组件hdfs的单机版尝鲜试用到此就结束了,后期会对这些话题,展开更深入的探索:)

 

标签:hdfs,fs,name,HDFS,hadoop,Hadoop,命令,...,namenode
From: https://www.cnblogs.com/ddcoder/p/18096222

相关文章

  • Linux常用命令
    Linux常用命令介绍Linux系统中有很多命令,以下是一些常用的Linux命令列表:1、文件和目录操作命令:●ls:列出目录内容●cd:切换目录●pwd:显示当前工作目录●mkdir:创建新目录●rm:删除文件或目录●cp:复制文件或目录●mv:移动文件或目录●touch:创建......
  • 聊一下Button事件、命令、行为的触发顺序
    1、我们新建一个xaml<StackPanelWidth="200"Margin="20"><ButtonHeight="30"Content="按钮"Command="{BindingMsgCommand}"x:Name="btn"Margin="10"/></StackPanel>2、分别在后台......
  • 文本处理工具命令
    文本处理工具命令grep         cut         sort        uniq        wc        paste        tr     split1、grep命令 grep是一个在linux和Unix操作系统中常用的命令行工具,用于在文本文件......
  • git常用命令
    git常用命令1、第一次初始化gitinitgitadd.gitcommit-m‘firstcommit’[email protected]:帐号名/仓库名.gitgitpulloriginmastergitpushoriginmaster#-f强推[email protected]:git帐号名/仓库名.git2、工作基本操作gitc......
  • CMD命令
    【cmd命令大全】一、CMD命令4、explorer-------打开资源管理器。5、logoff---------注销命令。6、shutdown-------60秒倒计时关机命令。7、lusrmgr.msc----本机用户和组。8、services.msc—本地服务设置。9、oobe/msoobe/a----检查XP是否激活。10、notepad--------打开记......
  • 自动生成小学四则运算题目的命令行程序
    这个作业属于哪个课程软件工程2024(广东工业大学)这个作业要求在哪里结对项目这个作业的目标学习完成项目的过程正文一、姓名、学号、GitHub本次项目缺失队友,由个人完成。崔海源3122004779github地址二、PSP表格PSP2.1PersonalSoftwareProcessStag......
  • 【Hadoop】Hadoop 编译源码
    目录为什么要源码编译Hadoop编译源码1前期工作准备2jar包安装2.1安装Maven2.2安装ant2.3安装glibc-headers和g++2.4安装make和cmake2.5安装protobuf2.6安装openssl库2.7安装ncurses-devel库3编译源码3.1解压源码到/opt/目录3.2进入到hadoop源码主目......
  • Linux的目录结构和文件管理命令
    1.Linux以单根的形式组织文件(只有一个储存盘)/。 2.bin:普通用户的使用命令(命令文件)sbin:超级管理员使用的命令dev:设备文件(相当于外设文件鼠标,键盘等)root:超级管理员存放私人文件home:普通用户的宿主目录tmp:临时目录usr:自定义目录etc:编辑配置(相当于windows......
  • kill -usr2 命令
    在Linux系统中,USR2信号是由kill命令发送的,用于通知进程进行更新版本的软件或者进行系统的维护操作。具体来说,当主进程收到USR2信号后,它会做以下几步操作:执行更新版本的必须操作,比如重新载入配置文件,关闭现有的服务,启动新的服务进程等。通知它的子进程也要执行相应的操作......
  • dism命令工具 基础技术原理 架构
    基于DISM的一些工具包括:Windows部署服务(WindowsDeploymentServices,WDS):使用DISM来管理和部署Windows映像文件,以便在网络上大规模部署Windows操作系统。MDT(MicrosoftDeploymentToolkit):MDT是一个免费的工具集,用于自动化Windows操作系统的部署。它使用DISM来......