接上篇Hadoop的单机布署,接下来准备以单机的形式体验一把HDFS。
写在前而,我本机hadoop的根目录是/hadoop/hadoop-2.10.2,请各位读者根据实际情况辨别各自的路径。
第一步,修改配置文件
/hadoop/hadoop-2.10.2/etc/hadoop/core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/hdfs/data</value> </property> <property> <name>fs.default.name</name> <value>hdfs://127.0.0.1:9000</value> </property> </configuration>
备注:
1) hadoop.tmp.dir,这个配置的是HDFS系统以来的基础目录,如果不配置它会设置为/tmp目录下,而/tmp目录下的文件不是永久性的,所以可能出现问题。
2) fs.default.name,设置的是HDFS的namenode的访问地址,因为namenode存放的是系统的所有元数据信息,也就是文件系统访问的入口,所以这个是必须要配置的。如果是用域名,则要使用本机可解析的域名地址。
/hadoop/hadoop-2.10.2/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/hadoop/hdfs/hdfs_node</value> </property> <property> <name>dfs.datannode.data.dir</name> <value>/hadoop/hdfs/hdfs_data</value> </property> </configuration>
备注:
1) dfs.replication:从命名上可以看出这里配置的是每一个block的复制的份数,这里我们为了测试,简单配置为1.
2) dfs.namenode.name.dir:namenode依赖的根目录文件
3) dfs.datannode.data.dir:datanode依赖的根目录文件
第二步:HDFS格式化
hadoop namenode -format
第三步:启动进程
hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode hadoop-daemon.sh start secondarynamenode
启动之后,运行jps命令,验证是否启动成功。如果启动成功,可看到
补充:关闭进程
hadoop-daemon.sh stop namenode hadoop-daemon.sh stop datanode hadoop-daemon.sh stop secondarynamenode
第四步:初步试用
#列出根目录 hadoop fs -ls / #查看根目录大上 fs -df -h / #创建文件 hadoop fs -touchz /hello hadoop fs -touchz /world #将本地磁盘的大文件拷贝到hdfs中 hadoop fs -put hadoop.tar / #删除目录 hadoop fs -rmr dir/
补充:完整的hdfs命令格式
hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] [-h] <path> ...] [-cp [-f] [-p | -p[topax]] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] <path> ...] [-expunge] [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getfattr [-R] {-n name | -d} [-e en] <path>] [-getmerge [-nl] <src> <localdst>] [-help [cmd ...]] [-ls [-d] [-h] [-R] [<path> ...]] [-mkdir [-p] <path> ...] [-moveFromLocal <localsrc> ... <dst>] [-moveToLocal <src> <localdst>] [-mv <src> ... <dst>] [-put [-f] [-p] [-l] <localsrc> ... <dst>] [-renameSnapshot <snapshotDir> <oldName> <newName>] [-rm [-f] [-r|-R] [-skipTrash] <src> ...] [-rmdir [--ignore-fail-on-non-empty] <dir> ...] [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]] [-setfattr {-n name [-v value] | -x name} <path>] [-setrep [-R] [-w] <rep> <path> ...] [-stat [format] <path> ...] [-tail [-f] <file>] [-test -[defsz] <path>] [-text [-ignoreCrc] <src> ...] [-touchz <path> ...] [-usage [cmd ...]]
hadoop组件hdfs的单机版尝鲜试用到此就结束了,后期会对这些话题,展开更深入的探索:)
标签:hdfs,fs,name,HDFS,hadoop,Hadoop,命令,...,namenode From: https://www.cnblogs.com/ddcoder/p/18096222