Hadoop常用命令

标签：hdfs eg hadoop dfs Hadoop 常用命令 test data

一、Hadoop常用命令合集

Hadoop常见命令总结_hadoop -get_GoAI的博客-CSDN博客

1.1、常见基础命令

1.1.1启动Hadoop

(1)进入HADOOP_HOME目录

(2)执行sh bin/start-all.sh

1.1.2关闭Hadoop

(1)进入HADOOP_HOME目录

(2)执行sh bin/stop-all.sh

1.1.3查看指定目录下内容

hadoop fs -ls [file_path]

eg:hadoop fs -ls /user/cidp/test.dat

1.1.4打开某个存在的文件

hadoop dfs -cat [file_path]

eg: hadoop dfs -cat / user/cidp/test.dat

1.1.5将本地文件储存至Hadoop

hadoop fs -put [本地目录] [hadoop文件目录]

eg: hadoop fs -put /home/data/test.txt /user/data

1.1.6将本地文件夹储存至Hadoop

hadoop fs -put [本地目录] [hadoop文件夹目录]

eg: hadoop fs -put /home/data/test /user/data  (test是文件夹名)

1.1.7将hadoop上某个文件down至本地已有目录下

hadoop fs -get [hadoop文件目录] [本地目录]

eg: hadoop fs -get /user/data/test.txt /home/data

1.1.8删除hadoop上指定文件

hadoop fs -rm [hadoop文件路径]

eg: hadoop fs -rm /user/data/test.txt

1.1.9删除hadoop上指定文件夹（包含子目录等）

hadoop fs -rm [hadoop文件夹路径]

eg: hadoop fs -rm /user/data/test

1.1.10在hadoop指定目录内创建新目录

hadoop fs -mkdir [hadoop目标目录]

eg: hadoop fs -mkdir /user/data/test

1.1.11在hadoop指定目录下创建一个空文件

hadoop fs -touchz [文件名]

eg: hadoop fs - touchz /user/data/test.txt

1.1.12将hadoop上某个文件重命名

hadoop fs -mv [文件名] [新文件名]

eg: hadoop fs – mv /user/data/test.txt /user/data/test_new.txt

1.1.13将hadoop上指定目录下所有内容保存一个文件并下载到本地

hadoop dfs -getmerge [文件]

eg: hadoop dfs -getmerge /user/data/test

1.1.14将正在运行的hadoop作业kill

hadoop job -kill [job_id]

eg: hadoop job -kill 277896

1.2、详细命令

1.2.1启动hadoop所有进程

start-all.sh等价于start-dfs.sh+start-yarn.sh

说明：一般不推荐使用start-all.sh(开源框架中内部命令启动很多问题)

1.2.2单进程启动

sbin/start-dfs.sh

sbin/hadoop-daemons.sh –config .. –hostname .. start namenode…

sbin/hadoop-daemons.sh –config .. –hostname .. start datanode…

sbin/hadoop-daemons.sh –config .. –hostname .. start sescondarynamenode…

sbin/hadoop-daemons.sh –config .. –hostname .. start zkfc…//

 

start-yarn.sh

libexec/yarn-config.sh

sbin/yarn-daemon.sh –config $YARN_CONF_DIR start resourcemanager

sbin/yarn-daemons.sh –config $YARN_CONF_DIR start nodemanager

1.3、常用命令

1.3.1查看指定目录下内容

hdfs dfs -ls [file_path]

hdfs dfs -ls -R / --显示目录结构

eg:hdfs dfs -ls /user/cidp/test.dat

1.3.2打开某个已存在文件

hdfs dfs -cat [file_path]

eg: hdfs dfs -cat / user/cidp/test.dat

1.3.3将本地文件存储至hadoop

hdfs dfs -put [本地目录] [hadoop文件目录]

eg: hdfs dfs -put /home/data/test.txt /user/data

1.3.4将本地文件夹存储至hadoop

hdfs dfs -put [本地目录] [hadoop文件夹目录]

eg: hdfs dfs -put /home/data/test /user/data  (test是文件夹名)

1.3.5将hadoop上某个文件down至本地已有目录下

hdfs dfs -get [hadoop文件目录] [本地目录]

eg: hdfs dfs -get /user/data/test.txt /home/data

1.3.6删除hadoop上指定文件

hdfs dfs -rm [hadoop文件路径]

eg: hdfs dfs -rm /user/data/test.txt

1.3.7删除hadoop上指定文件夹（包含子目录等）

hdfs dfs -rm [hadoop文件夹路径]

eg: hdfs dfs -rm /user/data/test

1.3.8在hadoop指定目录内创建新目录

hdfs dfs -mkdir [hadoop目标目录]

eg: hdfs dfs -mkdir -p /user/data/test

1.3.9 hadoop指定目录下创建一个空文件

hdfs dfs -touchz [文件名]

eg: hdfs dfs - touchz /user/data/test.txt

1.3.10将hadoop上某个文件重命名

hdfs dfs -mv [文件名] [新文件名]

eg: hdfs dfs – mv /user/data/test.txt /user/data/test_new.txt

1.3.11将hadoop上指定目录下所有内容保存成一个文件并下载到本地

hdfs dfs -getmerge [文件]

eg: hdfs dfs -getmerge /user/data/test

1.3.12将正在运行的hadoop作业kill

hadoop job -kill [job_id]

eg: hadoop job -kill 277896

1.3.13查看帮助

hdfs dfs -help

1.3.14查看最后1kb内容

hdfs dfs -tail [文件名]

eg: hdfs dfs -tail /usr/data/test.txt

1.3.15从本地复制文件到hadoop上(同-put)

hdfs dfs -copyFromLocal [文件名] [Hadoop文件目录]

eg: hdfs dfs - copyFromLocal test.txt /usr/data/test.txt

1.3.16从hadoop复制文件到本地(同-get)

hdfs dfs -copyToLocal [Hadoop文件目录] [文件名]

eg: hdfs dfs - copyToLocal /usr/data/test.txt test.txt

1.4、安全模式

1.4.1退出安全模式

NameNode在启动时会进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。

系统显示Name node in safe mode，说明系统处于安全模式，这时只需要等待十几秒即可，也可通过下面命令退出安全模式：

/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave

1.4.2进入安全模式

  在必要情况下，可以通过命令把HDFS置于安全模式：

  /usr/local/hadoop$bin/hadoop dfsadmin -safemode enter

1.5、节点添加

  添加一个新的DataNode节点，先在新节点安装好Hadoop，要和NameNode使用相同配置（可以直接从NameNode复制），修改HADOOPHOME/conf/master文件，加入NameNode主机名。在NameNode节点修改HADOOPHOME/conf/master文件，加入NameNode主机名。在NameNode节点修改HADOOP_HOME/conf/slaves文件，加入新节点名，再建立新节点无密码的SSH连接，运行启动命令为：

/usr/local/hadoop$bin/start-all.sh。

1.6、负载均衡

  HDFS的数据在各个节点DataNode中分布可能很不均匀，尤其在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode的节点选择策略也有可能导致数据块分布不均匀。用户可使用命令重新平衡DataNode上的数据分布：

/usr/loacalhadoop$bin/start-balancer.sh。

1.7、补充

1.7.1对hdfs操作命令格式是hdfs dfs

(1)-ls表示对hdfs下一级目录的查看

(2)-lsr表示对hdfs目录的递归查看

(3)-text查看文件内容

(4)-rmr表示递归删除文件

(5)-chown [-R] [文件目录]，修改目录所属群组

(6)-chomd [-R] [文件目录]，修改目录拥有者

(7)-count [-q] [文件目录]，查看目录下子目录数、文件数、文件大小、文件名/目录名

(8)-du [文件目录]，显示目录中每个文件或目录的大小

(9)-dus [文件目录]，显示目录总大小

(10)-expunge 清空回收站

(11)-test [-ezd] [文件目录]，-e查看文件或目录是否存在，存在返回0否则为1；-z文件是否为空，长度为0返回0否则返回1；-d是否为目录，是返回0否则返回1。

二、区别

2.1hadoop fs、hadoop dfs和hdfs dfs命令区别

(1)hadoop fs:通用文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件、S3文件系统等；

(2)hadoop dfs:特定针对HDFS的文件系统的相关操作，目前不推荐使用；

(3)hdfs dfs:与Hadoop dfs类似，针对HDFS系统的操作，代替hadoop dfs

标签：hdfs,eg,hadoop,dfs,Hadoop,常用命令,test,data
From： https://www.cnblogs.com/hole/p/17512132.html