Hadoop 学习

标签：HDFS fs word hdfs Hadoop hadoop 学习 txt

Hadoop 三种运行模式：

1.本地模式(学习)

1.没有HDFS,使用当前系统下的文件系统

2.没有YARN,使用的是Linux中的资源

3.使用了 Map-Reduce Framework

2.伪分布式模式(学习)

1.只有单台机器

2.使用HDFS、Yarn、MapReduce

3.分布式模式(企业级)

1.多台服务器

2.集群模式，包含整个Hadoop组件

HDFS SHELL:

1.两种命令模式

1.1 hadoop fs

1.2 hdfs dfs

2.上传文件

-put:

hadoop fs -put ./word.txt  /input

-copyFromLocal

hadoop fs -copyFromLocal ./

3.下载文件：

-get

hadoop fs -get /input/word_2.txt  ./word_3.txt

-copyToLocal

hadoop fs -copyToLocal /input/word_2.txt  ./word_4.txt

4.查看HDFS文件信息：

-ls

  hdfs dfs -ls /

      -df -h

      hdfs dfs -df -h / # 查看HDFS根目录中空间使用情况

      -du -h

      hdfs dfs -du -h / # 查看指定目录下的文件大小

    5.赋予文件权限

     -chmod

     hdfs dfs -chmod u+x 路径 #表示对指定路径或文件赋予执行使用者权限

    6.创建文件夹

     -mkdir

     -p :表示迭代创建多级目录

    7.移动文件或文件夹

     -mv

    8.设置副本数

     -setrep

     hadoop fs -setrep 副本数 多个路径

    9.查看文件内容

    -tail

    hadoop fs -tail /re/word_2.txt

    -f:

    hadoop fs -tail -f /re/word_2.txt # 表示追踪文件的内容

    -cat

    hadoop fs -cat /re/word_2.txt

yarn application 常用命令

-list：表示展示当前Yarn中正在执行的 Application任务（注意，一旦完成则不展示）

样例：  yarn application  -list

-appStates： 通常和-list搭配使用 可以配置如下参数

ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED

样例： yarn application -list -appStates FINISHED

-kill： 表示根据应用的ID 强制关闭一个 Application

样例：yarn application -kill application_1649398269758_0005

-status： 根据ID查看当前任务的状态

   

标签：HDFS,fs,word,hdfs,Hadoop,hadoop,学习,txt
From： https://blog.csdn.net/a_black03/article/details/139212780