首页 > 其他分享 >hadoop常用命令

hadoop常用命令

时间:2022-10-22 10:33:27浏览次数:46  
标签:fs output1 hadoop user 常用命令 input root

1.常用命令

hdfs  dfs -ls / 

创建目录命令,逐级循环查看文件

hadoop fs -ls -R /tmp
hdfs fs -mkdir -p /user/root/input

修改所属组及用户

hadoop fs -chown -R root:root  /user/root/input 

统计文件数 文件夹数  文件大小

hadoop fs -count /

从linux上传文件到hadoop

hadoop fs -put file01 /user/root/input  
hadoop fs -copyFromLocal /root/install.log /user/root/input/

获取hadoop文件到linux系统

hadoop fs -get /user/root/input/file01  /root

查看hadoop中的文件

hadoop fs -cat /user/root/input/file01

或者使用以下命令也可以查看

hadoop fs -text output1/part-r-00000

合并多个文件(将/user/root/output1目录下的所有文件合并为 00.data)

hadoop fs -getmerge /user/root/output1 /lost+found/00.data

修改文件

hadoop fs -mv output1/part-r-00000  output1/part-r-000001

拷贝文件

hadoop fs -cp output1/part-r-000001  output1/part-r-000002

删除目录

hadoop fs -rm -r output1

删除hadoop中的文件

hadoop fs -rm /user/root/input/file01

查看统计信息

hadoop dfsadmin  -report

HDFS中fsck指令可以列出文件系统中各个文件由那些块构成

hadoop fsck / -files -blocks

获取帮助

hadoop fs -help

从本地文件系统将一个文件复制到hdfs

hadoop fs -copyFromLocal /lost+found/t_hft_1 hdfs://10.2.10.254:9000/user/root/input

管理命令

hdfs dfsadmin

2.进入和退出安全模式 Usage: hdfs dfsadmin [-safemode enter | leave | get | wait]

hadoop dfsadmin -safemode enter
hadoop dfsadmin -safemode leave

3.在服务器上执行jar包

hadoop jar MyMapReduce-1.jar /user/root/input /user/root/output/count

4.运行hadoop自带的样例

hadoop jar hadoop-mapreduce-examples-2.6.3.jar wordcount /user/root/input/danci /user/root/output2
hadoop jar hadoop-mapreduce-examples-2.6.3.jar pi 10 100

标签:fs,output1,hadoop,user,常用命令,input,root
From: https://blog.51cto.com/u_13753753/5785687

相关文章

  • Linux常用命令
    为提高大家使用Linux的效率,我个人总结了一些Linux常用命令,赶紧收藏起来吧!一.登录与注销系列1)sudouseraddlilei//添加用户(不能被立即使用,需设置密码sudopas......
  • Git操作常用命令
      一、创建与合并分支 1、从master分支创建dev分支并切换到dev分支gitcheckoutmastergitcheckout-bdev其中,gitcheckout-bdev等价于:gitbran......
  • Docker基础:Docker 常用命令梳理
    ​今天给大家梳理一下Docker常用的命令,希望对大家有所帮助1、Docker环境信息命令dockerversion说明:用于显示docker的版本信息,包括docker客户端和docker服务端基本信......
  • hdfs hadoop
      $HADOOP_HOMEecho $HADOOP_HOME 配置文件在这个目录:$HADOOP_HOME/etc/hadoop 1、文件coer-site.xml  2、文件hdfs-site.xml(重点核心文件)   ......
  • Hadoop是什么?
    谈到Hadoop就不得不提到​​Lucene​​​和​​​Nutch​​​。首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种......
  • 【TPC-DS】trino+S3+hive+postgresql性能测试----hadoop+mysql+hive安装部署(三)
    总体过程1、安装hadoop-3.2.02、安装hive-standalone-metastore-3.0.03、配置环境变量 安装hadoop-3.2.0下载hadoop的链接,选择hadoop3.2.0:​​https://archive.apache.org/......
  • 基础篇:windows常用命令
    1.windows常用系统命令cd[进入目录]dir[列出当前目录文件]echo+打印内容[打印命令]echo123>1.txt[打印内容到文本]type+文件内容[查看文件]......
  • git常用命令
    <p>初始化:在项目目录里边gitinit添加到缓存区:gitaddfilename提交到本地仓库:gitcommit-m"说明"查看提交记录:gitlog--pretty=oneline--abbrev-commit能查看到回......
  • Hadoop集群搭建
    Hadoop集群搭建Hadoop集群的安装配置大致包括以下步骤:(1)步骤1:选定一台机器作为Master;(2)步骤2:在Master节点上安装Hadoop,并完成配置;(3)步骤3:将Master节点上的“/export/ser......
  • conda 常用命令总结
    1、建立新的虚拟环境,设置python版本condacreate--name环境名python=3.82、激活(使用)环境activate环境名3、关闭/退出环境deactive环境名4、当为环境添......