首页 > 其他分享 >5.Hadoop HDFS 命令

5.Hadoop HDFS 命令

时间:2024-03-28 18:33:05浏览次数:23  
标签:HDFS 文件 Hadoop 命令 复制 user 本地 目录

5.1 启动Hadoop Muti-Node Cluster

start-all.sh

5.2创建与查看HDFS目录

创建user目录:hadoop fs -mkdir /user

创建user下hduser子目录:hadoop fs -mkdir /user/hduser

创建hduser下test子目录:hadoop fs -mkdir /user/hduser/test

查看之前创建的HDFS目录:

 一次查看HDFS所有子目录

 创建多级HDFS目录

 5.3从本地计算机复制文件到HDFS

 复制本地文件到HDFS目录/目录下的文件

 查看:

 复制文件到HDFS时已经存在,强制复制。

 同时复制两个文件:

 复制本地文件夹到HDFS:

使用put复制到HDFS目录,会直接覆盖文件

 把屏幕上的内容写入HDFS文件:

把本地目录列表储存到HDFS文件

 5.4 将HDFS上的文件复制到本地计算机

 把整个HDFS目录复制到本地

 把HDFS上文件复制到本地计算机

 5.5复制与删除HDFS文件

复制:

 删除

 5.6在Hadoop HDFS Web 用户界面浏览HDFS

浏览器输入http://master:9870/

点击 utilities >> Browse the file system

可以查看路径下的文件,查看文件信息,下载文件。

 

标签:HDFS,文件,Hadoop,命令,复制,user,本地,目录
From: https://www.cnblogs.com/leexiao/p/18102361

相关文章

  • tar命令使用
    最后修改时间2024-03-28参数作用-c创建新的归档文件(打包)-x从归档文件中提取文件(解包)-f<文件名>指定归档文件名-v显示操作的详细信息-z通过gzip压缩归档文件-j通过bzip2压缩归档文件-C<目录>切换到指定目录--exclude=<模式>排除匹配模式......
  • docker常用命令
    最后修改时间2024-03-28操作系统Linuxversion5.15.0-86-generic(buildd@lcy02-amd64-086)(gcc(Ubuntu11.4.0-1ubuntu1~22.04)11.4.0,GNUld(GNUBinutilsforUbuntu)2.38)#96-UbuntuSMPWedSep2008:23:49UTC2023一些docker常用指令查看镜像列表sudodocker......
  • 瑞芯微-I2S | 音频驱动调试基本命令和工具-基于rk3568-2
    基于Linux嵌入式设备常用调试方法很多,本文一口君把调试语音用到的工具和方法给大家做一个简单的介绍。1.procfs、sysfsLinux系统上的/proc目录是一种文件系统,即proc文件系统。与其它常见的文件系统不同的是,/proc是一种伪文件系统(也即虚拟文件系统),存储的是当前内核运行状态的......
  • python执行shell命令并输出日志
    使用npminstall时,由于npminstall控制台输出的构建信息是加载条,之前用的python脚本不能输出,且加载条完之后的输出也不能获取。因为需要使用新的脚本,使用下面的脚本python执行npminstall可以输出加载条之后的日志。process.poll()为返回码,正确运行返回码为0,若不为0则退出系统。w......
  • Redis五大数据类型常用命令
    Redis的五大数据类型1.redis键(key)​1)查看当前库的所有键127.0.0.1:6379>keys*​2)判断某个键是否存在127.0.0.1:6379>exists<key>例如:127.0.0.1:6379>existst1​3)查看键对应的value的类型127.0.0.1:6379>type<key>​4)删除某个键127.0.0.1:6379......
  • top命令找到占用CPU最高的java线程
    1、使用jps查找正在运行的java进程2、通过使用top命令查找该线程下CPU使用最高的线程top-Hppid:即  top-Hp2860 3、TIME列就是各个Java线程耗费的CPU时间,显然CPU时间最长的是ID为2968的线程,用printf"%x\n"2968可得到2968的十六进制值为:b984、终于轮到jsta......
  • Linux基础命令
    包含日常开发能用到的大部分Linux命令Linux的目录结构/,根目录是最顶级的目录了Linux只有一个顶级目录:/路径描述的层次关系同样适用/来表示/home/itheima/a.txt,表示根目录下的home文件夹内有itheima文件夹,内有a.txtls命令功能:列出文件夹信息语法:ls[-l-h-a][参数]......
  • 在Linux中,如何使用top、htop、vmstat等命令监控系统性能?
    在Linux系统中,top、htop和vmstat是三个常用的命令行工具,用于监控系统性能。它们分别提供了不同的视角和信息,帮助管理员了解系统的运行状况。1.top命令top是一个实时显示系统进程状态的动态视图工具,可以显示系统总体负载、各个进程的资源消耗(CPU、内存)等情况。基本用法:......
  • linux常用命令
    linux常用命令防火墙操作开放8081端口firewall-cmd--add-port=8081/tcp--permanent防火墙重启firewall-cmd--reload查看当前开放端口firewall-cmd--list-ports--permanentmysql重启systemctlrestartmysqldmysql登录mysql-h地址-P端口-u用户名-p密码......
  • hbase - [03] 客户端常用命令(hbase shell)
     1、列出所有namespacelist_namespace2、创建namespacecreate_namespace'ns_name'3、修改namespace属性alter_namespace'nsname',{METHOD=>'set','PROPERTY_NAME'=>'PROPERTY_VALUE'}4、删除namespace属性alter_namesp......