首页 > 其他分享 >实验三HDFS 常用操作

实验三HDFS 常用操作

时间:2024-01-15 21:23:58浏览次数:32  
标签:HDFS 常用 hadoop 实验 user test txt 目录

HDFS 常用操作 使用 hadoop 用户名登录进入 Linux 系统,启动 Hadoop,参照相关 Hadoop 书籍或网络 资料,或者也可以参考本教程官网的“实验指南”栏目的“HDFS 操作常用 Shell 命令”, 使用 Hadoop 提供的 Shell 命令完成如下操作: (1) 启动 Hadoop,在 HDFS 中创建用户目录“/user/hadoop”; (2) 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件 test.txt,并在该文件中随便输入一些内容,然后上传到 HDFS 的“/user/hadoop” 目录下; (3) 把 HDFS 中“/user/hadoop”目录下的 test.txt 文件,下载到 Linux 系统的本地文 件系统中的“/home/hadoop/下载”目录下; (4) 将HDFS中“/user/hadoop”目录下的test.txt文件的内容输出到终端中进行显示; (5) 在 HDFS 中的“/user/hadoop”目录下,创建子目录 input,把 HDFS 中 “/user/hadoop”目录下的 test.txt 文件,复制到“/user/hadoop/input”目录下; (6) 删除HDFS中“/user/hadoop”目录下的test.txt文件,删除HDFS中“/user/hadoop” 目录下的 input 子目录及其子目录下的所有内容


(1) 启动Hadoop,在HDFS中创建用户目录"/user/hadoop":
start-dfs.sh
hdfs dfs -mkdir /user/hadoop

(2) 在Linux系统的本地文件系统的"/home/hadoop"目录下新建一个文本文件test.txt,并上传到HDFS的"/user/hadoop"目录下:
echo "Some content" > /home/hadoop/test.txt
hdfs dfs -copyFromLocal /home/hadoop/test.txt /user/hadoop/

(3) 将HDFS中"/user/hadoop"目录下的test.txt文件下载到Linux系统的本地文件系统中的"/home/hadoop/下载"目录下:
hdfs dfs -copyToLocal /user/hadoop/test.txt /home/hadoop/下载/

(4) 将HDFS中"/user/hadoop"目录下的test.txt文件的内容输出到终端中进行显示:
hdfs dfs -cat /user/hadoop/test.txt

(5) 在HDFS中的"/user/hadoop"目录下,创建子目录input,将HDFS中"/user/hadoop"目录下的test.txt文件复制到"/user/hadoop/input"目录下:
hdfs dfs -mkdir /user/hadoop/input
hdfs dfs -cp /user/hadoop/test.txt /user/hadoop/input/

(6) 删除HDFS中"/user/hadoop"目录下的test.txt文件,删除HDFS中"/user/hadoop"目录下的input子目录及其子目录下的所有内容:
hdfs dfs -rm /user/hadoop/test.txt
hdfs dfs -rm -r /user/hadoop/input

 

标签:HDFS,常用,hadoop,实验,user,test,txt,目录
From: https://www.cnblogs.com/DREAM2021/p/17966360

相关文章

  • 深度学习pytorch常用操作以及流程
    在微信公众号上看到这篇文章,担心以后想找的时候迷路,所以记录到了自己的博客上,侵扰致歉,随时联系可删除。1.基本张量操作1.1创建张量介绍:torch.tensor()是PyTorch中用于创建张量的基本函数。简单使用:importtorch#创建一个标量(零维张量)scalar_tensor=torch.tensor(......
  • ffmpeg常用命令
    本文介绍ffmpeg的常用命令。ffmpeg是流行的音视频处理工具,国内大部分视频播放器都是基于ffmpeg开发而来,如VLC、QQ播放器等。采集音频设备ffmpeg-fdshow-iaudio="麦克飿(RealtekHighDefinitionAu"./output.ts采集摄像头ffmpeg-fdshow-ivideo="USB2.0U......
  • RHEL8系统下的pxe实验
    一、安装网络引导服务器的rhel8系统说明:​ 1、此次实验是在VMWware16虚拟机下进行的;​ 2、使用的系统镜像是rhel8系统;1、pxe服务器硬件配置2、pxe服务器的系统A、安装系统:pxe服务器系统安装的是rhel8,采用默认安装方式安装B、系统安装完成后,简单初始化配置#1、检查系统......
  • 常用的MySQL备份/还原 的方法
    mysql备份数据库mysql备份单个数据库#mysql备份某个库格式:mysqldump-h主机名-P端口-u用户名-p"密码"--database数据库名>文件名.sql#实例:mysql备份某个库:mysqldump-h10.*.*.9-P3306-uroot-p"密码"--single-transaction--master-data=2--set-gtid-purged=OF......
  • C# String 类在开发中常用到的方法汇总【详细版】
    前言:在开发过程中我们经常用到的string类自带方法就那些个,但是有时突然不记得,又得翻看文档,比较麻烦,自己直接总结下来,方便查看1、String.Contains返回一个值,该值指示指定的字符是否出现在此字符串中。strings1="Thequickbrownfoxjumpsoverthelazydog";strings2=......
  • kettle从入门到精通 第三十课 mysql 数据连接常用配置
    1、我们平常用的最多的数据库就是mysql了,这里我以mysql为例说下数据库连接池配置。为啥要用连接池,因为数据库建立连接很费性能,所以就建立连接池(提前建立好一批连接)缓存起来提高性能。下图中mysql的设置参数,提前是需要把mysql的jar(如mysql-connector-java-8.0.20.jar)放到kettle文......
  • Arthas 使用及常用命令
    阿里的开源线上JVM诊断工具下载curlarthas-boot.jar使用运行:java-jararthas-boot.jar提示我们监控哪个程序?选择1,2.显示线程cpu,内存,堆空间的监控面板Dashboardjad反编译jad+classpath当线程状态、cpu运行过高时通过命令thread-3找到问题代码优化方法,找到那......
  • PHP面试常用的几种算法(建议收藏)
    1.冒泡排序,对像可以是数组functionbubble_sort($array){$count=count($array);if($count<=0){returnfalse;}for($i=0;$i<$count;$i++){for($j=$count-1;$j>$i;$j--){if($array[$j]<$array[$j-1]){......
  • SpringBoot动态权限校验,常用的实现方案
    SpringBoot.pngSpringBoot是由Pivotal团队提供的一套开源框架,可以简化spring应用的创建及部署。它提供了丰富的Spring模块化支持,可以帮助开发者更轻松快捷地构建出企业级应用。SpringBoot通过自动配置功能,降低了复杂性,同时支持基于JVM的多种开源框架,可以缩短开发时间,使开发更......
  • Spring/Spring Boot 常用注解总结
    1、我们可以把 @SpringBootApplication看作是 @Configuration、@EnableAutoConfiguration、@ComponentScan 注解的集合 2、@RestControllervs@Controller(qq.com)@RestController注解是@Controller和@ResponseBody的合集,表示这是个控制器bean,并且是将函数的返回值直......