首页 > 其他分享 >Hadoop创建文件、上传文件、下载文件、修改文件名、删除文件精细全流程

Hadoop创建文件、上传文件、下载文件、修改文件名、删除文件精细全流程

时间:2024-05-26 13:31:21浏览次数:15  
标签:hdfs aaa 文件 wordcount Hadoop new Path txt 上传

目录

一、起步流程

1.创建配置参数对象---Configuration类(org.apache.hadoop.conf.Configuration)

2.通过配置参数对象指定hdfs的地址

3.创建HDFS文件系统的对象---带配置项---FileSystem类

​二、具体操作

(1)创建目录:/wordcount

(2)下载文件:/data/input/word.txt下载到D:/hadoop/hdfs

(3)上传文件:D:/hadoop/hdfs/word.txt上传到/wordcount

(4)创建目录:/wordcount/aaa

​(5)上传文件:D:\hadoop\hdfs\word.txt上传到/wordcount/aaa

​(6)删除文件:删除/wordcount/aaa

(7)更改文件名


一、起步流程


1.创建配置参数对象---Configuration类(org.apache.hadoop.conf.Configuration)

Configuration x = new Configuration();


2.通过配置参数对象指定hdfs的地址

x.set("fs.defaultFS","hdfs://master:8020");


3.创建HDFS文件系统的对象---带配置项---FileSystem类

FileSystem i = FileSystem.get(x);

操作完成后如图所示


二、具体操作


(1)创建目录:/wordcount

Path path = new Path("/wordcount");
        fs.mkdirs(path);
        System.out.println("创建成功");

运行成功后可到master:9870上进行查看


(2)下载文件:/data/input/word.txt下载到D:/hadoop/hdfs

 Path src = new Path("/data/input/word.txt");
        Path dst = new Path("D:/HADOOP/hdfs");

(3)上传文件:D:/hadoop/hdfs/word.txt上传到/wordcount

 Path src = new Path("D:\\HADOOP\\hdfs\\word.txt");
        Path dst = new Path("/wordcount");
        fs.copyFromLocalFile(src,dst);

(4)创建目录:/wordcount/aaa
 Path path = new Path("/wordcount/aaa");
        fs.mkdirs(path);
        System.out.println("创建成功");


(5)上传文件:D:\hadoop\hdfs\word.txt上传到/wordcount/aaa

 Path src = new Path("D:\\hadoop\\hdfs\\word.txt");
        Path dst = new Path("/wordcount/aaa");
        fs.copyFromLocalFile(src,dst);


(6)删除文件:删除/wordcount/aaa

 Path f = new Path("/wordcount/aaa");
        fs.delete(f,true);

(7)更改文件名

Path src = new Path("/a/hdfs/2.txt");
Path dst = new Path("/a/hdfs/666.txt");
fs.rename(src,dst);

标签:hdfs,aaa,文件,wordcount,Hadoop,new,Path,txt,上传
From: https://blog.csdn.net/2302_80057307/article/details/139211520

相关文章

  • 02 目录和文件管理
    1、Linux目录结构在Linux操作系统中的目录和文件数据被组织为一个树形目录结构注:Linux操作系统中只有一个根目录,而Windows操作系统中每个分区都有一个根目录Linux系统中使用斜杠/进行分隔,而windows系统中使用反斜杠\分隔。整个树形目录中使用一个/表示根目录,根目录是Linux......
  • Hadoop 学习
    Hadoop三种运行模式:1.本地模式(学习)1.没有HDFS,使用当前系统下的文件系统2.没有YARN,使用的是Linux中的资源3.使用了Map-ReduceFramework2.伪分布式模式(学习)1.只有单台机器2.使用HDFS、Yarn、MapReduce3.分布式模式(企业级)1.多台服务器2.集群模式,包含整......
  • 管道文件的文件特性
    目录问题在/tmp目录下创建一条命名管道,命名管道的名称用户决定,然后设计两个程序要求进程A获取当前系统时间(time-->ctime)并写入到命名管道,进程B从命名管道中读取数据并存储在一个名字叫做log.txt的文本中。进程A#include<stdio.h>#include<stdlib.h>#include<unist......
  • Django上传图片实操不会上传图片的拿走
    上传图片当Django在处理文件上传的时候,文件数据被保存在request.FILESFILES中的每个键为<inputtype="file"name=""/>中的name注意:FILES只有在请求的方法为POST且提交的<form>带有enctype="multipart/form-data"的情况下才会包含数据。否则,FILES将为一个空的类似于字典的......
  • ASP.NET MVC使用Layui选择多图片上传
    前言多图上传在一些特殊的需求中我们经常会遇到,其实多图上传的原理大家都有各自的见解。对于Layui多图上传和我之前所说的通过js获取文本框中的文件数组遍历提交的原理一样,只不过是Layui中的upload.render方法已经帮我们封装好了,我们只管调用即可,也就是说你选中了几张图片,那么......
  • 【赛题解析】【网络建设与运维】2023年全国职业院校技能大赛中职组“网络建设与运维”
    在此之前,欢迎关注波比网络波比网络官方公众号:blbinet波比网络工作室官方公众号:blbistudio技能大赛各赛项交流群:https://www.blbi.cn/threads/40/更多正式赛题源文件访问:https://www.blbi.cn获取技术支持访问:https://www.blbi.cn/form/1/selectNISP、CIPS、PTE证书可......
  • 【赛题解析】【网络建设与运维】2023年全国职业院校技能大赛中职组“网络建设与运维”
    在此之前,欢迎关注波比网络波比网络官方公众号:blbinet波比网络工作室官方公众号:blbistudio技能大赛各赛项交流群:https://www.blbi.cn/threads/40/更多正式赛题源文件访问:https://www.blbi.cn获取技术支持访问:https://www.blbi.cn/form/1/selectNISP、CIPS、PTE证书可......
  • oracle导入dmp文件的2种方法
    博客园首页新随笔联系管理订阅随笔-6 文章-13 评论-4 阅读- 74764 oracle导入dmp文件的2种方法 使用imp、impdp方式导入数据1.使用imp导入数据打开cmd窗口,然后直接敲入一下命令即可,需要注意的是,要事先把dmp文件放到正确的路径中去impyx_base/11@......
  • react框架对Excel文件进行上传和导出
    1.首先需要安装xlsx第三方的库库引入插件npminstallxlsx在react引入import*asXLSXfrom'xlsx';1,首先设置jsx部分的 以下代码包含有导入excel文件和导出excel文件,读着可以根据需要,自己选择想要实现的功能 代码如下(示例)://importReactfrom'react';importR......
  • linux文件权限常用知识点,基于Linux(openEuler、CentOS8)
    目录知识点常用实例知识点真实环境文件显示解读常用实例文件所有者chown-Rnginx:nginx/home/source目录权限(R选填必须大写<遍历子文件夹及文件>)chmod-R755/home/sourcechmod-R777/home/source......