首页 > 编程语言 >使用Java API操作HDFS

使用Java API操作HDFS

时间:2025-01-06 19:29:29浏览次数:9  
标签:HDFS Java 文件 CURD API 添加 目录 类中

第一步:在Windows配置Hadoop运行环境

(1)编辑系统环境变量。使用hadoop -version命令查看hadoop环境是否配置成功,如下图所示:

(2)在hadoop-3.3.4文件夹的bin目录下添加Windows系统的依赖文件,如下图所示:

(3)重启电脑

第二步:配置案例环境,使用idea创建一个maven项目。

第三步:在pom.xml文件中添加maven依赖,如图所示:

第四步:获取客户端对象(项目中创建cn.itcast.hdfsdemo包,并在改包下创建HDFS_CURD类,用于构建HDFS的客户端实例)

第五步:上传文件到HDFS,在HDFS_CURD类中添加textAddFileToHdfs()方法将本地系统的文件上传到HDFS

运行结果:

第六步:从HDFS下载文件,在HDFS_CURD类中添加testDownloadFileToLocal()方法将HDFS上的文件下载到本地。

运行结果:

第七步:目录操作,在HDFS_CURD类中添加

testMkdirAndDeleteAndRename()方法用于对HDFS的目录进行操作

运行结果(最后根目录下只剩lmtA3一个文件夹,但是文件里面的目录还是第一次创建的目录):

第八步:查看目录中的文件信息,在HDFS_CURD类中添加cn.itcast.hdfsdemo.HDFS_CURD()方法,用于获取/liumengting目录下的所有文件信息:

运行结果:

          

标签:HDFS,Java,文件,CURD,API,添加,目录,类中
From: https://blog.csdn.net/m0_73566497/article/details/144970447

相关文章

  • 通过shell脚本定时采集数据到HDFS
    第一步:创建shell脚本(在虚拟机1下的/export/data目录下执行viuploadHDFS.sh命令,编辑shell脚本文件,具体代码如下:)第二步:执行shell脚本(确保Hadoop集群处于启动状态,进入到/export/data目录下执行shuploadHDFS.sh)第三步:验证Hadoop日志文件是否上传成功(在浏览器中查看,结果如图......
  • CF 139A.Petr and Book(Java实现)
    题目分析    这个题就是看书,给你一本书一共n页,每天看i页,问你第几天看完思路分析    两行输入获取n和i的值,数据处理的逻辑就是不断用n减去i,直到n<=0,同时注意一周七天循环,涉及到取模代码importjava.util.*;publicclassMain{ publicstaticvoidma......
  • 深入探索JCEF框架:Java与Chromium的完美结合
    摘要JCEF框架为开发者提供了一个强大的工具,使得使用Java编程语言嵌入基于Chromium的浏览器成为可能。通过访问项目主页(https://bitbucket.org/chromiumembedded/jcef),开发者可以获得详细的文档和支持,从而更轻松地将浏览器组件集成到现有的应用程序中。本文将深入探讨JCEF的功能,并......
  • Java高级开发面试题,在设计一个高并发的在线交易系统时,如何确保线程安全和数据一致性?
    在设计一个高并发的在线交易系统时,如何确保线程安全和数据一致性?考虑一个类似于电子商务平台的商品秒杀活动。在这种场景中,大量用户会在短时间内尝试购买有限数量的商品。因此,系统的挑战在于处理高并发请求,同时确保每个订单的数据完整性和一致性。1.锁机制与性能考量传......
  • java基础数据类型
    java基础数据类型:byte,short,int,long,float,double,char,boolean;当参与计算的时候,精度小的类型会自动转换为精度大的类型;char->int->long->float->doublebyte->short->int->long->float->double(byte,short)和char之间不存在类型转换;对于......
  • 搭建JAVA运行环境
    1.首先下载linux对应的安装包下载地址:https://www.oracle.com/java/technologies/downloads/#java82.解压安装包jdk-8u391-linux-x64.tar.gztar -zxvf jdk-8u391-linux-x64.tar.gz3.新建jdk目录 cd /usr/libsudomkdirjdk4.......
  • Java String、StringBuffer、StringBuilder 详解(含 Java 7 和 Java 8 变化)
    JavaString、StringBuffer、StringBuilder详解(含Java7和Java8变化)在Java开发中,String是最常用的数据类型之一,而StringBuffer和StringBuilder也在字符串操作中扮演着重要角色。从Java7到Java8,它们的底层实现发生了一些变化,影响了性能和使用方式。本文将深入解......
  • [.NET] API网关选择:YARP还是Ocelot?
    API网关选择:YARP还是Ocelot?摘要随着微服务架构的流行,API网关在系统架构中扮演着越来越重要的角色。在.NET生态中,YARP(YetAnotherReverseProxy)和Ocelot是两种常用的API网关解决方案。那么,在实际应用中,我们该如何选择?本文将从易用性、文档、负载均衡、限流、身份验证、授权和性......
  • (2024最新毕设合集)基于Django的电影资讯共享平台-10223|可做计算机毕业设计JAVA、PHP、
    目录摘要Abstract1绪论1.1研究背景1.2研究意义1.3论文结构与章节安排2电影资讯共享平台系统分析2.1可行性分析2.1.1技术可行性分析2.1.2经济可行性分析2.1.3 社会可行性2.1.4法律可行性分析2.2系统功能分析2.2.1功能性分析2.2.2非功能性分析2.......
  • JAVA-Day 06:if语句的三种形式
    if语句的三种形式if(表达式){语句体}如果小括号里的表达式结果为真,则执行大括号中的语句体,如下图例子所示:2.if(表达式){语句体}else{语句体}如果小括号里的表达式为真,则执行else前的大括号中的语句体,如果小括号里的表达式为假,则执行else后的大括号中的语句体。如下图例子......