首页 > 编程语言 >Hadoop——HDFS文件系统的Java API操作

Hadoop——HDFS文件系统的Java API操作

时间:2024-04-01 22:58:51浏览次数:32  
标签:hdfs Java HDFS hadoop Hadoop 大厂 Path

2.7.4

org.apache.hadoop

hadoop-hdfs

2.7.4

org.apache.hadoop

hadoop-client

2.7.4

junit

junit

4.12

IDEA会自动保存文件并且导入依赖包,点击右侧的Maven,展开Dependencies,可以看到四个依赖包以及导入进来了

三、初始化

我们通过junit来进行测试,首先创建一个类,添加如下内容

public class JavaAPI {

// 可操作HDFS文件系统的对象

FileSystem hdfs = null;

// 测试方法执行前执行,用于初始化操作,避免频繁初始化

@Before

public void init() throws IOException {

// 构造一个配置参数对象,设置一个参数:要访问的HDFS的URI

Configuration conf = new Configuration();

// 指定使用HDFS访问

conf.set(“fs.defaultFS”,“hdfs://hadoop01:9000”);

// 进行客户端身份的设置(root为虚拟机的用户名,hadoop集群节点的其中一个都可以)

System.setProperty(“HADOOP_USER_NAME”,“root”);

// 通过FileSystem的静态get()方法获取HDFS文件系统客户端对象

hdfs = FileSystem.get(conf);

}

// 测试方法执行后执行,用于处理结尾的操作,关闭对象

@After

public void close() throws IOException {

// 关闭文件操作对象

hdfs.close();

}

}

注意,上面代码中的参数**“hdfs://hadoop01:9000”**是hadoop配置文件中core-site.xml的配置信息,不记得的可以翻看我以往的hadoop配置文章

四、HDFS代码操作

(1)上传文件到HDFS文件系统

@Test

public void testUploadFileToHDFS() throws IOException {

// 待上传的文件路径(windows)

Path src = new Path(“F:/HDFS/test.txt”);

// 上传之后存放的路径(HDFS)

Path dst = new Path(“/test.txt”);

// 上传

hdfs.copyFromLocalFile(src,dst);

System.out.println(“上传成功”);

}

我在F盘的HDFS文件夹下面创建了个test.txt文本

运行一下测试方法,文件上传成功了

(2)从HDFS下载文件到本地

@Test

public void testDownFileToLocal() throws IOException {

// 待下载的路径(HDFS)

Path src = new Path(“/test.txt”);

// 下载成功之后存放的路径(windows)

Path dst = new Path(“F:/HDFS/test1.txt”);

// 下载

hdfs.copyToLocalFile(false,src,dst,true);

ystem.out.println(“下载成功”);

}

运行一下,下载成功

(3)创建目录

@Test

public void testMkdirFile() throws IOException {

// 待创建目录路径

Path src = new Path(“/HDFS”);

// 创建目录

hdfs.mkdirs(src);

System.out.println(“创建成功”);

}

运行测试方法,创建成功
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

最后

这份清华大牛整理的进大厂必备的redis视频、面试题和技术文档

祝大家早日进入大厂,拿到满意的薪资和职级~~~加油!!

感谢大家的支持!!

image.png

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!
t=“img” style=“zoom: 33%;” />

最后

这份清华大牛整理的进大厂必备的redis视频、面试题和技术文档

祝大家早日进入大厂,拿到满意的薪资和职级~~~加油!!

感谢大家的支持!!

[外链图片转存中…(img-9nMeWbmM-1711977160917)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!

标签:hdfs,Java,HDFS,hadoop,Hadoop,大厂,Path
From: https://blog.csdn.net/H1767410/article/details/137246897

相关文章

  • 2024JAVA互联网各大BATJ大厂(网易、华为
    ​为什么报了这个部门?​你觉得自己有什么优势,能给这个部门带来什么?​讲自己的三个优点?​说一下自己的不足?​。。。今日头条(抖音,收到意向书)​牛客网视频平台面试,算法题在线编程一下午走完三面流程。不涉及部门面试,面试官说三轮面试都是统招的。​一面(约......
  • 【Java跳槽面试必备】2024年最新八股文
    【前言】网上各种面试八股文太多太多,但我今年找了好几个都是很久很久以前的老面试题,老文档了,和我出去面试市场上面试官问的问题基本上不一样了,可以说被打了一个措手不及,浪费了好几个机会,回来又找了好一些资料,以及结合自己最近的面试情况总结了一些心得免费分享给大家!虽然只有几本......
  • Java面试题-12Zookeeper
    1、ZK节点数据Zookeeper提供一个多层级的节点命名空间(节点称为znode)。与文件系统不同的是,这些节点都可以设置关联的数据,而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟,在内存中维护了这个树状的目录结构,这种特性使得Zookeeper不能用......
  • Java HashMap merge() 方法
    JavaHashMapmerge()方法hashmap.merge(key,value,remappingFunction)注:hashmap是HashMap类的一个对象。参数说明:key-键value-值remappingFunction-重新映射函数,用于重新计算值菜鸟教程链接Ifthespecifiedkeyisnotalreadyassociatedwithavalueor......
  • 学习-Java顺序结构之字符变换之大小写字母转换
    任务描述本关任务:将键盘输入的大写字母转化为小写字母。相关知识为了完成本关任务,你需要掌握:字符型变量和常量;字符型数据的加减运算;字符型数据的输入/输出。字符型变量和常量在之前我们学习了整型和浮点型的变量和常量,接下来介绍字符型的变量和常量。首先我们要先了解......
  • [Socket/计算机网络] Java Socket编程:基础篇
    1计算机网络的核心概念网络通信概念:两台设备之间通过网络实现数据传输2.网络通信:将数据通过网络从一台设备传输到另一台设备java.net包下提供了一系列的类或接口,供程序员使用,完成网络通信网络概念:两台或多台设备通过一定物理设备连接起来构成了网络根据网络的覆......
  • 字典树基础(Java实现)
    字典树也叫Trie,是一种树形结构,其中每个节点可以存储一些变量表示该字符串出现的数量。每条边表示一个字符,如节点9存储一个变量cnt,说明存在三个字符串为“cbc” 例题:前缀判定importjava.math.BigInteger;importjava.util.*;publicclassMain{staticclass......
  • Java中如何以文本方式输出"\"
    1.转义符使用"\"在java中是一个转义符,只要有它的出现往往有他独特的意义,如下图:那么,在输出文本时,需要输出"\"怎么办呢,其实很简单,只要多加一个"\"就好啦。//此处是以文本方式输出\System.out.print("\\txasx\\");运行如下:......
  • 排列的字典序问题(Java)
    问题描述:n个元素{1,2,…,n}有n!个不同的排列。将这n!个排列按字典序排列,并编号为0,1,…,n!-1.每个排列的编号为其字典序值。例如,当n=3时,6个不同排列的字典序值如下:字典序值排列   0    1    2    3    4    5       ......
  • Javascript
    JS的引入方式<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><title>js的引入方式</title&......