首页 > 编程语言 >Java Api ——HDFS连接和文件创建

Java Api ——HDFS连接和文件创建

时间:2022-10-03 11:55:53浏览次数:59  
标签:HDFS 文件创建 hadoop testng Api 3.2 apache org hbase

写在前面:需要配置好Linux虚拟机并成功配置Hadoop

 

idea创建maven项目

导入maven:

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.3.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.3.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.6.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-api</artifactId>
            <version>3.2.1</version>
        </dependency>

        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.11.0</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
            <version>7.5</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
            <version>7.5</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30 </version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13</version>
            <scope>compile</scope>
        </dependency>

    </dependencies>

创建连接:

     conf = new Configuration();

        conf.set("fs.defaultFS","hdfs://hadoop1:8020");

        fs = FileSystem.get(conf);

 创建文件:

fs.mkdirs(new Path("/itheima"));

 写入数据:

Path f1=new Path("/itheima/3.txt");

            FSDataOutputStream fsDataOutputStream = fs.create(f1);
            fsDataOutputStream.writeUTF("hello jiangnairi22222222");
            fsDataOutputStream.flush();
            fsDataOutputStream.close();

  

标签:HDFS,文件创建,hadoop,testng,Api,3.2,apache,org,hbase
From: https://www.cnblogs.com/jnr0219/p/16750237.html

相关文章

  • 22条API设计的最佳实践
    曾经因为一个糟糕的API而感到沮丧吗?  在这个微服务的世界里,后端API的一致性设计是必不可少的。今天,我们将讨论一些可遵循的最佳实践。我们将保持简短和甜蜜——所......
  • HDFS和NFS的区别
    #相同点两者的文件系统数据均能够在相关系统内的多台机器上进行数据读取和写入,都是分布式文件系统#不同点##NFS是通过RPC通信协议进行数据共享的文件系统,所以NFS必须在运行......
  • 004 反射机制——反射机制概念——Java的反射API——反射的步骤——创建对象的2种方式
    2.3.2反射机制的概念(什么是反射)反射机制指在程序运行过程中,对任意一个类都能获取其所有属性和方法,并且任意一个对象都能调用其任意一个方法。这种动态获取类和对象的信......
  • 【精品】Intellij 中使用 HTTP客户端 测试API
    前提在Intellij中使用HTTP客户端测试API,首先需要开始**httpclient**插件。语法如果要添加JSON参数的请求头,只需添加Content-Type标头和请求正文同一文件中的多个......
  • JAVA_常用API
    MathSystem总结RuntimeObject......
  • 问题---ArcGIS API for Javascript 4.x 版本的dojo文件缺失
    问题描述1.在本地下载了4.24版本的ArcGISAPIforJavascript(简称api),观察发现并没有如网上所述的dojo文件2.重新下载了4.15版本的api,并修改配置后,出现如图报错  问......
  • 【小项目】微信定时推送天气预报Github项目使用及原理介绍-包含cron、天气预报、常用a
    一、资料链接1、github地址https://github.com/qq1534774766/wx-push2、教程地址https://blog.csdn.net/qq15347747/article/details/1265217743、易客云API(自动发送......
  • 500行以内写一个API网关
    本文实现的apix网关代码结构基本上是借鉴了APISIX的源代码,可以看做APISIX的一个极度缩减版本。本文的实现只依赖openresty镜像已有的库,不依赖额外的库,所以路由的实现非常......
  • API架构设计
    接口设计*.RestfulAPI[概述]REST是指表现层状态转移(RepresentationalStateTransfer).该概念首次出现在2000年RoyFielding的博士论文中,RoyFielding是HTTP规范的主......
  • hdfs
    1.hdfs报大量gc超时namenode日志出现大量GC超时相关错误,且30914端口未监听:GCpool'ParNew'hadcollection(s):count=1time=0msGCpool'ConcurrentMarkSweep'had......