首页 > 其他分享 >hadoop学习之使用HDFS API的方式来操作HDFS文件系统-1-项目环境

hadoop学习之使用HDFS API的方式来操作HDFS文件系统-1-项目环境

时间:2022-11-30 19:31:08浏览次数:41  
标签:API HDFS cloudera hadoop client cdh5.15 1.7 2.6


IDEA中:

1.创建工程

不要选错

hadoop学习之使用HDFS API的方式来操作HDFS文件系统-1-项目环境_大数据

hadoop学习之使用HDFS API的方式来操作HDFS文件系统-1-项目环境_大数据_02


hadoop学习之使用HDFS API的方式来操作HDFS文件系统-1-项目环境_maven_03


差不多就是这个亚子

2.添加hadoop依赖包

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0-cdh5.15.1</version>
</dependency>

但是由于库里没有cdh,所以需要添加repository

<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>
<hadoop.version>2.6.0-cdh5.15.1</hadoop.version>
</properties>

<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
</repositories>

<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>

如图所示:

hadoop学习之使用HDFS API的方式来操作HDFS文件系统-1-项目环境_hadoop_04


标签:API,HDFS,cloudera,hadoop,client,cdh5.15,1.7,2.6
From: https://blog.51cto.com/u_12528551/5900339

相关文章

  • 读 Vue3 API 记录
    应用实例创建一个应用const app=createApp()将应用挂载在一个容器元素中  app.mount('#app')卸载一个已挂载的应用app.unmount()提供一个值,可以在应用中的所有后......
  • MobPush for SDK API
    推送监听接口(addPushReceiver)描述:添加推送监听,可监听接收到的自定义消息(透传消息)、通知消息、通知栏点击事件、别名和标签变更操作。/***com.mob.pushsdk.MobPush.cl......
  • 个人微信api
    E云是一套完整的的第三方服务平台,包含微信API服务、企微API服务、SCRM系统定制、企微系统定制、服务类软件定制等模块,本文档主要讲述个微API服务相关,以下简称API,它能处理......
  • 新增api后current.txt更新问题
    在新增api后,进行系统编译前,需要先在系统中使用make命令,对current.txt进行自动更新。(1)android低版本,新增api直接编译,会出现入下异常:******************************Y......
  • 大数据框架hadoop安装以及简介
    介绍:Hadoop实现了一个​​分布式文件系统​​​(重点)(HadoopDistributedFileSystem),简称HDFS。HDFS有高​​容错性​​​的特点,并且设计用来部署在低廉的(low-cost)硬件上;......
  • Dubbo -注解方式和Api方式
    注解方式服务端<?xmlversion="1.0"encoding="UTF-8"?><beansxmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001/XMLSchema......
  • API网关【gateway 】- 1
    最近在公司进行API网关重写,公司内采用serverMesh进行服务注册,调用,这里结合之前学习对API网关服务进行简单的总结与分析。网关的单节点场景:网关的多节点场景:这里的多节点是根......
  • API网关【gateway 】- 2
    最近在公司进行API网关重写,公司内采用serverMesh进行服务注册,调用,这里结合之前学习对API网关服务进行简单的总结与分析。由于采用了大量的nginx相关的东西,所以在此记录一下:......
  • UPEK API 代码
     UPEKAPI代码 usingSystem.Collections.Generic;usingSystem.ComponentModel;usingSystem.Data;usingSystem.Drawing;usingSystem.Linq;usingSystem.Text......
  • Spring Boot + @Async 太好用了,助你大大提升 API 并发能力!
    来源:https://developer.aliyun.com/article/694020异步调用几乎是处理高并发Web应用性能问题的万金油,那么什么是“异步调用”?“异步调用”对应的是“同步调用”,同步调用......