首页 > 编程语言 >hadoop - hadoop2.6 伪分布式 - Java API 操作 HDFS

hadoop - hadoop2.6 伪分布式 - Java API 操作 HDFS

时间:2023-02-22 11:33:48浏览次数:46  
标签:HDFS fs Java URL hadoop private static new import


1.环境

   hadoop 2.6 

   hdfs 地址 : hdfs://localhost:9000

  开发环境 : eclipse 

 新建Map/Reduce 工程


2.代码示例


package cn.labelnet.demo;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class UrlTest {

private static final String HDFS_URL="hdfs://localhost:9000";

private static final String DIR_URL="/zhuo";

private static final String FILE_URL="/zhuo/yuan";

private static final String FILE1_URL="/ming";

public static void main(String[] args) throws Exception {
FileSystem fs = FileSystem.get(new URI(HDFS_URL),new Configuration());

// createDir(fs);
// upfile(fs);

// downFile(fs);

// deleteFIle(fs);

deleteDir(fs);
}



private static void deleteDir(FileSystem fs) throws IOException {
//删除文件夹
boolean g = fs.delete(new Path(DIR_URL),true);
System.out.println(g);
}



private static void deleteFIle(FileSystem fs) throws IOException {
//删除文件
boolean b = fs.delete(new Path(FILE1_URL), true);
System.out.println(b);
}



private static void downFile(FileSystem fs) throws IOException {
//下载文件
FSDataInputStream fis = fs.open(new Path(FILE_URL));
IOUtils.copyBytes(fis, System.out,1024,true);
}



private static void createDir(FileSystem fs) throws IOException {
//创建文件夹
fs.mkdirs(new Path(DIR_URL));
}



private static void upfile(FileSystem fs) throws FileNotFoundException, IOException {
FileInputStream in=new FileInputStream("yuan.txt");
//上传文件
FSDataOutputStream fos = fs.create(new Path(FILE_URL),true);
IOUtils.copyBytes(in, fos, 1024,true);
}




}


3.Demo 免积分下载



标签:HDFS,fs,Java,URL,hadoop,private,static,new,import
From: https://blog.51cto.com/u_15976424/6078833

相关文章

  • hadoop - hadoop2.6 伪分布式 - 全局配置 和 启用 YARN 进行任务调度与资源管理
    1.全局配置        上面的学习中,我们都是先进入到/usr/local/hadoop目录中,再执行sbin/hadoop,实际上等同于运行/usr/local/hadoop/sbin/hadoop。我们可以......
  • Java中的transient
    1.作用transient关键字的主要作用就是让某些被transient关键字修饰的成员属性变量不被序列化。2.什么是序列化?简单来说就是将java对象转化为字节流的形式。我们在程序中......
  • hadoop - hadoop2.6 伪分布式 - eclipse 中 配置 和 示例 wordcount
    1.配置eclipse   1.1下载linux版的eclipse ​​百度云-大数据资料专辑​​  1.2解压   可以手动提取,也可以命令提取:yuan@LABELNET:~/JAVA$sudotar-zx......
  • hadoop - hadoop2.6 伪分布式安装和ssh 安装
    1.hadoop基本知识  1.1 特点: 扩容能力:能可靠地存储和处理千兆字节的数据;  成本低:可以通过普通机器组成的服务器来分发以及处理数据,这些服务器群总计可达千个节点......
  • 【JavaScript】23_instanceof和hasOwn
    13、instanceof和hasOwninstanceof用来检查一个对象是否是一个类的实例instanceof检查的是对象的原型链上是否有该类实例只要原型链上有该类实例,就会返回truedog->......
  • 【JavaScript】24_旧类与new运算符
    14、旧类早期JS中,直接通过函数来定义类一个函数如果直接调用xxx()那么这个函数就是一个普通函数一个函数如果通过new调用newxxx()那么这个函数就是一个够早函数​......
  • 电子时钟输出 java 循环 230222
    需求代码publicclassTest16{publicstaticvoidmain(String[]args)throwsInterruptedException{//电子时钟//小时循环for(inthour......
  • VScode搭建java 开发环境.
    第一步安装jdk安装jdk17.过程略(因为vscode支持17以及以上的版本.所以这个必须要安装).我的项目用的jdk1.8所以jdk1.8也要下载到本地.安装好后cmd命令窗口java-......
  • Java中">>"的作用
    这是java中的位移运算符,>>表示右移运算符。数学计算:右移一位相当于除2,右移n位相当于除以2的n次方。例如:8>>2:表示把2这个数字对应的二进制数据向右移动两位,形成新的数据。......
  • Java的Lambda表达式总结-JDK1.8
    前言:lambda是一个匿名函数()里的表示参数{}里的表示方法体->表示lambda运算符 常用的表达式如下: 一、groupingBy用法目的:数据库(想把相同的合......