首页 > 其他分享 >Hadoop之HDFS的API操作文件的上传下载参数的优先级

Hadoop之HDFS的API操作文件的上传下载参数的优先级

时间:2023-05-05 17:12:55浏览次数:35  
标签:HDFS fs Path 上传下载 Hadoop IOException conf new import

Hadoop之HDFS的API操作文件的上传下载参数的优先级

package com.itnihao.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;

public class TestHDFS {
    private FileSystem fs;
    private URI uri;
    private Configuration conf;
    private String user;

    @Before
    public void init() throws IOException, InterruptedException {
        uri = URI.create("hdfs://hadoop102:8020");
        conf = new Configuration();
        // 设置副本数
        //conf.set("dfs.replication","2");
        user = "itnihao";
        fs = FileSystem.get(uri,conf,user);
    }

    @After
    public void close() throws IOException {
        fs.close();
    }

    @Test
    public void testHDFS() throws IOException, InterruptedException {
        // 创建文件系统对象
        URI uri = URI.create("hdfs://hadoop102:8020");
        Configuration conf = new Configuration();
        String user = "itnihao";
        FileSystem fs = FileSystem.get(uri,conf,user);
        System.out.println("fs = " + fs);
        fs.mkdirs(new Path("/testhdfs"));

        fs.close();


    }

    @Test
    public void testUpLoad() throws IOException {
        fs.copyFromLocalFile(false,true,new Path("D:/bigdata/haohaoxuexi.txt"),new Path("/testhdfs"));
    }

    @Test
    public void testDownLoad() throws IOException {
        fs.copyToLocalFile(false,
                new Path("/testhdfs/haohaoxuexi.txt"),
                new Path("D:\\bigdata\\haohaoxuexi.txt"),
                false);
    }




}
Hadoop之HDFS的API操作文件的上传下载参数的优先级

 

标签:HDFS,fs,Path,上传下载,Hadoop,IOException,conf,new,import
From: https://www.cnblogs.com/haizinihao/p/17374633.html

相关文章

  • DB - HDFS (Hadoop Distributed File System)
    HadoopDistributedFileSystem,简称HDFS,是一个分布式文件系统。 HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。 HDFS放宽了(r......
  • Mapreduce二次排序时,将jar包上传至Hadoop上运行时,抛出异常"java.util.NoSuchElementEx
    查询原因后发现是java中实现实现Mapper时StringTokenizer类时使用了一个方法nextToken()会抛出这个异常,”我们可以使用hasMoreTokens()和hasMoreElements()方法来避免异常。如果标记器的字符串中有更多标记可用,则这两种方法都返回true。只有当hasMoreTokens()方法返回Tr......
  • Hadoop全分布配置
    1.实验一:hadoop全分布配置1.1.实验目的完成本实验,您应该能够:掌握hadoop全分布的配置掌握hadoop全分布的安装掌握hadoop配置文件的参数意义1.2.实验要求熟悉hadoop全分布的安装了解hadoop配置文件的意义1.3.实验环境本实验所需之主要资源环境如表1-1......
  • Hadoop集群运行
    1.实验一:hadoop集群运行实验任务一:配置Hadoop格式化步骤一:NameNode格式化[root@master~]#su-hadoop[hadoop@master~]$cd/usr/local/src/hadoop/结果:[hadoop@master~]$./bin/hdfsnamenode–format-bash:./bin/hdfs:Nosuchfileordirectory[hadoop@......
  • hadoop平台安装
    Hadoop平台安装1.实验一:Linux操作系统环境设置1.1.实验目的完成本实验,您应该能够:掌握linux操作系统环境设置掌握hadoop安装的环境要求1.2.实验要求熟悉常用Linux操作系统命令熟悉hadoop安装的环境了解linux修改系统变量命令及各参数1.3.实验环境本实验所......
  • 单机版hadoop在Linux环境下的安装和配置
    创建hadoop用户首先打开终端窗口,输入如下命令创建hadoop用户,这条命令创建可以登录的hadoop用户,并使用/bin/bash作为shell:$sudouseradd-mhadoop-s/bin/bash接着为hadoop设置登录密码,可简单设为123456,按提示输入两次:$sudopasswdhadoop为hadoop用户增加管理员权限,......
  • 大数据学习初级入门教程(十六) —— Hadoop 3.x 完全分布式集群的安装、启动和测试
    好久没用Hadoop集群了,参考以前写的《大数据学习初级入门教程(一)——Hadoop2.x完全分布式集群的安装、启动和测试_孟郎郎的博客》和《大数据学习初级入门教程(十二)——Hadoop2.x集群和Zookeeper3.x集群做集成_孟郎郎的博客-》,下载了目前官网最新的版本 hadoop-3.3.5再......
  • Hadoop启动集群报错:Starting namenodes on [hadoop01] hadoop01: root@hadoop01: Per
    搭建三个hadoop集群的时候,master没有启动namenode和datanode,报错:Startingnamenodeson[hadoop01]hadoop01:root@hadoop01:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).Startingdatanodeshadoop01:root@hadoop01:Permissiondenied(publicke......
  • Hadoop概述
    Hadoop概述Hadoop是什么hadoop是一个由Apache基金会所开发的分布式系统基础框架其主要解决,海量数据的存储和海量数据的的分析计算问题广义上,Hadoop通常是指一个更加广泛的概念——Hadoop生态圈Hadoop的发展历史Hadoop创始人DougCutting,为了实现与Google类似的全......
  • 文件上传下载-SpringMvc
    进行文件上传时,表单需要做的准备:1.请求方式为POST:<formaction=”uploadServlet”method=”post”/>2.使用file的表单域:<inputtype=”file”name=”file”/>3.使用multipart/form-data的请求编码方式:<formaction=”uploadServlet”type=”file”name=”file”metho......