首页 > 其他分享 >“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

时间:2023-07-04 22:23:41浏览次数:48  
标签:hdfs fs HDFS 文件夹 org import 客户端

HDFS错误整改

编写“远程客户端操作hdfs创建文件夹”代码,验证环境是否配置成功!

1、错误点1:

uTools_1688458820777

改正方法:

第一步:点击 文件>项目文件>模块

uTools_1688475020930

第二步:会发现红色框里的显示的是15,这里我们需要改成8,如下图:

uTools_1688475074761

uTools_1688475089040

2、错误点2:

uTools_1688475402227

改正方法:

第一步:点击 文件>项目文件>设置,后按照图中步骤点击:

uTools_1688475476096

第二步:将目标字节码版本同样换成8,如下图:

uTools_1688475754674

第三步:这个问题解决了

3、错误点3:

这里出现了uri爆红了,因该是可能是导包的时候出错的?

uTools_1688458896288

改正方法:

第一步:点击侧面的Maven,后点击旋转按钮,后再次运行可以解决(?)

uTools_1688476242278

4、错误点4:

虽然网页中已经显示出xiyou,代表成功了,但是......

uTools_1688476999712

出现了如下警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

警告util.NativeCodeLoader:无法为您的平台加载本机Hadoop库…在适用的情况下使用内置的java类

uTools_1688476887272

改正方法:

此处引用网上查找的文章,因为我第一步的文件就没找到,可能之前的步骤不一样。

(44条消息) 解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告_青玄叶鹤的博客-CSDN博客

uTools_1688479091597

uTools_1688479079271

实验目的:

编写“远程客户端操作hdfs创建文件夹”代码,验证环境是否配置成功!

实现步骤:

1.首先要确保集群群起成功

uTools_1688475955032

uTools_1688475984182

2.在浏览器打开hadoop151:9870

uTools_1688476550533

3.编写如下图示代码

直接复制:

package org.example.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FileSystem;

public class HdfsClient {


    private FileSystem fs;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        // 连接的集群nn地址
        URI uri = new URI("hdfs://hadoop151:8020");
        // 创建一个配置文件
        Configuration configuration = new Configuration();

        // 用户
        String user = "root";

        // 1 获取到了客户端对象

        fs = FileSystem.get(uri, configuration, user);
    }

    @After
    public void close() throws IOException {
        // 3 关闭资源
        fs.close();
    }

    @Test
    public void testmkdir() throws  URISyntaxException, IOException, InterruptedException {
        // 2 创建一个文件夹
        fs.mkdirs(new Path("/xiyou/huaguoshan1"));
    }

}

4.运行代码,在网页端察看远程客户端操作hdfs创建文件夹成功

uTools_1688476999712

如果友友们有疑问和指导,欢迎在评论区指出!

标签:hdfs,fs,HDFS,文件夹,org,import,客户端
From: https://www.cnblogs.com/ZWeva/p/17527158.html

相关文章

  • hdfs du命令是算的一份数据
    As you can see, hadoop fsck and hadoop fs -dus report the effective HDFS storage space used, i.e. they show the “normal” file size (as you would see on a local filesystem) and do not account for replication in HDFS. In......
  • asp.net core如何获取客户端IP地址
    客户端直接访问服务器直接通过HttpContext.Connection.RemoteIpAddress获取客户端Ip[HttpGet][Route("GetClientIP")]publicasyncTask<IActionResult>GetClientIP(){ varip4=HttpContext.Connection.RemoteIpAddress.MapToIPv4(); returnOk(ip4.ToString());}客......
  • UE5打包出的客户端连不上服务器的排查
    最近在打包DS项目时遇到了一个很奇怪的问题,就是Editor以Client模式起的客户端点击Button可以连接到服务器的Level但是打包出来的Client点击Button却跳不过去观察服务器日志发现有Error,但是光凭这条服务器的Error无法确定问题。于是打开了Client的Log发现问题所在:这个错误......
  • nacos-sdk-go/v2版本 提示客户端连接不上
    nacos-sdk-gov2报错提示客户端连接不上标签(空格分隔):nacos前言nacos版本:v2nacos-sdk-go版本:v2背景:使用nacos-sdk-go来获取配置,发现一直在找缓存目录的文件,但使用openapi可以获取到配置报错信息clientnotconnected,currentstatus:STARTING提示客户端连接失败???1999-0......
  • 单位社保费申报缴纳 操作手册 (社保费管理客户端)
    单位社保费申报缴纳操作手册(社保费管理客户端)目录一、客户端下载、安装、登录...................................................................................3(一)下载...............................................................................................
  • tpcc客户端编译调试
    【代码地址】https://www.postgresql.org/message-id/CAGBW59f9q2Y4v-B3D8gje3xUsWz2Z-WaK9wYx4%3DhCY1zN%3D7%2BBQ%40mail.gmail.com【修改之后】根目录ant编译【执行】 【代码主要逻辑】 【客户端执行代码】......
  • 国标GB28181协议客户端开发(三)查询和实时视频画面
    国标GB28181协议客户端开发(三)查询和实时视频画面本文是《国标GB28181协议设备端开发》系列的第三篇,探讨了信息查询和实时视频在GB28181协议中的应用。首先,介绍了设备目录查询、设备信息查询和设备状态查询三个重要的信息查询功能,并详细解释了它们在协议中的信令交互流程。随后,深......
  • 9、Elasticsearch7.6.1 ES与HDFS相互转存数据-ES-Hadoop
    Elasticsearch系列文章1、介绍lucene的功能以及建立索引、搜索单词、搜索词语和搜索句子四个示例实现2、Elasticsearch7.6.1基本介绍、2种部署方式及验证、head插件安装、分词器安装及验证3、Elasticsearch7.6.1信息搜索示例(索引操作、数据操作-添加、删除、导入等、数据搜索及分......
  • Netty-TCP 02.客户端
    本文是使用Netty开发一个简单的TCP通讯(聊天)应用程序的第【2】部分,主要介绍客户端的实现。模块划分TCP简单TCP通讯(聊天)应用程序客户端主要分为三个部分:心跳保活处理消息消费处理TCP连接实现心跳保活心跳保活是目的是告诉服务端客户端是在线的,当客户端空闲时,定时给服务端发......
  • widnwo 客户端
    "actions":[{"command":"find","keys":"ctrl+f"},{"command":"paste","keys":"ctrl+v&q......