首页 > 其他分享 >12.5每日总结8

12.5每日总结8

时间:2023-12-05 23:44:23浏览次数:24  
标签:总结 fs 12.5 每日 remoteFilePath conf import null String

  1. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”,要求如下:实现按行读取HDFS中指定文件的方法“readLine()”,如果读到文件末尾,则返回空,否则返回文件一行的文本。
  2. import java.io.BufferedReader;
    import java.io.IOException;
    import java.io.InputStream;
    import java.io.InputStreamReader;

    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.*;

     


    public class MyFSDataInputStream extends FSDataInputStream{

    /**
    * @param args
    */
    public MyFSDataInputStream(InputStream in){
    super(in);
    }
    public static String readline(Configuration conf,String remoteFilePath){
    try (FileSystem fs = FileSystem.get(conf)) {
    Path remotePath = new Path(remoteFilePath);
    FSDataInputStream in = fs.open(remotePath);
    BufferedReader d = new BufferedReader(new InputStreamReader(in));
    String line = null;
    if ((line = d.readLine()) != null) {
    d.close();
    in.close();
    return line;
    }
    return null;
    } catch (IOException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
    return null;
    }

    }

    public static void main(String[] args) {
    // TODO Auto-generated method stub
    Configuration conf=new Configuration();
    conf.set("fs.default.name","hdfs://localhost:9000");
    String remoteFilePath="/Test/text.txt";

    System.out.println("读取文件:"+remoteFilePath);
    System.out.println(MyFSDataInputStream.readline(conf, remoteFilePath));
    System.out.println("\n读取完成");
    }

    }

     

标签:总结,fs,12.5,每日,remoteFilePath,conf,import,null,String
From: https://www.cnblogs.com/clh628/p/17878600.html

相关文章

  • 12.5每日总结
    文件创建以及覆盖importjava.io.FileInputStream;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;publicclassCopyFr......
  • 12.5每日总结3
    将HDFS中指定文件的内容输出到终端中;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.*;importorg.apache.hadoop.fs.FileSystem;importjava.io.*;publicclassCat{/***读取文件内容*/publicstaticvoidcat(Configuration......
  • 12.5每日总结2
    从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.*;importorg.apache.hadoop.fs.FileSystem;importjava.io.*;publicclassCopyToLocal{/***下载文件......
  • 12.5每日总结5
     给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.*;importorg.apache.hadoop.fs.FileSystem;importjava.......
  • 12.5每日总结4
     显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.*;importorg.apache.hadoop.fs.FileSystem;importjava.io.*;importjava.text.SimpleDateFormat;publicclassList{/***......
  • 12.5每日总结6
    提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.*;importjava.io.*;publicclassRemoveOrMake{/***判断路径是否存在*/publics......
  • 12.5每日总结7
    向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.*;importorg.apache.hadoop.fs.FileSystem;importjava.io.*;publicclassAppendToFile{/***判断路径是否存在......
  • 2023.12.5 stl list容器
    3.7.1list基本概念 功能:将数据进行链式存储链表(list)是一种物理存储单元上非连续的存储结构,数据元素的逻辑顺序是通过链表中的指针链接实现的 链表的组成:链表由一系列结点组成 结点的组成:一个是存储数据元素的数据域,另一个是存储下一个结点地址的指针域 STL中的链表......
  • 2023-2024-1 20231309 《计算机基础与程序设计》第十一周学习总结
    2023-2024-120231309《计算机基础与程序设计》第十一周学习总结这个作业属于哪个课程<2023-2024-1-计算机基础与程序设计>这个作业要求在哪里<2023-2024-1计算机基础与程序设计第十一周作业>这个作业的目标<《计算机科学概论》第十五章,《C语言程序设计》第十章,上周......
  • 12.5每日总结(阅读笔记7)
     《梦断代码》中对软件工程所面临的种种困难与艰难的描述,很符合当下编程工作,自己对于软件编程也有切身感受。正如一队人马并肩扛起代码大石,虽历经磨难仍欲将其推上山顶的故事。正是这种磨砺与艰难的爬山过坎,成就了各种各样的运行的软件,构成了一个五彩缤纷的虚拟世界。    ......