首页 > 其他分享 >Hadoop十九

Hadoop十九

时间:2022-08-20 00:44:41浏览次数:46  
标签:appender hadoop Hadoop apache org logfile 十九 log4j

HDFS  API操作

  在Windows上操作hadoop,需要添加hadoop依赖,我的hadoop是3.3.1版本的,我用的依赖是3.2.0的,需要配置环境变量

 

 

 PATH添加如下路径:

 

然后双击依赖中的

 

 

 一闪而过就是成功的。

在maven项目中添加如下依赖

<dependencies>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.2.0</version>
        <scope>provided</scope>
    </dependency>


    <!-- https://mvnrepository.com/artifact/junit/junit -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
        <scope>test</scope>
    </dependency>

</dependencies>

一开始忘记了<dependencies>标签,导致一直报错。

然后在src/main/resources目录下,新建log4j.properties文件夹,在文件夹中填入.

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

 

标签:appender,hadoop,Hadoop,apache,org,logfile,十九,log4j
From: https://www.cnblogs.com/zhaolei0419/p/16606990.html

相关文章

  • 大数据Hadoop入门教程 | (一)概论
    数据是什么数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合,它是可识别的、抽象的符号。......
  • Jmeter(四十九) - 从入门到精通高级篇 - jmeter使用监视器结果监控tomcat性能(详解教程
    ------------------------------------------------------------------- 转载自:北京-宏哥https://www.cnblogs.com/du-hong/p/13667219.html -------------------------......
  • Harley浅谈Hadoop(HDFS)
     一、HDFS概述 1.1、HDFS产出背景及定义 1.1.1、HDFS产生背景   随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘......
  • Hadoop学习第一天
    学习课程是B站上的黑马程序员第一阶段主要是基础的概念,数据、大数据;大数据特点;数据分析的基本流程、方向;分布式、集群;操作系统,虚拟机。基本上就是这些基本概念的学习。第......
  • Hadoop 十八
    HDFS文件块HDFS的文件在物理上是分块存储块的大小可以通过配置参数来规定,一般是2^n,2.x/3.x是128M,1.x中是64M。块设置的太大,会增大处理时间。块设置的太小,会增加寻址时......
  • hadoop入门之虚拟机安装
    今天按照黑马的视频和课程资料安装了三台Centos的linux虚拟机,步骤非常简单但是视频提示会有很多踩坑的点,我就比较顺利从VMware安装到激活,网络的配置以及虚拟机的安装都非常......
  • 自定义组件②样式-微信小程序开发(十九)
    1.组件样式隔离默认情况下,自定义组件的样式只对当前组件生效,不会影响到组件之外的UI结构,如图所示:⚫组件A的样式不会影响组件C的样式⚫组件A的样式不会影响小......