首页 > 其他分享 >如何指定Hadoop命令行日志输出级别

如何指定Hadoop命令行日志输出级别

时间:2022-10-04 13:33:17浏览次数:72  
标签:输出 查看 Hadoop hadoop 命令行 DEBUG 日志

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​https://github.com/fayson/cdhproject​


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



使用Hadoop的客户端命令时,在命令执行报错的情况下,需要使用通过DEBUG日志来分析报错原因,在CM上通过设置HDFS的Gateway角色日志输出级别为DEBUG,但命令行使用hadoop命令并未输出DEBUG日志。


如何指定Hadoop命令行日志输出级别_日志输出


以上方式设置后,命令行执行hadoop命令并不能输出Debug日志


如何指定Hadoop命令行日志输出级别_hadoop_02


  • 测试环境说明

1.CM5.15.0和CDH5.14.2


2.命令设置输出日志级别



通过在命令行设置HADOOP_ROOT_LOGGER的环境变量设置hadoop命令的日志输出级别,操作如下:


[root@cdh03 ~]# export HADOOP_ROOT_LOGGER=DEBUG,console
[root@cdh03 ~]# hadoop fs -ls /

(可左右滑动)


如何指定Hadoop命令行日志输出级别_命令行_03


可以看到有了详细的DEBUG日志输出。


注意:在Cloudera Manager5.3之前,可以通过如下方式实现


export HADOOP_CLIENT_OPTS="-Droot.logger=DEBUG,console"
hadoop fs -ls /

(可左右滑动)



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何指定Hadoop命令行日志输出级别_hadoop_04

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


标签:输出,查看,Hadoop,hadoop,命令行,DEBUG,日志
From: https://blog.51cto.com/u_14049791/5731215

相关文章

  • 如何在NET 6.0使用结构化的日志系统
             在我们的系统里面,有一项技术是必须使用的,那就是日志记录。我们在调试系统或者跟踪系统运行情况,都可以通过日志了解具体的情况。在项目开发中,我们有可......
  • 0508-如何使用Hadoop的Archive处理小文件
    温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:​​https://github.com/fayson/cdhproject​​提示:代码块部分可......
  • SQL Server 日志清理SQL
    USE[master]GOALTERDATABASE要清理的数据库名称SETRECOVERYSIMPLEWITHNO_WAITGOALTERDATABASE要清理的数据库名称SETRECOVERYSIMPLE-......
  • ES命令行
    RESTAPIsIndexmanagementCreateindexAPI创建新索引PUT/twittercurl-XPUT"localhost:9200/twitter?pretty"索引设置:创建的每个索引都可以有与之关联的特......
  • 将你的 Python 脚本转换为命令行程序
    使用Python中的​​scaffold​​​和​​click​​库,你可以将一个简单的实用程序升级为一个成熟的命令行界面工具。在我的职业生涯中,我写过、用过和看到过很多随意的......
  • 手把手教你安装Hadoop集群
    一、虚拟机安装与配置​ 注意,本文不适合小白操作,查看至少需要一点儿linux操作基础,因为其中有很多命令并没有写出来。比如使用vi修改文件后,需要使用:wq来保存并退出。安......
  • Hadoop势微,云原生上位——传统大数据平台的云原生化改造
     以Hadoop为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:数据开发迭代速度不够快......
  • Hadoop3.X安装教程(Ubuntu)
    前提:一台纯净的Ubuntu机器(虚拟机安装教程略)ctrl+alt+T打开bash,全程使用bash指令进行,以hadoop和java8为例首先换源进入root账户sudosu-升级软件列表ap......
  • Spring自学日志01-IOC(控制翻转)
    目录一、IOC的基本概念和底层原理1.1、什么是IOC?1.1.1、SpringIOC容器1.2、IOC底层原理1.2.1、IOC容器1.2.2、IOC容器装配Bean的方式1.2.3、IOC容器装配Bean的操作1.2.3.......
  • linux_文件跟踪查看/实时查看添加到⽂件中的内容/linux日志查看(outline)
    文章目录​​文件跟踪查看/实时查看添加到⽂件中的内容/linux日志查看​​​​追踪更新中的文件​​​​查看某个文件的末尾N行,并带上源文件中的行号​​​​查看linux内核......