首页 > 其他分享 >HDP 相关日志位置

HDP 相关日志位置

时间:2024-01-21 17:23:32浏览次数:30  
标签:01 15 log HDP 位置 hadoop hive 日志 root

 

 

1. HIVESERVER2 的日志:

/var/log/hive

-rwxrwxrwx 1 hive hadoop      479 1月  14 18:20 hive.err
-rwxrwxrwx 1 hive hadoop     2438 1月  13 20:27 hivemetastore-gc-2024-01-13_20-27-25.log.0.current
-rwxrwxrwx 1 hive hadoop   103264 1月  13 21:47 hivemetastore-gc-2024-01-13_20-27-29.log.0.current
-rwxrwxrwx 1 hive hadoop     2440 1月  14 18:20 hivemetastore-gc-2024-01-14_18-20-33.log.0.current
-rwxrwxrwx 1 hive hadoop   635805 1月  15 16:26 hivemetastore-gc-2024-01-14_18-20-34.log.0.current
-rwxrwxrwx 1 hive hadoop 53508507 1月  15 16:27 hivemetastore.log
-rwxrwxrwx 1 hive hadoop   193825 1月  14 18:20 hivemetastore.log.2024-01-13_1.gz
-rwxrwxrwx 1 hive hadoop   720886 1月  15 06:37 hivemetastore.log.2024-01-14_1.gz
-rwxrwxrwx 1 hive hadoop       52 1月  14 18:20 hive.out
-rwxrwxrwx 1 root root       2432 1月  13 21:16 hiveserver2-gc-2024-01-13_21-16-59.log.0.current
-rwxrwxrwx 1 root root        955 1月  13 21:17 hiveserver2-gc-2024-01-13_21-17-00.log.0.current
-rwxrwxrwx 1 root root      19123 1月  13 21:41 hiveserver2-gc-2024-01-13_21-17-03.log.0.current
-rwxrwxrwx 1 root root       2431 1月  15 15:38 hiveserver2-gc-2024-01-15_15-38-12.log.0.current
-rwxrwxrwx 1 root root        955 1月  15 15:38 hiveserver2-gc-2024-01-15_15-38-13.log.0.current
-rwxrwxrwx 1 root root      13501 1月  15 15:42 hiveserver2-gc-2024-01-15_15-38-14.log.0.current
-rw-r--r-- 1 hdfs hadoop      956 1月  15 16:20 hiveserver2-gc-2024-01-15_16-20-08.log.0.current
-rw-r--r-- 1 hdfs hadoop    18888 1月  15 16:22 hiveserver2-gc-2024-01-15_16-20-10.log.0.current
-rw-r--r-- 1 hdfs hadoop     2434 1月  15 16:25 hiveserver2-gc-2024-01-15_16-25-38.log.0.current
-rw-r--r-- 1 hdfs hadoop      956 1月  15 16:25 hiveserver2-gc-2024-01-15_16-25-39.log.0.current
-rw-r--r-- 1 hdfs hadoop    18565 1月  15 16:25 hiveserver2-gc-2024-01-15_16-25-41.log.0.current
-rwxrwxrwx 1 root root     359711 1月  15 16:26 hiveserver2.log
-rwxrwxrwx 1 root root      14753 1月  15 15:38 hiveserver2.log.2024-01-13_1.gz
[root@hdp01 hive]# pwd
/var/log/hive

 

 

2.查看 metastore日志.

tail /var/log/hive/hivemetastore.log




 

 

 

 

2. ambari-agent 日志

请留意大部分log 在/var/log目录下 .

/var/log/ambari-agent/

ambari-agent running.
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

 

3. HDP安装目录

/usr/hdp/3.

 

 

 

 

 

 

 

 

 

 

 

 

 

99. 其他目录

1. HDFS

DATA DIRS
 DataNode directories :
/hadoop/hdfs/data

 NameNode directories 
/hadoop/hdfs/namenode

 SecondaryNameNode Checkpoint directories 
 /hadoop/hdfs/namesecondary
 
  NameNode Backup directory 
  /tmp/upgrades
 
JournalNode Edits directory 
/hadoop/hdfs/journalnode


 NameNode Checkpoint Edits directory 
 ${dfs.namenode.checkpoint.dir}
 
  Hadoop Log Dir Prefix 
  /var/log/hadoop
  
   Hadoop PID Dir Prefix 
   /var/run/hadoop
 
 2.YARN
 
DATA DIRS

YARN NodeManager Local directories
/hadoop/yarn/local

YARN Timeline Service Entity Group FS Store Active directory
/ats/active/

YARN Node Labels FS Store Root directory
/system/yarn/node-labels

YARN NodeManager Recovery directory
{{yarn_log_dir_prefix}}/nodemanager/recovery-state

YARN Timeline Service Entity Group FS Store Done directory
/ats/done/


LOG DIRS

YARN NodeManager Log directories
/hadoop/yarn/log

YARN NodeManager Remote App Log directory

YARN Log Dir Prefix
/var/log/hadoop-yarn


 YARN PID Dir Prefix 
 /var/run/hadoop-yarn
 

3. HIVE 

 DATA DIRS

Hive Metastore Warehouse directory
/warehouse/tablespace/managed/hive

Hive Exec Scratchdir
/tmp/hive


Hive User Install directory
/user/

TEZ Lib URIs
/hdp/apps/${hdp.version}/tez/tez.tar.gz

LOG DIRS

Hive Log Dir
/var/log/hive

HiveServer2 Logging Operation Log Location
/tmp/hive/operation_logs


PID DIRS

Hive PID Dir
/var/run/hive

 

标签:01,15,log,HDP,位置,hadoop,hive,日志,root
From: https://www.cnblogs.com/mengbin0546/p/17965659

相关文章

  • 蓝桥杯准备---练习日志
    2024-01-17利用Cubemx配置usart中Asyn...和Syn....的意思是什么? 使用串口时报错如下------解决办法:添加st官方提供的串口驱动文件 修改底层printf内部的fputs代码---实现printf函数通过串口输出,需要利用LIB什么的......我猜测这个函数是向某个文件流中写......
  • 在 SpringBoot 项目中使用 MDC 实现日志 traceId 的统一
    前言在项目中,对于每一次请求,我们都需要一个traceId将整个请求链路串联起来,这样就会很方便我们根据日志排查问题。但是如果每次打印日志都需要手动传递traceId参数,也会很麻烦,MDC就是为了解决这个场景而使用的。注:这里我们使用slf4j+logbacklogback配置logback.xml......
  • Java每7天日志自动清理
    实现Java每7天日志自动清理作为一名经验丰富的开发者,我很高兴能够教会你如何实现Java每7天日志自动清理的功能。在开始之前,让我们先来了解一下整个流程,然后再逐步进行实现。整体流程如下所示:journeytitleJava每7天日志自动清理流程section步骤清理日志文件-......
  • 利用aop、拦截器HandlerInterceptor来实现接口限流,日志收集
    前言:aop是面向切面编程,通过预编译方式和运行期间动态代理实现程序功能的统一维护的一种技术。拦截器是web请求中一个请求周期中的一环就实现接口限流这个需求来说,用aop和HandlerInterceptor都可以来实现,就是在调用接口之前做一些约束而已。aop+自定义注解+Semaphore实现接口限流自......
  • 使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kiba
    前言ELK是指Elasticsearch、Logstash和Kibana这三个开源软件的组合。Elasticsearch是一个分布式的搜索和分析引擎,用于日志的存储,搜索,分析,查询。Logstash是一个数据收集、转换和传输工具,用于收集过滤和转换数据,然后将其发送到Elasticsearch或其他目标存储中。Kiba......
  • 寒假学习日志1-scala的配置和使用
    首先根据厦大数据库实验室博客配置scala1.下载scala 2.解压scala在linux虚拟机中 3.配置环境变量 4.尝试使用 5.编写第一个程序scala:HelloWorld创建项目目录,写入程序代码 代码内容为:objectHelloWorld{defmain(args:Array[String]){pri......
  • Linux进程被杀掉(OOM killer),查看系统日志
    基本概念:Linux内核有个机制叫OOMkiller(OutOfMemorykiller),该机制会监控那些占用内存过大,尤其是瞬间占用内存很快的进程,然后防止内存耗尽而自动把该进程杀掉。内核检测到系统内存不足、挑选并杀掉某个进程的过程可以参考内核源代码linux/mm/oom_kill.c,当系统内存不足的时候,o......
  • Nginx的日志处理
    Nginx的日志处理背景之前一直被各种咨询nginx的使用问题.大部分都是性能,加模块,以及一些tcp端口等的问题.其实这些都还好,还有一个比较麻烦的问题时日志相关的.nginx的日志稍有不注意就会变的非常大.导致不可用.其实应该是实现logrotate的方式比较好一些.其实实......
  • oracle查找字符串中指定字符的位置
    INSTR(string,search_string,start_position,nth_appearance)其中:string是要查找的字符串。search_string是要查找的字符或字符串。start_position是开始查找的位置,默认为1。nth_appearance是要查找的字符或字符串在string中出现的次数,可以省略,默认为1......
  • graylog日志集中管理
    referencehttps://go2docs.graylog.org/5-2/what_is_graylog/what_is_graylog.htminstallecho"vm.max_map_count=262144">>/etc/sysctl.confsysctl-pmkdir-p/data/{mongo_data,elasticsearch_data,graylog_data}cat>docker-compsoe.yml&......