首页 > 其他分享 >Flink 配置HADOOP_CLASSPATH 影响Hive的日志打印问题

Flink 配置HADOOP_CLASSPATH 影响Hive的日志打印问题

时间:2022-11-20 11:44:48浏览次数:46  
标签:Flink CLASSPATH HADOOP Hive hadoop 日志

由于Flink on Yarn的部署需要hadoop的依赖:

 

 比较常见的解决方式会将hadoop calsspath放在Linux的系统环境变量下,但是这里会影响Hive的日志级别,导致Hive打印过多的INFO日志。

解决方案有两种:

1. 将hadoop classpath加入到fink的局部配置环境变量之中,如图所示:

 

 2. 更改hive的日志配置选择逻辑

  即把bin/hive 中的 358行左右的代码换下位置

 

 export HADOOP_CLASSPATH="${HADOOP_CLASSPATH}:${LOG_JAR_CLASSPATH}"改成export HADOOP_CLASSPATH="${LOG_JAR_CLASSPATH}:${HADOOP_CLASSPATH}"

标签:Flink,CLASSPATH,HADOOP,Hive,hadoop,日志
From: https://www.cnblogs.com/averyve/p/16908134.html

相关文章

  • Flink-水位线的设置以及传递
    6.2水位线6.2.1概述分类有序流无序流判断的时间延迟延迟时间判定6.2.2水位线的设置分析DataStream下的assignTimstampsAndWatermarks方法,返回Sing......
  • Hadoop总结——HDFS
    一、HDFS概述1.1HDFS产生背景随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理......
  • Hadoop 集群搭建
    #1.配置机器名字vim/etc/sysconfig/networkNETWORKING=yes#使用网络HOSTNAME=bigdata-senior01.yicheng.com#设置主机名#2.配置hostvim/etc/hosts192.168.19......
  • Hadoop伪分布式部署
    使用hadoop-3.1.0版本添加用户hadoopuseraddhadoop设置hadoop用户免密登录切换到hadoop用户操作ssh-keygen-trsa-P''-f~/.ssh/id_rsacat~/.ssh/id_rsa.pub......
  • Flink基于State做千万用户的pv
    需求:记录每天某一页面下所有用户的访问次数和第一次访问的时间解法:redis做缓存,每天一个map,设置ttl,用户访问次数做累积,过滤完先存到redis,sink的时候读redis,查出这个用户的总......
  • Flink广播变量
    应用场景实时更新配置,例如:任务在统计3个页面的uv,又要统计另外三个页面的uv,那我是不是可以通过配置的方式,快速实现类似需求实时加载维表,例如:kafka里用户购买的订单信息的binl......
  • Flink/Spark中ETL的简单模版
    我们往往可以忽略外界的干扰因素,避免焦虑,专心做自己想做的事情,反正焦虑又解决不了问题引言使用flink或者spark的时候,写好固定的模版很重要,对于一下etl的实时任务,只需要执行......
  • Hadoop序列化之MapReduce案例
    Hadoop序列化序列化概述序列化就是把内存中的对象、转换成字节系列(或者其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。反序列化就是将收到字节序列(或其他数据传输......
  • Apache Flink架构及其工作原理
    ApacheFlink架构及其工作原理1、定义:Apacheflink是一个实时计算框架和分布式处理引擎,用于再无边界和有边界数据流上进行有状态的计算,Flink能在所有的集群环境中运行,......
  • 在macbook m1上调试flink1.14.3
    前置条件1:首先先用homebrew安装一下flink1.14.3版本,安装完成后,/usr/local/Celler/apache-flink/1.14.3是主路径。可以看看有没有类似的文件夹来确定有没有安装上。前置条......