首页 > 其他分享 >dolphinscheduler调度任务执行hadoop命令报错(connot execute /opt/soft/hadoop/libexec/hadoop-config.sh)

dolphinscheduler调度任务执行hadoop命令报错(connot execute /opt/soft/hadoop/libexec/hadoop-config.sh)

时间:2024-03-20 11:35:06浏览次数:36  
标签:opt dolphinscheduler hadoop HADOOP export 报错 HOME config

问题描述

在dolphinscheduler创建调度任务,任务里边命令为 hadoop fs -mkdir -p /test/ 执行失败,报错信息如下:

问题分析

经排查该问题为dolphinscheduler配置的hadoop_home异常导致执行hadoop命令失败。

问题解决

配置dolphinscheduler服务config-env 环境变量

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/current/hadoop-client}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
export HADOOP_HDFS_HOME=${HADOOP_HDFS_HOME:-/usr/hdp/current/hadoop-hdfs-client}

export PATH=$HADOOP_HOME/bin:$HADOOP_HDFS_HOME/bin:

重启dolphinscheduler服务即可

如若还有问题请排查各个节点/usr/hdp/current/dolphinscheduler 安装目录 alert-server,api-server, master-server, worker-server 下 config目录里边dolphinscheduler_env.sh是否下发修改成功,未修改请继续排查目录权限等问题。

标签:opt,dolphinscheduler,hadoop,HADOOP,export,报错,HOME,config
From: https://www.cnblogs.com/whiteY/p/18084868

相关文章

  • PHP无法连接MySQL8.0数据库问题处理 报错如下: SQLSTATE[HY000]
    PHP无法连接MySQL8.0数据库问题处理报错如下:SQLSTATE[HY000][2054]Theserverrequestedauthenticationmethodunknowntotheclient发生这种错误,是由于MySQL8默认使用了新的密码验证插件:caching_sha2_password,而之前的PHP版本中所带的mysqlnd无法支持这种验证。解决这个问......
  • 240_@Override报错解决
    错误提示:@Overrideisnotallowedwhenimplementinginterfacemethod解决:修改模块编译检查时最低要求的JDK版本为JDK8......
  • 330_若依系统头像报错
    运行报错:clientBuilder.sslSocketFactory(SSLSocketFactory)notsupportedonJDK9+参考文档:https://www.cnblogs.com/mua9102/p/13387034.htmlprofile:/home/ruoyi/uploadPathbasedir:/data/apps/temp#项目相关配置ruoyi:#名称name:fgyw_corp#版本ve......
  • Hadoop与Spark的x86和ARM混合集群部署【环境搭建篇】
    ​笔者在完成课程设计时,突然想到把大数据框架同时部署到PC端虚拟机以及ARM架构的Linux板上,这篇博客记录集群部署流程以及例程测试。部署架构如下图:若下文与架构图冲突,则以架构图为准。运行环境:PC方面,使用两台Ubuntu20.04LTSFocalFossa虚拟机ARM板子则使用香橙派5(R......
  • getopt函数/getopt_long函数
    getopt函数/getopt_long函数目录getopt函数/getopt_long函数getoptgetopt_longgetoptgetopt函数是Unix和Linux系统编程中用于解析命令行选项的常用工具。它属于GNUC库的一部分,因此在大多数Linux发行版中都是可用的。下面是一个简单的getopt函数的使用示例:#include......
  • 【NodeJS】GLIBC_2.28 not found CentOS7不兼容Node高版本 npm报错
    CentOS7环境下安装Nvm,在执行nvmuse18.17.0后执行node-v爆出如下错误 bash复制代码node:/lib64/libm.so.6:version`GLIBC_2.27'notfound(requiredbynode)node:/lib64/libc.so.6:version`GLIBC_2.25'notfound(requiredbynode)node:/lib64/libc.so......
  • 工单建立报错
    CO323销售订单没有CO对象 按照提示,检查需求类型。 具体有哪些,看下面的路径:也可以直接找个正常的销售订单对比,这里是设置消耗库存,还是按单生产的地方。......
  • STL:vector中如何使用at()来避免程序报错
     #include<iostream>#include<vector>usingnamespacestd;intmain(){ vector<int>Vec; for(inti=0;i<30;i++) { Vec.push_back(i); //cout<<Vec.size()<<endl; //cout<<Vec.capacity()<......
  • egg 启动报错
    版本nodev18.12.0egg^3.17.5 背景先前执行yarnstart可以正常启动,今日修改代码再次启动,发现报错,如下图(比较长没有截完) 排查与解决1.默认node版本16.18.0,vue3项目要更高的版本,因此导致项目起不来还比较频繁,于是先忽视报错,无脑切node版本到18.12.0,未果用......
  • windows11安装SQL server数据库报错等待数据库引擎恢复句柄失败(二)
    windows11安装SQLserver数据库报错等待数据库引擎恢复句柄失败(二),昨天在给网友远程的时候发现了一个新的问题。计算机系统同样是Windows11,通过命令查出来的扇区相关结果也都是4096,但是最后的安装还是提示SQLserver数据库报错等待数据库引擎恢复句柄失败扇区修改详情可以......