首页 > 其他分享 >使用ambari安装dolphinscheduler服务

使用ambari安装dolphinscheduler服务

时间:2024-03-01 11:37:08浏览次数:22  
标签:hdfs ambari httpfs dolphinscheduler server mysql libs 安装

1.添加服务选择dolphinscheduler

2.dolphinscheduler服务配置

这个选择使用mysql数据作为dolphinscheduler服务的元数据库

3.服务选择进行安装

选择两个DS-master,至少两个DS-ALTERS,DS-APIS,其余节点都部署DS-worker节点

4.如果在安装dolphinscheduler之前做了namenode-ha则可能会报'hue-desktop-ini'相关报错,则需要对params.py脚本进行修改

脚本位置


/var/lib/ambari-server/resources/stacks/HDP/3.3/services/DOLPHINSCHEDULER/package/scripts/params.py

修改内容
#hdfs_httpfs_host = config['configurations']['hue-desktop-ini']['hdfs_httpfs_host']
 hdfs_httpfs_host = "dfs_ha_enabled"

注释#hdfs_httpfs_host = config['configurations']['hue-desktop-ini']['hdfs_httpfs_host']
给hdfs_httpfs_host 任意赋值一个参数让下边的webhdfs_url直接取第一个namenode_hosts[0]

修改完之后保存重启ambari-server服务重新安装dolphinscheduler

5.拷贝mysql驱动到所有节点libs目录下


cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/alert-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/api-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/master-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/worker-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/3.3.1.0-004/dolphinscheduler/tools/libs/

6.因为第二步配置的用户为hdfs用户所以需要将所有服务所属组改为hdfs


/var/log/dolphinscheduler
/usr/hdp/3.3.1.0-004/dolphinscheduler

chown -R hdfs:hdfs dolphinscheduler

修改完之后ambari管理平台上启动dolphinscheduler,启动过程中元数据会自动初始化建表

标签:hdfs,ambari,httpfs,dolphinscheduler,server,mysql,libs,安装
From: https://www.cnblogs.com/whiteY/p/18046586

相关文章

  • python环境安装与配置
    1.浏览器输入python官方网站https://www.python.org/2.选择downloads后,再选择电脑的操作系统,如:Windows3.根据自己的电脑选择合适的版本进行下载4.选择下载好的版本,如python3.12.0-amd64.exe.,鼠标右键选择以管理员身份运行5.勾选Useadminprivilegeswheninstallingpy.exe......
  • Ubuntu中安装使用QEMU/KVM/virt-manager运行虚拟机
    本文为原创,首次发布于我的个人博客网站:Ubuntu中安装使用QEMU/KVM/virt-manager运行虚拟机有时候我们需要在同一台计算机中使用多种不同操作系统环境,基于已有的同一堆硬件资源来获得不同操作系统各自的便利性。对此,常用的解决方案主要有:在物理机器中安装使用双系统在宿主系统......
  • Ubuntu系统安装系统后发现50G的硬盘能用的只有23G解决方案
    Ubuntuserver默认使用LVM进行磁盘管理,安装后只使用了硬盘一部分空间,要充分利用硬盘空间,需要扩展现有的逻辑卷;如果添加新硬盘,需要将其添加到现有的卷组,然后扩展逻辑卷到新硬盘。1、查看磁盘占用情况df-h2、查看现有的卷组sudovgdisplay3、扩展现有的逻辑卷sudolvext......
  • Linux openEuler 安装 MySQL
    更新记录点击查看2024年3月1日更新常见问题。2024年2月29日发布。安装需要使用到的命令和包如果有就不用安装了。yum-yinstalltaryum-yinstallvimyum-yinstallnet-toolsyum-yinstalllibncurses*下载MySQL的安装包官网地址:https://downloads.mysql.......
  • 使用kubeadm安装k8s 1.29单机版
    环境及版本信息kubernetes:1.29.0容器运行时:containerd1.6.28虚拟机系统:centos7.9虚拟机内核版本:5.4.238-1.el7.elrepo.x86_64在单虚拟机节点进行服务器设置参考:https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/install-kubeadm/设置......
  • centos7安装node18.16.1
    centos7安装node18.16.1参考文档https://www.cnblogs.com/dingshaohua/p/17103654.html详细文档[root@172~]#npm-vnode:/lib64/libm.so.6:version`GLIBC_2.27'notfound(requiredbynode)node:/lib64/libc.so.6:version`GLIBC_2.25'notfound(requ......
  • 氢桌面【高德悬浮版】—更轻、更简洁的车载桌面【附带安装包下载地址】
    简介今天给大家推荐一款超好用的桌面【氢桌面】,支持4种首页布局方式,可根据自己喜好选择。支持开启小白点,非首页界面可以快速返回首页。如果用过CarPlay的车友会发现这个界面和CarPlay高度相似,中间显示地图小窗,右侧显示快捷导航天气音乐等界面。界面预览常见问题及方控设置......
  • trzsz安装
    作用:给ssh服务器传输文件客户端要安装tssh;windows安装scoopinstalltssh / wingetinstalltssh / chocoinstalltsshsudoaptupdate&&sudoaptinstallsoftware-properties-commonsudoadd-apt-repositoryppa:trzsz/ppa&&sudoaptupdatesudoaptinstall......
  • vue——使用yarn安装electron依赖时报错:RequestError: read ECONNRESET
    参考:1.Electron安装报错RequestError:readECONNRESEThttps://blog.csdn.net/qq_33835370/article/details/123612429?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-1-123612429-blog-122476584.235^v43^control&spm=1......
  • 神州通用数据库安装(单机)
    环境:OS:Centos7DB:V7 1.介质下载地址http://www.shentongdata.com/old_bak/iso/wzsyx/ShenTong7.0_linux64.rar 2.安装rar[root@localhostsoft]#tar-xvfrarlinux-x64-5.3.0.tar.gz[root@localhostsoft]#cdrar[root@localhostrar]#makeinstall 3.解压数据库安......