首页 > 其他分享 >Apache DolphinScheduler(2.x和3.x版本) 本地环境搭建教程一览

Apache DolphinScheduler(2.x和3.x版本) 本地环境搭建教程一览

时间:2024-05-27 11:57:09浏览次数:25  
标签:教程 dolphinscheduler timeout Mysql DolphinScheduler 版本 mysql Apache

在迅速变化的技术领域,本地环境的搭建和调试对于软件开发的效率和效果至关重要。本文将详细介绍如何为Apache DolphinScheduler搭建一个高效的本地开发环境,包括2.x和3.x版本的设置方法。

file

无论您是初学者还是有经验的开发者,本指南都将帮助您快速启动并运行,有效地进行本地代码调试。

依赖项

  • Mysql
  • ZooKeeper

说明

其他的 Git、Maven、JDK、Node等工具,这里不做详细安装说明。

注意Apache DolphinScheduler 2.x 版本使用 node v12.20 , 3.x 版本使用 node v16.13+。

本地开发搭建更多的是为了方便调试代码,用于调试现有的逻辑,定位问题,学习源码等,如果有现成的测试环境,建议不要在本地在安装额外的Mysql等环境了,直接使用测试环境的 Mysql、ZK 等环境,那就跳过这一步往后看!

如果你没有测试环境,本地还是需要搭建 Mysql 和 ZooKeeper 的话,也非常简单。

安装 ZooKeeper

https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/

file

① 下载之后,解压到一个目录 ,在这个目录下新建 zkDatazkLog 文件夹。
② 将 Conf 目录下的 zoo_sample.cfg 文件,复制一份,重命名为 zoo.cfg,修改其中数据和日志的配置,如:

dataDir=/data/zookeeper/data ## 此处使用绝对路径,具体路径根据实际情况
dataLogDir=/data/zookeeper/datalog

③ 运行 ./bin/zkServer.sh

安装Mysql

访问 https://dev.mysql.com/downloads/mysql/

Mac用户:

file

Windows 用户:

file

其他的,安装一直点Next即可。

安装完 Mysql 之后,需要初始化数据。
① 在Mysql中新建库,用于DolphinScheduler调用

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

② 新建DolphinScheduler用户,并赋予DolphinScheduler库权限

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
CREATE USER 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost';
FLUSH PRIVILEGES;

③ 执行 SQL
在 Mysql 的 DolphinScheduler 库中执行 DolphinScheduler源码目录下的\*\*dolphinscheduler/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_mysql.sql \*\*的文件,以此完成数据的初始化。

配置注册中心

修改 Zookepper 的配置信息

如果你使用的是本地的 ZK,配置默认就是 127.0.0.1:2181 ,这一步可以跳过,不需要修改。

如果你是用的是其他服务器的 ZK,修改下图中位置的连接信息即可。

file

启动后端

说明

这里呢,2.x 版本和 3.x 版本会有点不一样。如图:

file

file

在修改的时候,请注意找到对应的位置。

启动 API 服务

① 2.X 版本和 3.X 版本一样,在 dolphinscheduler-api 模块的 resources 下面,新增 yaml 文件 application-mysql.yaml

内容如下:注意修改成自己的 Mysql 连接信息

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://你的IP:3306/数据库?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false
    username: 你的用户
    password: 你的密码
    hikari:
      connection-test-query: select 1
      minimum-idle: 5
      auto-commit: true
      validation-timeout: 3000
      pool-name: DolphinScheduler
      maximum-pool-size: 50
      connection-timeout: 30000
      idle-timeout: 600000
      leak-detection-threshold: 0
      initialization-fail-timeout: 1

图示:

file

② 修改日志输出到控制台,在 dolphinscheduler-api 模块的 resources 下面,修改 logback-api.xml 文件。

<root level="INFO">
  <appender-ref ref="STDOUT"/>
  <appender-ref ref="APILOGFILE"/>
</root>

图示:

file

③ 启动 API 服务 默认端口是:7080
配置 \_VM Options : \_-Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=mysql,api 把红色部分复制到

标签:教程,dolphinscheduler,timeout,Mysql,DolphinScheduler,版本,mysql,Apache
From: https://www.cnblogs.com/DolphinScheduler/p/18215198

相关文章

  • 【重要】国内使用Onlyfans只看这一篇就够了!【最新】史上最详细OnlyFans订阅教程!【最快
    常见问题Q:Onlyfans是什么?A:是一个开放性创作分享平台,但是也充斥着成*人内容,这方面用户量堪比P某站Q:Onlyfans在哪里用?A:只需要访问Onlyfans官网就可以使用Onlyfans了。Q:onlyfans为什么首页啥也没有?A:因为onlyfans注重保护用户隐私,如果你想看到某个用户的推文,你需要订......
  • 响应式UI组件DevExtreme中文教程 - 工具栏的自适应模式
    DevExtreme拥有高性能的HTML5/JavaScript小部件集合,使您可以利用现代Web开发堆栈(包括React,Angular,ASP.NETCore,jQuery,Knockout等)构建交互式的Web应用程序。从Angular和Reac,到ASP.NETCore或Vue,DevExtreme包含全面的高性能和响应式UI小部件集合,可在传统Web和下一代移动应用程......
  • Redis教程(十七):Redis的Redisson分布式锁
    Redis分布式锁 Redis分布式锁的主要作用是在分布式系统环境下提供一种机制,用于确保在同一时间只有一个进程(或线程)能够执行某个关键代码段或访问特定的资源。这主要用于控制对共享资源的并发访问,以避免因多个进程同时修改同一数据而导致的数据不一致或其他竞争条件问题。 ......
  • 【强化学习】强化学习基础教程:基本概念、强化学习的定义,要素,方法分类 以及 Rollout、e
    【强化学习】强化学习基础教程:基本概念、强化学习的定义,要素,方法分类以及Rollout、episode回合、transition转移、trajectory轨迹的概念1.基础概念1.1强化学习的定义1.2强化学习的基本要素2.强化学习分类2.1根据agent学习方式分为基于策略的强化学习PolicybasedR......
  • 响应式UI组件DevExtreme中文教程 - 工具栏的自适应模式
    DevExtreme拥有高性能的HTML5/JavaScript小部件集合,使您可以利用现代Web开发堆栈(包括React,Angular,ASP.NETCore,jQuery,Knockout等)构建交互式的Web应用程序。从Angular和Reac,到ASP.NETCore或Vue,DevExtreme包含全面的高性能和响应式UI小部件集合,可在传统Web和下一代移动应用程序中......
  • 在Linux中,如何配置Web服务器(如Apache或Nginx)?
    在Linux系统中配置Web服务器是建立网站托管环境的关键步骤之一。下面将详细介绍如何在Linux中配置两种流行的Web服务器:Apache和Nginx:一、ApacheWeb服务器的配置:安装Apache服务器:首先确认Apache是否已安装在系统上。这可以通过运行rpm-qa|grep-ihttpd(针对RedHat系列)或......
  • Gateway配置教程
    SpringCloudGateway是SpringCloud的一个全新项目,它基于Spring5.0、SpringBoot2.x和ProjectReactor等技术开发的网关,旨在提供一种简单、有效、统一的API路由管理方式。以下是SpringCloudGateway的基本配置步骤:1.添加依赖在你的SpringBoot项目的po......
  • 解决win11C盘文件没有修改权限(图文教程)
    前言​ 这个应该很多人都遇到过,就是提示文件夹没有修改权限。一般在电脑刚注册时候就是管理员了(不是的话可以去搜索怎么切换成管理员),但是有了管理员以后还是默认user权限,这个虽然很安全但是也很不方便,我之前修改mysql配置文件可修改c盘下面应用的配置都得另存为然后覆盖,甚至我之......
  • Guitar Pro8激活码最新精确如何获取指南教程
    在数字时代,音乐创作与学习的方式已经发生了翻天覆地的变化。专业的软件工具成为了我们这些音乐爱好者的得力助手,其中,GuitarPro8无疑是一个闪亮的名字。它以其强大的功能,如模拟各类吉他效果、编曲以及记谱等,吸引了无数音乐创作者和吉他初学者的目光。然而,要想解锁这款软件的全......
  • 《拯救大学生课设不挂科第四期之蓝桥杯是什么?我是否要参加蓝桥杯?选择何种语言?如何科学
    背景:有些同学在大一或者大二可能会被老师建议参加蓝桥杯,本视频和文章主要是以一个过来人的身份来给与大家一些思路。比如蓝桥杯是什么?我是否要参加蓝桥杯?参加蓝桥杯该选择何种语言?如何科学备赛?等问题进行一个经验分享视频地址:【240526晚21点56分更新视频地址完毕】《拯救......