首页 > 其他分享 >单机快速部署开源、免费的分布式任务调度系统——Apache DolphinScheduler

单机快速部署开源、免费的分布式任务调度系统——Apache DolphinScheduler

时间:2024-09-14 14:03:29浏览次数:10  
标签:dolphinscheduler 配置 数据源 DolphinScheduler Apache 定时 任务调度

本文主要为大家介绍Apache DolphinScheduler的单机部署方式,方便大家快速体验。

环境准备

需要Java环境,这是一个老生常谈的问题,关于Java环境的安装与配置期望大家都可以熟练掌握。

验证java环境

java -version

下载安装包并解压

使用wget下载安装包

wget https://dlcdn.apache.org/dolphinscheduler/3.2.1/apache-dolphinscheduler-3.2.1-src.tar.gz

解压安装包

tar -xvzf apache-dolphinscheduler-3.2.1-bin.tar.gz

启动DolphinScheduler服务

进入到项目根目录

cd apache-dolphinscheduler-3.2.1-bin

启动服务

./bin/dolphinscheduler-daemon.sh start standalone
-server

至此,单机部署Apache DolphinScheduler就完成了,是不是非常的简单方便啊!

验证

访问Web UIhttp://localhost:12345/dolphinscheduler/ui,账号和密码分别是admindolphinscheduler123

登录成功后,我们就可以体验了。

停止服务

停止服务和启动服务一样简单

./bin/dolphinscheduler-daemon.sh stop standalone-server

简单案例

为了让大家体验到DolphinScheduler的神奇之处,我接下来为大家介绍如何实现定时往MySQL的表中写入数据。

由于我们需要对Mysql数据库进行读写,所以就需要使用到MySQL的JDBC驱动。那么我们首先需要下载驱动并分别放到api-server/libsworker-server/libs目录下。

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar

完成以后,重新启动服务即可。

  1. 配置Mysql数据源

填写好数据库的信息,确保测试连接可以正常连接到数据库

这样我们就准备好了一个可以用的数据源

app数据库中,需要先创建一张users

CREATE TABLE users (
	id BIGINT PRIMARY KEY auto_increment,
	name varchar(100) NULL
);
  1. 创建一个项目

  1. 创建工作流


4. 配置SQL组件
将左侧的SQL组件拖入到右侧的画布中,完成配置

节点名称可以随意写

数据源类型选择MYSQL,数据源实例选择前面配置好的数据源app,SQL类型则选择非查询

SQL语句则为插入数据,此处我们模拟插入一样的数据

insert into users (name) values ('tsingliu');

配置好节点以后,保存工作流

上线工作流和定时

默认情况下工作流处于下线状态

首先需要上线任务

此时就可以点击运行,验证工作流是否配置正常。

多数情况下我们更需要定时执行,可以配置定时规则,我们期望每5s写入一次数据

配置好定时规则后,可以点击执行时间,查看接下来五次执行时间是不是和预期一样。

配置好后可以上线定时

查看日志

工作流上线后,我们不清楚任务是不是已经正常开始执行,我们可以查看任务实例

可以看到已经有多个任务已经执行成功了,每个任务之间的间隔时间也是5s。

另外如果任务执行失败了,也可以在此处查看详细的日志,方便我们排查问题。

进阶

以上这个简单的案例只能是让大家对Apache DolphinScheduler有一个初步的认知,大家可以根据自身遇到的实际问题来编排自己复杂的工作流,有更多问题欢迎访问官网官方文档。

本文由 白鲸开源 提供发布支持!

标签:dolphinscheduler,配置,数据源,DolphinScheduler,Apache,定时,任务调度
From: https://www.cnblogs.com/DolphinScheduler/p/18413832

相关文章

  • Apache SeaTunnel Committer 进阶指南
    ApacheSeaTunnel作为一个开源的数据集成工具,旨在简化和加速海量数据的采集和传输。社区的Committer是指拥有项目存储库的写权限的社区成员,即Committer可以自行修改代码、文档和网站,也可以合并其他成员的贡献。成为ApacheSeaTunnelCommitter没有严格的规则,实际上,新Comm......
  • Apache SeaTunnel Committer 进阶指南
    ApacheSeaTunnel作为一个开源的数据集成工具,旨在简化和加速海量数据的采集和传输。社区的Committer是指拥有项目存储库的写权限的社区成员,即Committer可以自行修改代码、文档和网站,也可以合并其他成员的贡献。成为ApacheSeaTunnelCommitter没有严格的规则,实际上,新Com......
  • 介绍 Apache Spark 的基本概念和在大数据分析中的应用。
    ApacheSpark是一个快速、通用、可扩展的大数据处理框架,它最初由加州大学伯克利分校的AMPLab开发,并于2010年作为开源项目发布。Spark提供了强大的数据处理能力,旨在通过内存计算来加速数据处理过程,从而比传统的基于磁盘的批处理系统(如HadoopMapReduce)快上数倍至数百......
  • 对象存储方案大比拼——本地存储、OSS、MinIO、Ceph、Apache Ozone 与 OpenIO
    在当今数据驱动的时代,选择合适的对象存储方案对于企业和开发者来说至关重要。本文将对本地存储、阿里云OSS、MinIO、Ceph、ApacheOzone和OpenIO这几种常见的对象存储方案进行详细的介绍和比较,帮助你做出明智的选择。 一、本地存储 (一)特点 1. 直接存储在本地设备......
  • Apache OFBiz远程代码执行漏洞(CVE-2024-38856)
    漏洞简介ApacheOFBiz是一个开源的企业资源规划系统,提供了一整套企业管理解决方案,涵盖了许多领域,包括财务管理、供应链管理、客户关系管理、人力资源管理和电子商务等。ApacheOFBiz基于Java开发,采用灵活的架构和模块化设计,使其可以根据企业的需求进行定制和扩展,它具有强大的......
  • springboot启动apache版本报错
    springbootAnincompatibleversion[1.2.32]oftheApacheTomcatNativelibraryisinstalled,whileTomcatrequiresversion[1.2.34]解决办法:到tomcat的链接地址,找对应的版本http://archive.apache.org/dist/tomcat/tomcat-connectors/native/找到1.2.34下的tomcat-......
  • cross-plateform 跨平台应用程序-09-phonegap/Apache Cordova 介绍
    跨平台系列cross-plateform跨平台应用程序-01-概览cross-plateform跨平台应用程序-02-有哪些主流技术栈?cross-plateform跨平台应用程序-03-如果只选择一个框架,应该选择哪一个?cross-plateform跨平台应用程序-04-ReactNative介绍cross-plateform跨平台应用程序-05-Flut......
  • pbootcms伪静态设置教程含apache、naginx、IIS不同环境配置规则
    其实pbootcms伪静态已经整理好,在根目录就可以找到作为使用者,只需要根据不同的服务器环境,使用不同格式的数据就行。 naginx#请复制下面伪静态配置到nginx配置文件中:#规则适合PbootCMSV2.0+版本location/{ if(!-e$request_filename){ rewrite^/(.*)$/index.php......
  • Apache+PHP设置支持大文件上传
    一、Apache配置文件(httpd.conf)更改FastCGI进程能够处理的HTTP请求的最大长度限制,单位为字节(Bytes) FcgidMaxRequestLen524288000 二、PHP配置文件(php.ini) #是否允许通过HTTP上传文件的开关。默认为ON即是开【一般不做修改】file_uploads=On#上传服务器时存储......
  • 万字长文 | Apache开源社区出海的“踩坑”之路,看完这3点你就明白了
    引言作为一名软件行业的从业者,我已经在开源社区Remote工作了两年时间。“技术运营”是一个相对小众的职业,所以如果你在这个行业工作,却找不到自己热情所在或擅长的事情,可能会感觉缺乏价值感(这一点我老板也很认同)。然而,如果你愿意为自己的情怀买单,并全心投入其中,这确实是一件伟大......