首页 > 其他分享 >大数据工作流调度系统dolphinscheduler

大数据工作流调度系统dolphinscheduler

时间:2024-08-12 16:53:15浏览次数:7  
标签:dolphinscheduler DolphinScheduler 系统 调度 支持 工作 任务 Linux

Apache DolphinScheduler 是一个分布式、易扩展的可视化 DAG 工作流任务调度系统,它具备以下主要特性:
1. 易于部署和使用:DolphinScheduler 提供了多种部署方式,包括 Standalone、Cluster、Docker 和 Kubernetes,并且可以通过 Web UI、Python SDK、Yaml 文件和 Open API 来创建和管理工作流 。
2. 高可靠性和高可用性:采用多主多从的去中心化架构,支持横向扩展,并且原生支持高可用性 。
3. 高性能:性能比其他编排平台快,每天可以支持千万级任务的稳定运行 。
4. 云原生支持:支持编排多云/数据中心工作流,支持自定义任务类型 。
5. 丰富的任务类型:支持 Shell、MR、Spark、Flink、SQL、Python、Http、Sub-process 等多种任务类型,并且易于扩展 。
6. 工作流操作丰富:支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作 。
7. 多租户支持:能够满足多租户的使用需求,提供资源的隔离和安全性 。
8. 国际化:支持多语言,方便不同国家和地区的用户使用 。
9. 版本控制:对工作流和工作流实例(包括任务)进行版本控制,方便跟踪和管理 。
10. 监控和告警:支持任务日志在线查看及滚动、在线下载日志等,以及邮件告警功能 。
DolphinScheduler 适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。它致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中  开箱即用 。此外,DolphinScheduler 社区活跃,已有400+位贡献者参与,3000+公司生产使用,是非常流行的大数据工作流调度平台 。
关于部署,DolphinScheduler 支持在多种 Linux 操作系统上运行,包括但不限于 Red Hat Enterprise Linux、CentOS、Oracle Enterprise Linux 和 Ubuntu LTS。对于服务器配置,建议使用 Intel x86-64 架构的 64 位通用硬件服务器平台,并根据生产环境的具体需求进行配置 。
 

标签:dolphinscheduler,DolphinScheduler,系统,调度,支持,工作,任务,Linux
From: https://blog.csdn.net/leijmdas/article/details/141134721

相关文章

  • Linux操作系统云主机中buffer和cache占用内存怎么办?
    问题描述系统长期运行后,free命令查看系统内存,发现剩余内存不足,大部分是buffer和cache。问题分析在Linux的内存管理中,buffer是Linux内存中的Buffercache。cache是Linux内存中的Pagecache。Buffercache:主要是当系统对块设备进行读写的时候,对块进行数据缓存的系统来使用,即......
  • 智慧农业信息化服务平台小程序/基于微信小程序的农业信息管理系统的设计与实现/基于微
    摘要随着信息技术互联网和小程序的飞速发展,人类已进入全新信息化时代,传统管理技术已无法高效,便捷地管理信息。为了迎合时代需求,优化管理效率,各种各样的微信小程序应运而生,各行各业相继进入信息管理时代,其中智慧农业信息化服务平台小程序就是信息时代变革中的产物之一。任何......
  • 【中项】系统集成项目管理工程师-第11章 项目范围管理-11.4创建WBS
    前言:系统集成项目管理工程师专业,现分享一些教材知识点。觉得文章还不错的喜欢点赞收藏的同时帮忙点点关注。     软考同样是国家人社部和工信部组织的国家级考试,全称为“全国计算机与软件专业技术资格(水平)考试”,目前涵盖了计算机软件、计算机网络、计算机应用技术......
  • SSM机场网上订票系统00rk3 前后台联动
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表系统内容:用户,机票信息,订票信息,机场广告开题报告内容一、课题背景与意义随着航空业的快速发展,传统的机场订票方式已无法满足旅客对高效、便捷服务的需求。机......
  • SSM活动报名系统qp88u 柱形统计图
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表系统内容:学生,学院,活动类型,活动发布,组织,我的活动开题报告内容一、选题背景与意义随着信息技术的迅猛发展,传统的活动报名方式已难以满足大规模、高效率的......
  • 4.linux系统下目录文件
    1.系统目录和文件目录/文件作用/bin存放用户可执行的二进制文件,通常是系统启动和基本维护所需的命令,如ls、cat等。/boot包含系统引导所需的文件,包括内核文件(vmlinuz)和引导加载程序(如GRUB)。/dev包含与设备相关的文件,Linux将设备映射成文件,这些文件代表系统中的各......
  • JSP广州中小学学校信息管理系统_j3o8r(程序+源码+数据库+调试部署+开发环境)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表系统功能:用户,区域分类,招生信息,机构活动,成绩排名,获奖排名,社团排名,特色排名开题报告内容一、项目背景与意义随着教育信息化步伐的加快,广州作为教育强市,对......
  • lwIP——带操作系统(FreeRTOS)移植
    1.lwIP前期准备在程序工程中,我们在工程文件夹下创建了一个名为“lwip”的子文件夹。在“lwip”文件夹下,我们又创建了一个子文件夹:arch。arch文件夹用于存放lwIP系统的配置文件;2.添加lwIP源文件3.添加网卡驱动程序/*Includes------------------------------------......
  • 操作系统实验学习进度
    最近开始学习操作系统和机组的相关知识,写一个学习进度的笔记作为鞭策,其中的dayn不一定全是一天内完成的,同时,大部分文字来源于学习资料rCore-Tutorial-Book第三版。Day0-入门操作系统初步介绍1.定义一个操作系统(OS)是一个软件,它帮助用户和应用程序使用和管理计算机的......
  • Gitlab仓库管理系统-高可用部署
    1、Gitlab介绍GitLab是一个流行的版本控制系统平台,主要用于代码托管、测试和部署。GitLab是基于Git的一个开源项目,它提供了一个用于仓库管理的Web服务。GitLab使用RubyonRails构建,并提供了诸如wiki和issue跟踪等功能。它允许用户通过Web界面访问公开或私有的项目,并能够管理团......