首页 > 其他分享 >Apache DolphinScheduler社区新晋Committer:伏长海的开源之旅

Apache DolphinScheduler社区新晋Committer:伏长海的开源之旅

时间:2024-01-22 17:32:07浏览次数:28  
标签:Committer 社区 UT DolphinScheduler 任务 Apache Bug

**文章作者:**伏长海

文章整理:曾辉

个人介绍

大家好,我是伏长海,目前在珍岛集团担任大数据开发工程师职位!

**GitHub ID:**fuchanghai

file

在算法平台后端的研究领域耕耘了三年,任务调度方面也有一年半的深入探索。闲暇时,平时喜欢睡懒觉,偶尔阅读书籍,以此充实自己的生活。

为社区做了哪些贡献?

因为在公司的工作主要是针对Apache DolphinScheduler的原生功能进行二开,所以工作中产出的Feature是无法贡献的,目前对社区的贡献大部分都是一些Bug Fix

主要是修复了几个核心流程的Bug和improvement,以及多种任务插件的bug

  1. 对DataX ,SUB_PROCESS 这两种类型任务的优化,bugfix,DAG相关优化

  2.  以及相关联的PR的Review  #14563 #13206;

  3. 对于流程提交报错,导致Master无限循环提交,最终导致服务不可用的修复(Bug 级别较高)#15092 #13051;

  4. 集成Springdoc-open-ui #12379;

  5. 协助楚枫对UT相关的修改#12328,对部分类的功能拆分,对新增数据源,

    v2版本接口的Review,;

  6. 部分缺失文档的补充;

  7. 3.1.8 发版时,对SQL升级脚本的验证,对缺失的SQL的Fix,及部分缺失PR 的Cherry-pick;

  8. 布道Apache DolphinScheduler,以及在微信和Slack,的解答,issue 的回复;

  9. 对K8s task 部分功能的新增,Bug Fix;

社区结缘

其实我与Apache DolphinScheduler能够结缘,是出现了太多的巧合,当初我项目组领导给我的第一个任务是将Apache DolphinScheduler部分接口的接口文档提供给其他业务模块,但是我也是第一次接触Apache DolphinScheduler,看到有UT,就想试着根据UT的参数去熟悉各个接口的功能,但是调试的第一个UT就有问题,**于是乎就提了个PR,**本以为和Apache DolphinScheduler 的缘分就到这!

后来某次业务的版本迭代,有个功能在其他模块中做会很麻烦,当时对Apache DolphinScheduler也已经有了一定的了解,结合当时的经验,我觉得这个可以放在Apache DolphinScheduler中做,于是给产品和领导提了个建议,最后还真做成功了。

后来越来越多的需求需要修改Apache DolphinScheduler 的源码,从此在公司中就专门做Apache DolphinScheduler还有相关的task plugin的工作了~

社区初印象

我对Apache DolphinScheduler社区的第一印象是友好互助,耐心。社区中不缺乏BAT,以及清北复交名校的大佬,但是我从来没有感觉到他们高高在上,反而乐于帮我解决问题。社区解决问题,永远先考虑是否优化或者解决了问题,是否还有更优的方式,不会因为对架构改动过大,瞻前顾后推脱不去修改。

我第一次深度参与开源,就是Apache DolphinScheduler项目,我觉得吸引我的地方是,社区中大家友好的互相帮助,通过和大家交流,我能得到更好的方案去解决我遇到的问题!

使用场景

在珍岛集团,我们使用Apache DolphinScheduler来满足人群标签、算法分析、数据抽取和可视化建模等多种需求。将Apache DolphinScheduler的实例信息与业务模块解耦,以及实时任务的调度。

特别是在k8s环境下,DolphinScheduler展现出良好的兼容性,能够在不关闭k8s任务的情况下进行有效的任务起停和监控。

我觉得调度中心最关键就是稳定,期望以后Apache DolphinScheduler能够将实时任务做的更好,期望代码结构在中版本的升级中能稳定下来

让我们一起恭喜他!!

本文由 白鲸开源 提供发布支持!

标签:Committer,社区,UT,DolphinScheduler,任务,Apache,Bug
From: https://blog.51cto.com/u_15474939/9368554

相关文章

  • Apache DolphinScheduler:深入了解大数据调度工具
    一、海豚调度介绍ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据......
  • 恭喜 Apache Dubbo 和 Nacos 荣获开放原子“2023年度生态开源项目”
    12月16日,以“一切为了开发者”为主题的开放原子开发者大会在江苏省无锡市开幕。江苏省工业和信息化厅厅长朱爱勋、中国开源软件推进联盟主席陆首群等领导和专家参加开幕式,工业和信息化部信息技术发展司副司长王威伟、江苏省工业和信息化厅副厅长池宇、无锡市人民政府副市长周文......
  • 恭喜 Apache Dubbo 和 Nacos 荣获开放原子“2023年度生态开源项目”
    12月16日,以“一切为了开发者”为主题的开放原子开发者大会在江苏省无锡市开幕。江苏省工业和信息化厅厅长朱爱勋、中国开源软件推进联盟主席陆首群等领导和专家参加开幕式,工业和信息化部信息技术发展司副司长王威伟、江苏省工业和信息化厅副厅长池宇、无锡市人民政府副市长周文......
  • astronomer-cosmosy一个方便dbt 在apache airflow 运行的工具
    dbt在国外比较火,同时社区也提供了不少调度运行模式(core部分没提供),研究apacheairflow是一个不错的选择,但是原生script模式的调用比较简单,astronomer-cosmosy提供了方便dbt在apacheairflow通过dag以及taskgroups运行的功能支持的特性基于airflowconnections的链接,......
  • Apache POI、EasyPoi、EasyExcel 三种区别,如何选择
    ApachePOI、EasyPoi、EasyExcel都是与处理MicrosoftOffice格式文件相关的Java库,但它们有一些区别。下面是它们的主要特点和区别:ApachePOI:特点:ApachePOI是一个开源的Java库,用于处理MicrosoftOffice格式文件,如Excel、Word、PowerPoint等。它提供了丰富的API,......
  • Apache 配置介绍
    Apache配置文件Apache配置文件格式配置文件中,以井号(#)开头表示注释配置文件中的指令分为两种,单一指令和指令块。并且指令不区分大小写查看预定义的主配置文件位置:通过httpd-V或apachectl-V可以查看预定义的主配置文件位置-DHTTPD_ROOT="/usr/local/ap......
  • 文件上传超出了tomcat的限制大小:org.apache.tomcat.util.http.fileupload.impl.FileSi
    报错的原因springBoot项目自带的tomcat对上传的文件大小有默认的限制,SpringBoot官方文档中展示:每个文件的配置最大为1Mb,单次请求的文件的总数不能大于10Mb。解决方法SpringBoot2.0版本在【application】配置文件中加入如下代码:#maxFileSize单个数据大小spring.servlet......
  • Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻
    概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种OPS编排......
  • Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻
    概述ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。ApacheDolphinScheduler旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种OPS编......
  • dolphinscheduler 3.2.0版本执行install.sh脚本报错 command not found
    环境:linuxcentos7dolphinscheduler集群安装,正确配置完/env/install_env.sh、/env/dolphinscheduler_env.sh脚本后,执行安装脚本报错。排错期间排查了sudo、mkdir、bash命令是否已安装等问题。怀疑是环境问题,尝试将整个解压包拷贝至其他相同版本系统的机器上,发现可正常安装启动。后......