首页 > 其他分享 >从零到一,全面掌握Apache DolphinScheduler发版流程,实战派经验分享!

从零到一,全面掌握Apache DolphinScheduler发版流程,实战派经验分享!

时间:2024-08-21 15:28:44浏览次数:8  
标签:文件 DolphinScheduler 零到 apache 文档 版本 Apache 发版 邮件

file

引言

Apache DolphinScheduler的发版流程对于确保软件质量和社区协作至关重要,社区Committer王兴杰为我们详细介绍了Apache DolphinScheduler的发版流程,包括环境准备、流程文档、基础工具准备、依赖包确认等关键步骤,并指出了发版流程中可能会遇到的麻烦以及相应的解决方案,欢迎学习指正。

一、发版物料

(1)Apache要求

a. Maven仓库物料(发版过程中会存储在临时库中)
https://repository.apache.org/content/repositories/orgapachedolphinscheduler-{index}/org/apache/dolphinscheduler/

b. 发布包、签名文件和keys
对发布版本签名,用户也可据此判断下载的版本是否被篡改。

(2)DolphinScheduler要求
Dockerhub 镜像
Helm 文件

(3)权限要求

  • PMC Member拥有完整的发版权限;
  • Committer会有小部分权限缺失,需要PMC Member配合。

二、发版流程

  1. 环境准备
  • jdk :1.8版本以上 (1.8.0_271)
  • Maven:尽可能保证3.9版本以上(3.9.6)
  • 低版本maven构建部署包会失败
  • gpg:各版本均可 (2.0.22)
  • svn:高于1.6版本(1.7.14 ),低版本会报错

file

  • git:1.8.3.1
  • 服务器系统:MacOS,Linux(Linux服务器、CentOS7)
  • 服务器要求需要能访问Apache官网或GitHub,目前Window在同步gpg、公钥ID时会出现异常,建议尽可能使用非Window系统。
  1. 发版流程文档
  1. 基础工具准备
    (1)gpg安装
    按照文档执行操作

file
(2)配置maven仓库

  • 修改settings-security.xml文件
  • 修改conf/settings.xml配置文件(注意路径),文件中的apache LDAP是apache对应的用户名密码,明文。
  1. 依赖包确认
    这里主要检查依赖包对一个的license 和对应的下载地址。

file

可以查看pom的提交日志,查看修改记录,正常在review pr的时候会检查这一项。但是可能会有遗漏或重复的情况。

  1. 修改版本

(1)为了方便后续打包等操作,可以增加环境变量。包括后续对svn的一些操作所需的环境变量,建议在文档中新建的变量都创建为环境变量。

file

(2)文档版本修改

注意:docsdev.js是Apache DolphinScheduler官网该版本的引用位置相关文件,文件修改的效果只有在website的pr被merge之后才能体现,所以这部分文件需要严格按照文档修改,建议在打包之前检查一下文件的修改情况。

file

  1. 部署包构建发布

部署包的构建分为三个部分

(1)发布检查

a.分支准备

file

首先要在官方的github仓库创建prepare分支,fetch分支后运行上述命令。文档中的origin要根据用户clone的仓库决定,如果直接clone的是官方仓库,这里使用origin没有问题。如果使用的是fork的仓库,创建upstream(如果叫upstream的话)指向官方仓库,那GH_REMOTE得是upstream。发版的所有操作都是直接推到官方仓库。

一般情况prepare分支是基于dev创建的。
在clone或者创建upstream时,最好是使用git协议,不要使用https,否则推送tag会失败。

b.发版校验

命令运行大概需要8G内存,注意资源。

file

运行结束后最好检查一下dolphinscheduler-dist/target文件夹的大小,如果超过950M,并且没有瘦身策略,发版得暂停。

这一步主要是为了验证构建部署包的过程是否正确。

(2)发版准备

需要清理掉发版校验的文件,执行clean命令。clean命令执行后可能会存在部分文件未清理的情况,可以考虑执行git stash暂存。

这里如果是多次发版,需要再执行 mvn release命令之前清理掉本地和远程(官方仓库)的tag,否则会报错。这里需要提前配置 注意1 的内容。

该步骤不会有成果。

如果在命令中出现clone prepare分支失败的问题需要检查upstream的协议,网络等情况,如果网络不稳定可以重试。

此处需要检查仓库中prepare分支和tag的commit,需要一致。

file

(3)部署发布

 a. 执行命令

该命令基于发版准备的结果,所以【发版准备】的结果不能做任何修改(包括代码),命令结束后会在https://repository.apache.org/#stagingRepositories 中显示内容。这个内容可能会有一点点延迟,但正常不会超过五分钟。如果发现没有文件,大概率是maven的远程仓库配置问题,可以排查一下。

file

如果发版过程中发现有代码的修改,需要重新执行发版的操作,必须至少要从【发版准备】开始,执行【发版准备】前需要执行git release:clean 命令,如果有多余文件可以git stash暂存。多次发版需要注意stagingRepositories中文件的时间,如果发现时间与执行发版命令时间不对应情况可能说明包为同步。正常stagingRepositories的文件会替换,无需主动删除。

发版过程会使用到gpg -s的命令,命令的密码缓存应该是十分钟,如果服务器资源不太够,构建时间会超过十分钟,这里需要保证gpg 密码的缓存时间。

file

到这里所有发布包的构建流程已经结束。

b. 发布包提交apache仓库

file

建议将SVN_DIR_DEV和 SVN_DIR_RELEASE 也都设置为环境变量。

file

如果是committer这部其实可以不用执行, commit没有权限。

file

这里DolphinScheduler并没有打开对应的设置,所以这部分需要将gpg-key-id导出来后发给PMC帮忙添加,或者在发版邮件后补充。但是尽可能是添加到KEYS里面。

file

这里需要注意的是tar.gz.asc文件,可以使用【注意】部分的命令添加,但是在打包的时候其实是已经生成了。也可以手动在maven本地仓库里面拷贝出来。

部分服务器 shasum的命令没有,可以使用sha512sum shasum -a 512 = sha512sum.

file

打包日志里面写了生成的asc文件位置。

c. 发版文件检查

file

	除了上述的文件,建议在检查一下`doc/conf/docsdev.js`文件。

到此为止发版打包的工作就已经结束了。
  1. 发版邮件

创建RELEASE NODE

file

这里要求python要在3.0版本,生成的结果是一个md文件,文件中自带了pr的链接,最好是在检查一下pr的名称和对应的位置,这里的位置错误会较多,很多bug也到了improvement里。

RELEASE NODE创建好后会马上触发一个工作流,用来构建docker镜像和helm文件。构建的流水线日志可以在https://github.com/apache/dolphinscheduler/actions中查看。

【注意】如果是多次创建RELEASE NODE的话,需要检查一下
https://github.com/apache/dolphinscheduler/releases是不是有重复的内容,或者先把原来的删掉再创建新的。这里新创建的不会覆盖,只会新增。

邮件一共有三封

a. 发版投票邮件
按照指导文档中的内容编写邮件即可,发送邮件的邮箱需要提前订阅dev邮件,否则其他人回复的邮件无法看到。

邮件写完后再次检查一下里面涉及到所有的链接,是否有正确的内容。

等待72小时以上,至少有三名pmc参与投票,committer和contributor不要求数量。没有一名PMC发出-1的投票,则投票结束。

b.投票结束邮件
按照指导文档中的内容编写邮件即可,投票人员的title需要问社区,以前官网有pmc和committer的名单,但是最近找不到了。

c.第三封邮件在后续内容介绍

8. 官网文档修改

file

如果新增是一个两个版本号的版本,需要在
https://github.com/apache/dolphinscheduler/blob/dev/.github/ISSUE_TEMPLATE/bug-report.yml中添加对应的版本。比如3.3*这种。

这里的修改一定要仔细,如果修改错误官网就会有内容丢失甚至无法访问,注意符号的转义。

pr被merge后,官网的文档就已经可以查看了,这里浏览器会有缓存,清一下,或者无痕打开。

这里还需要再发一封邮件,通知发版已经结束。

邮件发布后需要删除prepare分支。

  1. 新闻稿件

新闻稿件主要是描述这次发版的主要变更,一般三位版本号的版本主要修复bug,和一些improvement。稿件中需要简述一下重点的pr内容,图片可以查看pr提交的内容,有的文档中会有对应的图片,中文文档的pr列表中需要翻译一下pr的名字。最后的贡献者在tool中有对应的工具,同样使用python3.0版本执行。

三、版本验证

  1. 官网文档
    登录官网查看对应版本是否正常
  2. dockerhub镜像
    不同的服务镜像不同,需要检查所有的镜像更新时间和tag

file

发版完成

恭喜你,完成以上步骤后,Apache DolphinScheduler的发版流程就全部结束了。感谢所有贡献者的辛勤工作和社区的支持,对发版工作感兴趣的朋友可以根据教程实操一下,社区欢迎这样的尝试。

本文由 白鲸开源 提供发布支持!

标签:文件,DolphinScheduler,零到,apache,文档,版本,Apache,发版,邮件
From: https://www.cnblogs.com/DolphinScheduler/p/18371720

相关文章

  • Linux系统的Apache2如何启动cgi模块(Ubuntu)
    欢迎诸位来阅读在下的博文~在这里,在下会不定期发表一些浅薄的知识和经验,望诸位能与在下多多交流,共同努力!江山如画,客心如若,欢迎到访,一展风采文章目录环境1.**启用CGI模块**2.**配置CGI脚本目录**3.**配置CGI脚本**4.**测试CGI脚本**5.**访问CGI脚本**6.**调整S......
  • 在linux上架设Web服务器Apache(Ubuntu)
    欢迎诸位来阅读在下的博文~在这里,在下会不定期发表一些浅薄的知识和经验,望诸位能与在下多多交流,共同努力!江山如画,客心如若,欢迎到访,一展风采文章目录背景1.安装Apache2.启动和检查Apache服务3.配置防火墙4.配置虚拟主机5.启用虚拟主机并重启Apache6.配置域......
  • DolphinScheduler集群部署问题(趟坑)总结
    目录官方文档官方项目地址问题解决官方文档DolphinScheduler|文档中心(apache.org)官方项目地址部署及使用过程中的问题可以参见项目Issue:Issues·apache/dolphinscheduler·GitHubGitHub-apache/dolphinschedulerat3.2.2-release问题解决1、JVM在运......
  • IDEA日常爆红:Cannot resolve plugin org.apache.maven.plugins:maven-war-plugin
    一、在写这篇文章之前,我面对这些爆红,第一时间去寻找AI帮助,这些人工智障千篇一律地回答几乎让我奔溃!!终于还是在csdn上找了解决方法,报错问题去csdn还是很不错的选择。以下是解决办法:二、①.在 setting.xml 文件中的镜像源,首先找到这个标签②.在上面标签中插入以下代码<!--......
  • 【问题记录】【Apache Camel】Apache Camel 报 413Request Entity Too Large
    1 前言ApacheCamel不知道大家有没有用过。它是一个基于企业应用集成模式(EIP)的强大开源集成框架。能够快速、轻松地集成,用于在各种系统之间消费或生产数据。说白了可以用于系统之间的不同方式的交互支撑。最近出现一个问题,来记录一下。2 问题现象有客户反应说一个单子卡......
  • Apache RocketMQ 中文社区全新升级!
    ApacheRocketMQ社区的持续发展和不断壮大,离不开创始团队和众多开发者多年来的努力。为了回馈众多优秀的小伙伴们一直以来积极参与社区建设、对社区的发展作出杰出的贡献;为了让中国开发者便捷获取全面、垂直、优质的资讯,更低门槛地参与社区的学习和交流。ApacheRocketMQ中文社......
  • 一个xls格式excel 第9列的下拉框的默认值是“是”和“否”,讲帮我使用apache poi,从第5
    importorg.apache.poi.hssf.usermodel.HSSFDataValidation;importorg.apache.poi.hssf.usermodel.HSSFSheet;importorg.apache.poi.hssf.usermodel.HSSFWorkbook;importorg.apache.poi.ss.usermodel.DataValidation;importorg.apache.poi.ss.usermodel.DataValidatio......
  • Spring Boot集成Apache Kafka实现消息驱动
    SpringBoot集成ApacheKafka实现消息驱动大家好,我是微赚淘客返利系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!ApacheKafka是一个分布式流处理平台,广泛用于构建实时数据管道和流处理应用程序。SpringBoot提供了对ApacheKafka的集成支持,使得在SpringBoot应用中实现消......
  • 短剧CPS系统搭建全攻略:从零到一,详细教程助你快速上手
    目录一、短剧cps是什么?二、短剧cps系统搭建教程1.前端开发2.后端开发4.自动化与持续集成5.数据分析与监控三、部分代码展示 一、短剧cps是什么?短剧CPS系统是一种基于短剧推广的收益分成平台。该系统集成了短剧内容展示、用户观看、付费购买、佣金分成等功能,......
  • 从零到百万粉丝:静态住宅代理如何助阵YouTube营销?
    YouTube作为众多跨境商家的重要营销推广阵地,YouTube的运营数据与店铺的开单息息相关。那么如何做好YouTube营销来增加产品的知名度呢?如何高效运营YouTube矩阵并防止账号间的关联呢?下文介绍的静态住宅代理就能在YouTube营销上助你一臂之力。静态住宅代理在YouTube营销上的工......