计算和工作流介绍
对代码和数据的版本管理,以及对工作流的管理,家加上计算环境,可以使数据结果复现或者让工作流自动执行
-source+ workflow +env -->sink
1.软件开发体验和数据代码管理
Git Git-LFS (Git Large File Storage) DVC (Data Version Control)
2.工作流(Workflow),是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。
有适用于个人,小团队以及大集团的,选择最适合自己的。
工作流
1.科学计算和工作流-开发过程和运行过程
01.基础款: invoke
02.轻量级框架
FireWorks 是由Materials Project团队开发的工具,用于管理科学计算和工作流。它建立在MongoDB数据库和Python编程语言的基础上
Dagster 数据编排器:Dagster
03.商用版本:
Airflow :编写、安排和监控工作流程-工作流是使用有向无环图 (DAG) 定义
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统
关键词:
任务调度系统,任务编排 任务办理
流程部署、流程执行、流程监控 工作流管理 权限工作流系统
FireWorks
在材料科学中,也是有一些出众的工具可以使用的。关注科研界给工商界带来的技术启发。
1.安装和使用--安装可以参考官网,主要是要安装MongoDB,需要稍微了解一下数据库
2.基本框架和概念
说明
AI将带来很多变换,对于个人开发者和公司来说,关注计算产业带来的三大范式转换:计算范式、开发范式、交互范式。
工作流既属于开发范式也是交互范式--后续这些会隐藏到AI的背后去,即大家关注要做什么,而怎么做可以交给AI,这一天什么时候到来,虽不确定,但终究会来的。
参考
https://materialsproject.github.io/fireworks/
标签:Git,范式,workflow,--,流程,FireWorks,介绍,工作
From: https://www.cnblogs.com/ytwang/p/18301816