dagster 是基于python 开发的数据调度平台,可以方便的处理数据的pipeline 同时支持数据资产的可观测性
而且还可以支持dbt 处理
参考架构
说明
dagster 支持的集成是很多的,airflow,dbt,pandas,pyspark
参考资料
https://dagster.io/
https://github.com/dagster-io/dagster
https://github.com/great-expectations/great_expectations