首页 > 其他分享 >dagster开源数据资产可观测平台调度平台

dagster开源数据资产可观测平台调度平台

时间:2022-10-06 10:00:54浏览次数:81  
标签:平台 调度 expectations 开源 dagster io dbt

dagster 是基于python 开发的数据调度平台,可以方便的处理数据的pipeline 同时支持数据资产的可观测性
而且还可以支持dbt 处理

参考架构

 

 

说明

dagster 支持的集成是很多的,airflow,dbt,pandas,pyspark

参考资料

https://dagster.io/
https://github.com/dagster-io/dagster
https://github.com/great-expectations/great_expectations

标签:平台,调度,expectations,开源,dagster,io,dbt
From: https://www.cnblogs.com/rongfengliang/p/16757083.html

相关文章

  • 实验4:开源控制器实践——OpenDaylight
    实验4:开源控制器实践——OpenDaylight一、实验目的能够独立完成OpenDaylight控制器的安装配置;能够使用Postman工具调用OpenDaylightAPI接口下发流表。二、实验环境......
  • 记一次 .NET 某工控数据采集平台 线程数 爆高分析
    一:背景1.讲故事前几天有位朋友在B站加到我,说他的程序出现了​​线程数​​爆高的问题,让我帮忙看一下怎么回事,截图如下:说来也奇怪,这些天碰到了好几起关于线程数无缘无故......
  • 实验4:开源控制器实践——OpenDaylight
    实验4:开源控制器实践——OpenDaylight一、实验目的能够独立完成OpenDaylight控制器的安装配置;能够使用Postman工具调用OpenDaylightAPI接口下发流表。二、实验环境Ub......
  • 实验4:开源控制器实践——OpenDaylight
    基本要求利用Mininet平台搭建下图所示网络拓扑,并连接OpenDaylight控制器通过Postman工具调用OpenDaylight提供的API下发流表,实现拓扑内主机h1和h3网络中断10s实验......
  • 实验4:开源控制器实践——OpenDaylight
    实验4:开源控制器实践——OpenDaylight一、实验目的能够独立完成OpenDaylight控制器的安装配置;能够使用Postman工具调用OpenDaylightAPI接口下发流表。二、实验环境Ub......
  • Kornia开源可微分计算机视觉库,基于Pytorch,GitHub 3000星
    编辑丨机器之心OpenCV创始人GaryBradski等人近期发表了一篇Kornia的综述。Kornia是一个基于PyTorch的可微分的计算机视觉库,实现了可微的基础计算机视觉算子和可微......
  • 实验4:开源控制器实践——OpenDaylight
    1)扑生成并连接控制器的结果2)Mininet中h1pingh3,实现拓扑内主机h1和h3网络中断10s2.进阶要求为选做,有完成的同学请提交所整理的API文档(选主要的即可,例如拓扑信息、链......
  • Linux平台编译带PCL和PDAL插件的CloudCompare
    最近的综合课程设计需要用到CloudCompare这款软件处理点云数据,最开始我发现Debian的apt软件库就包含它,安装后却发现打不开.pcd格式的数据,于是需要从源码编译附带PCL插件的C......
  • 实验4:开源控制器实践——OpenDayLight
    一、实验目的1.能够独立完成OpenDaylight控制器的安装配置;2.能够使用Postman工具调用OpenDaylightAPI接口下发流表。二、实验环境Ubuntu20.04Desktopamd64三、实......
  • 实验4:开源控制器实践——OpenDaylight
    实验4:开源控制器实践——OpenDaylight一、实验目的能够独立完成OpenDaylight控制器的安装配置;能够使用Postman工具调用OpenDaylightAPI接口下发流表。二、实验环境......