首页 > 其他分享 >windmill Airplane&Superblocks&Retool&Prefect&Airflow 可选工具

windmill Airplane&Superblocks&Retool&Prefect&Airflow 可选工具

时间:2024-04-13 09:23:02浏览次数:16  
标签:windmill 集成 Prefect Airflow 强大 调度 dev https

现在调度工具是越来越多了,而且集成的能力也越来越强大了windmill 是一个很不错的workflow 调度平台功能很强大

特性

  • 可扩展的执行runtime,支持跨语言代码执行
  • 强大的调度器,支持基于低代码以及yaml 模式
  • 通过app builder 使用低代码或者js 框架开发面向数据的dashboards
  • 智能依赖以及输入管理
  • 企业级,包含了性能以及安全key 管理,oauth 集成
  • 动态web ide 以及低代码构建器
  • 集成以及自动化,包含了webhooks,openaapi,scheduler

参考架构

说明

windmill 功能点很强大,架构设计上也很灵活,值得尝试下

参考资料

https://github.com/windmill-labs/windmill
https://www.windmill.dev/
https://hub.windmill.dev/
https://www.windmill.dev/docs/getting_started/scripts_quickstart

标签:windmill,集成,Prefect,Airflow,强大,调度,dev,https
From: https://www.cnblogs.com/rongfengliang/p/18132499

相关文章

  • Airflow 搭建
    安装采用pip安装#下面的安装方式是通过pip采用清华源来安装,一般安装的版本比较低pipinstallapache-airflow-ihttps://pypi.tuna.tsinghua.edu.cn/simple采用anaconda安装--推荐anacoand/miniforge安装方式参考这里condainstallapache-airflow初始化数据库airflo......
  • 使用miniforge平替anaconda,重建airflow服务
    背景因公司通知不能使用anaconda,可以采用miniforge作为开源平替,因之前环境搭建使用的就是anaconda,当前需要卸载并替换成miniforge。那为什么一定要用这个呢,其实也不是一定,而是用这个搭建环境比较省事,如果没用这个,我当前环境的python版本过低,解决这个问题耗费的时间会更久,所以最......
  • 【Docker】Airflow 容器化部署
    Airflow环境标准软件基于BitnamiAirflow构建。当前版本为2.8.2你可以通过轻云UC部署工具直接安装部署,也可以手动按如下文档操作,该项目已经全面开源,可以从如下环境获取配置文件地址:https://gitee.com/qingplus/qingcloud-platformqinghub自动安装部署配置库什么是Air......
  • 本地快速搭建airflow docker镜像,映射本地路径
    airflow官方文档拉取镜像dockerpullapache/airflow:2.8.2拉取配置文件curl-LfO'https://airflow.apache.org/docs/apache-airflow/2.8.2/docker-compose.yaml'修改刚刚拉取的yaml文件关闭示例dagAIRFLOW__CORE__LOAD_EXAMPLES:'false'映射本地路径volumes:......
  • astronomer-cosmosy一个方便dbt 在apache airflow 运行的工具
    dbt在国外比较火,同时社区也提供了不少调度运行模式(core部分没提供),研究apacheairflow是一个不错的选择,但是原生script模式的调用比较简单,astronomer-cosmosy提供了方便dbt在apacheairflow通过dag以及taskgroups运行的功能支持的特性基于airflowconnections的链接,......
  • airflow
    what:ApacheAirflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台,与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起,2016年3月进入Apache基金会,在2019年1月成为顶级项目。Airflow采用Python语言编写,提供可编程方式定义D......
  • airflow部署LDAP
    airflow部署目录airflow部署一、构建虚拟环境virtualenv二、安装apache-airflow[celery]==2.7.1三、安装数据库四、安装配置消息队列五、修改配置文件airflow.cfg六、邮件发送配置七、send_email.pytest八、设置systemctl启动九、airflow配置身份验证:LDAP传输层安全协议十、pro......
  • kestra apache airflow 可选方案
    今天我有简单说明过一个mage-ai的airflow替换方案,kestra是另外一个可选方案kestra使用了yaml进行piepline的配置,当然我们也可以直接在ui中操作,kestra包含了自己的插件系统适合的业务场景数据调度分布式调度事件驱动workflow说明kestra也提供了可以在线体验的地址,......
  • mage-ai 替换airflow 的现代数据pipeline 平台
    mage-ai是一个可以替换airflow的现代数据pipeline平台包含的特性友好的开发体验支持python,sql,r语言不以来DAG的可开发模式交互式代码数据优先基于云的协作快速部署扩展简单提供可观测性说明官方提供来的demo站点,可以方便的体验学习,目前来看mage-ai算是一个很......
  • hadoop组件---spark实战-----airflow----调度工具airflow定时运行任务的理解
    我们在前面已经初步了解了airflow:hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例但是我们开始尝试使用airflow的定时任务的时候,常常遇到一个尴尬的情况,任务没有成功运行,或者说设置开始时间是今天,但是明天才开始运行。本篇文章尝试说明其中的......