首页 > 其他分享 >kestra apache airflow 可选方案

kestra apache airflow 可选方案

时间:2023-08-12 18:44:44浏览次数:39  
标签:airflow ai io apache kestra mage

今天我有简单说明过一个mage-ai 的airflow 替换方案,kestra 是另外一个可选方案
kestra 使用了yaml 进行piepline 的配置,当然我们也可以直接在ui 中操作,kestra包含了
自己的插件系统

适合的业务场景

  • 数据调度
  • 分布式调度
  • 事件驱动workflow

说明

kestra 也提供了可以在线体验的地址,可以使用测试,相比mage-ai 基于python 开发,kestra 是基于java 开发的

参考资料

https://github.com/kestra-io/kestra
https://demo.kestra.io/ui/
https://kestra.io/docs/getting-started
https://github.com/mage-ai/mage-ai
https://airflow.apache.org/
https://github.com/apache/airflow

标签:airflow,ai,io,apache,kestra,mage
From: https://www.cnblogs.com/rongfengliang/p/17625238.html

相关文章

  • phpStudy中Apache运行状态为红色该如何解决
    phpStudy中Apache运行状态为红色该如何解决每次打开phpStudy,都会碰到如下这种状况,点击“启动”后,弹出提示“程序检测到端口号80已经被进程占用!非本程序目录下启动的进程!”每次我解决完后,第二天打开又忘了,因此做好笔记:1、开始-运行-输入cmd(回车)-打开命令提示符输入——netstat......
  • mage-ai 替换airflow 的现代数据pipeline 平台
    mage-ai是一个可以替换airflow的现代数据pipeline平台包含的特性友好的开发体验支持python,sql,r语言不以来DAG的可开发模式交互式代码数据优先基于云的协作快速部署扩展简单提供可观测性说明官方提供来的demo站点,可以方便的体验学习,目前来看mage-ai算是一个很......
  • 恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member
    个人简介王海林白鲸开源研发工程师GitHubID:hailin0做过性能监控、数据开发平台等,目前聚焦在数据集成同步及其周边生态的研发问:作为白鲸开源的一员,您为社区做出过哪些贡献?具体方案(代码类)和贡献事迹有哪些?最开始参与到社区,主要是贡献一些连接器插件以及修复bug,随着对项目加......
  • 恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member
    个人简介王海林白鲸开源研发工程师GitHubID:hailin0做过性能监控、数据开发平台等,目前聚焦在数据集成同步及其周边生态的研发问:作为白鲸开源的一员,您为社区做出过哪些贡献?具体方案(代码类)和贡献事迹有哪些?最开始参与到社区,主要是贡献一些连接器插件以及修复bug,随着对项目......
  • Apache Nginx中记录自定义Header
    从Apache切到Nginx需要保持日志格式统一,以便兼容之前的数据统计脚本现在Apache的日志格式为:LogFormat"%h%t%m%U%q%>s%{HEAD}i%D"说明:%h:客户端IP地址%t:时间(标准英语格式)%m:请求的方法(GET,POST)%U:请求的URL路径,不包含查询字符串%q:查询字符串%>s:请求的最终状态%{HEAD}i:请......
  • nginx or apache前端禁收录,爬虫,抓取
    一、Nginx规则直接在server 中新增如下规则即可:##################################################禁止蜘蛛抓取动态或指定页面规则By##################################################server{listen80;server_namezhangge.net;indexindex.htmlindex.......
  • 在生产环境中使用Apache Mesos和Docker
    本文翻译自IVOVERBERK博客,Docker容器软件已受到了从科技巨头到企业的广泛注意。但是,随着容器概念转变成为现实世界中的成熟技术,那么问题就变成了:怎么样才能快速把Docker应用于生产环境中呢?介绍在生产环境中安全有效地的运行Docker容器会有很多复杂的挑战。许多复杂性挑战都是在......
  • ApacheCN 捐赠名单 2019
    这是ApacheCN的捐赠名单,不是龙哥盟博客的(关于ApacheCN)。最新的名单请见https://home.apachecn.org/donate/。捐赠者金额(元)时间收入类型L*g8.002019-12-25个人赞助A*x20.002019-12-17个人赞助E*c1.002019-12-16个人赞助*雅1.002019-12-09个人赞助*一1.002019-11-27个人赞助*春......
  • ApacheCN 活动汇总 2019.7.19
    组织任务翻译校对活动MIT18.03写给初学者的微积分【校对】参与方式:https://github.com/apachecn/calc4b-zh/blob/master/CONTRIBUTING.md整体进度:https://github.com/apachecn/calc4b-zh/issues/1项目仓库:https://github.com/apachecn/calc4b-zh认领:9/74,校对:0/74章节贡献者进度第......
  • ApacheCN 活动汇总 2019.7.12
    翻译校对活动UIUCCS241系统编程中文讲义【校对】参与方式:https://github.com/apachecn/uiuc-cs241-notes-zh/blob/master/CONTRIBUTING.md整体进度:https://github.com/apachecn/uiuc-cs241-notes-zh/issues/1项目仓库:https://github.com/apachecn/uiuc-cs241-notes-zh认领:1/78,校......