首页 > 其他分享 >airflow

airflow

时间:2023-11-27 22:45:23浏览次数:40  
标签:airflow 调度 任务 DAG Airflow Apache

what

Apache Airflow 是一个提供基于DAG 有向无环图来编排工作流的、可视化的分布式
任务调度平台,与Oozie、Azkaban 等任务流调度平台类似。Airflow 在2014 年由
Airbnb 发起,2016 年3 月进入Apache 基金会,在2019 年1 月成为顶级项目。Airflow
采用Python 语言编写,提供可编程方式定义DAG 工作流,可以定义一组有依赖的任务,
按照依赖依次执行, 实现任务管理、调度、监控功能。

标签:airflow,调度,任务,DAG,Airflow,Apache
From: https://www.cnblogs.com/fzyuni/p/17860746.html

相关文章

  • airflow部署LDAP
    airflow部署目录airflow部署一、构建虚拟环境virtualenv二、安装apache-airflow[celery]==2.7.1三、安装数据库四、安装配置消息队列五、修改配置文件airflow.cfg六、邮件发送配置七、send_email.pytest八、设置systemctl启动九、airflow配置身份验证:LDAP传输层安全协议十、pro......
  • kestra apache airflow 可选方案
    今天我有简单说明过一个mage-ai的airflow替换方案,kestra是另外一个可选方案kestra使用了yaml进行piepline的配置,当然我们也可以直接在ui中操作,kestra包含了自己的插件系统适合的业务场景数据调度分布式调度事件驱动workflow说明kestra也提供了可以在线体验的地址,......
  • mage-ai 替换airflow 的现代数据pipeline 平台
    mage-ai是一个可以替换airflow的现代数据pipeline平台包含的特性友好的开发体验支持python,sql,r语言不以来DAG的可开发模式交互式代码数据优先基于云的协作快速部署扩展简单提供可观测性说明官方提供来的demo站点,可以方便的体验学习,目前来看mage-ai算是一个很......
  • hadoop组件---spark实战-----airflow----调度工具airflow定时运行任务的理解
    我们在前面已经初步了解了airflow:hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例但是我们开始尝试使用airflow的定时任务的时候,常常遇到一个尴尬的情况,任务没有成功运行,或者说设置开始时间是今天,但是明天才开始运行。本篇文章尝试说明其中的......
  • hadoop组件---spark实战-----airflow----调度工具airflow部署到k8s中使用
    在之前的文章中我们已经了解了airflow和它的工作原理。hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例Scheduler进程,WebServer进程和Worker进程需要单独启动。Scheduler和WebServer可以跑在一个操作系统内,也可以分开,而通常Worker需要很多,如果是部署特定......
  • hadoop组件---spark实战-----airflow----调度工具airflow的介绍和使用示例
    Airflow是什么Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理,......
  • Airflow 2.2.6 + MySQL 8.0.27 + Redis 7.0.12 部署Airflow任务调度平台
    本docker-compose文件在centos7.9系统,docker版本为24.0.2上测试的如果你的docker版本低于24.xxx就需要手动安装docker-compose,高于24就不需要安装了,docker已经自带了官方文档,关于docker部署1.先执行mkdir-p./dags./logs./plugins./config./......
  • Airflow使用入门指南
    Airflow能做什么Airflow是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。Airflow独立于我们要运行的任务,只需要把任务的名字和运行方式提供给Airflow作为一个task就可以。安装和使用最简单安装在Linux终端运行如下命令(需要已安装好pytho......
  • 利用Docker安装Airflow
    mkdirairflowcdairflowmkdir-p./dags./logs./pluginsecho-e"AIRFLOW_UID=$(id-u)">.envwgethttps://airflow.apache.org/docs/apache-airflow/2.5.0/docker-compose.yamlsudoaptinstalldocker-composedocker-composeup在浏览器中,输入l......
  • Airflow 设置Task优先级
    Airflow要设置Task的优先级,涉及到这2个配置1.weight_rule2.priority_weightweight_rule默认是downstream。还有其他2个配置upstream和absolutepriority_weight默认是1比如,下面的DAG1.weight_rule=downstreamtask优先级start5x12x22y11y212.weight_rule=upstreamtask优先级start1x12......