首页 > 其他分享 >Airflow 设置Task优先级

Airflow 设置Task优先级

时间:2023-05-22 21:31:40浏览次数:45  
标签:Task 优先级 weight rule priority Airflow 设置

Airflow要设置Task的优先级,涉及到这2个配置

1.weight_rule

2.priority_weight

weight_rule默认是downstream。还有其他2个配置upstream和absolute

priority_weight默认是1

比如,下面的DAG

Airflow 设置Task优先级_大数据

1.weight_rule=downstream

task

优先级

start

5

x1

2

x2

2

y1

1

y2

1

2.weight_rule=upstream

task

优先级

start

1

x1

2

x2

2

y1

3

y2

3

3.weight_rule=absolute

这种模式下,如果你不自己设置priority_weight的值的话,那就是默认值1

task

优先级

start

1

x1

1

x2

1

y1

1

y2

1

想要实现以下效果

Airflow 设置Task优先级_airflow_02

需要将

x1,x2的优先级单独设置高就可以了。


标签:Task,优先级,weight,rule,priority,Airflow,设置
From: https://blog.51cto.com/u_6220600/6327230

相关文章

  • css优先级
    <!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,initial-scale=1.0"><metahttp-equiv="X-UA-Compatib......
  • 1.脚本高级命令,进程优先级命令,进程管理工具,任务相关命令
    一.总结脚本高级命令trap,install,mktemp,expect,进程优先级命令:nice,renice,进程管理工具:ps,pstree,prtstat,pgrep,pidof,uptime,mpstat,top,htop,free,pmap,vmstat,iostat,iotop,iftop,nload,nethogs,iptraf-ng,dstat,glances,cockpit,kill,job,任务......
  • 用redis实现支持优先级的消息队列
    用redis实现支持优先级的消息队列 为什么需要消息队列系统中引入消息队列机制是对系统一个非常大的改善。例如一个web系统中,用户做了某项操作后需要发送邮件通知到用户邮箱中。你可以使用同步方式让用户等待邮件发送完成后反馈给用户,但是这样可能会因为网络的不确定性造成用......
  • Linux基础22 进程的优先级nice, 后台进程管理, 系统平均负载, 系统启动流程
    进程的优先级:nice值越高:表示优先级越低,例如19,该进程容易将CPU使用量让给其他进程。nice值越低:表示优先级越高,例如-20,该进程更不倾向于让出CPU。#以设定的优先级启动nice-n-10tail-f/var/log/messages#重新设置一个进程的优先级(调整sshd的优先级)[root@oldboyedu~]#......
  • closeSocket:fail task not found, uniapp 微信小程序连接不上mqtt!!!
    原来使用的mqttjs版本为4.3.7,连接一直报错,closeSocket:failtasknotfound。降低mqtt.js版本使用4.1.0。引入mqtt的方式使用importmqttfrom'mqtt/dist/mqtt.js'!!!使用constmqtt=require('mqtt'),require方式也提示无法连接!!!......
  • C#中的Task.CompletedTask和Task.Result学习
    在学习C#中的Task方法时,可以知道Task启动一个异步线程方法可以用Task.Run()进行,具体可以参看博客 https://www.cnblogs.com/yaosj/p/10342883.html和 https://www.cnblogs.com/wynblogscc/p/15138423.html但是,在有些返回类型是Task的方法中,可以在不进行异步的情况下计算结果.......
  • Spring Could not find unique TaskExecutor bean 错误
    这个错误其实是debug级别的错误,是不影响运行的。错误栈为:15:27:57.726DEBUG12844---[nio-8080-exec-1].s.a.AnnotationAsyncExecutionInterceptor:CouldnotfinduniqueTaskExecutorbeanorg.springframework.beans.factory.NoUniqueBeanDefinitionException:Noqu......
  • Docker安装Airflow
    环境系统:Ubuntu22.04.2LTSdockerVersion:20.10.21docker-composeversion1.29.2,python3--versionPython3.10.61、安装docker1.1先更新系统 sudoapt-getupdate sudoapt-getupgrade1.2安装docker: apt-getinstalldocker.io1.3查看docker版本: ......
  • AMD Xilinx AXI Interrupt Controller 中断优先级
    中断优先级AXIInterruptController支持中断优先级。在VivadoBlockDesign中,bit-0连接的中断优先级最高,越靠近bit-0的中断优先级最高。AXIInterruptController的手册pg099中的描述如下:Prioritybetweeninterruptrequestsisdeterminedbyvectorposition.Theleas......
  • ThreadPoolTaskExecutor与ThreadPoolExecutor的区别及优缺点
    ThreadPoolTaskExecutor和ThreadPoolExecutor都是线程池的实现,但它们有以下几点区别:1.ThreadPoolTaskExecutor是Spring框架中编写的,它对ThreadPoolExecutor进行了封装,提供了更加丰富的功能,更易于在Spring中使用。而ThreadPoolExecutor是JDK中的实现。2.ThreadPoolTaskExe......