Airflow要设置Task的优先级,涉及到这2个配置
1.weight_rule
2.priority_weight
weight_rule默认是downstream。还有其他2个配置upstream和absolute
priority_weight默认是1
比如,下面的DAG
1.weight_rule=downstream
task | 优先级 |
start | 5 |
x1 | 2 |
x2 | 2 |
y1 | 1 |
y2 | 1 |
2.weight_rule=upstream
task | 优先级 |
start | 1 |
x1 | 2 |
x2 | 2 |
y1 | 3 |
y2 | 3 |
3.weight_rule=absolute
这种模式下,如果你不自己设置priority_weight的值的话,那就是默认值1
task | 优先级 |
start | 1 |
x1 | 1 |
x2 | 1 |
y1 | 1 |
y2 | 1 |
想要实现以下效果
需要将
x1,x2的优先级单独设置高就可以了。