提问人:Atur 提问时间:9/1/2023 最后编辑:Atur 更新时间:9/1/2023 访问量:60
气流 Dagrun 优先级
Airflow Dagrun Prioritization
问:
有没有办法根据输入参数确定 Dagrun 的优先级?
情况: 我有一个 Airflow Dag,其管道包含连续的长时间运行的任务。根据输入参数值,我需要对 Dagrun 的一些实例进行优先级排序。
例:
Dag 名称:Dag 的并发:。
在 dag 运行期间,我传递了名为 property 的输入参数值,该值可以来自 .DagX
16
level
1 to 5
要求:
DagX 以不同的值多次触发。由于 Dag 并发为 16,因此大多数 dagrun 都会添加到队列中。
我需要具有更高值的 dag-runs,应该更早/更早地从队列中挑选,即我需要根据输入参数确定 Dagrun 的优先级。level
level
我评估/遇到的:
我看到我们在任务级别,但我在级别上需要一些类似的东西。priority_weight
dag run
答: 暂无答案
评论
priority_weight