气流 Dagrun 优先级

Airflow Dagrun Prioritization

提问人:Atur 提问时间:9/1/2023 最后编辑:Atur 更新时间:9/1/2023 访问量:60

问:

有没有办法根据输入参数确定 Dagrun 的优先级?

情况: 我有一个 Airflow Dag,其管道包含连续的长时间运行的任务。根据输入参数值,我需要对 Dagrun 的一些实例进行优先级排序。

例: Dag 名称:Dag 的并发:。 在 dag 运行期间,我传递了名为 property 的输入参数值,该值可以来自 .DagX16level1 to 5

要求: DagX 以不同的值多次触发。由于 Dag 并发为 16,因此大多数 dagrun 都会添加到队列中。 我需要具有更高值的 dag-runs,应该更早/更早地从队列中挑选,即我需要根据输入参数确定 Dagrun 的优先级。levellevel

我评估/遇到的: 我看到我们在任务级别,但我在级别上需要一些类似的东西。priority_weightdag run

气流 优先级队列

评论

0赞 Atur 9/1/2023
如果 Dagrun 有更高的任务,那么这样的 dagrun 是否会获得更高的优先级从队列中挑选?priority_weight
0赞 Atur 9/1/2023
有一些评论可以解决这个问题。澄清一下,问题只有一个主要查询:如何根据输入参数在运行时确定 Dagrun 的优先级
0赞 RNHTTR 9/2/2023
我想不出一种方法来为同一 DAG 的运行执行此操作。你为什么要这样做?
0赞 Atur 9/4/2023
@RNHTTR:我们为客户分配了不同的优先级。无论客户如何,Dag 管道都是一样的。队列中总是有 1000 个这样长时间运行的 Dag。我们需要选择允许其中一些客户跳过队列。

答: 暂无答案