AWS Managed Airflow Workers:如何知道 IOPS 或网络限制?

AWS Managed Airflow Workers: How can I know the IOPS or Network Limitations?

提问人:user2059084 提问时间:10/7/2023 更新时间:10/7/2023 访问量:16

问:

如果我查看不同的 Airflow Environment 类 (https://docs.aws.amazon.com/mwaa/latest/userguide/environment-class.html),我可以看到每个工作线程有多少 RAM 和 vCPU,但我不确定网络限制或 I/O 限制。我应该能够根据这一点来判断,还是可以独立判断?

我的任务每个任务都从 S3 读取几 MB,并在启动时将几 MB 复制到 /tmp/ 目录。如果同时启动 10 个任务,这是否是一个不合理的数据量?我看到 CPUUtilization 和有时内存峰值仅在同时启动任务时才会出现峰值,因此我想将其视为潜在原因,但我不知道这是否足以导致问题。CloudWatch 只有 CPUUtilization 和 Memory 方面的指标,因此我无法深入了解其他限制。

Amazon-Web-Services 网络 IO Airflow CPU

评论


答: 暂无答案