modin 在 AWS Lambda 上有用吗

Is modin useful on AWS Lambda

提问人:bonney 提问时间:3/29/2021 更新时间:9/18/2023 访问量:312

问:

AWS Lambda 附带 6 个 vCPU。Modin for Pandas 承诺使用内核来提高处理效率。

这是否真的在 AWS Lambda 上提供,否则它不支持多线程、多处理等?

# import pandas as pd
import modin.pandas as pd
熊猫 AWS-Lambda MODIN的

评论


答:

0赞 Keshav Bajaj 9/18/2023 #1

https://github.com/aws/aws-sdk-pandas/issues/2370

我认为我们不能在 lambda 上使用 modin,因为 Modin 需要某种引擎才能在分布式计算上工作,因此如果有人想在 lambda 上使用 modin,那么他们可能会创建自己的容器,以及他们想要使用的引擎。

或者,最简单的方法可能是您可以使用一些东西作为

pip3 安装 awswrangler[modin,ray] 直接在容器中