提问人:bonney 提问时间:3/29/2021 更新时间:9/18/2023 访问量:312
modin 在 AWS Lambda 上有用吗
Is modin useful on AWS Lambda
问:
AWS Lambda 附带 6 个 vCPU。Modin for Pandas 承诺使用内核来提高处理效率。
这是否真的在 AWS Lambda 上提供,否则它不支持多线程、多处理等?
# import pandas as pd
import modin.pandas as pd
答:
0赞
Keshav Bajaj
9/18/2023
#1
https://github.com/aws/aws-sdk-pandas/issues/2370
我认为我们不能在 lambda 上使用 modin,因为 Modin 需要某种引擎才能在分布式计算上工作,因此如果有人想在 lambda 上使用 modin,那么他们可能会创建自己的容器,以及他们想要使用的引擎。
或者,最简单的方法可能是您可以使用一些东西作为
pip3 安装 awswrangler[modin,ray] 直接在容器中
评论