从 Glue 导入手动上传的 pytorch 时的 OSError

OSError while importing manually uploaded pytorch from Glue

提问人:JJH 提问时间:11/17/2023 更新时间:11/17/2023 访问量:40

问:

我将使用 Glue 生成数据集,以从 RDS 中的原始数据训练 AI 模型。根据公司的某些政策(也许是互联网封锁),魔术不起作用。所以我将压缩的模块上传到 S3,并用于导入模块,但收到以下错误消息:%additional_python_modules%extra_py_files s3://<bucket>/<prefix>/torch_linux.zip

OSError: /tmp/torch_linux.zip/torch/lib/libtorch_global_deps.so: cannot open shared object file: Not a directory

我使用 WSL 下载带有 的模块,因此 libtorch_global_deps.so 文件存在于 /lib 中,我认为问题与 cuda 可用性无关。我检查了该模块是否在我的计算机中导入没有任何问题,并且计算机和 Glue 也都在 x86-64 架构上运行。pip3 install torch --index-url https://download.pytorch.org/whl/cpu

我试过了,但没有用。无论如何,它实际上似乎没有包文件在其目录中;我在 Glue 交互式会话(Jupyter 笔记本)中运行,找不到与该模块相关的任何文件。os.environ['LD_LIBRARY_PATH'] += ':/tmp/torch_linux.zip/torch/'!ls -la

这是我在 S/O 中的第一个问题,因此请随时纠正任何错误、提出可读性建议或要求提供问题信息等。

pytorch aws-glue

评论


答: 暂无答案