用于训练 simplet5 模型的数据并行技术 – CUDA 内存不足

Data parallelism technique for Training simplet5 model – CUDA out of memory proplem

提问人：Nashaat RJ 提问时间：5/4/2023 最后编辑：talonmiesNashaat RJ 更新时间：5/4/2023 访问量：35

问：

我有一个由 8 个 GPU 组成的 AWS SageMaker 实例，每个 GPU 都有 32GB 的内存。但是，当我尝试使用高参数设置为文本摘要任务训练 SimpleT5 模型时，我遇到了 CUDA 内存不足错误，因为具有 32GB 内存的单个 GPU 不足以完成该任务。您能否帮助我通过数据并行或任何其他合适的方法转换训练模型来解决这个问题？

您能否帮助我通过数据并行或任何其他合适的方法转换训练模型来解决这个问题？

内存 并行处理 输出

评论

答： 暂无答案

上一个：Null-coalescing out 参数不会给出错误

下一个：运行时在 python views.py 中抛出错误