提问人：Khaleel 提问时间：9/8/2023 更新时间：10/3/2023 访问量：1861
加载检查点分片花费的时间过长
Loading checkpoint shards takes too long
问：
我对生成式 AI 非常陌生。我有 64GB RAM 和 20GB GPU。我使用了 Huggingface 的一些开源模型，并使用 Python 简单地提示它，并显示开箱即用的模型并显示结果。我将模型下载到本地，然后尝试从本地加载模型。它有效。但是每次我运行 python 文件时，显示结果都需要 10 多分钟。save_pretrained
有一个步骤每次需要 6-7 分钟。我做错了什么吗？为什么它每次都必须加载一些东西，即使模型是从本地引用的。Loading checkpoint shards
我试过使用，没有解决时间问题。local_files_only=True, cache_dir=cache_dir, low_cpu_mem_usage=True, max_shard_size="200MB"
如何直接提示保存的模型，而不会像用户使用那样延迟。任何帮助将不胜感激
答：
1赞
Luxin.Z
10/3/2023
#1
我遇到了完全相同的问题，我在使用该方法时通过设置解决了它。希望这对你有用。但是，我确实想知道使用普通.bin格式加载模型时发生了什么。safe_serialization=Truesave_pretrained()
评论