在 Jupiter 笔记本的窗口下使用 huggingface 工具

Using huggingface tools under windows in a Jupiter Notebook

提问人:Moissinac 提问时间:11/16/2023 最后编辑:Moissinac 更新时间:11/16/2023 访问量:22

问:

我正在尝试在 jupyter 笔记本中使用以下代码

import os
os.environ['HF_HOME'] = "D:/Users/username/.cache/huggingface/"

from transformers import AutoTokenizer
import transformers
import torch
model = "meta-llama/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

但是当我运行它时,缓存总是在默认位置的 C 盘上创建 C:/用户/用户名/.cache/huggingface/

我尝试了其他几种方法来编写路径(用 \ 代替 /,在终端中设置环境变量...),但始终使用默认位置。发生这种情况时,我的 C 盘相对较小,几乎接近满。

更改缓存路径的好方法是什么?

更新:在调试模式下测试Jupyter Notebook外部的代码,我收到以下消息,这似乎是答案的一种方式: “UserWarning:cache-system默认使用符号链接来有效地存储重复的文件,但您的计算机在D:\Users\username.cache\huggingface\hub中不支持它们。缓存文件仍然可以工作,但版本降级,可能需要更多磁盘空间。可以通过设置环境变量来禁用此警告。有关详细信息,请参阅 https://huggingface.co/docs/huggingface_hub/how-to-cache#limitations。 若要在 Windows 上支持符号链接,需要激活开发人员模式或以管理员身份运行 Python。若要查看激活开发人员模式,请参阅以下文章:https://docs.microsoft.com/en-us/windows/apps/get-started/enable-your-device-for-development warnings.warn(message)”huggingface_hubHF_HUB_DISABLE_SYMLINKS_WARNING

缓存 Jupyter-Notebook HuggingFace

评论


答: 暂无答案