我有以下模型，我正在尝试微调（CLIP_ViT + 分类头）。这是我的模型定义： class CLIPNN(nn.Module): def __init__(self, num_labels, ...

当我们查看 HuggingFaceHub 模型的使用情况时，有一部分作者不知道如何停止生成，https://github.com/hwchase17/langchain/blob/master/lan...

我刚刚开始使用 huggingface transformers 库，并一直在通过 Pytorch 和 venv 对其进行试验。 如果我从 shell 激活 venv 虚拟环境，它就可以正常工作。 ...

假设我有特定于域的单词，我想将其添加到我用于进一步微调模型的分词器中。BERT 的 Tokenizer 是具有 [[unusedX] tokens] 的 tokenizer 之一。添加新令牌的方法之一...

我正在用来自新语料库的新令牌来丰富 DistilBert tokenizer。 使用分词器，并基于 Huggingface NLP 课程，通过从单词开头找到“尽可能长的标记”，将其拆分，然后对单词的其...

我正在使用** python==3.10， torch==1.13.0+cpu， transformers==4.35.0.** 我正在尝试使用以下命令对 pytorch 框架中的转换器模型进行 （c...

所以我有一个 JSON 数据集，其格式如下： [{ "answer": "...", "question": "...", "context": "..." }, ... ] 所有字段...

我想重新初始化我正在使用/下载的 LLaMA v2 模型的权重。我浏览了所有文档和他们的 HF 代码中的源代码： https://github.com/huggingface/transformer...