将 BERT 代币指数映射到 Spacy 代币指数
作者:lrthistlethwaite 提问时间:10/25/2023
我正在尝试使 Bert 的 () 标记化令牌索引(不是 ids,令牌索引)映射到 Spacy 的标记化令牌索引。在下面的示例中,我的方法不起作用,因为 Spacy 的标记化行为比我预期的要复杂一些。关...
bert-language-model 问答列表
作者:lrthistlethwaite 提问时间:10/25/2023
我正在尝试使 Bert 的 () 标记化令牌索引(不是 ids,令牌索引)映射到 Spacy 的标记化令牌索引。在下面的示例中,我的方法不起作用,因为 Spacy 的标记化行为比我预期的要复杂一些。关...
作者:Aftaab Zia 提问时间:11/6/2023
我正在尝试创建一个语义搜索系统,并尝试了 SentenceTransformer 库中的多个预训练模型:LaBSE、MS-MARCO 等。该系统在首先返回相关文件方面运行良好,概率很高,但问题是不相关...
作者:carpet119 提问时间:11/8/2023
在浏览 PyTorch 中的转换器文档时,我看到形状(batch_size、tgt_seq_len)的tgt_key_padding_mask用于表示由于填充而使 tgt 的某些部分无关紧要。当我从 ...
作者:Sid R. 提问时间:11/14/2023
我正在尝试保存 BERT 模型,但出现以下错误。我已经尝试使用model.save(),但这给了我另一个错误,所以我正在尝试寻找解决方法。 这是我用来保存模型的代码 tf.saved_model....