提问人:xaviersjs 提问时间:10/6/2023 更新时间:10/6/2023 访问量:18
pytorch 中项目之间的 CPU float32 精度差异
CPU float32 precision differences between projects in pytorch
问:
我知道每个IEEE的float32在对10^-7量级的值求和时存在精度问题。我完全希望看到架构(包括 GPU)之间的计算差异。但是,现在我正在测试 pytorch 模块的两种不同实现,并在一侧和另一侧获得不同的结果。我可以看到,当我在小值向量上执行操作时,会出现错误。但是,由于两个存储库都在同一台计算机上同一 CPU 上的相同版本的 pytorch (2.0.1) 上运行,我不明白为什么我会看到不同的结果。这应该是完全相同的实现,是吗?这意味着错误应该是相同的?torch.sum(x, dim=-1)
影响 float32 求和运算精度的可能标志/配置有哪些?例如,我看到这个 https://pytorch.org/docs/stable/generated/torch.set_flush_denormal.html。还有什么其他因素会影响浮点操作的执行方式吗?
答: 暂无答案
评论