VBA round(var,1) 导致浮点错误
作者:Jacob Shaw 提问时间:5/11/2023
我正在使用VBA计算值并将其打印到工作表中。计算值是“单个”,我想将其四舍五入到小数点后一位。出于某种原因,“round”函数四舍五入到最接近的小数点,但它仍然有看起来像浮点误差的东西。我可以手动修复...
精度 问答列表
作者:Jacob Shaw 提问时间:5/11/2023
我正在使用VBA计算值并将其打印到工作表中。计算值是“单个”,我想将其四舍五入到小数点后一位。出于某种原因,“round”函数四舍五入到最接近的小数点,但它仍然有看起来像浮点误差的东西。我可以手动修复...
作者: 提问时间:5/12/2023
我决定将两个数字相乘: 1.0 17299991019999108999910899991119999 结果,我收到了回复: 1.729999101999911e+34 法典: print(1.0...
作者:Joris Kinable 提问时间:5/17/2023
由于浮点数不准确,java 的 double 不能精确地表示每个十进制数,即引入了精度误差。 给定以下代码: double d1=0.20976190476190476; double d2=0.0...
作者:Zaratruta 提问时间:5/18/2023
让我们考虑以下一段代码: #include <stdio.h> int main() { float x = 0.33; printf("%.100f",x); return 0; } ...
作者:Zaratruta 提问时间:5/18/2023
我开始学习 c 编程语言。 我知道浮动用以下方式表示: 1 位符号 指数为 8 位 尾数为 23 位 这是否意味着我只能精确地表示精度为 23 位的实数? 也就是说,如果我想表示一个大于 2^23...
作者:user6118986 提问时间:5/22/2023
这个问题在这里已经有答案了: 一个数字可以在不损失精度的情况下达到 JavaScript 的最高整数值是多少? (21 个答案) JavaScript 中的最大整数值 (3 个答案) 在 Javasc...
作者:SADL 提问时间:5/22/2023
这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 如何将浮点值限制在 C 中小数点后仅两位? (17 个答案) 将浮点数四舍五入到一定精度 (5 个答案) 6个月前关闭。 这是我的代...
作者:HeapUnderStop 提问时间:5/22/2023
例如:不能再精确表示为 的最小值是多少?等。uint32_tdouble 以及如何计算这些值?...
作者:zhoudu 提问时间:5/26/2023
这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 6个月前关闭。 我试图更深入地理解浮点数。我知道二进制(以 2 为基数)浮点数不能完全表示某些十进制数。但是我对 Java 中 do...
作者:valerii15298 提问时间:5/27/2023
已关闭。这个问题需要更加集中。它目前不接受答案。 想改进这个问题吗?更新问题,使其仅通过编辑这篇文章来关注一个问题。 6个月前关闭。 改进此问题 支持分数的大数字: 我想在不损失精度的情况下...