精度 问答列表

VBA round(var,1) 导致浮点错误

作者:Jacob Shaw 提问时间:5/11/2023

我正在使用VBA计算值并将其打印到工作表中。计算值是“单个”,我想将其四舍五入到小数点后一位。出于某种原因,“round”函数四舍五入到最接近的小数点,但它仍然有看起来像浮点误差的东西。我可以手动修复...

大数python的乘法

作者: 提问时间:5/12/2023

我决定将两个数字相乘: 1.0 17299991019999108999910899991119999 结果,我收到了回复: 1.729999101999911e+34 法典: print(1.0...

加减相同数字时的 Java 双精度错误

作者:Joris Kinable 提问时间:5/17/2023

由于浮点数不准确,java 的 double 不能精确地表示每个十进制数,即引入了精度误差。 给定以下代码: double d1=0.20976190476190476; double d2=0.0...

如果 float 有 6 位精度,为什么我们可以用 printf 显示超过 6 位的浮点数?

作者:Zaratruta 提问时间:5/18/2023

让我们考虑以下一段代码: #include <stdio.h> int main() { float x = 0.33; printf("%.100f",x); return 0; } ...

C 中的浮点数不精确

作者:Zaratruta 提问时间:5/18/2023

我开始学习 c 编程语言。 我知道浮动用以下方式表示: 1 位符号 指数为 8 位 尾数为 23 位 这是否意味着我只能精确地表示精度为 23 位的实数? 也就是说,如果我想表示一个大于 2^23...

在双精度浮点运算中,将整数递增/递减 0.5 总是安全的吗?[复制]

作者:user6118986 提问时间:5/22/2023

这个问题在这里已经有答案了: 一个数字可以在不损失精度的情况下达到 JavaScript 的最高整数值是多少? (21 个答案) JavaScript 中的最大整数值 (3 个答案) 在 Javasc...

在 C++ 中分配浮点数或将其推送到向量中时被舍入 [duplicate]

作者:SADL 提问时间:5/22/2023

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 如何将浮点值限制在 C 中小数点后仅两位? (17 个答案) 将浮点数四舍五入到一定精度 (5 个答案) 6个月前关闭。 这是我的代...

在 C 小数点数据类型中无法精确表示的最小值是什么?

作者:HeapUnderStop 提问时间:5/22/2023

例如:不能再精确表示为 的最小值是多少?等。uint32_tdouble 以及如何计算这些值?...

如何理解Java中double的这种奇怪行为?[复制]

作者:zhoudu 提问时间:5/26/2023

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 6个月前关闭。 我试图更深入地理解浮点数。我知道二进制(以 2 为基数)浮点数不能完全表示某些十进制数。但是我对 Java 中 do...

JS fractions for big numbers with no precision loss [已关闭]

作者:valerii15298 提问时间:5/27/2023

已关闭。这个问题需要更加集中。它目前不接受答案。 想改进这个问题吗?更新问题,使其仅通过编辑这篇文章来关注一个问题。 6个月前关闭。 改进此问题 支持分数的大数字: 我想在不损失精度的情况下...


共694条 当前第21页