精度 问答列表

浮点数学坏了吗?

作者:Cato Johnston 提问时间:2/26/2009

请考虑以下代码: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 为什么会出现这些不准确之处?...

浮点数学坏了吗?

作者:Cato Johnston 提问时间:2/26/2009

请考虑以下代码: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 为什么会出现这些不准确之处?...

为什么当我在Perl中从自身中减去相同的浮点数时,我没有得到零?[复制]

作者:Prashant 提问时间:1/17/2010

这个问题在这里已经有答案了: 13年前关闭。 可能的重复项: 为什么 C# 中的浮点运算不精确? 为什么 ghci 说 1.1 + 1.1 + 1.1 > 3.3 是真的? #!/usr/bin/...

C# DateTime.Now 精度

作者:Andy White 提问时间:1/27/2010

我只是在进行一些单元测试时遇到了一些意外的DateTime.UtcNow行为。看起来,当您快速连续调用 DateTime.Now/UtcNow 时,它似乎会在比预期更长的时间间隔内返回相同的值,而不是...

T-SQL 十进制除法精度

作者:MT. 提问时间:1/8/2009

有谁知道为什么,使用 SQLServer 2005 SELECT CONVERT(DECIMAL(30,15),146804871.212533)/CONVERT(DECIMAL (38,9),12...

MySQL SELECT 计算精度(小数点后的数字)

作者:Jimmix 提问时间:3/25/2019

我正在尝试为来自执行某些方程式的 SELECT 的结果实现相同的精度(小数点后位数)。 在性能方面是否有任何区别,在 CAST() 或 ROUND() 之间实现所需的精度的情况下,除了四舍五入最后一...

setprecision 和浮点

作者:SRYZDN 提问时间:1/21/2015

运行以下代码,我希望收到这样的输出: Desired output: Car Hours Charge 1 1.5 2.00 2 4.0 2.50 3 24.0 10.00 但结果如下: Ac...

new BigDecimal(double) 与 new BigDecimal(String) [重复]

作者:dardeshna 提问时间:4/15/2015

这个问题在这里已经有答案了: BigDecimal from Double 值不正确? (4 个答案) 将 double 转换为 BigDecimal 并设置 BigDecimal 精度 (9 个答案...

如何增加集成商的价值?

作者:quasireal 提问时间:10/12/2023

对于爪哇的学校作业,我们假装在水疗接待处编写代码,客户应该添加他们选择的治疗方法,并且应该将其添加到总成本中。我们得到了一个代码基础(我已经编写了 switch 语句)。在计算成本时,我们应该使用代码...

精确复制浮点值的重复相加

作者:TLW 提问时间:8/21/2023

在 IEEE 754 算术中是否存在复制浮点值重复求和的 sub-O(n) 方式1? 也就是说,有没有一种更快的方法可以精确地复制以下伪代码的结果: f64 notQuiteFMA(f64 acc...


共694条 当前第6页