精度 问答列表

为什么 Ruby 的 Float#round 行为与 Python 不同?

作者:steenslag 提问时间:4/1/2013

"Python 中“round”函数的行为“观察到 Python rounds 像这样浮动: >>> round(0.45, 1) 0.5 >>> round(1.45, 1) 1.4 >>> ro...

高效计算 (a - K) / (a + K),精度更高

作者:njuffa 提问时间:2/16/2016

在各种上下文中,例如对于数学函数的参数约简,需要计算 ,其中 是正变量参数,并且是常数。在许多情况下,是 2 的幂,这是与我的工作相关的用例。我正在寻找有效的方法来更准确地计算这个商,而不是通过简单的...

是否可以通过减去两个不相等的浮点数得到 0?

作者:Thirler 提问时间:2/12/2015

在以下示例中,是否可以得到 0(或无穷大)的除法? public double calculation(double a, double b) { if (a == b) { return 0...

如果我将浮点数乘以它的倍数 (1.3 * 10) 以将其放入整数中,它是否比在计算中保持浮点数更准确?

作者:Paul Carlton 提问时间:5/4/2016

好的,好的。我知道那里有图书馆。我知道有很多关于浮动精度的帖子,但我遇到的那些并没有真正为我回答这个问题。作为一个好奇的人,我想要一个彻底的答案。 顶级域名; 在 JavaScript 中,将浮点...

MySQL(MariaDB)浮点可视化:为什么值四舍五入到数百或数千?

作者:Alex Poca 提问时间:6/7/2016

第一:我是MySql新手,看起来我在这里遗漏了一些重要的东西。 在MySQL数据库中,我的浮点值范围从单位到数十亿。 我花了几天时间试图理解为什么它们都显示不超过 6 个有效数字,而不太有效的数字设...

不同的数学 CPU 会生成相同的浮点结果吗?

作者: 提问时间:5/31/2014

我正在开发操作系统便携式软件,该软件具有必须在 Linux、UNIX 和 Windows 上运行的单元测试。 想象一下这个单元测试,它断言 IEEE 单精度浮点值 1.26743237e+015f ...

为什么浮点运算的结果取决于将一个语句拆分为两个语句?

作者:Fabian 提问时间:7/8/2016

我偶然发现了一个问题,浮点运算的结果取决于我是现在减去一个值 () 还是以后减去一个值 ()。为什么?ff2 int main(int argc, char * argv[]) { const ...

Ruby 的 BigDecimal 类中的浮点错误?[复制]

作者:Phil R 提问时间:7/21/2016

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 7年前关闭。 避免 ruby 中浮点错误的通用建议是使用 BigDecimal。我一定忽略了什么,因为我想我发现了一个 BigDec...

最接近 1.0 的双倍是多少,不是 1.0?

作者:jorgbrown 提问时间:8/6/2016

有没有办法以编程方式获得最接近 1.0 但实际上不是 1.0 的双精度值? 一种笨拙的方法是将双精度值转换为相同大小的整数,然后减去一。浮点格式的工作方式IEEE754,这最终会将指数减少 1,同时...

为什么我的记忆计算失败?

作者:computerserf 提问时间:8/30/2016

我正在尝试将二维递归问题转换为动态规划问题。但结果是不同的。 代码如下: import edu.princeton.cs.algs4.*; import java.util.Arrays; pu...


共694条 当前第39页