精度 问答列表

将数字转换为他们的 log2

作者:Kokizzu 提问时间:9/25/2014

我需要将数字转换为最小的 log2 +1,但我有一个问题,在 32 位 Ruby 中,log2(8) = 2.99999999999999996 输入 () 和输出 () 应为:poslevel ...

减法时的 MATLAB 精度

作者:user53534 提问时间:10/21/2014

我需要高精度来完成我正在从事的项目。 我遇到的问题在减去时在这里得到了说明: >> 1-0.9999999999999999 ans = 1.1102e-16 >> 1-0.9999999999...

int 乘法与浮点乘法的不同结果 [已关闭]

作者:The Nightmare 提问时间:12/8/2014

闭。这个问题不可重现或是由错别字引起的。它目前不接受答案。 这个问题是由错别字或无法再现的问题引起的。虽然类似的问题可能在这里是主题,但这个问题的解决方式不太可能帮助未来的读者。 8年前关闭。 ...

将多个带有十进制的数字相加会显示一长串数字 [重复]

作者:sarojanand 提问时间:1/17/2015

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 8年前关闭。 我正在尝试从表单输入字段中添加一些十进制数,如下所示: var total = Number(11000.2)+Nu...

MySql 和浮点数或双裁剪我的数字,当我从 php 的每个查询更新它时

作者:TheMAn 提问时间:2/26/2015

我喜欢使用 InnoDB 以非常精确的方式将纬度和经度存储到我的 MySql 数据库中。但是,float 没有提供足够的内部小数位,所以我切换到 double。有点想知道自己,但 MySql 接受了大...

对浮点类型值使用 GREATEST() 会给出不准确的结果

作者:Gergely Lukacsy 提问时间:3/3/2015

我正在试验 mysql,并使用该函数进行查询以比较两个不同的字段。GRATEST() 我的查询如下所示: SELECT id, float1, float2, GREATEST( IFN...

使用 String.format 将浮点值格式化为字符串的 Wierd 结果

作者:dangling_refrenz 提问时间:9/1/2014

我是 Java 的新手。 我大致了解浮点精度和转换的问题,但不确定为什么在 Java 中看到如此荒谬的结果...... 我做到了...... String str1 = String.format(...

平均浮点数时保持精度

作者:m81 提问时间:4/22/2015

假设我有大量的浮点数,例如 100 个,我需要计算它们的平均值。 为了得到最准确的结果,我应该将所有数字相加,然后除以 100 吗? 或者我应该将每个数字除以 100,然后将它们全部相加? (如...

浮点加法/乘法/除法

作者:cheng 提问时间:5/7/2015

我正在做教科书中的一些家庭作业,并且对某些算术运算的浮点舍入/精度有一些问题。 如果我像这样从 int 中转换双打: int x = random(); double dx = (double) ...

比较 Ruby on Rails 中两个几乎相同的 BigDecimal 数字

作者:Ely 提问时间:2/13/2015

我遇到了一个小问题,我真的很想理解。我用来比较两个应该相同的 BigDecimal 数字。它们实际上只是极小的一部分,见下文:assert_equal -#<BigDecimal:7f4b40e8d...


共694条 当前第37页