精度 问答列表

当 SQL 中的两个值具有不同的数据类型时,如何将它们与给定的十进制精度进行比较?

作者:Mark 提问时间:8/8/2019

我试图证明使用 EXCEPT 查询的两个表之间没有显着差异。我只包括我关心比较的字段。问题在于,由于其中一个表的数据采用浮点格式,而另一个表具有 Decimal(24,7),因此在结果集中发现了大量差...

如何将 11 到 30 之间的整数乘以 0.015?[复制]

作者:griswold88 提问时间:8/28/2019

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 4年前关闭。 我正在尝试打印出从 11 到 30 乘以 0.015 的整数 for ( let i = 11; i <= 30; ...

有人可以解释我 Python Division [重复]

作者:Parag Meshram 提问时间:9/10/2019

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 4年前关闭。 为什么是 100./3.= 33.333333333333336 而不是 33.333333333333333 或 3...

不带 strictfp 的最小精度单位

作者:fidudidu 提问时间:9/17/2019

看看 Math 类,ulp 方法: public static float ulp(float f) 如果应用该方法,如下所示: ,则会出现 Javadoc 文档中的以下规则:Math.ulp(...

在解释型语言上使用非常大的整数时出现意外结果

作者: 提问时间:8/5/2013

我试图得到 的总和,但我在 PHP 和 Node.js 中得到了有趣的结果。1 + 2 + ... + 1000000000 PHP的 $sum = 0; for($i = 0; $i <= 10...

为什么 math.isclose() 无法检测到非常大的值之间的微小差异?

作者:AFoeee 提问时间:10/27/2018

math.isclose()存在以确定两个值之间的差值是否在容差范围内。 据我了解,此容差的默认值为: rel_tol = 1e-09 abs_tol = 0.0 如果我将两个值都设置为 ,那么...

浮点乘法上的误差边界

作者:john 提问时间:8/6/2019

我正在寻找一个公式来限制浮点乘法传播的误差。我已经看到了以下陈述(但未得到证实)。 如果是 with bound ulps 的浮点近似值,并且同样是 with bound ulps 的浮点近似值,并...

(.1f+.2f==.3f) != (.1f+.2f)。等于(.3f) 为什么?

作者:LZW 提问时间:2/28/2013

我的问题不是关于浮动精度。这是关于为什么与 不同。Equals()== 我明白为什么是(而是)。 我明白这是参考,是价值比较。(编辑:我知道还有更多。.1f + .2f == .3ffalse.1m...

Double Precision类型“ChargeBackValue”的输入语法无效

作者:Vinicius Mocci 提问时间:10/19/2019

我正在尝试将.csv文件上传到Postgres,但出现此错误: Double Precision类型“ChargeBackValue”的输入语法无效 图像错误 这里是表格的结构: 这里的表格结构...

如何截断计算列中的小数点?

作者:YHapticY 提问时间:10/22/2019

我需要创建一个查询,以显示编辑人员的平均工作效率,这些编辑工作过不止一本书,除了他们的第一本书以 0.01 页/天的精度出版。 我现在显示了正确的列,但我需要减少列中显示的零数量。AveragePr...


共694条 当前第48页