精度 问答列表

SQL在计算时具有额外的精度,为什么?

作者:Alex 提问时间:6/4/2020

你知道为什么SQL在乘法时增加了额外的精度吗?例: declare @x decimal(2,1) = 9.9; Declare @y decimal(3,2) = 9.99; --precisio...

为什么在两种情况下比较浮点数的输出不同

作者: 提问时间:6/16/2020

PYTHON程序: a = 0.2 if a == 0.2: print('*') 输出: * C程序: #include <stdio.h> int main(void) { ...

创建 BigDecimal 时,precision 和 setScale 之间有什么关联?

作者:generic_name_ryan 提问时间:6/22/2020

我了解到精度是值中的总位数,小数位数是小数点后的位数。 因此,据我了解,数字 1234.56 的精度 = 6 和小数位数 = 2。 我还看到,当您使用 MathContext 定义精度,然后创建一个...

从 varchar 转换为十进制而不会损失精度

作者:Narshe 提问时间:6/23/2020

我正在使用一个表,其中包含小数存储为 VARCHAR 的数值数据。这些数字的小数点数量不可预测(我相信最多 10 位),但它们也可以采用科学记数法('1231E-03') 我一直在尝试不同的解决方法...

为什么我的 SQL Server 十进制除法给我 6 位数?

作者:Anupam datta 提问时间:6/24/2020

我是 SqlServer 的新手,正在使用 SQLServer2019。我已经学习了 CAST() 和 CONVERT() 内置函数。现在我很困惑为什么我的代码给出 6 的比例。 DECLARE @...

R 中函数 bic.glm 的后验概率

作者:Chris J 提问时间:7/5/2020

我正在查看 R 中函数“bic.glm”输出的后验概率,它们只显示 3 位数字。此外,当我尝试“options(digits = 16)”时,我仍然只能获得 3 位数字的后验概率。我的问题分为两部分:...

浮点戏剧性误差(小数部分完全丢失)

作者:user1234567 提问时间:7/11/2020

quotient = 43156414f / 3; 我在这里得到了 == 14385472(完全不是真正的值:14385471,333......它完全失去了所有部分!quotient 我知道浮...

当除数尾数全为零时的浮点算法 - 例如在 2.0 英寸的情况下 - IEEE -754

作者: 提问时间:7/17/2020

我需要为小型 SBC 实现一个浮点包,并且大多数例程现在都可以工作,但在测试过程中,我注意到这个 1(附件)中的算法不会(实际上不能)在除数尾数全为零的情况下产生正确答案,例如 500/2 将产生答案...

使用 BigDecimal 作为初学者而不是 Double?

作者:Zohka 提问时间:7/18/2020

我目前正在学习 Java,偶然发现了“BigDecimal”的用法。据我所知,“BigDecimal”更精确,因此建议使用它而不是普通的 Double。 我的问题是:我应该总是使用“BigDecim...

PHP - WAMP 和 Web 服务器上的浮点数精度差异

作者:MohammadHossein R 提问时间:7/20/2020

我知道 php 浮点数不准确,我知道 BCMath 和 GMP 等解决方案。我在本地和另一台服务器(使用):WAMP serverNginx $size = 0.0006; $data = json...


共694条 当前第52页