问答列表

从 varchar 转换为十进制而不会损失精度

作者:Narshe 提问时间:6/23/2020

我正在使用一个表,其中包含小数存储为 VARCHAR 的数值数据。这些数字的小数点数量不可预测(我相信最多 10 位),但它们也可以采用科学记数法('1231E-03') 我一直在尝试不同的解决方法...

为什么我的 SQL Server 十进制除法给我 6 位数?

作者:Anupam datta 提问时间:6/24/2020

我是 SqlServer 的新手,正在使用 SQLServer2019。我已经学习了 CAST() 和 CONVERT() 内置函数。现在我很困惑为什么我的代码给出 6 的比例。 DECLARE @...

SQL Server Float 数据类型超出范围

作者:JoeLeBaron 提问时间:7/2/2020

我有一个查询,我通过扩展事件会话捕获,其浮点数据类型如下所示: @variable = 120700.8000000000000000000000000000000000000000000000 ...

R 中函数 bic.glm 的后验概率

作者:Chris J 提问时间:7/5/2020

我正在查看 R 中函数“bic.glm”输出的后验概率,它们只显示 3 位数字。此外,当我尝试“options(digits = 16)”时,我仍然只能获得 3 位数字的后验概率。我的问题分为两部分:...

浮点戏剧性误差(小数部分完全丢失)

作者:user1234567 提问时间:7/11/2020

quotient = 43156414f / 3; 我在这里得到了 == 14385472(完全不是真正的值:14385471,333......它完全失去了所有部分!quotient 我知道浮...

当除数尾数全为零时的浮点算法 - 例如在 2.0 英寸的情况下 - IEEE -754

作者: 提问时间:7/17/2020

我需要为小型 SBC 实现一个浮点包,并且大多数例程现在都可以工作,但在测试过程中,我注意到这个 1(附件)中的算法不会(实际上不能)在除数尾数全为零的情况下产生正确答案,例如 500/2 将产生答案...

使用 BigDecimal 作为初学者而不是 Double?

作者:Zohka 提问时间:7/18/2020

我目前正在学习 Java,偶然发现了“BigDecimal”的用法。据我所知,“BigDecimal”更精确,因此建议使用它而不是普通的 Double。 我的问题是:我应该总是使用“BigDecim...

PHP - WAMP 和 Web 服务器上的浮点数精度差异

作者:MohammadHossein R 提问时间:7/20/2020

我知道 php 浮点数不准确,我知道 BCMath 和 GMP 等解决方案。我在本地和另一台服务器(使用):WAMP serverNginx $size = 0.0006; $data = json...

为什么 59.95 可以精确地以双倍存储?

作者:Adam 提问时间:7/21/2020

我在MySql中创建了一个新表。 5.7.27-0ubuntu0.18.04.1 该表包含一列和一列。两列都使用 IEEE 754 格式。我在两个字段中都存储了数字 59.95。该数字不能表示为二进...

Fortran 中数值运算中自动类型/类型转换的可移植性

作者:Matt P 提问时间:7/23/2020

根据 Fortran 标准,如果数值运算的操作数具有不同的数据类型,则结果值具有由操作数确定的类型/类型,具有更高的十进制精度。在计算操作之前,首先将具有较低十进制精度的操作数转换为精度较高的 kin...


共1296条 当前第15页