精度 问答列表

x86_64 和 ARMv8.2-A 之间的浮点计算结果不同

作者:Marty 提问时间:9/24/2020

我在 aarch64 和 x86_64 中编译了相同的 Fortran 库和代码。它是一个跨 n 维数组/矩阵运行算法的模型。ARM CPU 是 Amazon Graviton2。AWS中的AMD和I...

为什么 SQL Server 将精度降低到 3 或 6 位

作者:aykax 提问时间:10/9/2020

我在sql(sql server management studio)中的计算有一个大问题 我有一个变量声明@KursEur decimal(32,10) = 4.2617000000 我需要 1...

在 C 中添加两个大双数会得到不正确的结果

作者:TheDoctor Bombastic 提问时间:10/18/2020

我想问你一个问题,关于在 C 语言中将两个大数字相加。 假设有两个数字是双倍的:1.31E+42 和 1.399E+43。 如果我在Excel中进行添加,结果是153000000000000000...

在PHP中计算机器epsilon的最佳方法?

作者:Agnius Vasiliauskas 提问时间:10/20/2020

在PHP中直接计算机器epsilon(浮点舍入误差)的最佳/最正确的方法是什么,而不使用内置常量?目前,我已经设法研究了两种方式,“标准”和渐近接近 epsilon :PHP_FLOAT_EPSILO...

Python:用高精度浮点数反矩阵

作者:maciek 提问时间:10/19/2020

我正在阅读有关如何在 Python 中处理多精度算术的教程。 最后,我想要一个具有任意高精度浮点数的数组,我需要反转该矩阵。numpy 因此,我们有: import sys import nump...

PHP在会计中将长浮点数四舍五入到小数点后两位

作者:drew7721 提问时间:10/29/2020

假设你有这个数字,你想把它四舍五入到小数点后 2 位。现在我想说的是,结果将是 5 从尾巴上抬起来。不?562.9444445562.95 好吧,PHP round 函数不是那样工作的。它只会检查下...

数据类型浮点数的精度(IEEE 754 单精度)

作者:user9564464 提问时间:11/6/2020

我在 IEEE 754 的维基百科页面上找到了一张图表,显示了浮点精度与实际浮点值 (https://en.wikipedia.org/wiki/IEEE_754#Formats) 之间的关系: 将...

PHP 中的浮点数 -- 奇怪的行为 [重复]

作者:user1442439 提问时间:11/20/2020

这个问题在这里已经有答案了: php, var_export 失败并显示 float [duplicate] (1 个答案) 浮点数学坏了吗? (34 个答案) 浮点数 / 浮点数 = 奇怪的结果 (...

避免浮点 SQL 的转换过程中的精度损失

作者:Rocky3151 提问时间:11/27/2020

我正在尝试在转换和合并 SQL 查询coalesced_field_value列中保留浮点值。我做不到。 我想要原样的值,没有多余的零的 0 在这里非常感谢任何帮助。 drop table #s...

设置成员变量值后,该值在 getter 函数内部发生变化

作者:karim 提问时间:11/28/2020

我正在尝试设置两个成员变量,它们是浮点型,并且也成功了一个(这只不过是直接在 setter 函数中分配的)。但是另一个需要一些计算,我在计算后对其进行了配置。对于第二个变量,我已经在 setter 函...


共694条 当前第55页