精度 问答列表

tcl/python 中的浮点加法/减法

作者:kil47 提问时间:2/23/2023

我正在尝试对数字进行减法 在 TCL 或 Python 中:= 201.804600000000002expr { 202.2246-0.42} 理想情况下,答案应该是 201.8046 解决它...

如何在 Python 中处理非常小的数字 (<1e-15),传递给 Scipy/Numpy 函数?

作者:Geoff2009max 提问时间:2/21/2023

我想计算一些 scipy 函数,例如:(https://docs.scipy.org/doc/scipy/reference/generated/scipy.special.gammaincinv.h...

如果美分和聪之间的差异太大,如何在法定货币和加密货币之间进行正确的计算?

作者:Eugene Shmorgun 提问时间:2/27/2023

我正在调查法定货币和加密货币之间的相互重新计算问题,我发现,在我看来,没有适当的方法来支持稳定的重新计算。让我用例子来解释问题。 我不确定是否可能提供指向另一个站点的链接,但这仅用于演示。 例如,我正...

javascript 中的货币转换和浮点精度

作者:fossmoat 提问时间:2/27/2023

由于 JavaScript 在浮点数方面有其怪癖(例如,0.1+0.2 是 0.3 > 以及类似的除法),如何处理货币转换?通常,货币兑换率从小数点后 6 位或更多位开始浮动。将它们从一种货币转换为另...

如何在没有 number_format() 的情况下为 php 中的“echo”设置更多 12 位数字的浮点精度?

作者:Евгений Решетников 提问时间:3/1/2023

PHP代码: $val1 = 32; $val2 = 0.00012207031255; $res = $val1 - $val2; echo "echo: ".$res."\n"; echo "j...

ProgrammingError:列“X”的类型为双精度,但表达式的类型为 numeric[]

作者:Nacho Díaz Reyes 提问时间:6/18/2016

我正在尝试使用 Django Rest 框架和 Psycopg2 库编写 API。此 API 适用于 PostgreSQL 数据库。我需要在此数据库中存储 2 个浮点数组字段,因为 API 与 2 个...

解释器和脚本中的 Python 精确数学计算,无需一直键入十进制模块

作者:ONLYA 提问时间:3/4/2023

我注意到 python 中的数学运算不像以前那么精确,尤其是涉及浮点数的运算。我知道这是由于二进制数表示的性质,我们可以通过执行以下操作来解决这个问题: from decimal import De...

为什么 dpes 此代码打印“False”?为什么不打印“True”?[复制]

作者:محمود خالد 提问时间:3/7/2023

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 为什么浮点数不准确? (5 个答案) 浮点 == 可以吗? (14 个答案) 9个月前关闭。 当我运行此代码时,它会打印 .我不清楚...

C# - 将双精度变量限制为小数点后两位 [已关闭]

作者:Arpit Srivastava 提问时间:3/12/2023

已关闭。这个问题需要细节或澄清。它目前不接受答案。 想改进这个问题吗?通过编辑这篇文章添加详细信息并澄清问题。 8个月前关闭。 改进此问题 我正在使用Unity引擎制作游戏。 我正在使用一个双...

整数矢量化精度/整数除法精度是否取决于 CPU?

作者:György Kőszeg 提问时间:3/14/2023

我尝试对 16 位整数 ARGB 通道的 64 位颜色进行矢量化。 我很快意识到,由于缺乏加速整数除法支持,我需要将我的值转换为并显式使用一些 SSE2/SSE4.1 内部函数以获得最佳性能。尽管如...


共694条 当前第17页