问答列表

java-处理浮点舍入误差,如何保持弧度合理

作者:cubesareneat 提问时间:1/11/2021

我修改了这个 arcball 类,以便每次调用 arcball.rollforward(PI/180);将矩阵旋转 1 度。 我试图设置它,以便使用累积的浮点数 rotatebywithinclude...

为什么在 Python 中这两个被证明相等的小数中的某些被认为是不相等的?

作者:Brianna Drew 提问时间:1/31/2021

我正在尝试比较将多个浮点数相加与将多个小数相加之间的准确性,以便在我的 Python 课程中进行实验。实验室的要求之一是计算将 .1 相加的迭代次数得出正确的总和。我的代码中的所有内容都正常工作,除了...

2.0 的 JavaScript 相等性是否 === 2 - 适用于所有浏览器

作者:Probosckie 提问时间:2/3/2021

我想编写一个函数来从浮点数(如 2.0、5.00 而不是 3.04)中修剪额外的十进制 0。 所以我写了这个: const trimZeroFromDecimal = value => pars...

计算的准确性

作者:Elizabeth Welz 提问时间:2/7/2021

如果 x 和 y 都可以(确切地)存储在系统中的浮点中,计算精度是多少。 x - (x/y) * y ...

IEEE 754:在哪里可以看到“四舍五入结果在数学精确结果的 0.5 ULP 以内”的含义?

作者:pmor 提问时间:3/15/2021

来自 ULP 维基百科的页面(强调后加): IEEE 754 规范(遵循所有现代浮点硬件)要求基本算术运算的结果(自 1985 年以来的加法、减法、乘法、除法和平方根,以及自 2008 年以来的 F...

当浮点数据类型太小时,如何在 SQL Server 中计算 Erlang C 值?

作者:Einstein X. Mystery 提问时间:6/20/2020

我们正在我们的数据中心实现 Erlang C 计算,我遇到了一个障碍: SQL Server 数据类型的溢出错误。float 如何在 SQL Server 中表示超过 10^308 的值,以便我仍然...

MSVC 中可能存在的错误与编译时 NaN 比较

作者:prapin 提问时间:3/1/2021

我的同事正在用 NaN 做一些基本的实验,对 Visual Studio 上不符合他预期的行为感到困惑。经过讨论,他似乎在 MSVC 2019 中发现了一个可能的编译器错误。 此代码片段无法在 MS...

.NET Decimal 类型计算是确定性的吗?

作者:zigzag 提问时间:9/6/2016

我有两个关于的问题。NET的数据类型确定性:decimal 类型计算是否具有跨平台确定性?或者换句话说,对类型的数学运算是否会在所有平台上产生完全相同的结果?decimaldecimal 强制转换...

为什么浮点数不能给出想要的答案?

作者:setller 提问时间:3/23/2021

嘿,我正在制作小型 C++ 程序来计算 sin(x) 的值直到小数点后 7 位,但是当我使用此程序计算 sin(PI/2) 时,它给了我而不是我如何解决这个错误? 我知道为什么我要得到这个值作为输出,...

有没有办法在 PHP 中正确比较浮点数?

作者:flashdebugger 提问时间:4/4/2021

在PHP中,我愿意在一些操作后比较浮点数,但它没有正确显示。 例如: $a = 0.2; if ( ($a - 0.2) === 0 ) return true; else return fal...


共817条 当前第30页