精度 问答列表

python 中 math.pow、numpy.power、numpy.float_power、pow 和 ** 的准确性

作者:user3563894 提问时间:12/3/2020

python 中的 math.pow、numpy.power、numpy.float_power、pow() 和 ** 之间,两个浮点数 x,y 之间的准确性是否存在差异? 我假设 x 非常接近 1,...

将 SQL Server 列从实数转换为浮点数,而不会引入小错误

作者:Chris 提问时间:12/3/2020

我正在使用一个SQL Server数据库,我需要将数据从类型为该类型的列中获取到另一个表中的另一列中。根据我的理解,本质上只是精度较低的浮点数 (24),相比之下,默认情况下精度为 53。因此,当从实...

如何计算输入的小数点?[复制]

作者: 提问时间:12/19/2020

这个问题在这里已经有答案了: 在 Python 中确定特定数字的精度和小数位数 (12 个答案) 2年前关闭。 我想知道输入必须有多少小数,然后使用该信息将运算结果近似为相同数量的小数。例如: e...

Microsoft SQL Server:数值常量精度

作者:Ed Avis 提问时间:12/17/2020

我对这个结果缺乏精确性感到困惑: select convert(numeric(11, 10), 1 / 3.0) 0.3333330000 为什么我问十位时只有小数点后六位?在这里,我写的...

9**66 != n**66,节点 11.6.0 中的 n=9

作者:Arnauld 提问时间:12/23/2020

在寻找 Code Golf 挑战答案中使用的一些黑魔法时,我注意到 Node 11.6.0 中的以下行为: // 1) exact result with BigInts console.log(9...

为什么 numeric_limits Machine Epsilon 不满足 1+e>1 条件?

作者:Edoren 提问时间:12/24/2020

如果我没记错的话,机器 Epsilon 的定义是满足条件的最小数字: 我试图利用 但该值不满足这一点,如果您尝试使用以下命令获取先前的浮点数:std::numeric_limits<float>::...

DIY四舍五入功能给出奇怪的值[重复]

作者:1cedsoda 提问时间:1/10/2021

这个问题在这里已经有答案了: 如何在小数点后将 Dart 中的双精度四舍五入到给定的精度? (29 个答案) 去年关闭。 我已经对这个简单的函数进行了编码,以将双精度四舍五入到自定义步长。 普通的 ...

java-处理浮点舍入误差,如何保持弧度合理

作者:cubesareneat 提问时间:1/11/2021

我修改了这个 arcball 类,以便每次调用 arcball.rollforward(PI/180);将矩阵旋转 1 度。 我试图设置它,以便使用累积的浮点数 rotatebywithinclude...

PHP 舍入浮点数

作者:Guillermo Phillips 提问时间:1/22/2021

我正在开发一个系统,我需要四舍五入到最接近的一分钱财务付款。我天真地以为我会乘以 100,发言,然后再再分。但是,以下示例行为不端: echo 1298.34*100; 正确显示: 12983...

为什么在 Python 中这两个被证明相等的小数中的某些被认为是不相等的?

作者:Brianna Drew 提问时间:1/31/2021

我正在尝试比较将多个浮点数相加与将多个小数相加之间的准确性,以便在我的 Python 课程中进行实验。实验室的要求之一是计算将 .1 相加的迭代次数得出正确的总和。我的代码中的所有内容都正常工作,除了...


共694条 当前第56页