精度 问答列表

修复了没有 BigDecimal 的浮点精度问题

作者:wvp 提问时间:8/6/2013

我在对浮点值的舍入有疑问。 以下代码为我提供了以下结果: public class ProductOrder { public static void main(String[] args) ...

为什么在使用 Ruby Rational 时会出现舍入错误?

作者:bodacious 提问时间:1/9/2014

我正在以编程方式计算给定音符的频率。 快速介绍: 音符 A4 有一个频率为 440Hz 高一个八度的音符是同一音符在较低八度频率的两倍(因此 A3 为 220Hz,A2 为 110Hz) 一个音符...

Ruby 浮点数减法错误?

作者:medi_kirk 提问时间:11/11/2013

谁能解释一下为什么下面的 Ruby 例程会给我一个 2.0 的结果?我认为四舍五入浮点数是错误的根源。 puts(999_999_999_999_999_9.0 - 999_999_999_999_...

JavaScript:在不影响结果准确性的情况下舍入数字

作者:Eni Generalić 提问时间:10/1/2013

问题:如果你这样做,你会得到的结果是 3 而不是 3。log1000log1000 = 2.9999999999999996 我试图在不影响结果准确性的情况下删除 JavaScript 函数中的此舍...

C++ 浮点数舍入(错误?[复制]

作者:mrgloom 提问时间:4/10/2014

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 9年前关闭。 为什么当我使用乘法时 float a= 1.0500000f; float b= a*100.0f; 为什么 B...

MySQL“大于”条件有时会返回值相等的行

作者:sveti petar 提问时间:4/28/2014

我在基本的MySQL查询中遇到了一个令人困惑的问题。 这是我的表格: id | rating 1 | 1317.17 2 | 1280.59 3 | 995.12 4 | 973.88 现在,...

两种舍入方法给出不同的结果

作者:Lapis 提问时间:6/18/2014

两种不同的浮点数舍入方法显示不同的结果。 "%.2f" % 0.015 # => "0.01" 0.015.round(2) # => 0.02 一个是字符串,另一个是浮点数。当舍入除 0....

设置精度工作不正常

作者:Anmol Sethi 提问时间:1/12/2013

#include <iostream> using namespace std; int main() { cout.precision(50); cout<<"Anmol's Square R...

双精度 CUFFT

作者:Pippo 提问时间:1/2/2013

我在使用 CUDA FFT 库时遇到了一些问题。 我将输入声明为 cuDoubleComplex,但编译器返回错误,指出此类型与 cufftComplex 类型的参数不兼容。在互联网上搜索了一番后,...

Firefox 和 Javascript 舍入规则

作者:Dave Morgan 提问时间:7/4/2011

我不知道我是否在这里遗漏了一些明显的东西,但是...... 在 IE、Opera 和 Chrome 中,我从以 5 结尾的四舍五入数字中得到了我所期望的: 125 toPrecision(2) =...


共694条 当前第36页