精度 问答列表

使用 Ruby 在 YAML 哈希中使用浮点数是否安全?

作者:Andrew Grimm 提问时间:1/3/2012

如果我有一个像这样的 YAML 文件 --- 2.1: my product version 没有任何引号,Ruby 会将其视为 Float(至少在 Syck 下 - 我不确定 Psych)。...

为什么 4.1%2 使用 Ruby 返回 0.09999999999999996?但 4.2%2==0.2

作者:Alex 提问时间:1/9/2012

为什么 4.1%2 返回 0.09999999999999996?但 4.2%2==0.2。...

会计系统 - MySQL和PHP精度

作者:bfavaretto 提问时间:4/23/2012

我正在用PHP和MySQL构建一种会计系统。我的数据库包含货币列,以及用于货币操作的所有其他值(如要应用的百分比)。我以前从未编写过这样的东西,所以我不确定我是否在做正确的事情。DECIMAL (11...

cout 可以以某种方式改变变量吗?

作者:Jason Baker 提问时间:9/8/2008

所以我有一个函数,看起来像这样: float function(){ float x = SomeValue; return x / SomeOtherValue; } 在某些时候,此函数会...

Ruby 浮点精度

作者: 提问时间:9/6/2011

据我了解,Ruby (1.9.2) 浮点数的精度为 15 位十进制数字。因此,我希望将浮点数 x 四舍五入到小数点后 15 位等于 x。对于此计算,情况并非如此。 x = (0.33 * 10) x...

Ruby Float#round 方法在 round(2) 中行为不正确

作者:Gautam Rege 提问时间:9/17/2012

我了解到建议使用 代替 ,但这个要么是一个错误,要么突出了 的深奥性质。“1.015”、“1.025”和“1.035”似乎有问题。BigDecimalFloatFloatFloat#round(2) ...

Chudnovsky 算法生成 -nan

作者:Jacob Sharf 提问时间:12/29/2012

我正在尝试实现用于计算 pi 的 Chudnovsky 算法。 这是我的实现: int fact(int n) { if(n<=1) return 1; else return fact(...

perl 打印浮点数的精度是多少?

作者:garrett 提问时间:1/1/2013

my $num = log(1_000_000) / log(10); print "num: $num\n"; print "int(num): " . int($num) . "\n"; prin...

使用 cout 在小数点后打印 X 数字

作者:John Oldman 提问时间:1/1/2013

我有这个代码: double a = 7.456789; cout.unsetf(ios::floatfield); cout.precision(5); cout << a; 还有这个: d...

如何在 C++ 中打印 6 位精度的浮点值?

作者:Nitsshukla 提问时间:1/2/2013

默认情况下,我得到 4 位精度,当我使用变量的最后几位时,随机出现,例如 .setprecision(6)1/3=0.333369...


共694条 当前第34页