精度 问答列表

使用直方图将变量 Y 采样为 X 的函数时,python 舍入错误?

作者:ClimateUnboxed 提问时间:8/16/2023

我正在尝试使用函数直方图将变量 (SST) 采样为另一个变量 (TCWV) 的函数,并将权重设置为采样变量,如下所示: # average sst over bins num, _ = np.his...

如何在 Scheme 中实现极高的浮点精度?

作者:N.Li 提问时间:8/16/2023

众所周知,Scheme 可以产生非常大的整数,而无需任何进一步的努力。 但是,请问如何实现极高的浮点精度呢?谢谢。 (“极高”是指规定的精度,如 1000 或点后 10000 位)...

Printf 宽度说明符以保持浮点值的精度

作者:Vilhelm Gray 提问时间:5/30/2013

是否有宽度说明符可以应用于浮点说明符,该浮点说明符会自动将输出格式化为必要数量的有效数字,以便在重新扫描字符串时获取原始浮点值?printf 例如,假设我将 a 打印为小数点后一位的精度:float...

Google 表格比 Microsoft Excel 更准确还是更准确?

作者:bers 提问时间:7/1/2020

我知道浮点数的数值不准确的一般问题,但我希望 Excel 和 Google 表格的行为相同。不幸的是,他们没有 - 请参阅以下示例: A1: 15.525 our reference A2: =3*...

Pandas 2.0 dtype 推广似乎产生了任意精度的浮点数

作者:Wyatt Gormley 提问时间:8/25/2023

工作涉及财务报告。在测试 dtype 提升时,我编写了以下脚本(知道应在生产代码中使用显式 dtype 转换),并注意到在 UInt64 值以上,pandas 可以转换为列 dtype,存储 pyth...

我怎样才能在不将它们转换为 double/long double 的情况下以不错的精度实现 fmod 函数?

作者:Megumin 提问时间:8/25/2023

我正在尝试在汇编中实现fmodf函数。我使用了如下公式。 fmodf(浮点数 x,浮点数 y) = x - 截断(x / y) * y 问题是,当 x>>y 时,函数的精度会越来越差。事实上,当 ...

精确复制浮点值的重复相加

作者:TLW 提问时间:8/21/2023

在 IEEE 754 算术中是否存在复制浮点值重复求和的 sub-O(n) 方式1? 也就是说,有没有一种更快的方法可以精确地复制以下伪代码的结果: f64 notQuiteFMA(f64 acc...

Javascript 精度,小数点后 15 位以上

作者:diego 提问时间:8/29/2023

我有一个字符串,我需要将其转换为数字。 问题是,我有 20 位小数,而 JS 在尝试使用 parseFloat 时会在 15 或 17 位小数后失去精度。 例: const number = "...

如何从 mpfr_get_prec() 返回的值计算DECIMAL_DIG?

作者:pmor 提问时间:9/11/2023

上下文:C 标准具有宏,可用于保持浮点值的精度。示例:xxx_DECIMAL_DIGprintfdouble printf("%.*g\n", DBL_DECIMAL_DIG, x); 一个简...

如何计算转换规范 %.*f 的精度以保持浮点值的精度?

作者:pmor 提问时间:9/22/2023

注意:这个问题源于这个答案。 如何计算转换规范的精度以保持浮点值的精度?%.*f 注意:这里的“保持精度”是指在读取打印值后(例如,通过或按),结果值等于原始值(NaNs除外)(用于具有转换规范的...


共694条 当前第7页