精度 问答列表

将 uint64_t 转换为双倍后出现意外结果

作者:Luc Bloom 提问时间:11/16/2017

在以下代码中: #include <iostream> ... uint64_t t1 = 1510763846; uint64_t t2 = 1510763847; double d1 = (...

为什么在MATLAB中24.0000不等于24.0000?

作者:Kamran Bigdely 提问时间:3/27/2009

我正在编写一个程序,我需要删除存储在矩阵中的重复点。问题在于,在检查这些点是否在矩阵中时,MATLAB无法识别矩阵中的它们,尽管它们存在。 在下面的代码中,函数获取交点:intersections ...

为什么在 .NET 中将两个双精度相乘时会发生这种情况 [duplicate]

作者:kuskmen 提问时间:12/19/2017

这个问题在这里已经有答案了: 浮点数学坏了吗? (34 个答案) 5年前关闭。 在乘以双倍时,我遇到了相当奇怪的行为。 创建一个简单的控制台应用程序,并尝试以下代码。 private stati...

数字类型中的 C# 跟踪精度和累积舍入误差

作者:user802599 提问时间:1/25/2018

我正在编写一些代码来做一些数学运算(用于研究项目),我不确定我需要什么级别的精度,或者舍入误差会在我的结果中引入多少差异。 例如,我想做的一件事是通过将所有三角形的面积相加来计算 3D 模型零件的表...

如何精确地将毫秒转换为秒

作者:Keir Nellyer 提问时间:12/30/2012

我想尽可能精确地将毫秒转换为秒(例如 1500 毫秒到 1.5 秒,或 500 毫秒到 0.5 秒)。 Double.parseDouble(500 / 1000 + "." + 500 % 100...

向下舍入浮点数

作者:kvkemroo 提问时间:3/1/2018

首先,让我给出 32 位浮点和十进制表示的十六进制和二进制。 0x5060000f = 01010000011000000000000000001111 = 15032400896 0x438000...

将十进制型数字精确转换为字符串型

作者:Zak Stucke 提问时间:3/8/2018

如何将 decimal 模块中的小数精确转换为字符串,以便可以在列表中循环?或者,在尝试计算出某些精确到的小数位数时,是否有另一种方法会更好(忽略末尾的尾随零)。 import decimal nu...

什么是 MS 其他有用的代码片段中的“单位”HasMinimalDifference 用于双重相等

作者:Dave 提问时间:3/20/2018

Double.Equals 的文档包含一个有用的方法 public static bool HasMinimalDifference(double value1, double value2, in...

Java 中 Math.sin() 常见角度的准确性

作者:kacerekz 提问时间:3/26/2018

我有两种计算sin(pi)导数的方法,它适用于uni - 一种使用通用的数值微分公式,另一种我重写如下: // h = 1e−16 (part of assignment) // f'(x) ~= ...

如何解决Tensorflow中由低精度数据类型tf.float32导致的Cholesky分解错误?

作者:user25764 提问时间:3/31/2018

似乎 tensorflow 仅支持 tf.float32 用于训练神经网络,这会导致我的算法出现 Cholesky 分解问题。 下面的代码是我的计算图的一部分,其中 X_latent 是要传入的张量...


共694条 当前第43页