精度 问答列表

Python 中大整数/数字的浮点数到 Int 类型的转换

作者:Siddhant Agarwal 提问时间:5/20/2022

在我正在处理的以下代码上需要一些帮助。为什么“a”中的原始数字在进行类型转换时与“c”不同。有什么方法可以使“a”和“c”在通过float ->int类型转换时相同? a = '4670000000...

为什么 PostgreSQL 中双精度的 case 语句出错?

作者:nnor 提问时间:6/24/2023

我在PostgreSQL中的case语句中遇到了问题。在这里,我想将月份(数字)的输出更改为文本,例如 1 月、2 月等。 select date_part('month', tanggal) b...

为什么浮点数不准确?

作者: 提问时间:2/20/2014

为什么有些数字在存储为浮点数时会失去准确性? 例如,十进制数可以精确地表示为两个十进制整数()的比率,两者都可以精确地用二进制()表示。但是,存储为浮点数的相同比率永远不会完全等于:9.292/10...

numpy matmul('at'/@ 运算符)的精度问题

作者:JackOfAllTrades 提问时间:6/29/2023

我在一个更大的程序中追溯到这个问题。我在使用 numpy 更改乘法运算的顺序时出现比预期更大的错误。下面是一个独立的示例(末尾的实际代码很短,但我复制了显式矩阵以使其运行): import nump...

确保 IEEE 754 双精度浮点数之间至少有 N 个不同的偶数步长

作者:Daniel Resnick 提问时间:6/29/2023

如果我有两个任意的双精度浮点数 A 和 B,其中 A 是 <= B,有没有办法确定范围 A 到 B 是否可以分成 N 个均匀分布(忽略舍入误差)A 和 B 之间的双精度浮点数,这些浮点数是不同的,并且...

将较大的 int 值转换为浮点数,不向上舍入 [duplicate]

作者:alexfilexpo 提问时间:6/30/2023

这个问题在这里已经有答案了: 为什么IEEE754精度格式只能精确到 15 位? (1 个答案) 浮点数学坏了吗? (34 个答案) 5个月前关闭。 今天我发现将 int 转换为浮点具有非常有趣的精...

[Spring Data JPA]:@Column(scale)参数无效

作者:Jason 提问时间:7/1/2023

我有以下 DAO,它应该对银行账户进行建模。 @Entity @Getter @Setter @ToString @NoArgsConstructor @AllArgsConstructor @Ta...

格式化以尽可能高的精度进行加倍

作者:k314159 提问时间:6/30/2023

像 0.1 这样的数字不能用二进制浮点数精确表示,所以我想以尽可能高的精度打印出来。我知道 64 位类型只能提供高达 15 位左右的有意义的精度,但更多的数字会揭示浮点近似值和实际值之间的差异。dou...

C++ 中的浮点计算精度

作者:Code4Fun 提问时间:7/7/2023

我想实现类似浮点精度的东西,其中模板函数控制 point(.) 之后的位数。(或分数)? template <typename T, unsigned int PRECISION = 4> co...

对向量的 GLM 运算返回不正确的值

作者:DENIS KOVALENKO 提问时间:7/10/2023

Glm 在内部使用 float 并以非常高的精度评估值。问题在于,使用此类值的常规操作可能会返回不正确的结果。考虑以下 gdb 输出: 49 return glm::normalize(coord ...


共694条 当前第23页