精度 问答列表

Python ctypes 精度

作者:supvato 提问时间:10/12/2023

我用来在 C++ 库 (.so) 上创建一个包装器。我在论证的精确性方面遇到了一些麻烦。当我以 a 的身份传递时,我只得到小数点后六位的精度,即 3.141593000。当我计算正弦和余弦时,这引入了...

在金属中从“r16Snorm”纹理到“一半”变量的精度损失读数

作者:simd 提问时间:9/30/2023

我的假设是否正确,即将一个值从纹理读取到金属着色语言数据类型中总是不可避免地导致精度损失?从一开始就对我来说并不明显,因为它们都是 16 位格式。但我想可以在其区间 [-1, 1] 中存储更精确的值,...

Python:修复复杂数学中最多 4 个浮点数结果

作者:Otoniel Ramirez 提问时间:10/2/2023

我正在 Python 中求解一个二次方程,但结果给了我 16 位小数 import cmath a = 1 b = -4 c = 1 5 #Calculate the discriminant d...

将 .NET 对象序列化为 JSON:“double”属性值将写入具有额外小数位的不同值

作者:Suhaib Ahmad 提问时间:9/26/2023

我用于在 .NET Well 类对象和 JSON 之间(反)序列化。Well 类对象具有 List of layers ,而 Layer 类具有 Items 列表,该类具有 、 等属性。课程如下:Sy...

在 OPC UA 命名空间中设置浮点变量的精度

作者:sjoene 提问时间:10/4/2023

我有一个 XML,它保存了包含浮点变量的 OPC UA 命名空间的信息模型。我希望能够设置此变量的精度。 我知道 DataItemType 类型的变量具有一个名为 ValuePrecision 的属...

Python 和 C++ 中矩阵乘法中的不同浮点精度

作者:skm 提问时间:10/6/2023

我正在尝试做一件非常简单的事情 取一个正方形的二维数组 接受它的转置 将数组与其转置相乘 我正在尝试在 C++ 和 Python 中执行上述步骤,如以下程序所示: C++程序: #includ...

pytorch 中项目之间的 CPU float32 精度差异

作者:xaviersjs 提问时间:10/6/2023

我知道每个IEEE的float32在对10^-7量级的值求和时存在精度问题。我完全希望看到架构(包括 GPU)之间的计算差异。但是,现在我正在测试 pytorch 模块的两种不同实现,并在一侧和另一侧...

当处理 e-325 阶数字时,“十进制”python 模块返回“0”

作者:filidibava 提问时间:10/6/2023

我正在尝试实现一个表示为幂级数的函数。 它的形式是: 问题与分子上的项 t_min 和 t_max有关:当 s 变大时,这两个项都开始给我 e-324 阶的值,然后当它应该是 e-325 时,pyt...

如何在小数点后将 Dart 中的双精度四舍五入到给定的精度?

作者:Lucas Meadows 提问时间:2/10/2015

给定一个双精度,我想在小数点后将其四舍五入到给定数量的精度点,类似于 PHP 的 round() 函数。 我在 Dart 文档中可以找到的最接近的是 double.toStringAsPrecisi...

确定 MariaDB 中十进制数据类型列所需的精度和小数位数

作者:neucassi 提问时间:10/5/2023

我有大量的MariaDB 10.6表,有几列和数百万行。这些列的精度 () 和小数位数 () 曾经被设置为不切实际的高级别,只需容纳每个可能的输入,例如 .decimal(P,D)PDdecimal(...


共694条 当前第15页