精度 问答列表

numpy 浮点数的精度限制?

作者:sten 提问时间:9/16/2021

给定序列 1/1, 1/2, 1/3, ... , 1/n 如果我使用 numpy.float16,我如何计算在哪个点上我无法以精度 E 区分两个连续元素 1/i 和 1/i+1?即什么是“我”...

Python 十进制库不精确?[复制]

作者:scotty-nukem 提问时间:9/17/2021

这个问题在这里已经有答案了: 为什么使用十进制方法时 0.2 不等于 0.2? (2 个答案) 2年前关闭。 我正在阅读 Python Decimal 模块。我需要进行大量精确的计算,通常有很多小数...

Oracle 中的数值精度

作者:ihadanny 提问时间:1/11/2021

我有一个带有列的表,如 Oracle 文档中所定义。 我插入了一个包含 52 个二进制数字的数字(不包括隐含的初始 1),但我看到 oracle 只需要 50 位数字即可正确存储它。这怎么可能?FLO...

在某些情况下,哈雷的方法迭代会比牛顿的方法迭代更好吗?

作者:FusRoDah 提问时间:9/23/2021

我正在研究哪种除法算法在高精度数字输入上最有效。其中一个因素(至少在迭代方法中)是选择最佳起点。然而,更重要的是方法本身的选择。 当尝试计算数字 a 的倒数时,使用的方法之一是牛顿迭代 这具有二次...

MYSQL RAND()函数的精度是多少?以及如何生成巨大的随机数?

作者:klm123 提问时间:9/23/2021

MYSQL RAND()函数的精度是多少? 我在官方页面上找不到它:MYSQL RAND() 函数被告知返回浮点数,不幸的是它的精度没有明确说明。它可以是单精度浮点数据,也可以是双精度浮点数据,也可...

在 Java 中计算双后小数点的位数的程序

作者:millionleafclover 提问时间:9/27/2021

下面是一个程序,它应该计算小数点后双精度值中的位数。在输入一些双精度值时,程序往往会启动无限循环(可能是由于浮点不精确)。我不想使用任何包装方法(包括 String 类)。有人可以解释某些输入的无限循...

MATLAB 是否提供从双精度到字符串的无损转换函数?

作者:Enlico 提问时间:9/28/2021

tl;博士 我只是在寻找两个函数,从 to 和 from to ,这样对于任何双精度(标量和实数)。fdoublestringgstringdoubleg(f(d)) == dddouble 原始...

余数运算符是否容易受到浮点误差的影响?

作者:rhkoulen 提问时间:9/26/2021

我想为双精度变量 num 创建一个 setter,但我只想在输入是 0.5 的倍数时更新它。 这是我所拥有的,但我担心浮点错误。 public void setNum(double num) { ...

将双精度的连续范围转换为离散的整数范围

作者:zellidev0 提问时间:9/14/2021

我想将双精度值 [10.0,20.0] 的连续范围映射到 [100,200] 范围内的字节; 必须满足以下条件(即使多次来回转换): convertToByte(convertToDouble(y...

如何访问或选择Data_Type的比例和精度?

作者:Adachi 提问时间:10/3/2021

我正在尝试从 SQL Developer 打印出报告。当我选择Data_Type时,我得到了预期的数据类型,但我希望小数位数和精度也就在它旁边......例如 CHAR(3, 0) NUMBER(7...


共694条 当前第60页