浮动 问答列表

避免浮点数舍入不精确

作者: 提问时间:10/8/2022

在用浮点数进行除法时,我经常会遇到不精确的情况(例如,等)。5.000000001 有没有办法在使用浮点数时不出现浮点不精确问题? 也许有更好的选择可以避免它? 提前感谢您的所有回答!...

大数python的乘法

作者: 提问时间:5/12/2023

我决定将两个数字相乘: 1.0 17299991019999108999910899991119999 结果,我收到了回复: 1.729999101999911e+34 法典: print(1.0...

OpenGL 图形中放大/缩小范围较大的渲染精度问题

作者:DavidH 提问时间:5/25/2023

我有一个简单的基于相机的“现代”OpenGL 3D 图形显示器,用于渲染由指定点、线和曲线(例如立方体、圆柱体等)的集合构建的相对简单的对象。绘制了三条不同颜色的固定长度线,它们在世界空间的中心相互相...

C 和 Matlab 的指数限制

作者:Leo 提问时间:6/2/2023

在计算机中,浮点数的数学运算实际上是分别使用基数和指数数进行处理的,然后将它们组合在一起。我们在计算基础教科书中学到了这一点。但是,我发现 C 程序和 MATLAB 中的限制完全不同。下面是一个示例:...

Lua 浮点精度搞砸了?

作者:Riccardo Di Michele 提问时间:5/9/2023

免责声明:我在桌面模拟器游戏中使用 lua,我不知道这是否以任何方式干扰了 lua 的“正常工作” 我已经预先计算了一堆向量: grey_res = {55.00, 3, -10.80}, c...

如何在 PyAutoGui.Prompt() 中输入浮点数???使用 Python

作者:Tom Quirin 提问时间:6/20/2023

我只能在 PyAutoGui.Prompt 字段中输入 int 或 str。有没有办法进入浮动? 感谢任何帮助... 汤姆 我尝试在 python 中为预期中奖率计算器输入浮点数,但只能输入 i...

获取函数的浮点数的错误返回值

作者:Sonia Sharifi 提问时间:7/21/2023

我有一个函数,可以在 FPU 表示(符号、指数、尾数)中计算两个浮点数的乘法。乘法函数的输出在打印中是正确的,但是当我在另一个函数中获取该函数的返回值时,它得到了错误的值。 main 函数位于同一项目...

欧拉-马斯切罗尼常数

作者: 提问时间:9/22/2021

在编程中,我只使用整数。但这次是进行一些计算。我需要计算欧拉-马斯切罗尼常数。最多小数点后 n 位。{虽然对我来说已经足够了。γn ∈ [30, 150] [x] = gif(x) = 数学地板(x...

在 IRQL 中使用浮点运算high_level

作者:daniel 提问时间:7/19/2023

在HIGH_LEVEL IRQL 执行的内核例程中,我一直在尝试通过直接调用 FXSAVE 和 FXRSOR 来管理浮点状态。由于 KeSaveExtendedProcessorState 和 KeR...

使用直方图将变量 Y 采样为 X 的函数时,python 舍入错误?

作者:ClimateUnboxed 提问时间:8/16/2023

我正在尝试使用函数直方图将变量 (SST) 采样为另一个变量 (TCWV) 的函数,并将权重设置为采样变量,如下所示: # average sst over bins num, _ = np.his...


共126条 当前第11页