提问人:yiniwei 提问时间:4/25/2023 更新时间:4/25/2023 访问量:19
如何在 DolphinDB 中准确舍入浮点值?
How to round a floating-point value accurately in DolphinDB?
问:
我想用函数四舍五入浮点数,但结果不是我所期望的。例如,round(17.955, 2) 的结果是 17.95 而不是 17.96。要得到后者,我必须添加 0.0001。为什么会这样,我该怎么办?round
答:
1赞
JaneYe
4/25/2023
#1
您需要考虑浮点数的精度。17.955 只能保存为 17.954999999999998 二进制,因此返回 17.95。在使用之前,您可以将 17.955 转换为 DECIMAL 类型,例如round()
round
round(19.955$DECIMAL32(3), 2 )
上一个:余弦函数精度损失问题
评论