24小时热门版块排行榜

金虫 (职业作家)

[交流] 【求助】三个一样的值，SD计算出来怎么不是“0”

三个值得分别是 0.182，0.182，0.182

用excel里面的STDEV，STDEVA，STDEVP，STDEVPA函数计算，值怎么是 3.39935 E-17，而不是“0”

哪位，能不能给点解释？谢谢。

1楼 2011-01-13 15:54:21

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

铁杆木虫 (正式写手)

weststone(金币+10):谢谢！ 2011-01-13 16:52:32

这是浮点数运算误差问题，因为计算机CPU的浮点数协处理器精度有限，所以在存储中间结果时会发生舍入问题，导致最后的结果产生一定的误差。

2楼2011-01-13 16:29:32

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

铁杆木虫 (正式写手)

★
小木虫(金币+0.5):给个红包，谢谢回帖交流

引用回帖:

Originally posted by Pchief at 2011-01-13 16:29:32:
这是浮点数运算误差问题，因为计算机CPU的浮点数协处理器精度有限，所以在存储中间结果时会发生舍入问题，导致最后的结果产生一定的误差。

双精度浮点数的相对机器精度是2E-52 即大约10E-16

3楼2011-01-13 17:39:29

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

相关版块跳转我要订阅楼主 weststone 的主题更新