24小时热门版块排行榜    

查看: 1294  |  回复: 2

weststone

金虫 (职业作家)


[交流] 【求助】三个一样的值,SD计算出来怎么不是“0”

三个值得分别是 0.182,0.182,0.182

用excel里面的STDEV,STDEVA,STDEVP,STDEVPA函数计算,值怎么是 3.39935 E-17, 而不是“0”

哪位,能不能给点解释?谢谢。
回复此楼

» 猜你喜欢

» 抢金币啦!回帖就可以得到:

查看全部散金贴

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
weststone(金币+10):谢谢! 2011-01-13 16:52:32
这是浮点数运算误差问题,因为计算机CPU的浮点数协处理器精度有限,所以在存储中间结果时会发生舍入问题,导致最后的结果产生一定的误差。
2楼2011-01-13 16:29:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Ptolomaeus

铁杆木虫 (正式写手)



小木虫(金币+0.5):给个红包,谢谢回帖交流
引用回帖:
Originally posted by Pchief at 2011-01-13 16:29:32:
这是浮点数运算误差问题,因为计算机CPU的浮点数协处理器精度有限,所以在存储中间结果时会发生舍入问题,导致最后的结果产生一定的误差。

双精度浮点数的相对机器精度是2E-52 即大约10E-16
3楼2011-01-13 17:39:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 weststone 的主题更新
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见