24小时热门版块排行榜    

查看: 987  |  回复: 11
当前主题已经存档。

magic7004

金虫 (职业作家)

★ ★
小木虫(金币+0.5):给个红包,谢谢回帖交流
wangen994(金币+1,VIP+0):欢迎参与讨论,呵呵 1-19 10:40
最小的数只有20,最大的数2.53926E+14,如果不选择精度足够足够高的数据类型和算法的话,算出来一定不准的。

估计是FORTRAN、EXCEL和MATLAB用的算法不一样或者数据精度不一样,所以结果不一样。
流氓不可怕,可怕的是流氓有文化,有文化又BH的流氓无敌~~!
11楼2010-01-19 08:30:58
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

magic7004

金虫 (职业作家)


jjdg(金币+1,VIP+0):这是数值分析的基础啊! 1-19 11:02
举个例子,假设都是整数,那么1000*2/1000 = 20 但是1000*( 2/1000)= 0
流氓不可怕,可怕的是流氓有文化,有文化又BH的流氓无敌~~!
12楼2010-01-19 08:34:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 yanggis 的主题更新
普通表情 高级回复(可上传附件)
信息提示
请填处理意见