24小时热门版块排行榜    

查看: 3673  |  回复: 19
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

kele1982

金虫 (正式写手)

[交流] 【求助】QSAR模型中交叉验证系数(q2)怎么获得? 已有2人参与

请问我用逐步回归分析方法得到一个QSAR模型,但是结果里面没有交叉验证系数q2(英文叫: leave-one-out),请问怎么计算得到啊?谢谢
回复此楼
踏上科研不归路!
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yalefield

金虫 (文坛精英)

老汉一枚

抱歉抱歉,是俺老糊涂了。

★ ★ ★ ★
xuefei06(金币+4,VIP+0):thanks! 2-13 21:14
俺把留一法和留多法搞混淆了,因此造成误解。作揖。

你的q2计算法是正确的。

俺本来的意思,是想说除了留一法,还有留多法。
为啥只留一个?留俩、仨,行不行?
于是,就引申出多种交叉验证方法。

下面是百度百科上介绍的“十折交叉验证”。
------------------------------------
英文名叫做10-fold cross-validation,用来测试算法准确性。是常用的测试方法。

将数据集分成十分,轮流将其中9份作为训练数据,1份作为测试数据,进行试验。每次试验都会得出相应的正确率(或差错率)。10次的结果的正确率(或差错率)的平均值作为对算法精度的估计,一般还需要进行多次10折交叉验证(例如10次10折交叉验证),再求其均值,作为对算法准确性的估计

之所以选择将数据集分为10份,是因为通过利用大量数据集、使用不同学习技术进行的大量试验,表明10折是获得最好误差估计的恰当选择,而且也有一些理论根据可以证明这一点。但这并非最终诊断,争议仍然存在。而且似乎5折或者20折与10折所得出的结果也相差无几。
------------------------------------

其中,多次10折交叉验证之说,对于留一法来说,就没有必要了。

最近有论文指出,交叉验证和Bootstrape方法不适合QSAR这种小样本的建模。
待俺走上前去,杀它个......PDF回来。

下面是Carnegie Mellon University的Andrew W. Moore教授关于交叉验证的PPT.
11楼2009-02-12 21:37:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 20 个回答

snoopyzhao

至尊木虫 (职业作家)


yyx19840628(金币+1,VIP+0):谢谢 2-11 10:44
根据 leave-one-out 的算法自己编程序算吧,如果你现在的统计程序不提供的话
2楼2009-02-11 08:43:59
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yalefield

金虫 (文坛精英)

老汉一枚

★ ★ ★ ★ ★
yyx19840628(金币+2,VIP+0):谢谢 2-11 10:44
kele1982(金币+3,VIP+0):谢谢! 2-15 10:29
请给出一些细节.
如,用的什么软件?
还是自己编写程序?

训练集和测试集是怎么划分的?

Leave-one-out(LOO), 叫做留一法(当然,还有留N法)
训练集和测试集都要用到留一法。
3楼2009-02-11 10:14:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

snoopyzhao

至尊木虫 (职业作家)

引用回帖:
Originally posted by yalefield at 2009-2-11 10:14:
训练集和测试集是怎么划分的?

训练集和测试集都要用到留一法。

跟贴请教老汉两个问题:

1)通常训练集与测试集应该如何划分?

2)测试集如何用到留一法?我只知道对训练集使用留一法。

谢谢指教!
4楼2009-02-11 11:08:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见