应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 量子化学 » 其他 » 【求助】QSAR模型中交叉验证系数（q2）怎么获得？
202/2返回列表上一页12
查看: 3596  |  回复: 19
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

yalefield

金虫 (文坛精英)

老汉一枚

抱歉抱歉，是俺老糊涂了。

★ ★ ★ ★
xuefei06(金币+4,VIP+0):thanks！ 2-13 21:14
俺把留一法和留多法搞混淆了，因此造成误解。作揖。

你的q2计算法是正确的。

俺本来的意思，是想说除了留一法，还有留多法。
为啥只留一个？留俩、仨，行不行？
于是，就引申出多种交叉验证方法。

下面是百度百科上介绍的“十折交叉验证”。
------------------------------------
英文名叫做10-fold cross-validation，用来测试算法准确性。是常用的测试方法。

将数据集分成十分，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率（或差错率）。10次的结果的正确率（或差错率）的平均值作为对算法精度的估计，一般还需要进行多次10折交叉验证（例如10次10折交叉验证），再求其均值，作为对算法准确性的估计。

之所以选择将数据集分为10份，是因为通过利用大量数据集、使用不同学习技术进行的大量试验，表明10折是获得最好误差估计的恰当选择，而且也有一些理论根据可以证明这一点。但这并非最终诊断，争议仍然存在。而且似乎5折或者20折与10折所得出的结果也相差无几。
------------------------------------

其中，多次10折交叉验证之说，对于留一法来说，就没有必要了。

最近有论文指出，交叉验证和Bootstrape方法不适合QSAR这种小样本的建模。
待俺走上前去，杀它个......PDF回来。

下面是Carnegie Mellon University的Andrew W. Moore教授关于交叉验证的PPT.
赞一下(11人) 回复此楼
11楼2009-02-12 21:37:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

snoopyzhao

至尊木虫 (职业作家)
★ ★ ★
xuefei06(金币+3,VIP+0):thanks！ 2-13 21:15
多谢老汉的参考文献，呵呵……

我觉得，很多时候我们使用 LOO CV 或 10-FOLD CV 都是为了难证模型是否具有较强的预测能力，也就是 q2 是否够大。

不过这个参考文献上还给出了，如何用它去选择模型（我想这是您在前面所提到的一部分内容）。但我觉得用这个来选择模型（通常是指变量的组合）似乎比较牵强了……而对于变量的选择，可能可供选择的方法很多，但并不通用。

另外，我对于最终的模型是建立在训练集，还是整个数据集上还是把握不准，我认为是建立在训练集上的。这个时候，选择训练集可能是一个很重要的过程（我的意思是有选择地选择训练集，使它的 r2/q2 都较大，且对预测集也有较好的预测）。但这个过程如何进行？

另外，您能不能给俺个提示，即哪篇文章中指出交叉验证和Bootstrape方法不适合QSAR这种小样本的建模……

谢谢！！
赞一下(10人) 回复此楼
12楼2009-02-12 22:13:14
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yalefield

金虫 (文坛精英)

老汉一枚
★ ★ ★
xuefei06(金币+3,VIP+0):thanks！ 2-13 21:17
搞训练集是为了模型能自圆其说
搞测试集是为了模型能普渡众生

q2是训练集自身质量的标志（之一）
R2是看由训练集得出的模型，在测试集上试用的效果如何（的标志之一）。

现在，多模型共识，就是q2/R2都很好的多个模型共同预测。

那篇论文，俺得去老巢找......
赞一下(10人) 回复此楼
13楼2009-02-12 22:25:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

snoopyzhao

至尊木虫 (职业作家)
引用回帖:
Originally posted by yalefield at 2009-2-12 22:25:
那篇论文，俺得去老巢找...... .

多谢老汉！

多模型共识我还真是第一次见过，有文献可供参考吗？
赞一下 回复此楼
14楼2009-02-12 22:33:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yalefield

金虫 (文坛精英)

老汉一枚

关于模型共识

★ ★
xuefei06(金币+2,VIP+0):thanks！ 2-13 21:17
QSAR领域的几个家伙都跃跃欲试。
不过，俺看最后还得是东欧或者北欧血统的搞到前面。
这帮家伙，数学的确很强。
PCA, PLS, SIMCA......都来自他们。
赞一下(10人) 回复此楼
15楼2009-02-12 23:16:27
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

snoopyzhao

至尊木虫 (职业作家)
谢谢，我似乎找到了关键词，有空的时候看看，呵呵……

太长时间没有看这个领域的文献了，惭愧啊……
赞一下 回复此楼
16楼2009-02-12 23:33:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

whitewatercn

银虫 (小有名气)

讨论得挺热闹啊

★ ★ ★ ★
xuefei06(金币+4,VIP+0):thanks！ 2-13 21:17
所谓多模型共识，在计算机专业叫做”集成学习“（ensemble learning），什么 Bagging, Boosting，Random Forest 。。。都属于此类

另外一个常用的关键词是Consensus ,  如 Consensus Docking (Scoring) , Consensus QSAR (models).

多模型共识有两个重要原则： accurate and diverse
accurate 就是说各个模型都要比较准确，好模型＋好模型＝更好模型，好模型＋差模型＝中模型
diverse就是说各个模型的预测结果要有较大的差异性，这样才有可能互补。如果各个模型的误差是随机分布，那平均起来就抵消了，如果存在系统误差，则无法抵消。



集成学习在CS中已经有些年头了，但在化学中最近似乎比较热。没办法，要发文章就要炒作”新概念“，若干年以后，所有的泡沫都会消失，只剩下少数闪光的沉积物。。。。。
赞一下(11人) 回复此楼
17楼2009-02-13 11:01:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

niliu

铁杆木虫 (著名写手)
★ ★ ★ ★ ★
yuhuobuku(金币+5,VIP+0):欢迎参加讨论 4-8 09:36
Consensus QSAR models: Do the benefits outweigh the complexity?
  
Author(s): Hewitt M (Hewitt, Mark), Cronin MTD (Cronin, Mark T. D.), Madden JC (Madden, Judith C.), Rowe PH (Rowe, Philip H.), Johnson C (Johnson, Clara), Obi A (Obi, Anrdrea), Enoch SJ (Enoch, Steven J.)

Source: JOURNAL OF CHEMICAL INFORMATION AND MODELING    Volume: 47    Issue: 4    Pages: 1460-1468    DOI: 10.1021/ci700016d    Published: JUL-AUG 2007   

Abstract: This study has assessed the use of consensus regression, as compared to single multiple linear regression, models for the development of quantitative structure-activity relationships (QSARs). To provide a comparison, four data sets of varying size and complexity were analyzed: silastic membrane flux, toxicity of phenols to Tetrahymena pyriformis, acute toxicity to the fathead minnow and flash point. For each data set, a genetic algorithm was used to develop a model population and the performance of consensus models was compared to that of the best single model. Two consensus models were developed, one using the top 10 models, and the other using a subset of models chosen to provide maximal coverage of model space. The results highlight the ability of the genetic algorithm to develop predictive models from a large descriptor pool. However, the consensus models were shown to offer no significant improvements over single regression models, which are as statistically robust as the equivalent consensus models. Consensus models developed from a selection of the best QSARs were shown not to be superior to a selection of diverse in "model space" QSARs. For the data sets analyzed in this study, and in light of the Organization for Economic Cooperation and Development principles for the validation of QSARs, the increase in model complexity when using consensus models does not seem warranted given the minimal improvement in model statistics.
赞一下(6人) 回复此楼
18楼2009-04-01 08:00:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

aki秋秋
谢谢分享啦！
19楼2011-03-06 16:15:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yang16

新虫 (小有名气)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
引用回帖:
5楼: Originally posted by yalefield at 2009-02-11 22:25:21
（1）训练集与测试集的划分，本质上是一个实验设计问题。目前没有最好的，但D-optimal是一种选择。

（2）q2也好，R2也好，本质上其计算来自一组样本的观测值（或回归值）、平均值。
很明显，样本不同，这两个值 ...

您好~请问下用D-optimal分测试集和训练集用SAS可以做吗?我看见有文献这样做于是去百度了这个，但是还是不知道怎么做，求指点，谢谢啦
赞一下 回复此楼
20楼2014-09-13 10:58:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 kele1982 的主题更新
202/2返回列表上一页12
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
信息提示
关闭
请填处理意见
关闭