24小时热门版块排行榜

返回列表

yuanmd

至尊木虫 (知名作家)

衔头义定自

应助: 58 (初中生)
金币: 9949.2
散金: 3502
红花: 27
帖子: 5262
在线: 641.6小时
虫号: 1148791
注册: 2010-11-16
专业: 模式识别

[求助] 关于实验评价方法cross validation and jackknife testing？

之前投过一篇模式分类的文章，用了几个人脸数据库做实验。
做法是将数据随机地分成训练集（Train Data）和测试集（Test Data），然后重复10次。具体地说，随机机从每类选取P个样本作为训练，剩下的样本作为测试，这个过程重复10次，取平均结果作为实验结果。参数是直接在测试集上取的，选择的是测试集上性能最好的参数。

有一审稿人说，这种随机取法太简单，不太科学。建议用类似于cross validation and jackknife testing的方法。

1） cross validation我知道，但是有一个问题，如果我用交叉验证的话，每个算法在一个数据库上就只有一个结果。比如，将整个数据集均分为10份，依次将其中一份作为测试，剩下9份作为训练。这样得到10个测试结果，取平均作为最终结果。

可是我又想测试算法在不同训练样本下的识别性能（比如P依次取2，3，4，5，6），这怎么办呢？

不知道下面的方法是否可行：我从每类中随机取P个样本作为训练，将剩下的样本平均分成验证集（Validation Data）和测试集（Test Data）。用训练集训练，用验证集求一个性能最好的参数，参数求好之后，再将该参数带入训练集求模型，最后用测试集测试。把上面的过程重复10次，用10次测试集的平均结果作为最终性能。

但是严格意义上来说，上面的方法并不是cross validation。审稿人会不会不认啊？

2）对于jackknife testing，我搜索了一下，说像bootstrap，但不并不清楚如何弄的。我只用cross validation可否？审稿意见的原话是
I suggest the author should conduct more exhaustive validation of the test result data using techniques like cross validation and jackknife testing.

感谢大家，金币后期可再追加！

回复此楼