| 查看: 471 | 回复: 1 | ||
yuanmd至尊木虫 (知名作家)
衔头义定自
|
[求助]
关于实验评价方法cross validation and jackknife testing？
|
|
之前投过一篇模式分类的文章，用了几个人脸数据库做实验。 做法是将数据随机地分成训练集（Train Data）和测试集（Test Data），然后重复10次。具体地说，随机机从每类选取P个样本作为训练，剩下的样本作为测试，这个过程重复10次，取平均结果作为实验结果。参数是直接在测试集上取的，选择的是测试集上性能最好的参数。 有一审稿人说，这种随机取法太简单，不太科学。建议用类似于cross validation and jackknife testing的方法。 1） cross validation我知道，但是有一个问题，如果我用交叉验证的话，每个算法在一个数据库上就只有一个结果。比如，将整个数据集均分为10份，依次将其中一份作为测试，剩下9份作为训练。这样得到10个测试结果，取平均作为最终结果。 可是我又想测试算法在不同训练样本下的识别性能（比如P依次取2，3，4，5，6），这怎么办呢？ 不知道下面的方法是否可行：我从每类中随机取P个样本作为训练，将剩下的样本平均分成验证集（Validation Data）和测试集（Test Data）。用训练集训练，用验证集求一个性能最好的参数，参数求好之后，再将该参数带入训练集求模型，最后用测试集测试。把上面的过程重复10次，用10次测试集的平均结果作为最终性能。 但是严格意义上来说，上面的方法并不是cross validation。审稿人会不会不认啊？ 2）对于jackknife testing，我搜索了一下，说像bootstrap，但不并不清楚如何弄的。我只用cross validation可否？审稿意见的原话是 I suggest the author should conduct more exhaustive validation of the test result data using techniques like cross validation and jackknife testing. 感谢大家，金币后期可再追加！ |
回复此楼» 猜你喜欢
河北省自然科学基金
已经有8人回复
-
西安交大新媒学院副院长用撤稿论文结题
已经有5人回复
-
论文撤稿了
已经有5人回复
-
某211大学教师把个人教师官方主页改成:我跑了我跑了我跑了!官宣跑路！
已经有5人回复
-
26/27申博自荐
已经有9人回复
-
售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急
已经有3人回复
-
售SCI一区T0P文章，我:8.O.5.5.1.O.5.4,科目齐全,可+急
已经有7人回复
-
揭秘青基评审内幕：几个A才能顺利中标
已经有4人回复
-
青B发送上会通知了吗
已经有7人回复
-
博士申请
已经有3人回复
yuanmd
至尊木虫 (知名作家)
衔头义定自
- 应助: 58 (初中生)
- 金币: 9949.2
- 散金: 3502
- 红花: 27
- 帖子: 5262
- 在线: 641.6小时
- 虫号: 1148791
- 注册: 2010-11-16
- 专业: 模式识别
2楼2017-11-18 10:35:44
10