| 查看: 512 | 回复: 1 | ||
yuanmd至尊木虫 (知名作家)
衔头义定自
|
[求助]
关于实验评价方法cross validation and jackknife testing？
|
|
之前投过一篇模式分类的文章，用了几个人脸数据库做实验。 做法是将数据随机地分成训练集（Train Data）和测试集（Test Data），然后重复10次。具体地说，随机机从每类选取P个样本作为训练，剩下的样本作为测试，这个过程重复10次，取平均结果作为实验结果。参数是直接在测试集上取的，选择的是测试集上性能最好的参数。 有一审稿人说，这种随机取法太简单，不太科学。建议用类似于cross validation and jackknife testing的方法。 1） cross validation我知道，但是有一个问题，如果我用交叉验证的话，每个算法在一个数据库上就只有一个结果。比如，将整个数据集均分为10份，依次将其中一份作为测试，剩下9份作为训练。这样得到10个测试结果，取平均作为最终结果。 可是我又想测试算法在不同训练样本下的识别性能（比如P依次取2，3，4，5，6），这怎么办呢？ 不知道下面的方法是否可行：我从每类中随机取P个样本作为训练，将剩下的样本平均分成验证集（Validation Data）和测试集（Test Data）。用训练集训练，用验证集求一个性能最好的参数，参数求好之后，再将该参数带入训练集求模型，最后用测试集测试。把上面的过程重复10次，用10次测试集的平均结果作为最终性能。 但是严格意义上来说，上面的方法并不是cross validation。审稿人会不会不认啊？ 2）对于jackknife testing，我搜索了一下，说像bootstrap，但不并不清楚如何弄的。我只用cross validation可否？审稿意见的原话是 I suggest the author should conduct more exhaustive validation of the test result data using techniques like cross validation and jackknife testing. 感谢大家，金币后期可再追加！ |
回复此楼» 猜你喜欢
有多少人是今天查系统知道结果的？
已经有17人回复
-
国自然面上复盘~欢迎讨论
已经有9人回复
-
看板上这么多中的，有点像50人群里49个人都是骗子的那种感觉……
已经有6人回复
-
导师吐槽：我怎么摊上了这么个极品研究生！
已经有6人回复
-
青基如何破局
已经有4人回复
-
基金不中，共勉
已经有8人回复
-
基金未中，这种答复是模板吗？
已经有5人回复
-
为什么资助数各大高校都创新高，自己申请怎么就这么难
已经有5人回复
-
怎么看青基中了没有啊
已经有5人回复
-
梦想
已经有3人回复
yuanmd
至尊木虫 (知名作家)
衔头义定自
- 应助: 58 (初中生)
- 金币: 9949.2
- 散金: 3502
- 红花: 27
- 帖子: 5262
- 在线: 641.6小时
- 虫号: 1148791
- 注册: 2010-11-16
- 专业: 模式识别
2楼2017-11-18 10:35:44
投票:
