| 查看: 3105 | 回复: 6 | |||
yuanmd至尊木虫 (知名作家)
衔头义定自
|
[交流]
关于评价方法cross validation and jackknife testing 已有4人参与
|
|
之前投过一篇模式分类的文章，用了几个人脸数据库做实验。 做法是将数据随机地分成训练集（Train Data）和测试集（Test Data），然后重复10次。具体地说，随机机从每类选取P个样本作为训练，剩下的样本作为测试，这个过程重复10次，取平均结果作为实验结果。参数是直接在测试集上取的，选择的是测试集上性能最好的参数。 有一审稿人说，这种随机取法太简单，不太科学。建议用类似于cross validation and jackknife testing的方法。 1） cross validation我知道，但是有一个问题，如果我用交叉验证的话，每个算法在一个数据库上就只有一个结果。比如，将整个数据集均分为10份，依次将其中一份作为测试，剩下9份作为训练。这样得到10个测试结果，取平均作为最终结果。 可是我又想测试算法在不同训练样本下的识别性能（比如P依次取2，3，4，5，6），这怎么办呢？ 不知道下面的方法是否可行：我从每类中随机取P个样本作为训练，将剩下的样本平均分成验证集（Validation Data）和测试集（Test Data）。用训练集训练，用验证集求一个性能最好的参数，参数求好之后，再将该参数带入训练集求模型，最后用测试集测试。把上面的过程重复10次，用10次测试集的平均结果作为最终性能。 但是严格意义上来说，上面的方法并不是cross validation。审稿人会不会不认啊？ 2）对于jackknife testing，我搜索了一下，说像bootstrap，但不并不清楚如何弄的。我只用cross validation可否？审稿意见的原话是 I suggest the author should conduct more exhaustive validation of the test result data using techniques like cross validation and jackknife testing. 感谢大家，金币后期可再追加！ 发自小木虫Android客户端 |
回复此楼» 猜你喜欢
招博士
已经有4人回复
-
救命帖
已经有7人回复
-
限项规定
已经有6人回复
-
西南交通大学国家级人才团队2026年博士研究生招生（考核制）—机械、材料、力学方向
已经有3人回复
-
英文综述是否需要润色及查重
已经有5人回复
-
为什么nbs上溴 没有产物点出现呢
已经有9人回复
-
最失望的一年
已经有18人回复
|
祝福 发自小木虫IOS客户端 |
2楼2017-11-18 23:16:27
yuanmd
至尊木虫 (知名作家)
衔头义定自
- 应助: 58 (初中生)
- 金币: 9949.2
- 散金: 3502
- 红花: 27
- 帖子: 5262
- 在线: 641.6小时
- 虫号: 1148791
- 注册: 2010-11-16
- 专业: 模式识别
3楼2017-11-19 01:07:17
insist8528
至尊木虫 (知名作家)
- 应助: 35 (小学生)
- 金币: 13727.6
- 散金: 463
- 红花: 14
- 帖子: 9844
- 在线: 688.6小时
- 虫号: 687299
- 注册: 2009-01-04
- 性别: GG
- 专业: 安全科学与工程
4楼2017-11-19 07:54:35
liucao1234
铁杆木虫 (著名写手)
十年杀猪
- 应助: 253 (大学生)
- 金币: 5887.2
- 散金: 479
- 红花: 35
- 帖子: 1065
- 在线: 609.1小时
- 虫号: 4131326
- 注册: 2015-10-10
- 性别: GG
- 专业: 煤地质学
5楼2017-11-19 09:29:33
yuanmd
至尊木虫 (知名作家)
衔头义定自
- 应助: 58 (初中生)
- 金币: 9949.2
- 散金: 3502
- 红花: 27
- 帖子: 5262
- 在线: 641.6小时
- 虫号: 1148791
- 注册: 2010-11-16
- 专业: 模式识别
6楼2017-11-19 12:08:13
|
本帖内容被屏蔽 |
7楼2017-11-23 16:46:24