应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 专业学科区 » 信息科学 » 人工智能 » 样本数据归一化的问题求助！
111/2返回列表12下一页
查看: 2098  |  回复: 10
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

xmcrobbie

银虫 (小有名气)

[求助] 样本数据归一化的问题求助！ 已有5人参与

libsvm自带一个模板里头有个：
a_template_flow_usingSVM_class.m，在进行数据归一化的时候，是调用scaleForSVM(train_data,test_data,0,1);把训练样本和测试样本合在一起进行归一化。最终准确率可以达到98%。这合理吗？我做了测试，如果把训练样本和测试样本分开归一化，准确率会大幅度降低，只有60%多。哪个才是真正的结果呢？
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:
1楼 2014-01-21 13:47:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

ilmeiyi

金虫 (正式写手)

【答案】应助回帖

★ ★ ★ ★
感谢参与，应助指数 +1
xmcrobbie: 金币+3 2014-01-24 02:33:41
xmcrobbie: 金币+1 2014-01-24 02:34:25
极端例子
训练 0 100
测试 25 50

那么分开归一，0当0,100当1,25当0,50当1
统一归一，0当0,100当1,25当0.25,50当0.5

对吗？
赞一下(1人) 回复此楼
5楼2014-01-22 13:01:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

yongcailiu

金虫 (小有名气)

【答案】应助回帖

感谢参与，应助指数 +1
以我的了解，两个结果应该都是正确的。原因是，前者中把测试样本进行了训练，所以准确率就高。打个比方，就像我们学习新知识，对于已经学习过的东西，掌握的程度当然好了（98%），而运用已有的知识（只训练训练样本）再来学习新知识，掌握的程度自然会差很多（60%）
赞一下 回复此楼
2楼2014-01-22 10:32:48
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcrobbie

银虫 (小有名气)
引用回帖:
2楼: Originally posted by yongcailiu at 2014-01-22 10:32:48
以我的了解，两个结果应该都是正确的。原因是，前者中把测试样本进行了训练，所以准确率就高。打个比方，就像我们学习新知识，对于已经学习过的东西，掌握的程度当然好了（98%），而运用已有的知识（只训练训练样本 ...

测试样本只是用来归一化，根本没参与训练！

[ 发自小木虫客户端 ]
赞一下 回复此楼
3楼2014-01-22 12:14:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

stxiahu

木虫 (小有名气)

【答案】应助回帖

感谢参与，应助指数 +1
我觉得是训练样本涵盖的区域没有测试样本大，导致学习测试样本的能力下降。如果把训练和测试样本混合，然后10折交叉验证，只用选作训练的那部分样本归一化，我想得到的测试结果应该有高有低，高的应该接近98%吧。。
赞一下 回复此楼
4楼2014-01-22 13:00:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcrobbie

银虫 (小有名气)
引用回帖:
5楼: Originally posted by ilmeiyi at 2014-01-22 13:01:34
极端例子
训练 0 100
测试 25 50

那么分开归一，0当0,100当1,25当0,50当1
统一归一，0当0,100当1,25当0.25,50当0.5

对吗？

我觉得尺度的角度来说，合在一起归一化更合理，否则训练样本的尺度和测试样本的尺度都不一样的话，测试结果当然会降低。但是这样一来会有一个问题，每来一个新的测试样本，都要重新归一化，这样的效率不是很低？
赞一下 回复此楼
6楼2014-01-22 13:49:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

HRL_RS

金虫 (小有名气)

【答案】应助回帖

★
感谢参与，应助指数 +1
xmcrobbie: 金币+1 2014-01-24 02:33:58
个人觉得两个放在一块进行归一化是正确的，之前一直都是这么做的
赞一下 回复此楼
7楼2014-01-22 20:15:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

dden

新虫 (初入文坛)

【答案】应助回帖

感谢参与，应助指数 +1
放在一起进行归一化是合理的。。但是测试结果应该采用k折交叉验证的平均结果。
赞一下 回复此楼
8楼2014-01-22 23:00:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcrobbie

银虫 (小有名气)
引用回帖:
8楼: Originally posted by dden at 2014-01-22 23:00:01
放在一起进行归一化是合理的。。但是测试结果应该采用k折交叉验证的平均结果。

每次k折交叉验证的结果都是不同的，一般要测试几次再求平均值？20次够么？

[ 发自小木虫客户端 ]
赞一下 回复此楼
9楼2014-01-23 08:38:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xmcrobbie

银虫 (小有名气)
引用回帖:
5楼: Originally posted by ilmeiyi at 2014-01-22 13:01:34
极端例子
训练 0 100
测试 25 50

那么分开归一，0当0,100当1,25当0,50当1
统一归一，0当0,100当1,25当0.25,50当0.5

对吗？

我今天无意中用非线性函数log2进行归一化，训练样本和测试样本分开，竟然发现效果很好，但是不知道为什么！

[ 发自小木虫客户端 ]
赞一下 回复此楼
10楼2014-01-23 11:53:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 xmcrobbie 的主题更新
111/2返回列表12下一页
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[文学芳草园] 伙伴们，祝我生日快乐吧 +17 myrtle 2026-03-10 26/1300 2026-03-16 18:32 by 青橙Ln
[考研] 0703化学调剂 +6 妮妮ninicgb 2026-03-15 9/450 2026-03-16 16:40 by houyaoxu
[教师之家] 焦虑 +7 水冰月月野兔 2026-03-13 9/450 2026-03-16 10:00 by Quakerbird
[考研] 294求调剂 +3 Zys010410@ 2026-03-13 4/200 2026-03-15 10:59 by zhq0425
[考研] 本科南京大学一志愿川大药学327 +3 麦田耕者 2026-03-14 3/150 2026-03-14 20:04 by 外星文明
[考研] 267一志愿南京工业大学0817化工求调剂 +5 SUICHILD 2026-03-12 5/250 2026-03-14 14:53 by jean5056
[考研] 312求调剂 +6 陌宸希 2026-03-10 6/300 2026-03-14 00:40 by JourneyLucky
[考研] 招收0805（材料）调剂 +3 18595523086 2026-03-13 3/150 2026-03-14 00:33 by 123%、
[考研] 求调剂，一志愿江南大学环境工程085701 +3 Djdjj12 2026-03-10 4/200 2026-03-14 00:31 by JourneyLucky
[考研] 材料专硕288分求调剂 一志愿211 +4 在家想你 2026-03-11 4/200 2026-03-13 22:49 by JourneyLucky
[考研] 【0856】化学工程（085602）313 分，本科学科评估A类院校化学工程与工艺，诚求调剂 +7 小刘快快上岸 2026-03-11 7/350 2026-03-13 16:06 by ruiyingmiao
[考研] 材料专硕350 求调剂 +4 王金科 2026-03-12 4/200 2026-03-13 16:02 by ruiyingmiao
[考研] 材料专硕274一志愿陕西师范大学求调剂 +4 薛云鹏 2026-03-13 4/200 2026-03-13 10:40 by 学员8dgXkO
[考研] 296求调剂 +3 大口吃饭 身体健 2026-03-13 3/150 2026-03-13 10:31 by 学员8dgXkO
[考博] 读博申请 +5 感dd 2026-03-10 7/350 2026-03-11 17:02 by QGZDSYS
[考研] 0857环境调剂 +5 熠熠_11 2026-03-10 5/250 2026-03-11 10:59 by wang_dand
[考研] 调剂 +5 呵唔哦豁 2026-03-10 5/250 2026-03-10 22:00 by 28375m
[考博] 26申博求助 +3 跳跃饼干 2026-03-10 4/200 2026-03-10 21:15 by Tntcnn
[考研] 085602化工求调剂 +7 董boxing 2026-03-10 7/350 2026-03-10 17:07 by BruceLiu320
[考研] 一志愿：武汉理工，材料工程，英二数二 总分314 +3 2202020125 2026-03-10 4/200 2026-03-10 13:54 by xiongyaxuan
信息提示
关闭
请填处理意见
关闭