24小时热门版块排行榜    

查看: 1312  |  回复: 14
当前主题已经存档。
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

yujunhui

银虫 (著名写手)

[交流] 【讨论】遗传算法优化神经网络误差问题?

遗传算法优化神经网络误差 的 误差 与  神经网络的误差  很接近(甚至有的比神经网络的误差大 )
这是什么原因?
请高手指点?
回复此楼
安静
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主

★ ★
kuhailangyu(金币+2,VIP+0):楼主要求给你们加两个金币,呵呵 11-5 19:11
引用回帖:
Originally posted by 728728 at 2009-11-5 16:18:


那就跟我理解的是一样的。原因就是优化导致过学习。
降低泛化误差是神经网络研究的重点。楼上的nono给出了设计网络的基本原则,但在优化过程中1,3条是适用的,2,4条是不适用的。
2、优化结构的时候,网格 ...

说得很对。过学习的问题一般都是由于样本过少或分布不好或uncertainty太高、而神经网络的权值(即可优化的变量)太多造成的。这个在原理上其实跟简单的多项式回归是很类似的。

我不知道matlab是否已经有了优化NN结构的功能。我的理解是这是NN理论中的难点之一。工程上多数用的还是trial-and-error的人工方法。这在一般NN书中都有介绍的。

如果楼主可以将问题更加具体化一点,那么获得的帮助可能更直接一点。毕竟深入研究神经网络的理论和解决现实问题是两会事。
8楼2009-11-05 16:49:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 15 个回答

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主

★ ★ ★
yujunhui(金币+2,VIP+0):有道理,谢谢你 ! 11-4 14:36
kuhailangyu(金币+1,VIP+0):nono辛苦了,呵呵 11-4 18:56
遗传算法优化神经网络只是在概率上有更大可能获得全局最优,这种获得全局最优的概率与初始种群数、交叉变异操作、遗传代数等等都有关系。所以,从另一方面讲,在概率上,遗传算法也可能得不到全局最优解、或得到的是近似最优解。

如果神经网络结构比较简单的话,我的经验是matlab NN toolbox的某些算法给出的训练误差可能更好。在取随机初值的情况下,反复多run上N次,获得全局最优的概率也是不小的。
2楼2009-11-04 12:18:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yujunhui

银虫 (著名写手)

还有其他的原因吗 ?
安静
3楼2009-11-04 22:52:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

728728

木虫 (正式写手)

★ ★
nono2009(金币+1,VIP+0):谢谢交流!欢迎常来。 11-5 06:31
yujunhui(金币+1,VIP+0):谢谢! 11-5 08:49
描述的不太清楚。
不知道你优化的目标函数是什么?你说的误差指训练误差还是泛化误差?
如果你优化目标是训练误差的话,那优化后泛化误差变大是很可能的事。
这时候必然是过学习了,高频误差的影响显著。
4楼2009-11-05 03:05:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 哪位老哥知道今年的国自然具体哪一天放榜? +5 Ldrop2023 2026-08-13 5/250 2026-08-14 18:48 by ssxclkj
[基金申请] 国基金的申报应该改成非等额制,评价高的钱多评价低的钱少,但是增加资助率 +8 a089 2026-08-07 8/400 2026-08-14 18:46 by beefly
[基金申请] 各位道友,我要去昆明玩几天,回来见。 +6 Tide man 2026-08-14 7/350 2026-08-14 18:36 by 正能量1斤
[基金申请] filecode +6 cratir 2026-08-14 10/500 2026-08-14 18:29 by 笑叹辞穷
[基金申请] 应该是93bebmhtak前后十一个字符比较关键 +23 Lanmanbaby 2026-08-09 37/1850 2026-08-14 13:40 by Equinoxhua
[硕博家园] 请教兼职经验 +3 是阿文鸭 2026-08-09 3/150 2026-08-14 12:07 by HER12025
[基金申请] filecode +15 documentary 2026-08-10 17/850 2026-08-14 10:08 by kissu88
[基金申请] FileCode能看出啥? +10 要乐观耀哥 2026-08-10 32/1600 2026-08-14 09:37 by 要乐观耀哥
[硕博家园] 一作与独作在应聘高校教师时区别大吗 +3 mbygzh 2026-08-08 4/200 2026-08-13 19:31 by 龙-樱
[基金申请] 静等基金结果 +8 gjjjzhong 2026-08-10 21/1050 2026-08-13 17:56 by 且听虎啸
[基金申请] 重要来源:本周末出结果 +10 瞬息宇宙 2026-08-12 10/500 2026-08-13 15:46 by likettle
[基金申请] 不应该看fileCode +7 且听虎啸 2026-08-12 9/450 2026-08-13 14:27 by flydreamws
[基金申请] 2019年青年基金涵评意见,大家看看几个A,几个B? +11 Tide man 2026-08-11 11/550 2026-08-13 07:35 by 撸猫猫
[基金申请] 综述论文作为代表作会不会影响评审专家的印象分? +11 yufeiwaner 2026-08-09 13/650 2026-08-12 08:17 by yufeiwaner
[基金申请] 是这周出结果还是下周出结果? +3 yuleib84 2026-08-11 3/150 2026-08-11 21:53 by jnhyjjm
[基金申请] 帮忙看看fileCode +7 wwncly 2026-08-10 13/650 2026-08-11 19:36 by 冰心玉壶晴
[基金申请] 什么时候出结果,有咨询渠道??? +3 Tide man 2026-08-11 3/150 2026-08-11 17:54 by kudofaye
[基金申请] 据悉今年马上要出结果了 +7 瞬息宇宙 2026-08-10 8/400 2026-08-10 12:42 by Vivilian
[基金申请] 2026国自然放榜时间 +9 布布和一二 2026-08-08 9/450 2026-08-10 11:22 by xxxx2020
[基金申请] fileCode有新解读? +10 Tide man 2026-08-08 18/900 2026-08-09 12:55 by 仁砚薪传
信息提示
请填处理意见