| 查看: 1129 | 回复: 14 | ||||
| 当前主题已经存档。 | ||||
[交流]
【讨论】遗传算法优化神经网络误差问题？
|
||||
|
遗传算法优化神经网络误差 的 误差 与 神经网络的误差 很接近（甚至有的比神经网络的误差大 ） 这是什么原因？ 请高手指点？ |
回复此楼» 猜你喜欢
278求调剂
已经有3人回复
-
化工调剂303分，过四级
已经有27人回复
-
265求调剂
已经有20人回复
-
348分环境工程·调剂
已经有6人回复
-
322求调剂
已经有3人回复
-
335求调剂
已经有7人回复
-
311（085601）求调剂
已经有15人回复
-
081700化学工程与技术 一志愿中海洋 323 求调剂学校
已经有6人回复
-
327求调剂
已经有8人回复
-
292求调剂
已经有21人回复
nono2009
超级版主 (文学泰斗)
No gains, no pains.
-
专家经验: +21105 - 仿真EPI: 1
- 应助: 28684 (院士)
- 贵宾: 513.911
- 金币: 2555230
- 散金: 27828
- 红花: 2148
- 沙发: 66666
- 帖子: 1602255
- 在线: 65200.9小时
- 虫号: 827383
- 注册: 2009-08-13
- 性别: GG
- 专业: 工程热物理与能源利用
- 管辖: 科研家筹备委员会
★ ★ ★
yujunhui(金币+2,VIP+0):有道理，谢谢你 ！ 11-4 14:36
kuhailangyu(金币+1,VIP+0):nono辛苦了，呵呵 11-4 18:56
yujunhui(金币+2,VIP+0):有道理，谢谢你 ！ 11-4 14:36
kuhailangyu(金币+1,VIP+0):nono辛苦了，呵呵 11-4 18:56
|
遗传算法优化神经网络只是在概率上有更大可能获得全局最优，这种获得全局最优的概率与初始种群数、交叉变异操作、遗传代数等等都有关系。所以，从另一方面讲，在概率上，遗传算法也可能得不到全局最优解、或得到的是近似最优解。 如果神经网络结构比较简单的话，我的经验是matlab NN toolbox的某些算法给出的训练误差可能更好。在取随机初值的情况下，反复多run上N次，获得全局最优的概率也是不小的。 |
2楼2009-11-04 12:18:20
3楼2009-11-04 22:52:22
728728
木虫 (正式写手)
- 应助: 4 (幼儿园)
- 金币: 4940.1
- 散金: 239
- 帖子: 519
- 在线: 397.7小时
- 虫号: 92818
- 注册: 2005-09-11
- 性别: GG
- 专业: 可再生与替代能源利用中的
4楼2009-11-05 03:05:26
5楼2009-11-05 08:51:59
nono2009
超级版主 (文学泰斗)
No gains, no pains.
-
专家经验: +21105 - 仿真EPI: 1
- 应助: 28684 (院士)
- 贵宾: 513.911
- 金币: 2555230
- 散金: 27828
- 红花: 2148
- 沙发: 66666
- 帖子: 1602255
- 在线: 65200.9小时
- 虫号: 827383
- 注册: 2009-08-13
- 性别: GG
- 专业: 工程热物理与能源利用
- 管辖: 科研家筹备委员会
6楼2009-11-05 09:30:58
728728
木虫 (正式写手)
- 应助: 4 (幼儿园)
- 金币: 4940.1
- 散金: 239
- 帖子: 519
- 在线: 397.7小时
- 虫号: 92818
- 注册: 2005-09-11
- 性别: GG
- 专业: 可再生与替代能源利用中的
★ ★ ★ ★ ★
yujunhui(金币+2,VIP+0): 11-5 16:22
wuguocheng(金币+3,VIP+0): 有道理 11-5 16:25
yujunhui(金币+2,VIP+0): 11-5 16:22
wuguocheng(金币+3,VIP+0): 有道理 11-5 16:25
|
那就跟我理解的是一样的。原因就是优化导致过学习。 降低泛化误差是神经网络研究的重点。楼上的nono给出了设计网络的基本原则，但在优化过程中1，3条是适用的，2，4条是不适用的。 2、优化结构的时候，网格结构是自变量，要满足物理问题、训练样本数目和网络结构的相容性，即网络要有一定的复杂度（隐含层数和隐含节点数）去反映物理问题，而又要在训练样本数目一定的情况下保持最简原则，这一矛盾构成了优化问题的约束条件。而关键是缺乏有效的检验准则。现在普遍采用的权宜的办法是交叉验证，你可以试试。 4、趋势线是否与你的physics一致，取决于你训练样本点的分布情况。这只是泛化误差中低频部分。而你的问题是过学习，训练点虽然是精确的，但在训练点周围变化剧烈，导致泛化误差增大。当然，也可能趋势线不一致，这时要改进你的训练样本的分布。 虽然用过神经网络和遗传算法，但不是这个专业，研究的不深，个人观点，供大家参考讨论。 |
7楼2009-11-05 16:18:56
nono2009
超级版主 (文学泰斗)
No gains, no pains.
-
专家经验: +21105 - 仿真EPI: 1
- 应助: 28684 (院士)
- 贵宾: 513.911
- 金币: 2555230
- 散金: 27828
- 红花: 2148
- 沙发: 66666
- 帖子: 1602255
- 在线: 65200.9小时
- 虫号: 827383
- 注册: 2009-08-13
- 性别: GG
- 专业: 工程热物理与能源利用
- 管辖: 科研家筹备委员会
★ ★
kuhailangyu(金币+2,VIP+0):楼主要求给你们加两个金币，呵呵 11-5 19:11
kuhailangyu(金币+2,VIP+0):楼主要求给你们加两个金币，呵呵 11-5 19:11
|
说得很对。过学习的问题一般都是由于样本过少或分布不好或uncertainty太高、而神经网络的权值（即可优化的变量）太多造成的。这个在原理上其实跟简单的多项式回归是很类似的。 我不知道matlab是否已经有了优化NN结构的功能。我的理解是这是NN理论中的难点之一。工程上多数用的还是trial-and-error的人工方法。这在一般NN书中都有介绍的。 如果楼主可以将问题更加具体化一点，那么获得的帮助可能更直接一点。毕竟深入研究神经网络的理论和解决现实问题是两会事。 |
8楼2009-11-05 16:49:12
9楼2009-11-06 13:11:17
10楼2009-11-07 14:23:03
