应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 仿真模拟 » MATLAB » 【讨论】遗传算法优化神经网络误差问题？
151/2返回列表12下一页
查看: 1294  |  回复: 14
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
当前主题已经存档。

yujunhui

银虫 (著名写手)

[交流] 【讨论】遗传算法优化神经网络误差问题？

遗传算法优化神经网络误差 的 误差 与  神经网络的误差  很接近（甚至有的比神经网络的误差大 ）
这是什么原因？
请高手指点？
回复此楼

» 猜你喜欢
安静
1楼 2009-11-04 12:02:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主
★ ★ ★
yujunhui(金币+2,VIP+0):有道理，谢谢你 ！ 11-4 14:36
kuhailangyu(金币+1,VIP+0):nono辛苦了，呵呵 11-4 18:56
遗传算法优化神经网络只是在概率上有更大可能获得全局最优，这种获得全局最优的概率与初始种群数、交叉变异操作、遗传代数等等都有关系。所以，从另一方面讲，在概率上，遗传算法也可能得不到全局最优解、或得到的是近似最优解。

如果神经网络结构比较简单的话，我的经验是matlab NN toolbox的某些算法给出的训练误差可能更好。在取随机初值的情况下，反复多run上N次，获得全局最优的概率也是不小的。
赞一下(13人) 回复此楼
2楼2009-11-04 12:18:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

yujunhui

银虫 (著名写手)
还有其他的原因吗 ？
赞一下 回复此楼
安静
3楼2009-11-04 22:52:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

728728

木虫 (正式写手)
★ ★
nono2009(金币+1,VIP+0):谢谢交流！欢迎常来。 11-5 06:31
yujunhui(金币+1,VIP+0):谢谢！ 11-5 08:49
描述的不太清楚。
不知道你优化的目标函数是什么？你说的误差指训练误差还是泛化误差？
如果你优化目标是训练误差的话，那优化后泛化误差变大是很可能的事。
这时候必然是过学习了，高频误差的影响显著。
赞一下(12人) 回复此楼
4楼2009-11-05 03:05:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yujunhui

银虫 (著名写手)
引用回帖:
Originally posted by 728728 at 2009-11-5 03:05:
描述的不太清楚。
不知道你优化的目标函数是什么？你说的误差指训练误差还是泛化误差？
如果你优化目标是训练误差的话，那优化后泛化误差变大是很可能的事。
这时候必然是过学习了，高频误差的影响显著。

我说的误差是  是 网络建立好之后  
我用网络去 模拟实验数据， 模拟值 与实验结果 相差很大！

我现在如何减少这些误差！
赞一下 回复此楼
安静
5楼2009-11-05 08:51:59
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主
★ ★ ★ ★ ★ ★ ★
kuhailangyu(金币+2,VIP+0):感谢nono版主的指导！ 11-5 09:49
yujunhui(金币+5,VIP+0): 11-5 14:42
这是我以前与另一虫虫的交流记录，希望可以对你使用NN有些帮助。
引用回帖:
我的经验是：
1.训练样本尽可能充足。数据点不够的话，不推荐用NN。
2.网络结构尽可能简单。Hidden layer一般推荐只用1层。
3.做NN要尽可能的based on physics，将physics体现在inputs/outputs和transfer functions的选择上.
4.Trained NN给出的结果不仅要fit已知的数据点，而且predicted的趋势线也要与你研究的physics一致，只看程序给出的各种statistical data很可能“受骗”的。
如果能很好地做好上述几点，可以mitigate over-fitting risks.
赞一下(11人) 回复此楼
6楼2009-11-05 09:30:58
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

728728

木虫 (正式写手)
★ ★ ★ ★ ★
yujunhui(金币+2,VIP+0): 11-5 16:22
wuguocheng(金币+3,VIP+0): 有道理 11-5 16:25
引用回帖:
Originally posted by yujunhui at 2009-11-5 08:51:



我说的误差是  是 网络建立好之后  
我用网络去 模拟实验数据， 模拟值 与实验结果 相差很大！

我现在如何减少这些误差！

那就跟我理解的是一样的。原因就是优化导致过学习。
降低泛化误差是神经网络研究的重点。楼上的nono给出了设计网络的基本原则，但在优化过程中1，3条是适用的，2，4条是不适用的。
2、优化结构的时候，网格结构是自变量，要满足物理问题、训练样本数目和网络结构的相容性，即网络要有一定的复杂度（隐含层数和隐含节点数）去反映物理问题，而又要在训练样本数目一定的情况下保持最简原则，这一矛盾构成了优化问题的约束条件。而关键是缺乏有效的检验准则。现在普遍采用的权宜的办法是交叉验证，你可以试试。
4、趋势线是否与你的physics一致，取决于你训练样本点的分布情况。这只是泛化误差中低频部分。而你的问题是过学习，训练点虽然是精确的，但在训练点周围变化剧烈，导致泛化误差增大。当然，也可能趋势线不一致，这时要改进你的训练样本的分布。

虽然用过神经网络和遗传算法，但不是这个专业，研究的不深，个人观点，供大家参考讨论。
赞一下(10人) 回复此楼
7楼2009-11-05 16:18:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主
★ ★
kuhailangyu(金币+2,VIP+0):楼主要求给你们加两个金币，呵呵 11-5 19:11
引用回帖:
Originally posted by 728728 at 2009-11-5 16:18:


那就跟我理解的是一样的。原因就是优化导致过学习。
降低泛化误差是神经网络研究的重点。楼上的nono给出了设计网络的基本原则，但在优化过程中1，3条是适用的，2，4条是不适用的。
2、优化结构的时候，网格 ...

说得很对。过学习的问题一般都是由于样本过少或分布不好或uncertainty太高、而神经网络的权值（即可优化的变量）太多造成的。这个在原理上其实跟简单的多项式回归是很类似的。

我不知道matlab是否已经有了优化NN结构的功能。我的理解是这是NN理论中的难点之一。工程上多数用的还是trial-and-error的人工方法。这在一般NN书中都有介绍的。

如果楼主可以将问题更加具体化一点，那么获得的帮助可能更直接一点。毕竟深入研究神经网络的理论和解决现实问题是两会事。
赞一下(10人) 回复此楼
8楼2009-11-05 16:49:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yujunhui

银虫 (著名写手)
谢谢你们！
我在试着算算！
赞一下 回复此楼
安静
9楼2009-11-06 13:11:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yujunhui

银虫 (著名写手)
谢谢 你们！
可能我描述有误，

我运算了 20次 ，总算有一个结果比较理想了 ！
针对这中问题我的观点认为
1  多运算几次
2 修改网络的参变量 （动量 因子， 学习速率 等）
这样结果比较理想！

[ Last edited by yujunhui on 2009-11-7 at 15:31 ]
赞一下 回复此楼
安静
10楼2009-11-07 14:23:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 yujunhui 的主题更新
151/2返回列表12下一页
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 2026国自然放榜时间 +4 布布和一二 2026-08-08 4/200 2026-08-09 22:24 by otj2008
[基金申请] 关于代码变化问题，想知道的进来 +15 且听虎啸 2026-08-07 22/1100 2026-08-09 22:13 by 布布和一二
[基金申请] 这样的filecode谁见过 +10 布布和一二 2026-08-08 21/1050 2026-08-09 17:21 by 天神眷顾
[基金申请] filecode与中标关系的预测 +5 布布和一二 2026-08-07 5/250 2026-08-09 16:15 by 袁向阳007
[基金申请] fileCode有新解读？ +10 Tide man 2026-08-08 18/900 2026-08-09 12:55 by 仁砚薪传
[基金申请] 关于filecode，很负责任的告诉大家 +6 爱看书的可乐 2026-08-08 7/350 2026-08-08 22:13 by a_niu
[考博] 【2027博士申请】纳米药物递送方向 20+3 13586093586 2026-08-03 5/250 2026-08-08 21:54 by 13586093586
[基金申请] 国基金的申报应该改成非等额制，评价高的钱多评价低的钱少，但是增加资助率 +7 a089 2026-08-07 7/350 2026-08-08 18:05 by gltch
[基金申请] 好奇怪的filecode +3 布布和一二 2026-08-08 4/200 2026-08-08 17:46 by zhanghaozhu
[基金申请] 基金中了 +14 laoda193707 2026-08-06 14/700 2026-08-08 00:23 by 实验小白ha
[基金申请] 关于filecode +4 布布和一二 2026-08-07 7/350 2026-08-07 22:55 by zhanghaozhu
[基金申请] 娱乐 +6 Tide man 2026-08-03 6/300 2026-08-07 22:40 by 铁帽子农民
[基金申请] 听说今天filecode变了 +24 布布和一二 2026-08-06 47/2350 2026-08-07 16:02 by zhiyanjiang
[基金申请] filecode变化情况 +6 布布和一二 2026-08-07 22/1100 2026-08-07 14:45 by 且听虎啸
[基金申请] 大家散了吧，后缀研究没有意义，别浪费时间了，过好目前的每一天，不要焦虑 +5 Tide man 2026-08-06 7/350 2026-08-07 13:11 by 医学老男孩
[基金申请] filecode +8 布布和一二 2026-08-06 11/550 2026-08-06 20:41 by tangpu318
[基金申请] 影响面上的因素 +8 布布和一二 2026-08-05 11/550 2026-08-06 10:41 by 宝贝虫子
[基金申请] 8月时间戳变的，举个手。玩一下，释放压力 +9 archvillain 2026-08-04 11/550 2026-08-05 20:06 by wlwhappy
[基金申请] 好消息？这个有何含义？？？ +8 Tide man 2026-08-05 10/500 2026-08-05 16:14 by xmuxiaoyu
[基金申请] 纯娱乐，不喜欢勿喷 +7 Tide man 2026-08-04 10/500 2026-08-04 15:10 by loufangrui
信息提示
关闭
请填处理意见
关闭