24小时热门版块排行榜    

CyRhmU.jpeg
查看: 1015  |  回复: 14
当前主题已经存档。
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

yujunhui

银虫 (著名写手)

[交流] 【讨论】遗传算法优化神经网络误差问题?

遗传算法优化神经网络误差 的 误差 与  神经网络的误差  很接近(甚至有的比神经网络的误差大 )
这是什么原因?
请高手指点?
回复此楼
安静
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

728728

木虫 (正式写手)

★ ★
nono2009(金币+1,VIP+0):谢谢交流!欢迎常来。 11-5 06:31
yujunhui(金币+1,VIP+0):谢谢! 11-5 08:49
描述的不太清楚。
不知道你优化的目标函数是什么?你说的误差指训练误差还是泛化误差?
如果你优化目标是训练误差的话,那优化后泛化误差变大是很可能的事。
这时候必然是过学习了,高频误差的影响显著。
4楼2009-11-05 03:05:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

728728

木虫 (正式写手)

★ ★ ★ ★ ★
yujunhui(金币+2,VIP+0): 11-5 16:22
wuguocheng(金币+3,VIP+0): 有道理 11-5 16:25
引用回帖:
Originally posted by yujunhui at 2009-11-5 08:51:



我说的误差是  是 网络建立好之后  
我用网络去 模拟实验数据, 模拟值 与实验结果 相差很大!

我现在如何减少这些误差!

那就跟我理解的是一样的。原因就是优化导致过学习。
降低泛化误差是神经网络研究的重点。楼上的nono给出了设计网络的基本原则,但在优化过程中1,3条是适用的,2,4条是不适用的。
2、优化结构的时候,网格结构是自变量,要满足物理问题、训练样本数目和网络结构的相容性,即网络要有一定的复杂度(隐含层数和隐含节点数)去反映物理问题,而又要在训练样本数目一定的情况下保持最简原则,这一矛盾构成了优化问题的约束条件。而关键是缺乏有效的检验准则。现在普遍采用的权宜的办法是交叉验证,你可以试试。
4、趋势线是否与你的physics一致,取决于你训练样本点的分布情况。这只是泛化误差中低频部分。而你的问题是过学习,训练点虽然是精确的,但在训练点周围变化剧烈,导致泛化误差增大。当然,也可能趋势线不一致,这时要改进你的训练样本的分布。

虽然用过神经网络和遗传算法,但不是这个专业,研究的不深,个人观点,供大家参考讨论。
7楼2009-11-05 16:18:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 yujunhui 的主题更新
普通表情 高级回复(可上传附件)
信息提示
请填处理意见