24小时热门版块排行榜    

CyRhmU.jpeg
查看: 1013  |  回复: 14
当前主题已经存档。
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

yujunhui

银虫 (著名写手)

[交流] 【讨论】遗传算法优化神经网络误差问题?

遗传算法优化神经网络误差 的 误差 与  神经网络的误差  很接近(甚至有的比神经网络的误差大 )
这是什么原因?
请高手指点?
回复此楼
安静
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主

★ ★ ★
yujunhui(金币+2,VIP+0):有道理,谢谢你 ! 11-4 14:36
kuhailangyu(金币+1,VIP+0):nono辛苦了,呵呵 11-4 18:56
遗传算法优化神经网络只是在概率上有更大可能获得全局最优,这种获得全局最优的概率与初始种群数、交叉变异操作、遗传代数等等都有关系。所以,从另一方面讲,在概率上,遗传算法也可能得不到全局最优解、或得到的是近似最优解。

如果神经网络结构比较简单的话,我的经验是matlab NN toolbox的某些算法给出的训练误差可能更好。在取随机初值的情况下,反复多run上N次,获得全局最优的概率也是不小的。
2楼2009-11-04 12:18:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主

★ ★ ★ ★ ★ ★ ★
kuhailangyu(金币+2,VIP+0):感谢nono版主的指导! 11-5 09:49
yujunhui(金币+5,VIP+0): 11-5 14:42
这是我以前与另一虫虫的交流记录,希望可以对你使用NN有些帮助。
引用回帖:
我的经验是:
1.训练样本尽可能充足。数据点不够的话,不推荐用NN。
2.网络结构尽可能简单。Hidden layer一般推荐只用1层。
3.做NN要尽可能的based on physics,将physics体现在inputs/outputs和transfer functions的选择上.
4.Trained NN给出的结果不仅要fit已知的数据点,而且predicted的趋势线也要与你研究的physics一致,只看程序给出的各种statistical data很可能“受骗”的。
如果能很好地做好上述几点,可以mitigate over-fitting risks.

6楼2009-11-05 09:30:58
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主

★ ★
kuhailangyu(金币+2,VIP+0):楼主要求给你们加两个金币,呵呵 11-5 19:11
引用回帖:
Originally posted by 728728 at 2009-11-5 16:18:


那就跟我理解的是一样的。原因就是优化导致过学习。
降低泛化误差是神经网络研究的重点。楼上的nono给出了设计网络的基本原则,但在优化过程中1,3条是适用的,2,4条是不适用的。
2、优化结构的时候,网格 ...

说得很对。过学习的问题一般都是由于样本过少或分布不好或uncertainty太高、而神经网络的权值(即可优化的变量)太多造成的。这个在原理上其实跟简单的多项式回归是很类似的。

我不知道matlab是否已经有了优化NN结构的功能。我的理解是这是NN理论中的难点之一。工程上多数用的还是trial-and-error的人工方法。这在一般NN书中都有介绍的。

如果楼主可以将问题更加具体化一点,那么获得的帮助可能更直接一点。毕竟深入研究神经网络的理论和解决现实问题是两会事。
8楼2009-11-05 16:49:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主


小木虫(金币+0.5):给个红包,谢谢回帖交流
才迭代了20次?一般问题迭代20次好像很少的说。

大部分算法动因子, 学习速率都是自适应的。楼主是用matlab neural network toolbox做得吗?
11楼2009-11-07 15:12:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

nono2009

超级版主 (文学泰斗)

No gains, no pains.

优秀区长优秀区长优秀区长优秀区长优秀版主

推荐用matlab neural network toolbox,很强大、很方便。

自己编程也不错,可以更好地理解NN。看样子是写了个基本的BP,我很久以前自己写过,动量因子和学习速率在基本BP里的确很关键。后因效率太低,我又写了个动量因子和学习速率自适应的程序,改进了很多。后来发现matlab neural network toolbox,就把自己的程序都扔了。呵呵
14楼2009-11-07 15:48:37
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 yujunhui 的主题更新
普通表情 高级回复(可上传附件)
信息提示
请填处理意见