24小时热门版块排行榜    

查看: 1233  |  回复: 1

zhangtianhu

铜虫 (初入文坛)

[求助] 如何确定最速下降法的步长

目标函数是一个泛函表达式,步长用一维寻优求解,且为一定值。

目标函数



优化迭代公式
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

leedobb

金虫 (正式写手)

【答案】应助回帖


soliton923(金币+1): 谢谢参与讨论~~~ 2011-12-04 17:23:05
zhangtianhu(金币+2): 2011-12-07 09:01:57
(\beta*\Dealta t ) < |2/( d^2 J/d g^2)|

步长应该尽量小于其两阶求导的绝对值的倒数的2倍。

原因是:
\Delta g = - beta * \Delta t * d J/ dg

J(g +\Delta g ) ~ J+ dJ/dg * Delta g + 1/2 * d^2 J / d g^2 *\delta g

= J(g) - (d J/ d g)^2 \Delta t   *  [ 1- (d^2 J/ d g^2) \Delta g /2]
< J(g)

上式中小于号成立的条件就是步长的要求
有一天,我打了个瞌睡就到了这里,但我知道我掉入了时光的循环中,虽得以永生,但只有第一个循环有意义。
2楼2011-12-04 15:57:38
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 zhangtianhu 的主题更新
信息提示
请填处理意见