| 查看: 1268 | 回复: 5 | ||
| 当前主题已经存档。 | ||
[交流]
【求助】增广拉格朗日方法
|
||
|
想用增广拉格朗日方法求解一优化问题。 不过有些地方不懂，比如假设只有等式约束， min f(x) s.t. g(x)=0 增广拉格朗日函数P(x,lamda,r)=f(x)-lamda*g(x)+ r/2*g(x)^2； 我的问题是： 迭代出lamda后，如果用牛顿法求解x，是不是用拉格朗日函数的导数？ L(x,lamda)=f(x)-lamda*g(x)? 因为这样才满足kkt条件？ 我看有的书上写的是通过设置lamda的迭代值，可以把P的导数等同于L的导数？ 有点乱，看了一些文献，觉得数学性太强了，不懂。 [ Last edited by 小雨萌萌 on 2010-4-6 at 10:31 ] |
回复此楼
2楼2010-04-06 11:29:15
|
谢谢版主！ 我看了一下你给的文章，他求解等式约束是Armijo搜索？这个我也不懂是什么，但是算法看了个大概。 我在袁亚湘的书里翻出来一个乘子罚函数的算法，p474-475， 里面提及的算法是： 1.设置lamda，r和x的初值 2.求解x(k+1)=arg min {P(x,lamda,r)} 3.迭代惩罚因子 r （提及的文献要避免的？为了防止r趋向于无穷大？） 4.迭代lamda 5.转 2 我在一文献里发现有人用增广lagrange算法，他用的是牛顿迭代求解第二步中的x*,但是他用到的雅克比矩阵和海森矩阵都是关于L的，而不是P，我总结了一下他的迭代是这样的： 1.设置lamda，和x的初值，r保持不变 2.迭代lamda 3.求解x(k+1)=arg min {L(x,lamda)} 4.转 2 我看袁亚湘的书，因为lamda的更新放在了第二步，所以按他的书的算法，min P变成了min L。 我只是不知道这样对吗？他本人引用的优化参考文献是 constrained optimization and lagrange multiplier methods，这个文献我查不到。 谢谢！ 我不清楚这样的做法 [ Last edited by 小雨萌萌 on 2010-4-6 at 19:44 ] |
3楼2010-04-06 15:05:33
★ ★
javeey(金币+2):谢谢解答 2010-04-06 20:07
javeey(金币+2):谢谢解答 2010-04-06 20:07
| 当函数具有某些好的性质时，函数F和L的稳定点是一样的。你说的那个文献可以在网上免费下载的http://www.ebookee.net/Constrain ... Series-_212576.html。 |
4楼2010-04-06 19:57:21
|
谢谢版主！ 不过可惜那个链接的文件已经被删除了 还有一个不太相关的问题：我在amazon上看到有人给这本书的评论是： out of date... many new approaches (e.g., SQP, GRG, trust-region methods, interior point methods) have gained favor for their greater efficiency and robustness. Even so, Augmented Lagrangian methods remain relevant and interesting, in part because of their relationship to some newer approaches. 像我在一般情况下，求约束优化基本就会考虑到拉格朗日乘子法罚函数法之类的，求解非约束一般用牛顿法这样的。 但是实际上在选用某种优化算法是，是不是用评论中所说的新方法更可靠更好一些？不考虑比较简单的情况下。 |
5楼2010-04-07 10:28:52
6楼2010-04-07 11:53:45
