| 查看: 1045 | 回复: 3 | |||
heianzlx银虫 (初入文坛)
|
[求助]
BFGS、牛顿法、最速下降法的收敛性问题 已有1人参与
|
| 对于一个非线性无约束优化问题，一般来说(即不清楚该目标函数是否为凸函数) ，拟牛顿法 是不是比梯度下降法和牛顿法的收敛性要好？能否给出一些相关的比较的性质及其文献出处？谢谢 |
回复此楼» 猜你喜欢
假如你的研究生提出不合理要求
已经有8人回复
-
萌生出自己或许不适合搞科研的想法，现在跑or等等看？
已经有4人回复
-
Materials Today Chemistry审稿周期
已经有4人回复
-
参与限项
已经有3人回复
-
实验室接单子
已经有4人回复
-
全日制（定向）博士
已经有4人回复
-
对氯苯硼酸纯化
已经有3人回复
-
求助:我三月中下旬出站，青基依托单位怎么办？
已经有12人回复
-
所感
已经有4人回复
-
要不要辞职读博？
已经有7人回复
» 本主题相关价值贴推荐，对您同样有帮助:
- 求助解复杂非线性方程组的好的方法
已经有24人回复
feixiaolin
荣誉版主 (文坛精英)
-
专家经验: +518 - 应助: 942 (博后)
- 贵宾: 1.275
- 金币: 3430
- 散金: 58785
- 红花: 532
- 沙发: 11
- 帖子: 24215
- 在线: 2601.8小时
- 虫号: 2139575
- 注册: 2012-11-21
- 专业: 光学信息获取与处理
- 管辖: 数学
2楼2015-02-06 19:26:56
suntree4152
铁虫 (正式写手)
- 应助: 31 (小学生)
- 金币: 1861.3
- 红花: 11
- 帖子: 378
- 在线: 150.9小时
- 虫号: 3100182
- 注册: 2014-03-30
- 专业: 信号理论与信号处理
【答案】应助回帖
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与，应助指数 +1
heianzlx: 金币+50, ★有帮助 2015-06-26 16:21:57
感谢参与，应助指数 +1
heianzlx: 金币+50, ★有帮助 2015-06-26 16:21:57
| 如果目标函数非凸，这些方法一般只能收敛到局部最优点。Newton法的思想是在当前点附近的区域用Tylor二阶展开来近似目标函数，如 f(xk + dx) ~= f(xk) + gk'dx + 1/2 * dx'Hdx (1), 而最速下降法则用Tylor一阶展开近似：f(xk + dx) ~= f(xk) + gk'dx (2), 一般来说牛顿法要比最速下降法快很多， 特别是Hessian方阵H的条件数（最大特征根比最小特征根）很大时，最速下降法收敛很慢，但牛顿法不受影响，当然牛顿法付出的代价是要储存并计算H的逆。quasi-Newton法和BFGS法是为了提高牛顿法的计算效率对牛顿的近似处理。具体文献你可以参考Boyd 2009年的convex optimization. |
3楼2015-02-06 21:14:47
pippi6
铁杆木虫 (著名写手)
工程和科学数值计算咨询
- 数学EPI: 6
- 应助: 413 (硕士)
- 贵宾: 0.002
- 金币: 7116.5
- 散金: 15
- 红花: 63
- 帖子: 1639
- 在线: 798.9小时
- 虫号: 2469437
- 注册: 2013-05-14
- 专业: 计算数学与科学工程计算
4楼2015-02-07 07:36:55