| 查看: 1165 | 回复: 6 | |||
[交流]
为什么convexity在优化中如此重要？
|
|
本人是搞机器学习的，平时会遇到很多优化相关的内容。 我个人对于convexity的理解是，如果一个问题是convex的，那么局部解也就是全局解。所以我的想法就是，是不是关于convex的理论，都适用于nonconvex的问题呢？只要我们把global替换成local即可？ 比如某个算法对于convex的的全局收敛速度，如果是O(1/n)，那么对于nonconvex的问题，它依然O(1/n)速度收敛，只不过收敛到某个局部最优。 对于某些特定算法，难道convex的问题会比convex的收敛更快？ 还望大家不吝赐教~ |
回复此楼» 猜你喜欢
08工学调剂
已经有11人回复
-
350求调剂
已经有6人回复
-
求调剂一志愿武汉理工大学材料工程（085601）
已经有4人回复
-
一志愿重庆大学085700资源与环境，总分308求调剂
已经有6人回复
-
接收2026硕士调剂(学硕+专硕)
已经有6人回复
-
081700 调剂 267分
已经有5人回复
-
328求调剂
已经有4人回复
-
0854 考研调剂 招生了！AI 方向
已经有14人回复
-
招08考数学
已经有14人回复
-
一志愿上海交大生物与医药专硕324分，求调剂
已经有4人回复
yxh20061587
新虫 (著名写手)
- 应助: 25 (小学生)
- 金币: 2006.5
- 散金: 1045
- 红花: 6
- 帖子: 1103
- 在线: 329.4小时
- 虫号: 1268932
- 注册: 2011-04-18
- 性别: GG
- 专业: 工业工程与管理
2楼2016-08-20 01:19:59
FMStation
至尊木虫 (知名作家)
- 信息EPI: 1
- 应助: 591 (博士)
- 贵宾: 0.03
- 金币: 18349.2
- 红花: 97
- 帖子: 8891
- 在线: 1490.1小时
- 虫号: 2400059
- 注册: 2013-04-04
- 专业: 计算机应用技术
3楼2016-08-22 05:12:27
4楼2016-08-22 07:25:03
FMStation
至尊木虫 (知名作家)
- 信息EPI: 1
- 应助: 591 (博士)
- 贵宾: 0.03
- 金币: 18349.2
- 红花: 97
- 帖子: 8891
- 在线: 1490.1小时
- 虫号: 2400059
- 注册: 2013-04-04
- 专业: 计算机应用技术
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
小木虫: 金币+0.5, 给个红包，谢谢回帖
|
https://inst.eecs.berkeley.edu/~ ... _intro_complex.html easy - solved in a reasonable amount of time and memory on a computer hard - the worst-case computing time grows as the problem size grows |
5楼2016-08-22 08:38:24
|
谢谢给出的链接~ 但我还是不能理解，为什么non-covexity让问题变困难。 从我对于此网页链接的内容的理解上看，所谓的hard，是不是就是指找出全局最优解更加困难？（e.g.，travelling salesman problem）如果是这样的话，那是不是就可以按照我理解的那样，凸与非凸的差别，仅仅是在global和local上？而从算法的角度上讲没有太大的区别？（当然，就我所知，貌似很多人研究非凸问题，并且试图证明他们的算法在某种条件下可以逼近全局最优解） 如果我们对于一个local optimal solution可以接受的话（比如神经网络），那么我们是不是就不用去care这个convex的问题了？ |
6楼2016-08-22 08:51:07
FMStation
至尊木虫 (知名作家)
- 信息EPI: 1
- 应助: 591 (博士)
- 贵宾: 0.03
- 金币: 18349.2
- 红花: 97
- 帖子: 8891
- 在线: 1490.1小时
- 虫号: 2400059
- 注册: 2013-04-04
- 专业: 计算机应用技术
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
小木虫: 金币+0.5, 给个红包，谢谢回帖
7楼2016-08-22 10:22:45
40