24小时热门版块排行榜    

查看: 1169  |  回复: 6
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

ilovewby

铜虫 (正式写手)

[交流] 为什么convexity在优化中如此重要?

本人是搞机器学习的,平时会遇到很多优化相关的内容。

我个人对于convexity的理解是,如果一个问题是convex的,那么局部解也就是全局解。所以我的想法就是,是不是关于convex的理论,都适用于nonconvex的问题呢?只要我们把global替换成local即可?
比如某个算法对于convex的的全局收敛速度,如果是O(1/n),那么对于nonconvex的问题,它依然O(1/n)速度收敛,只不过收敛到某个局部最优。

对于某些特定算法,难道convex的问题会比convex的收敛更快?

还望大家不吝赐教~
回复此楼

» 猜你喜欢

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ilovewby

铜虫 (正式写手)

引用回帖:
5楼: Originally posted by FMStation at 2016-08-21 12:38:24
https://inst.eecs.berkeley.edu/~ee127a/book/login/l_intro_complex.html
easy - solved in a reasonable amount of time and memory on a computer
hard - the worst-case computing time grows as the proble ...

谢谢给出的链接~

但我还是不能理解,为什么non-covexity让问题变困难。

从我对于此网页链接的内容的理解上看,所谓的hard,是不是就是指找出全局最优解更加困难?(e.g.,travelling salesman problem)如果是这样的话,那是不是就可以按照我理解的那样,凸与非凸的差别,仅仅是在global和local上?而从算法的角度上讲没有太大的区别?(当然,就我所知,貌似很多人研究非凸问题,并且试图证明他们的算法在某种条件下可以逼近全局最优解)

如果我们对于一个local optimal solution可以接受的话(比如神经网络),那么我们是不是就不用去care这个convex的问题了?
6楼2016-08-22 08:51:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 7 个回答

yxh20061587

新虫 (著名写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
正在学习凸优化,斯坦福大学的Boyd很厉害。

发自小木虫IOS客户端
2楼2016-08-20 01:19:59
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

FMStation

至尊木虫 (知名作家)


小木虫: 金币+0.5, 给个红包,谢谢回帖
'convex' = 'easy' and 'nonconvex' = 'hard'
3楼2016-08-22 05:12:27
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ilovewby

铜虫 (正式写手)

引用回帖:
3楼: Originally posted by FMStation at 2016-08-21 09:12:27
'convex' = 'easy' and 'nonconvex' = 'hard'

所谓easy和hard是以什么标准来评判的?

在我看来,其中的差别仅仅在于全局最优的问题。从算法的角度上看,适用于convex的优化算法,同样适用于nonconvex,只不过不能保证global optimal不是么?
4楼2016-08-22 07:25:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 341求调剂(一志愿湖南大学070300) +5 番茄头--- 2026-03-22 6/300 2026-03-23 23:45 by Txy@872106
[考研] 299求调剂 +5 某某某某位 2026-03-21 5/250 2026-03-23 23:36 by 热情沙漠
[考研] 085600材料与化工调剂 +7 A-哆啦Z梦 2026-03-23 12/600 2026-03-23 23:16 by 星空星月
[考研] 335分 | 材料与化工专硕 | GPA 4.07 | 有科研经历 +4 cccchenso 2026-03-23 4/200 2026-03-23 23:00 by 徐ckkk
[考研] 284求调剂 +3 yanzhixue111 2026-03-23 6/300 2026-03-23 22:58 by pswait
[考研] 328求调剂,英语六级551,有科研经历 +7 生物工程调剂 2026-03-17 12/600 2026-03-23 18:18 by YMU施老师
[考研] 一志愿中国石油大学(华东) 本科齐鲁工业大学 +4 石能伟 2026-03-17 4/200 2026-03-23 17:51 by 17862566385
[论文投稿] 急发核心期刊论文 +3 贤达问津 2026-03-23 5/250 2026-03-23 17:13 by 妹子不好惹
[考研] 一志愿东华大学化学070300,求调剂 +7 2117205181 2026-03-21 8/400 2026-03-22 22:55 by chixmc
[考研] 289材料与化工(085600)B区求调剂 +3 这么名字咋样 2026-03-22 4/200 2026-03-22 17:56 by 云民大李老师
[考研] 324求调剂 +6 lucky呀呀呀鸭 2026-03-20 6/300 2026-03-22 16:01 by ColorlessPI
[考研] 0703化学调剂 +4 妮妮ninicgb 2026-03-21 4/200 2026-03-21 18:39 by 学员8dgXkO
[考研] 313求调剂 +4 肆叁贰壹22 2026-03-19 4/200 2026-03-21 17:33 by ColorlessPI
[考研] 一志愿重庆大学085700资源与环境总分308求调剂 +7 墨墨漠 2026-03-20 7/350 2026-03-21 16:36 by barlinike
[考研] 材料学学硕080502 337求调剂-一志愿华中科技大学 +4 顺顺顺mr 2026-03-18 5/250 2026-03-21 10:22 by luoyongfeng
[考研] 317求调剂 +5 申子申申 2026-03-19 9/450 2026-03-20 22:26 by JourneyLucky
[考研] 295复试调剂 +8 简木ChuFront 2026-03-19 8/400 2026-03-20 20:44 by zhukairuo
[考研] 广西大学家禽遗传育种课题组2026年硕士招生(接收计算机专业调剂) +3 123阿标 2026-03-17 3/150 2026-03-20 15:58 by 飞行琦
[考研] 一志愿中国海洋大学,生物学,301分,求调剂 +5 1孙悟空 2026-03-17 6/300 2026-03-19 23:46 by zcl123
[考研] 材料,纺织,生物(0856、0710),化学招生啦 +3 Eember. 2026-03-17 9/450 2026-03-18 10:28 by Eember.
信息提示
请填处理意见