应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 专业学科区 » 数学 » 基础数学 » 关于利用梯度求最小值问题，急急急急急急急！！！！！~~~
101/1返回列表
查看: 1067  |  回复: 9
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

wowhow

新虫 (小有名气)

[求助] 关于利用梯度求最小值问题，急急急急急急急！！！！！~~~ 已有2人参与

是一篇高水平文章中的推导问题，个人无法理解，感觉是错的。
问题如下：
y是一个向量，f(y)是一个关于y的向量函数，求min f(y) 的最优解y.
通常方法：求f(y)的梯度▽f(y), 令▽f(y)=0（0为零向量），求得的y使得 f(y)最小。（这一步是对的吧？）

文中的▽f(y)解析表达式复杂且不可能为0，因此，作者给出的处理办法是，求 ▽f(y) 的二范数 ||▽f(y)||，
若||▽f(y)||→0， 则▽f(y)→0，这里没问题。
但是，||▽f(y)||也是一个恒大于0的数（不可能取到0），然后，问题来了，作者给出了一个结论，min f(y)等价于
min ||▽f(y)||，即原优化问题等价于求||▽f(y)||的最小值，这一步无法理解，求大神解释？

（ 如果||▽f(y)||能取到0，则||▽f(y)||的最小值为0，min ||▽f(y)||即▽f(y)取0，则f(y)取得最小值，显然。
   但文中||▽f(y)||明显是个大于0的数，||▽f(y)||取得最小值能保证f(y)最小？）
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:
1楼 2014-12-17 21:19:02
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zaq123321

专家顾问 (著名写手)

【答案】应助回帖

★ ★
感谢参与，应助指数 +1
wowhow(feixiaolin代发): 金币+2 2014-12-18 14:11:49
It can reach local minimum or maximum. Btw, it seems here f(y) is a multivariable function other than a vector function.

[ 发自手机版 http://muchong.com/3g ]
赞一下 回复此楼
小木虫给我温暖，给我希望，爱就要爱小木虫。
2楼2014-12-18 02:31:10
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

pippi6

铁杆木虫 (著名写手)

工程和科学数值计算咨询
有点奇怪，能求 范数不能求梯度？  那范数怎么做出来的？ 做范数的前提是先求出梯度啊。
赞一下 回复此楼
3楼2014-12-18 07:15:47
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wowhow

新虫 (小有名气)
引用回帖:
3楼: Originally posted by pippi6 at 2014-12-18 07:15:47
有点奇怪，能求 范数不能求梯度？  那范数怎么做出来的？ 做范数的前提是先求出梯度啊。

梯度能求啊，只不过直接分析梯度很复杂，因为公式里牵涉到求和项，所以转为 梯度的二范数进行分析。主要问题还是在 ||▽f(y)|| 最小，能保证 f(y) 最小吗？
赞一下 回复此楼
4楼2014-12-18 09:28:33
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wowhow

新虫 (小有名气)
引用回帖:
2楼: Originally posted by zaq123321 at 2014-12-18 02:31:10
It can reach local minimum or maximum. Btw, it seems here f(y) is a multivariable function other than a vector function.

谢谢！ 还是那个问题， ||▽f(y)|| 最小，能保证 f(y) 最小吗？ 有理论依据吗？
赞一下 回复此楼
5楼2014-12-18 09:29:16
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

pippi6

铁杆木虫 (著名写手)

工程和科学数值计算咨询

【答案】应助回帖

★ ★
感谢参与，应助指数 +1
wowhow(feixiaolin代发): 金币+2 2014-12-18 14:12:00
引用回帖:
4楼: Originally posted by wowhow at 2014-12-18 09:28:33
梯度能求啊，只不过直接分析梯度很复杂，因为公式里牵涉到求和项，所以转为 梯度的二范数进行分析。主要问题还是在 ||▽f(y)|| 最小，能保证 f(y) 最小吗？...

> 主要问题还是在 ||▽f(y)|| 最小，能保证 f(y) 最小吗？
那是当然。就像一个数绝对值最小，也就最接近于零。

但是，二范数的计算也需要先计算梯度 ▽f，无论多么复杂，所以还是不明白为什么计算范数能够省掉计算梯度
赞一下 回复此楼
6楼2014-12-18 09:53:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wowhow

新虫 (小有名气)
引用回帖:
6楼: Originally posted by pippi6 at 2014-12-18 09:53:03
> 主要问题还是在 ||▽f(y)|| 最小，能保证 f(y) 最小吗？
那是当然。就像一个数绝对值最小，也就最接近于零。

但是，二范数的计算也需要先计算梯度 ▽f，无论多么复杂，所以还是不明白为什么计算范数能够省 ...

文章是先计算了梯度，再计算梯度的二范数的。
还是有疑问， ||▽f(y)|| 最小，但是它是有一个常数项，明显大于0的，不可能无限接近于0，||▽f(y)|| 最小，能保证f(y)最小？
赞一下 回复此楼
7楼2014-12-18 09:56:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

pippi6

铁杆木虫 (著名写手)

工程和科学数值计算咨询
引用回帖:
7楼: Originally posted by wowhow at 2014-12-18 09:56:45
文章是先计算了梯度，再计算梯度的二范数的。
还是有疑问， ||▽f(y)|| 最小，但是它是有一个常数项，明显大于0的，不可能无限接近于0，||▽f(y)|| 最小，能保证f(y)最小？...

||▽f(y)|| =0 有可能是局部极值（即便这样也不能完全保证，比如鞍点），但是||▽f(y)|| 最小是什么都不能保证的。如果▽f没有零点，就会在区域边界上达到极值
赞一下 回复此楼
8楼2014-12-18 10:12:08
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zaq123321

专家顾问 (著名写手)

【答案】应助回帖

★ ★
wowhow(feixiaolin代发): 金币+2 2014-12-18 14:12:11
It can reach local minimum, maximum or saddle. If you want to be minimum or maximum, need to consider Hessian. If Hessian is positive definite, or negative definite, you can get local max or min.
赞一下 回复此楼
小木虫给我温暖，给我希望，爱就要爱小木虫。
9楼2014-12-18 10:38:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wowhow

新虫 (小有名气)
引用回帖:
8楼: Originally posted by pippi6 at 2014-12-18 10:12:08
||▽f(y)|| =0 有可能是局部极值（即便这样也不能完全保证，比如鞍点），但是||▽f(y)|| 最小是什么都不能保证的。如果▽f没有零点，就会在区域边界上达到极值...

很感谢，那文章的推导就是错误的，作者将f(y)最小的问题，通过一系列推导，等价于 ||▽f(y)|| 最小的问题。 最后仿真出来的结果又是很好的，真是巧了
赞一下 回复此楼
10楼2014-12-18 10:43:06
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 wowhow 的主题更新
101/1返回列表
普通表情 龙 兔 虎 猫
信息提示
关闭
请填处理意见
关闭