24小时热门版块排行榜

木虫 (小有名气)

[求助] 请问范数的梯度和稀疏性之间有什么关系？

具体见附件中的幻灯截图，里面介绍了1维情况下的L1范数为什么比L2范数更能导致稀疏，里面提到了梯度，但不知道梯度怎么和稀疏有关系，烦请高人解答，谢谢！

1.png

1楼 2013-11-23 11:43:38

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

银虫 (初入文坛)

★ ★ ★ ★ ★ ★ ★
hajion: 金币+7, ★★★★★最佳答案, 原来如此，明白了，非常感谢，金币送给你：） 2013-11-26 15:27:58

因为在求解优化问题时，我们的目标一般是让能量方程梯度等于零或者十分接近零。用2范数，只要值很小其梯度就会接近于零，所以可能有很多很小的值存在不满足稀疏性，而1范数只要不是零就是1，那么最后的解肯定是只保留很少的非零值于是就稀疏了。

3楼2013-11-26 14:14:44

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

木虫 (小有名气)

★ ★ ★
感谢参与，应助指数 +1
hajion: 金币+3, ★有帮助, 先谢谢你的回复，能不能具体说明下最小二乘法求解存在的可变性？ 2013-11-25 11:43:18

从求导的角度应该可以理解，ppt上已经写的和画的很清楚。左边的2α（上面蓝色函数求导后的梯度方向）是可变的，而右边-1或1是常数，所以过去用最小二乘法来求解存在可变性（即不稳定性），现在用L1范数就可以避免这个问题。不知道这么讲对不对，本人愚见。

2楼2013-11-25 10:53:22

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖