| 查看: 3212 | 回复: 3 | |||
| 当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖 | |||
[求助]
复合函数的矩阵求导 已有1人参与
|
|||
 问题如图。 我看过论坛里其他类似的对矩阵求导的讨论，我的问题是：
这个问题，是在求解神经网络的参数梯度的时候遇到的，为了简化问题我表述成了上述形式。 因为目标函数比较复杂，如果按矩阵元素推导会很麻烦，所以我直接对矩阵求导，但是我尝试写代码的时候才发现了这个无法相乘的问题。 我看到一些文章提到可以利用张量求列向量对矩阵的导数，但没有更进一步的解释了。 如果有描述模糊和不正确的地方，麻烦指正，我会及时修改。谢谢大家了！ |
回复此楼» 猜你喜欢
有多少人是今天查系统知道结果的？
已经有14人回复
-
能否退出参与的面上项目解除限项
已经有26人回复
-
出来了
已经有9人回复
-
只有每年这种时候来逛逛小木虫
已经有28人回复
-
哪位高人中了，把查询到的截图贴出来让我看看，让我长长见识
已经有5人回复
-
为什么国自然不能直接公布
已经有4人回复
-
系统查不到
已经有9人回复
-
科研孤儿太难了
已经有22人回复
-
怎么查啊
已经有4人回复
-
国合里面能看到了
已经有7人回复
» 本主题相关商家推荐: (我也要在这里推广)
» 本主题相关价值贴推荐，对您同样有帮助:
- 考研数学复习冲刺方法与技巧【转】
已经有9人回复
- 【分享】2011考研数学二大纲
已经有9人回复
- 【分享】10年数2大纲！！
已经有13人回复
zaq123321
专家顾问 (著名写手)
-
专家经验: +343 - 数学EPI: 6
- 应助: 298 (大学生)
- 贵宾: 0.247
- 金币: 11171.3
- 散金: 545
- 红花: 29
- 帖子: 1223
- 在线: 539.9小时
- 虫号: 405284
- 注册: 2007-06-17
- 性别: MM
- 专业: 生物大分子结构与功能
- 管辖: 数学
4楼2015-11-04 10:32:54
zaq123321
专家顾问 (著名写手)
-
专家经验: +343 - 数学EPI: 6
- 应助: 298 (大学生)
- 贵宾: 0.247
- 金币: 11171.3
- 散金: 545
- 红花: 29
- 帖子: 1223
- 在线: 539.9小时
- 虫号: 405284
- 注册: 2007-06-17
- 性别: MM
- 专业: 生物大分子结构与功能
- 管辖: 数学
2楼2015-11-04 00:09:04
|
J 是 [p - [c1 ; c2]] 的二范数的平方再乘以二分之一，为了简化问题可以把 J 重新定义为： J = ||p||，即 J 为 p 的一范数，系数全为1的p的分量的线性组合。 对于改过的式子，我按元素推导，先得到了{∂J / ∂Wij}，这个结果可以认为是正确的。接着我按矩阵向量推导（不考虑矩阵求导规则），结果是： {∂J / ∂Wij} = ((J/p) * (p/q)） * (q/W)) = [1, 1, ... , 1] * V * [c1;c2] 其中 J/p 表示 J 对 p 求偏导，其余一样。 并且偏导数 J/p 和 p/q 用的分子布局，所以 J/p 是 2n 维行向量，p/q 是2n x n 矩阵，而 q/W 暂时不考虑正确性和布局形式直接用 [c1;c2] 表示。 然后由于维度不同不构成乘法项，我把上面结果改成： ((J/p) * (p/q))' * c' '表示取转置。然后这样的结果就和我按元素推导的结果相同了。我想知道这样的做法对不对？因为虽然结果正确了，但是我在这里还是用了不适用的链式法则，而且还以满足乘法规则为目的对结果取转置，这种做法可能只是答案正确而且很偶然。 |
3楼2015-11-04 09:45:10
投票:
