应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

Znn3bq.jpeg
小木虫论坛-学术科研互动平台 » 专业学科区 » 数学 » 工科数学 » 复合函数的矩阵求导
41/1返回列表
查看: 3016  |  回复: 3
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

pluiefox

新虫 (初入文坛)

[求助] 复合函数的矩阵求导 已有1人参与


问题如图。
我看过论坛里其他类似的对矩阵求导的讨论，我的问题是：

  1. 导数表示形式的分子布局、分母布局何时使用以及在同一个方程中能否混合使用，如果可以，什么样的情况下才需要选择特定的表示形式？
  2. 我在维基百科Matrix  calculus词条中看到这样一句话：
    引用回帖:
    The chain rule applies in some of the cases, but unfortunately does not apply in matrix-by-scalar derivatives or scalar-by-matrix derivatives (in the latter case, mostly involving the trace operator applied to matrices).

    这样的话，那么所给图片里红色式子左边部分的链式法则的应用就是错的。以图片中求为例，我应该如何对涉及矩阵的复合函数求导？


这个问题，是在求解神经网络的参数梯度的时候遇到的，为了简化问题我表述成了上述形式。
因为目标函数比较复杂，如果按矩阵元素推导会很麻烦，所以我直接对矩阵求导，但是我尝试写代码的时候才发现了这个无法相乘的问题。
我看到一些文章提到可以利用张量求列向量对矩阵的导数，但没有更进一步的解释了。
如果有描述模糊和不正确的地方，麻烦指正，我会及时修改。谢谢大家了！
回复此楼

» 猜你喜欢

» 本主题相关商家推荐: (我也要在这里推广)

» 本主题相关价值贴推荐，对您同样有帮助:
1楼 2015-11-02 20:17:37
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zaq123321

专家顾问 (著名写手)
What's the matrix norm in J

[ 发自手机版 http://muchong.com/3g ]
赞一下 回复此楼
小木虫给我温暖，给我希望，爱就要爱小木虫。
2楼2015-11-04 00:09:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

pluiefox

新虫 (初入文坛)
引用回帖:
2楼: Originally posted by zaq123321 at 2015-11-04 00:09:04
What's the matrix norm in J

J 是 [p - [c1 ; c2]] 的二范数的平方再乘以二分之一，为了简化问题可以把 J 重新定义为：
J = ||p||，即 J 为 p 的一范数，系数全为1的p的分量的线性组合。
对于改过的式子，我按元素推导，先得到了{∂J / ∂Wij}，这个结果可以认为是正确的。接着我按矩阵向量推导（不考虑矩阵求导规则），结果是：
{∂J / ∂Wij} = ((J/p) * (p/q)） * (q/W)) = [1, 1, ... , 1] * V * [c1;c2]
其中 J/p 表示 J 对 p 求偏导，其余一样。
并且偏导数 J/p 和 p/q 用的分子布局，所以 J/p 是 2n 维行向量，p/q 是2n x n 矩阵，而 q/W 暂时不考虑正确性和布局形式直接用 [c1;c2] 表示。
然后由于维度不同不构成乘法项，我把上面结果改成：
((J/p) * (p/q))' * c'
'表示取转置。然后这样的结果就和我按元素推导的结果相同了。我想知道这样的做法对不对？因为虽然结果正确了，但是我在这里还是用了不适用的链式法则，而且还以满足乘法规则为目的对结果取转置，这种做法可能只是答案正确而且很偶然。
赞一下(1人) 回复此楼
3楼2015-11-04 09:45:10
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zaq123321

专家顾问 (著名写手)

【答案】应助回帖

感谢参与，应助指数 +1
引用回帖:
3楼: Originally posted by pluiefox at 2015-11-04 09:45:10
J 是  的二范数的平方再乘以二分之一，为了简化问题可以把 J 重新定义为：
J = ||p||，即 J 为 p 的一范数，系数全为1的p的分量的线性组合。
对于改过的式子，我按元素推导，先得到了{∂J / ∂Wij}，这 ...

You can write out the squared vector norm as inner product   f=<a, a>=a^Ta.
Here a=(VW-I)(c_1, c_2).
Then df/dW = 2*<a, da/dW>  
You can find how to calculate da/dW from matrix calculus website and get answer.
赞一下 回复此楼
小木虫给我温暖，给我希望，爱就要爱小木虫。
4楼2015-11-04 10:32:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 pluiefox 的主题更新
41/1返回列表
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 085600材料与化工349分求调剂 +8 李木子啊哈哈 2026-04-12 9/450 2026-04-12 22:55 by 李木子啊哈哈
[考研] 一志愿085502，267分求调剂 +14 再忙也要吃饭啊 2026-04-08 15/750 2026-04-12 22:33 by fqwang
[考研] 调剂求收留 +29 果然有我 2026-04-10 30/1500 2026-04-12 22:14 by zxcwyt
[考研] 复试调剂 +14 积极向上； 2026-04-10 16/800 2026-04-12 20:02 by gruyclewee
[考研] 电气专硕320求调剂 +6 小麻子111 2026-04-10 6/300 2026-04-12 10:54 by lemon6009
[考研] 材料与化工300求调剂 +39 肖开文 2026-04-09 43/2150 2026-04-12 01:30 by 秋豆菜芽
[考研] 277 数一104，学硕，求调剂 +21 瓶子PZ 2026-04-09 23/1150 2026-04-11 23:12 by labixiaoqiao
[考研] 一志愿211，0703化学305分求调剂 +26 严西西戏 2026-04-06 33/1650 2026-04-11 23:01 by 314126402
[考研] 266求调剂，一志愿哈工程电子信息，本科获多项国奖和省奖 +8 lumine1 2026-04-06 8/400 2026-04-11 18:35 by 逆水乘风
[考研] 296求调剂 +6 汪！？！ 2026-04-09 6/300 2026-04-11 11:25 by zhq0425
[考研] 农学0904 312求调剂 +6 Say Never 2026-04-10 6/300 2026-04-11 10:33 by wwj2530616
[考研] 263能源动力专硕求调剂 +4 加大号饭盒袋 2026-04-10 4/200 2026-04-10 20:52 by gong120082
[考研] 吉大计算机技术331分，英语六级，求调剂 +3 峰峰021116 2026-04-09 3/150 2026-04-10 20:01 by chemisry
[考研] 332，085601求调剂 +12 ydfyh 2026-04-09 14/700 2026-04-09 17:28 by wp06
[考研] 生物学308分求调剂（一志愿华东师大） +13 相信必会光芒万� 2026-04-06 16/800 2026-04-09 13:54 by 徐良白眉大侠
[考研] 296求调剂 +3 汪！？！ 2026-04-08 3/150 2026-04-08 22:00 by zhouyuwinner
[考研] 生物学学硕，初试351分，求调剂 +4 …～、王…～ 2026-04-08 5/250 2026-04-08 21:49 by limeifeng
[考研] 一志愿西南090202求调剂 +4 在线求有学上 2026-04-07 4/200 2026-04-07 19:47 by biomichael
[考研] 一志愿南科大生物学297分，求调剂推荐 +8 Y-yyusx 2026-04-06 9/450 2026-04-07 19:38 by biomichael
[考研] 372分材料与化工（085600）英二数二求调剂 +4 蓝笺片 2026-04-06 4/200 2026-04-07 12:30 by dongzh2009
信息提示
关闭
请填处理意见
关闭