【pytorch16】MLP反向传播

链式法则回顾

多输出感知机的推导公式回顾

只与w相关的输出节点和输入节点有关

多层多输入感知机

扩展为多层感知机的话，意味着还有一些层（理解为隐藏层σ函数），暂且设置为$x_j$层

对于$x_j$层如果把前面的层数和输入挡住的话就可以类似于一个单层的多输入感知机一样

逐步推导最终的loss对第二层$w_{jk}$的推导公式

把$O_k^k$与$t_k$的线性组合换元成${\delta }_k^k$,因此对于最终的输出层上面一共有k个节点的话，最终会有k个${\delta }^k$，通过这个中间变量可以得到${\delta }^k$的变量再乘一个输入$O^j$，通过这两个相乘就可以得到一个损失对$w_{jk}$的梯度计算公式，看起来比原先的要简洁和清晰，所以单独取了一个名字

${\delta }^k$可以通过前项计算得到，$O^k$和$t_k$都是知道的，因此这一部分可以直接在前项计算的时候就把${\delta }^k$求出来，再取上一层的$O^j$的变量就可以直接得到矩阵数组（$O^j$看做列向量，${\delta }^k$为行向量），这个矩阵数组代表了这一层所有连接的梯度信息，通过这个矩阵可以直接更新梯度也就是$w_{jk}$

可以看出O的下标是w的行数，δ的下标是w的列数

现在我们希望得到最终层的loss对第一层的$w_{ij}$的推导公式

第二步，把偏微分可以写进求和符合，因为只有$O_k$包含$w_{ij}$，可以把$O_k$作为一个整体

第三步，继续把$O_k$展开，$O_k$是$x_k$经过激活函数得到的

第四步，使用链式法则

第五步，$\sigma (x_k)$就是$O_k$，把第四步的偏微分用链式法则展开，让$x_k$对中间变量$O_j$偏导，再让$O_j$对$w_{ij}$偏导

第六步，$x_k$对具体的$O_j$偏导而言，$x_k$是$O_j{w}_{jk}$的累加（此时j是一个范围属于[0到n]），只有当范围的j与具体的j相同时，偏导才存在为$w_{jk}$，看图的话只有一条线影响

第七步，由于$w_{ij}$与求和中的k变量无关，因此可以提前

第八步，$\sigma (x_j)$就是$O_j$同第四步和第五步，而$x_j$对$w_{ij}$的偏微分（同第六步，$x_j$等于$x_i^0{w}_{ij}$的累加）只有当$w_{ij}$相等时偏导才存在为$x_i^0$，此处设置为$O_i$

总结

用${\delta }^k$替换求和中线性组合部分，变成了三段表达式


${\delta }^k$定义为从k层节点开始到最终的输出层的梯度传到的一个信息，这个信息是什么也不好说太复杂了，但是可以明确只要拿到了${\delta }^k$的信息，这一层的任何节点的梯度信息就可以直接使用当前的O节点的输出乘以前面的所有信息${\delta }^k$

同样对于中间层而言，也只需要得到上一层的输入和这一层${\delta }^j$的信息就可以得到隐藏层的梯度信息

首先计算输出层的${\delta }^k$以及输出层的更新的梯度信息，得到输出层以后计算导数第二层的${\delta }^j$和梯度信息($w_{ij}$的)

通过这种方式再可以计算倒数第三层的${\delta }^i$和梯度信息就可以计算出所有层的偏微分的信息

得到这个梯度信息以后，可以直接使用链式法则以及梯度更新方式，更新权值，反复循环达到我们想要的一个程度