pytorch链式法则

1. 主要的法则

如下图：

链式法则的就是一级一级的求导，比如：y对x求导，首先计算y对中间变量u的导数，然后再乘以u对x的导数

2. 基本的法则

• f + g
  y = $x^2$ + x = 2x +1
• f - g
  y = $x^3$ - 3x = 3x - 3
• 𝑓𝑔 ′ = 𝑓′𝑔 + 𝑓𝑔′
  $x^{4^1}$ = $x^{2^1}$$x^2$ + $x^2$$x^{2^1}$ = 2x *$x^2$ + $x^2$ * 2x = 2$x^3$ + 2$x^3$ = 4$x^3$
• softmax求导
  
  之前推导过，这里就不详述了。

3. 链式法则

如下图：
y对x求导，先计算y对中间变量u的导数，再乘以u对x的导数
u是中间层又叫隐藏层

由于$y_2$ = (x$w_1$ + $b_1$) * $w_2$ + $b_1$比较简单也可直接展开，但是对于有激活函数的式子直接展开就比较复杂了，因此还是要使用链式法则比较好。

e对w求导，经过了两级，一级一级求导即可。

4. pytorch验证链式法则

如下图：

从图中可以看出链式法则结果与pytorch自动求导结果一致，证明链式法则有效。