反向传播算法

反向传播算法的数学解释

反向传播算法是深度学习中用于训练神经网络的核心算法。它通过计算损失函数相对于网络权重的梯度来更新权重，从而最小化损失。

反向传播的基本原理

反向传播算法基于链式法则，它按层反向传递误差，从输出层开始，逐层向后至输入层。

1. 损失函数

• 假设损失函数为 $L$，用于衡量预测输出 $\hat{y}$ 和实际标签 $y$ 之间的差异。

2. 链式法则

• 链式法则用于计算损失函数相对于网络中每个权重的梯度。对于每个权重 $W$：

  $$\frac{\partial L}{\partial W}=\frac{\partial L}{\partial \hat{y}}\times \frac{\partial \hat{y}}{\partial W}$$

3. 梯度传播

• 在多层网络中，梯度需要通过每一层反向传播。对于层 $l$ 的权重 $W_l$：

  $$\frac{\partial L}{\partial W_l}=\frac{\partial L}{\partial \hat{y}}\times \frac{\partial \hat{y}}{\partial a_l}\times \frac{\partial a_l}{\partial W_l}$$

  其中 $a_l$ 是层 $l$ 的激活输出。

4. 权重更新

• 权重通过梯度下降法更新：

  $$W_{\text{new}}=W_{\text{old}}-\eta \times \frac{\partial L}{\partial W}$$

  其中 $\eta$ 是学习率。

反向传播的步骤

1. 前向传播：计算每层的激活输出直至输出层。
2. 损失计算：计算预测输出与实际标签的损失。
3. 反向传播：从输出层开始，逐层向后计算损失函数相对于每个权重的梯度。
4. 更新权重：根据计算得到的梯度更新网络的权重。

反向传播使得深度神经网络能够通过学习数据中的复杂模式来优化其性能，这是现代深度学习应用的基石。

代码

import tensorflow as tf
from tensorflow.keras.layers import Dense
from tensorflow.keras.models import Sequential

# 创建一个简单的神经网络
model = Sequential([
    Dense(10, activation='relu', input_shape=(784,)),
    Dense(10, activation='softmax')
])

# 编译模型，使用交叉熵损失函数和SGD优化器
model.compile(optimizer='sgd', loss='categorical_crossentropy', metrics=['accuracy'])

# 假设有训练数据 X_train, y_train
# X_train = ... # 输入数据
# y_train = ... # 标签数据

# 训练模型
# model.fit(X_train, y_train, epochs=10)

# 在这个过程中，TensorFlow 自动执行前向传播、损失计算、反向传播和权重更新

在这个示例中，我们定义了一个含有两层的简单神经网络，并使用随机梯度下降（SGD）作为优化器。在训练过程中，TensorFlow 会自动处理前向传播、损失计算、反向传播和权重更新的步骤