然后对于,梯度下降,为了让训练的速度更好,更快的下降,又做了很多算法,可以看到
这里要知道Transformer中最常用的Adam 和 AdamW这两种算法.
当然，这些算法都是用于优化神经网络中的参数，以最小化损失函数。下面我会尽量以通俗易懂的方式解释它们的原理和适用场景。
1. **L-BFGS（Limited-memory BFGS）**：
- **原理**：L-BFGS是一种拟牛顿方法，用于解决大规模的优化问题。
它使用历史梯度来近似Hessian矩阵（即目标函数的二阶导数矩阵），以此来更新参数。
- **适用场景**：当数据集不是特别大时，L-BFGS表现很好，因为它需要存储过去的
一些梯度信息。但对于特别大的数据集或网络，其内存需求可能会变得太大。
2. **Rprop（Resilient Propagation）**：
- **原理**：Rprop是一种基于梯度的优化算法，但与其它算法不同的是，它不使用
学习率。它通过自适应调整每个参数的学习步长来优化网络。
- **适用场景**：Rprop特别适用于训练神经网络，尤其是当网络包含多个局部最
小值时。但由于其不使用全局学习率，它可能不如其它算法那样易于实现或调整。
3. **RMSprop**：
- **原理**：RMSprop是Geoff Hinton提出的一种自适应学习率方法。它通过计算梯度
平方的移动平均来调整每个参数的学习率。
- **适用场景**：RMSprop在处理非平稳
