深度学习记录--学习率衰减(learning rate decay)

2024-01-22 22:30:02
开发
48

学习率衰减

mini-batch梯度下降最终会在最小值附近的区间摆动(噪声很大)，不会精确收敛

为了更加近似最小值，采用学习率衰减的方法

随着学习率的衰减，步长会逐渐变小，因此最终摆动的区间会很小，更加近似最小值

如下图，蓝色曲线表示mini-batch梯度下降，绿色曲线表示采用学习率衰减的梯度下降

学习率衰减的实现

1 epoch = 遍历数据1次

$\alpha = \frac{1}{1+rate_{decay}*num_{epoch}} *\alpha_{0}$

$rate_{decay}$ 是学习率衰减的超参数， $\alpha_{0}$ 是初始学习率， $num_{epoch}$ 是遍历次数

其他衰减方案

$\alpha = \varepsilon ^{num_{epoch}}*\alpha_{0}$

$\alpha_{0}$ 是初始学习率， $\varepsilon$ 是衰减常量，一般设置 $\varepsilon=0.95$ ， $num_{epoch}$ 是遍历次数

$\alpha = \frac{k}{\sqrt{num_{epoch}}} *\alpha_{0}$

$\alpha_{0}$ 是初始学习率， $k$ 是衰减常量， $num_{epoch}$ 是遍历次数

分段衰减函数

原文地址:https://blog.csdn.net/Xudong_12345/article/details/135731758 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：https://www.suanlizi.com/kf/1749439279538507776.html 如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！

阅读全部