深度学习记录--随机初始化

权重

权重，指的是变量系数w，决定了变量的变化率

它会改变dw，进而改变下一轮的w(改变更新)

神经网络的权重

对于神经网络(含隐藏层)

由于权重的对称性，我们的隐层的神经单元输出始终不变，出现隐藏神经元的对称性

这种对称性会导致a值和w值无法进行正常的迭代更新，导致每层的节点作用式微，神经网络也就失去其作用了

一般来说，模型所有的权重w随机初始化，所有偏置b初始化为0

这种方法，在反向传播的过程中所有权重的导数都不相同，所以权重和偏置b都能得到更新

logistic回归的权重

下图是logistic回归的示例图

尽管当w1,w2为0时，依然可以有x1,x2不同使dw1,dw2不同，重新改变w1,w2，起到不断迭代的作用

同理，当b为0时，也是可以依照同样的过程使b重新改变，起到不断迭代的作用

辨析

总体来说，节点权重的对称性与权重的初始化对于迭代更新有着巨大的作用

一般都要将权重w随机初始化，同时附上一个适当小的常量系数(对于tanh激活函数可以让更新率变快)

更多细节详见参考文章谈谈神经网络权重为什么不能初始化为0 - 知乎 (zhihu.com)