神经网络参数初始化的常见方法

参数初始化

bias偏置：直接初始化为0
weight权重：

• 随机初始化

  • 在高斯分布的数据中随机采样

• 标准初始化

  • 在均匀分布的随机数中采样

• Xavier初始化
  该方法的基本思想是各层的激活值和梯度的方差在传播过程中保持一致，也叫做Glorot初始化。

  • 正态化Xavier初始化
    

    import tensorflow as tf
    #正态分布的
    #实例化
    initializer = tf.keras.initializers.glorot_normal()
    values = initializer((9,1))
    print(values)
    

  • 标准化Xavier初始化

    

    import tensorflow as tf
    #标准化的
    initializer = tf.keras.initializers.glorot_uniform()
    values = initializer((9,1))
    print(values)
    

• He初始化

  he初始化也称Kaiming初始化，出自大神何凯明之手，它的基本思想是正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。

  • 正态化的he初始化

    

    import tensorflow as tf
    #正态分布
    initializer = tf.keras.initializers.he_normal()
    #采样得到权重
    values = initializer((9,1))
    print(values)
    

  • 标准化的he初始化

    

    import tensorflow as tf
    #标准化-均匀分布
    initializer = tf.keras.initializers.he_uniform()
    #采样得到权重
    values = initializer((9,1))
    print(values)