吴恩达2022机器学习专项课程(一） 5.5 特征缩放1 & 5.6 特征缩放2

问题预览/关键词

1. 什么是特征缩放？作用是什么？
2. 特征尺度和参数w权重的关系是？
3. 算法为什么要调节w权重？
4. 不进行特征缩放对梯度下降的影响？
5. 有特征缩放对梯度下降的影响？
6. 实现特征缩放的三种方法是？
7. 如何实现最大值缩放？
8. 如何实现均值归一化？
9. 如何实现Z-score标准化？
10. 判断缩放成功的标准是？
11. 什么情况需要重新缩放？

笔记

1.特征缩放

将所有特征调整到同一尺度，加速梯度下降收敛，参数权重均衡，模型无偏向特征，提高准确性。

2.特征尺度和w权重的关系

当特征x取值范围大，算法会将对应w的权重（取值范围）调小，反之亦然。

3.算法调节w权重

保证模型里的每个特征影响力均衡，尽量达到特征缩放的效果。

4.没有特征缩放

特征差异过大导致w的权重差异大，等高线图呈椭圆，梯度下降反复横跳，收敛变慢，影响性能。

5.进行特征缩放

特征差异小，尺度一致，w参数的权重尺度一致，梯度下降更快收敛。

6.特征缩放的三种方法

最大值缩放，均值归一化，Z-score标准化。

7.最大值缩放

输入特征的最小值和最大值分别除以最大值，重新计算特征取值范围。

8.均值归一化

分子：某个输入特征列表里的每一个特征值减去平均值。分母：特征范围的最大值减去最小值。

9.Z-score标准化

分子：某个输入特征列表里的每一个特征值减去平均值。分母：计算该列表里每个特征的标准差。

10.缩放成功标准

通常是 -1 到 +1 附近，但 -3 到 +3 或 -0.3 到 +0.3 也可接受。

11.重新缩放

范围过大或过小，需要重新缩放。

总结

在每个特征的差异较大的情况下，如果没有特征缩放，对应每个w参数的差异也很大，导致梯度下降的收敛速度变慢，影响模型的性能。如果使用特征缩放，每个w参数的尺度也一致，能使梯度下降尽快收敛。特征缩放有三种方法：最大值缩放，均值归一化，Z-score标准化。如果特征缩放后的范围过大或过小，我们都要重新缩放。如果缩放后的范围适度，则可以使用这个范围。