吴恩达2022机器学习专项课程(一) 第二周课程实验:特征工程和多项式回归(Lab_04)

目标

探索特征工程和多项式回归,使用线性回归来拟合非常复杂甚至非线性的函数。

1.为什么线性回归能拟合非线性函数?

fx=w*x²+b,属于线性回归的扩展,这个公式在数学中不属于线性,因为有x²,而在机器学习中属于线性回归,因为w,b是一次项,详情有待补充。

2.线性回归函数拟合非线性数据

  • 红色数据点y=1+x**2,x,y的关系是非线性,需要一个函数拟合非线性数据点。
  • 特征数组X为一次项,因此线性回归w*x+b无法拟合非线性数据。
    在这里插入图片描述

3.多项式回归函数拟合非线性数据

扩展线性回归为多项式回归,重新构建特征数组X=x**2,对应函数x²*w+b,通过梯度下降计算最佳w,b并代入函数,能够拟合非线性数据。
在这里插入图片描述

4.设计新特征

  • 继续扩展多项式回归,通过对x平方立方,设计出2个新特征。对应函数为f_wb = xw0+x²w1+x³*w2+b 。
    在这里插入图片描述
  • 此函数没有很好的拟合数据,w1的权重最大0.54,代表x²特征对预测结果影响最大。在这里插入图片描述

4.根据特征数量自动设置w

n表示特征数量。
在这里插入图片描述

5.线性模型捕捉非线性关系

𝑥²特征与目标值y呈线性关系。线性回归可以很容易地使用该特征生成模型。
在这里插入图片描述

6.多项式回归的特征缩放

  • 使用Z标准化缩放X特征。
    在这里插入图片描述
  • 可以使用比之前更大的学习率,梯度下降更快收敛。在这里插入图片描述

7.多项式回归拟合更复杂的数据

在这里插入图片描述
在这里插入图片描述

总结

当我们发现数据的走势为非线性,选择线性回归函数已经无法拟合数据,所以我们采用多项式回归。但是我们不能随意的设计出新特征,结合实验例子,如果数据的关系是y=1+x²,f_wb=wx²+b函数可以很好的拟合数据,而f_wb=w0x+w1x²+w2x³+b函数则不会很好的拟合数据。而在多项式回归中,特征缩放是很重要的,因为多项式特征之间的差异是很大的。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-13 17:20:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-13 17:20:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-04-13 17:20:02       82 阅读
  4. Python语言-面向对象

    2024-04-13 17:20:02       91 阅读

热门阅读

  1. 蓝桥杯真题有奖问答

    2024-04-13 17:20:02       34 阅读
  2. day21-二叉树part08

    2024-04-13 17:20:02       37 阅读
  3. 【AI 测试】一:算法和数据结构理解

    2024-04-13 17:20:02       35 阅读
  4. MTK Android13 霸屏实现

    2024-04-13 17:20:02       30 阅读
  5. 蓝桥杯Python B组练习——分解质因数

    2024-04-13 17:20:02       32 阅读
  6. 数据结构和算法

    2024-04-13 17:20:02       34 阅读
  7. SpringBoot 优雅实现超大文件上传,通用方案

    2024-04-13 17:20:02       30 阅读