【机器学习笔记】3 逻辑回归

分类问题

分类问题监督学习最主要的类型,主要特征是标签离散,逻辑回归是解决分类问题的常见算法,输入变量可以是离散的也可以是连续的

二分类

先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次,步骤:①->②
在这里插入图片描述

多分类问题

先定义其中一类为类型1(正类),其余数据为负类(rest);接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有𝑛类,那就需要分类𝑛-1次,步骤:①->②->③->……
在这里插入图片描述

Sigmoid函数

Sigmoid函数是二分类问题最常见的激活函数
在这里插入图片描述
线性回归的函数 ℎ(𝑥) = 𝑧 = 𝑤T𝑥,范围是(−∞, +∞)。
而分类预测结果需要得到[0,1]的概率值。
在二分类模型中,事件的几率odds:事件发生与事件不发生的概率之比为 𝑝/(1−𝑝)
称为事件的发生比(the odds of experiencing an event)
其中𝑝为随机事件发生的概率,𝑝的范围为[0,1]。
在这里插入图片描述
在这里插入图片描述

逻辑回归求解

在这里插入图片描述
在这里插入图片描述
为了衡量算法在全部训练样本上的表现如何,需要定义一个算法的代价函数,算法的代价函数是对𝑚个样本的损失函数求和然后除以𝑚:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
通常用L2正则化
在这里插入图片描述

逻辑回归的代码实现

在这里插入图片描述
在这里插入图片描述

相关推荐

  1. 机器学习——逻辑回归

    2024-02-19 23:22:01       36 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-19 23:22:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-19 23:22:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-02-19 23:22:01       82 阅读
  4. Python语言-面向对象

    2024-02-19 23:22:01       91 阅读

热门阅读

  1. 蓝桥杯刷题--python-8(2023 填空题)

    2024-02-19 23:22:01       59 阅读
  2. 如何在1Panel上偷渡HTTP/3

    2024-02-19 23:22:01       57 阅读
  3. 代码随想录刷题第34天

    2024-02-19 23:22:01       56 阅读
  4. SQL查询数据是否存在

    2024-02-19 23:22:01       58 阅读
  5. AI技术助力环境问题的解决:潜力与挑战

    2024-02-19 23:22:01       56 阅读
  6. 局部特征描述子与关键点

    2024-02-19 23:22:01       55 阅读