机器学习-逻辑回归

简介

逻辑回归是用与分类问题的 ,比如说 一个人是否 是男的,
要么是 要么不是.

假说表示

这里我用 乳腺癌分类问题,我们可以用线性回归的方法求出适合数据的一条直线

在这里插入图片描述
根据线性回归模型我们只能预测连续的值,然而对于分类问题,我们需要输出 0 或 1,我们可以预测:
在这里插入图片描述
对于上图所示的数据,这样的一个线性模型似乎能很好地完成分类任务。假使我们又观测到一个非常大尺寸的恶性肿瘤,将其作为实例加入到我们的训练集中来,这将使得我们获得一条新的直线。
在这里插入图片描述
这时,再使用 0.5 作为阀值来预测肿瘤是良性还是恶性便不合适了。可以看出,线性回归模型,因为其预测的值可以超越[0,1]的范围,并不适合解决这样的问题。如何解决的呢,那就是用逻辑函数.

逻辑函数

公式为:
在这里插入图片描述
在这里插入图片描述
然后将之前的值当做参数传入进去 ,就成为了[0,1]之间的数据,而要是什么就成为一种概率了
在这里插入图片描述

判定边界

现在讲下决策边界(decision boundary)的概念。这个概念能更好地帮助我们理解逻辑回归的假设函数在计算什么.
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

代价函数

介绍如何拟合逻辑回归模型的参数𝜃。具体来说,我要定义用来
拟合参数的优化目标或者叫代价函数,这便是监督学习问题中的逻辑回归模型的拟合问题。

对于线性回归模型,我们定义的代价函数是所有模型误差的平方和。理论上来说,我们也可以对逻辑回归模型沿用这个定义,但是问题在于,当我们将
在这里插入图片描述
带入到这样定义了的代价函数中时,我们得到的代价函数将是一个非凸函数.
在这里插入图片描述
这意味着我们的代价函数有许多局部最小值,这将影响梯度下降算法寻找全局最小值。
在这里插入图片描述
在这里插入图片描述

多类别分类:一对多

在这里插入图片描述
我用 3 种不同的符号来代表 3 个类别,问题就是给出 3 个类型的数据集,我们如何得到一个学习算法来进行分类呢?
现在已经知道如何进行二元分类,可以使用逻辑回归,对于直线或许你也知道,可以将数据集一分为二为正类和负类。用一对多的分类思想,我们可以将其用在多类分类问题上.
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

相关推荐

  1. 机器学习——逻辑回归

    2024-03-18 13:48:02       36 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-18 13:48:02       91 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-18 13:48:02       97 阅读
  3. 在Django里面运行非项目文件

    2024-03-18 13:48:02       78 阅读
  4. Python语言-面向对象

    2024-03-18 13:48:02       88 阅读

热门阅读

  1. MySQL-1

    MySQL-1

    2024-03-18 13:48:02      33 阅读
  2. Windows安装Elasticsearch8.x保姆级教程

    2024-03-18 13:48:02       39 阅读
  3. c# .net6 Task 多线程介绍

    2024-03-18 13:48:02       33 阅读
  4. 24计算机考研调剂 | 华侨大学

    2024-03-18 13:48:02       37 阅读
  5. 区域和检索-数组不可变(Lc303)——前缀和

    2024-03-18 13:48:02       39 阅读
  6. 计算机网络的概念

    2024-03-18 13:48:02       43 阅读
  7. 光模块:组件、分类及应用

    2024-03-18 13:48:02       41 阅读
  8. 前端 - 让多个块级元素div在同一行显示的3种方式

    2024-03-18 13:48:02       46 阅读
  9. 前端 - 管理后台自定义侧边导航栏

    2024-03-18 13:48:02       42 阅读
  10. web开发模式

    2024-03-18 13:48:02       44 阅读
  11. 前端系统设计个人总结

    2024-03-18 13:48:02       36 阅读