【机器学习300问】15、什么是逻辑回归模型?

一、逻辑回归模型是为了解决什么问题?

        逻辑回归(Logistic Regression)是一种广义线性回归分析模型,尤其适用于解决二分类问题(输出为两个类别)。

(1)二分类举例

  • 邮件过滤:判断一封电子邮件是否为垃圾邮件。结果为垃圾邮件(1)或非垃圾邮件(0);
  • 医疗诊断:判断病人是否患有某种疾病,如癌症。结果为患病(1)或健康(0);
  • 情感分析:针对一段文本评论,判断其情感倾向是积极(1)还是消极(0);
  • 用户点击预测:在广告推荐系统中,预测用户是否会点击展示的广告。结果为点击(1)或未点击(0)

        逻辑回归虽然最初是设计来处理二分类问题的,它其实是回归模型的一种,只不过它解决的是分类问题而不是预测问题。虽然后面他也可以使用“一对多”(One-vs-All)的策略来处理可以处理多分类问题,但我在这篇文章中只介绍逻辑回归模型处理二分类问题。

二、逻辑回归模型与sigmoid函数的关系

(1)首先我有一个线性函数

模型的核心部分是一个线性函数,即输入特征与模型参数(权重和偏置)的线性组合。

        f_{w,b}(x)=w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}+b

        z = w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}+b

        第一个式子是我们之前学过的多元线性回归模型,第二个式子中我用一个中间变量z来接收这个多项式。其中,z是线性组合的输出,x_{i}是特征变量,w_{i}是对应的特征权重,b是偏置项。

(2)其次我将线性函数与sigmoid函数结合

        为了将线性函数的输出转换为预测类别(通常是0或1)的概率,逻辑回归引入了sigmoid函数,它又叫做logistic函数。结合操作就是指将上面的z带入\sigma (z)中。

\sigma (z) = \frac{1}{1+e^{-z}}

其图像如下图:

        在逻辑回归模型中,Sigmoid函数用于将样本特征的线性组合转换为概率,这个转换过程实际上是一种“概率编码”。sigmoid函数将线性函数的输出压缩并平滑地映射到(0,1)区间内,从而可以解释为正类(例如1)的概率。当预测概率大于某预定阈值(通常取0.5)时,模型预测为正类;否则预测为负类。

(3)结合后的逻辑回归模型

逻辑回归模型的输出是这样的形式:

P(y=1|x;\theta )=\sigma (\widehat{w}x+b)

  • x 是输入特征向量,
  • θ=(w,b) 是模型参数,其中w 是权重向量,b 是偏置项,
  • σ 是sigmoid函数,
  • P(y=1∣x;θ) 表示给定特征 x 的条件下,样本属于正类的概率。

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-22 05:20:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-22 05:20:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-22 05:20:01       82 阅读
  4. Python语言-面向对象

    2024-01-22 05:20:01       91 阅读

热门阅读

  1. Hbase 与 ElasticSearch 的结合使用

    2024-01-22 05:20:01       54 阅读
  2. K8s常用命令

    2024-01-22 05:20:01       60 阅读
  3. Windows.h中的函数有哪些?

    2024-01-22 05:20:01       63 阅读
  4. C++轮子 · STL关联容器

    2024-01-22 05:20:01       66 阅读
  5. 如何将一个字符串转换为整数?

    2024-01-22 05:20:01       64 阅读
  6. helm Charts模板指南

    2024-01-22 05:20:01       51 阅读
  7. IOT pwn

    IOT pwn

    2024-01-22 05:20:01      42 阅读
  8. nlohmann::json 超简单序列化反序列化

    2024-01-22 05:20:01       53 阅读