逻辑回归(Logistic Regression,LR)

分类回归是机器学习的两个主要问题。

  • 分类处理的是离散数据
  • 回归处理的是连续数据

线性回归:回归

  • 拟合一条线
  • 预测函数:              y = W^{T}*x+b

逻辑回归:分类——找到一条线可以将不同类别区分开

  • 虽然称为逻辑回归,但是实际是一种分类学习方法。是用逻辑函数将线性回归的结果映射到(0,1)值。
  • 逻辑函数                       y = \frac{1}{1+e^{-x}}
  • 预测函数:              y = \sigma (W^{T}*x+b)

如何求逻辑回归中的参数

极大似然函数,估计出得出目前结果的最大可能性。

                                p(Y=1|x) = \frac{1}{1+e^{-x}}=g_{\theta }(x)

                                p(Y=0|x) = 1-\frac{1}{1+e^{-x}} =\frac{1}{1+e^{x}}=1-g_{\theta }(x)

所以对于一个样本(x,y),他的标签y的概率可以定义为:

                                 p(y|x,\theta ) = (g_{\theta }(x)))^{y}(1-g_{\theta }(x))^{1-y}

当有m也样本时:

                             L(\theta ) =\prod_{i=1}^{m} p(y_{i}|x_{i},\theta ) = \sum_{i=1}^{m}(g_{\theta }(x_{i})))^{y_{i}}(1-g_{\theta }(x_{i}))^{1-y_{i}}  

其中o为需要求的参数。

怎样求解,在不改变函数单调性的对数函数,可以把乘法变为加法,得到对数似然函数。所以可以用对数似然函数构造损失函数,然后采用梯度下降法求解。

未完

相关推荐

  1. 逻辑回归OvR策略

    2024-07-18 19:46:01       52 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-18 19:46:01       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-18 19:46:01       71 阅读
  3. 在Django里面运行非项目文件

    2024-07-18 19:46:01       58 阅读
  4. Python语言-面向对象

    2024-07-18 19:46:01       69 阅读

热门阅读

  1. opencv—常用函数学习_“干货“_5

    2024-07-18 19:46:01       24 阅读
  2. 光伏储能剑指何方

    2024-07-18 19:46:01       20 阅读
  3. Web前端-Web开发CSS基础5-浮动

    2024-07-18 19:46:01       18 阅读
  4. 【J1期末测试】学习之星

    2024-07-18 19:46:01       24 阅读
  5. MySQL 溢出页、页分裂、表空间碎片

    2024-07-18 19:46:01       23 阅读
  6. mysql8和mysql5版本在使用mybatis框架时的注意事项

    2024-07-18 19:46:01       24 阅读