逻辑回归模型
机器学习的分类
机器学习的两个种类：
- 有监督学习：数据集带标签（题目有正确答案）
- 无监督学习：数据集不带有标签，比如聚类算法
有监督学习两大任务：
- 回归任务：预测结果是无限个值，是连续值（体重值、分数值、可能性百分比…）
- 分类任务：预测结果的种类有限，是离散值（是/不是、健康/不健康…）
逻辑回归模型原理
逻辑回归是利用回归的方法进行二分类。
常用 σ ( x ) σ(x) σ(x) 或者 s i g ( x ) sig(x) sig(x) 表示 sigmoid 函数。
线性回归模型的结果通过 sigmoid 函数映射到0-1的区间，通过阈值将其二分类。
损失函数
定义损失函数（以一维为例）：
J ( w , b ) = y ⋅ log σ ( w x + b ) + ( 1 − y ) ⋅ log ( 1 − σ ( w x + b ) ) J(w,b) = y \cdot \log{σ(wx+b)}+(1-y) \cdot \log(1-σ(wx+b)) J(w,b)=y⋅logσ(wx+b)+(1−y)⋅log(1−σ(wx+b))
- 对于一个样本，其真实标签为 y y y（取值为 0 或 1）。我们希望当 y = 1 y=1 y=1 时， σ ( w x + b ) σ(wx+b) σ(wx+b) 尽可能地接近 1，当 y = 0 y=0
