机器学习西瓜书之对数几率回归

算法原理

在线性模型的基础上增加一个激活函数用于映射。

知识预备

信息论

用概率论和随机过程为基本研究工具，研究广义通信系统的整个过程。常见的有无损压缩、有数据压缩等。

• 自信息：$I(X)=-{\log }_{b}p(x)$ 在概率是0.5的时候最没法确认到底数值是多少

• 信息熵（自信息的期望）：信息熵越大越不确定，用数学的方式量化不确定性。

• 相对熵（KL散度）：度量两个分布的差异以及典型场景用来度量理想分布$p(x)$（最想求解的分布）和模拟分布$q(x)$之间的差异。计算公式如下：

  $\begin{array}{rl}{D}_{KL}(p||q)& =\sum _{x}p(x){\log }_b(\frac{p(x)}{q(x)})\\ & =\sum _{x}p(x)\left({\log }_{b}p(x)-{\log }_{b}q(x)\right)\\ & =\sum _{x}p(x){\log }_{b}p(x)-\sum _{x}p(x){\log }_{b}q(x)\end{array}$

• 交叉熵：$-{\sum }_{x}p(x){\log }_{b}q(x)$，相对熵中的被减的部分，要使得原来的最大，就要最小化交叉熵。

• 对照课本上面的公式

  $\ell (\mathbf{\beta })={\sum }_{i=1}^m\left(-y_i{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i+\ln \left(1+e^{{\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i}\right)\right)$
  从机器学习三要素中的“策略”角度分析，与理想分布最接近的分布就是最佳分布。

对应机器学习三要素

1. 模型：线性模型，结合sigmoid函数实现输出值规范在0-1之间
2. 策略：极大似然估计
3. 算法：梯度下降，牛顿法；求出一个近似解就行。