吴恩达《机器学习》12-1:优化目标

在机器学习的旅程中,我们已经接触了多种学习算法。在监督学习中,选择使用算法 A 还是算法 B 的重要性逐渐减弱,而更关键的是如何在应用这些算法时优化目标。这包括设计特征、选择正则化参数等因素,这些在不同水平的实践者之间可能表现出截然不同的效果。

在支持向量机(Support Vector Machine,SVM)这一强大而受欢迎的算法中,我们发现了一种更为清晰且强大的学习方式,尤其在处理复杂非线性方程时。在这篇文章中,我们将深入研究支持向量机,了解其优化目标和数学定义。

优化目标的起点

与以往一样,我们从优化目标开始。在逻辑回归中,我们熟悉的是假设函数和 S 型激励函数。然而,支持向量机采用了一种更为直接和强大的方式来学习。我们将逐步从逻辑回归演变到支持向量机。

首先,我们回顾了逻辑回归中的代价函数,其中每个样本对总代价函数都有贡献。对于样本(𝑥,𝑦),我们考虑了当 𝑦 = 1 时的情况,其中代价函数项为 −log(1 − 1 / (1 + 𝑒^(−𝑧)))。通过观察这个函数在 𝑧(表示为 𝜃^𝑇𝑥) 增大时的行为,我们理解了逻辑回归在观察正样本时试图将 𝜃^𝑇𝑥 设得非常大的原因。

构建支持向量机

现在,我们开始构建支持向量机。我们将逻辑回归中的代价函数进行修改,引入两条新的线段,分别对应于𝑦 = 1 和 𝑦 = 0 的情况。这为支持向量机的建立奠定了基础。

我们引入两个新的代价函数,分别命名为cos𝑡1(𝑧)和cos𝑡0(𝑧),其中 𝑧 表示 𝜃^𝑇𝑥。这两个函数在数学上是连续的线段,代表了支持向量机的优化目标。

支持向量机的代价函数形式为 𝐶 × cos𝑡1(𝑧) + cos𝑡0(𝑧),其中 𝐶 是一个权衡项,代替了逻辑回归中的正则化参数 𝜆。通过调整 𝐶 的大小,我们可以灵活地调整对拟合训练样本和正则化项的重视程度。

SVM 的数学定义

支持向量机通过最小化优化目标函数来学习参数,这一目标函数包含了代价函数和正则化项。通过将逻辑回归中的正则化参数 𝜆 替换为 𝐶,我们得到了支持向量机的数学定义。最终,支持向量机的假设函数直接预测 𝑦 的值是 1 还是 0,根据 𝜃^𝑇𝑥 大于或等于 0 的情况。

参考资料

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-11 18:12:04       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-11 18:12:04       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-11 18:12:04       82 阅读
  4. Python语言-面向对象

    2023-12-11 18:12:04       91 阅读

热门阅读

  1. UV、PV解析

    2023-12-11 18:12:04       64 阅读
  2. 4.PyTorch——优化器

    2023-12-11 18:12:04       54 阅读
  3. react re-render的解决方案

    2023-12-11 18:12:04       59 阅读
  4. golang游戏服务器 - tgf系列课程01

    2023-12-11 18:12:04       61 阅读
  5. GO设计模式——3、抽象工厂模式(创建型)

    2023-12-11 18:12:04       59 阅读
  6. Vue学习笔记-Vue3中setup函数注意点

    2023-12-11 18:12:04       61 阅读
  7. 风扭转对风力发电机的影响

    2023-12-11 18:12:04       57 阅读