机器学习模型——SVM（支持向量机）

基本概念：

Support Vector Machine （支持向量机）:  

支持向量：支持或支撑平面上把两类类别划分开来的超平面的向量点。

机：一个算法

SVM是基于统计学习理论的一种机器学习方法。简单地说，就是将数据单元表示在多维空间中，然后在这个空间中对数据做划分的算法。  

SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性之间寻求最佳折衷，以期获得最好的推广能力（或泛化能力）。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，因此SVM解决问题的时候，和样本的维数是无关的。（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然也是因为因为引入了核函数）。

https://www.cnblogs.com/massquantity/p/10920043.html      具体原理推荐大家看这一篇

详细介绍：

SVM，即支持向量机（Support Vector Machine），是一种用于分类和回归分析的机器学习算法。

线性分类器：SVM的基础是一个线性分类器，这意味着它通过在特征空间中绘制一条直线来区分不同的类别。在二维空间中，这条线就是一条直线；在三维空间中，它变成了一个平面；在更高维的空间中，它是一个超平面。

最大间隔：SVM的一个特点是它试图找到最佳的分界线，使得两个类别之间的间隔（距离）尽可能大。这个间隔被称为“最大边距”，这样做的目的是为了确保分类的准确性和可靠性。

支持向量：在SVM中，最靠近分界线的点被称为“支持向量”。这些点对于确定分界线的位置至关重要，因为它们是构建模型的关键数据点。

核技巧：尽管SVM最初是线性分类器，但它可以通过所谓的“核技巧”来处理非线性问题。核技巧允许SVM将数据映射到一个更高维的空间，在这个空间中数据变得线性可分。

泛化能力：SVM的设计旨在通过有限的样本信息在模型的复杂性和学习能力之间寻求平衡，以获得良好的泛化能力，即在新的数据上也能做出准确的预测。

SVM的原理较为复杂，里面有提到拉格朗日等知识，这里我就不多说了。

当一个分类问题，数据是线性可分的，也就是用一根棍就可以将两种小球分开的时候，我们只要将棍的位置放在让小球距离棍的距离最大化的位置即可，寻找这个最大间隔的过程，就叫做最优化。 但是，现实往往是很残酷的，一般的数据是线性不可分的，也就是找不到一个棍将两种小球很好的分类。这个时候，我们就需要像大侠一样，将小球拍起，用一张纸代替小棍将小球进行分类。想要让数据飞起，我们需要的东 西就是核函数(kernel)，用于切分小球的纸，就是超平面。

核函数：

https://www.zhihu.com/question/24627666 核函数

由于从输入空间到特征空间的这种映射会使得维度发生爆炸似地增长，这给映射过程中的内积的计算带来了很大地困难，而且如果遇到无穷维的情况就根本无法计算。而且如果先将数据从低维映射到高维后，再计算两数据的内积，计算量会非常大，因此核函数就此被引入用来解决SVM分类的非线性问题。

核函数：基本作用是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量的内积。因此只需要在输入空间内就可以进行特征空间的内机。 通过上述描述，我们知道要想构造核函数，需要明确输入空间内数据的分布情况，我们并不知道自己所处理的数据的具体分布，故一般很难构造出完全符合输入空间的核函数。因此常用几种常用的核函数来代替构造核函数。

 常用核函数的特性：

线性核函数：主要用于线性可分的情况，我们可以看到特征空间到输入空间的维度是一样的，但是其参数减少速度快，对于线性可分数据，其分类效果很理想且效率更高。因此我们通常首先使用线性核函数来做分类，如果不行再换用其他核函数。

多项式核函数：多项式核函数可以实现将低维的输入空间映射到高维的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算复杂度是会大到无法计算（线性核函数可以看作多项式核函数的一种）。

高斯核函数：在常用的核函数中，使用最广泛的就是RBF核，无论低维、高维、小样本、大样本等情况，RBF核都适用，具有较宽的收敛域，是较理想的分类依据函数。

Sigmoid核函数：采用Sigmoid核函数，支持向量机实现得就是一种多层神经网络。

理解SVM要用到的数学知识较多，这里我就不解释了，我直接用代码来实现了，想了解原理可以学习一下李航老师的统计学习方法。