非参数化模型，当数据集规模增大时，其参数量也相应变多
希望从这无数个可以分隔两个点集的超平面中，挑选出与任意一点间隔（margin）的最小值最大的平面
支持向量机的数学描述
对上式来说，当w和b的大小同时变为λ倍时，式中的分母||w||也变为λ倍，这时划分超平面完全不变
定义γ = yi(wx+b)为函数间隔，γi = γ / ||w||为几何间隔。我们希望所有样本到平面的几何间隔 γi 的最小值最大
于是，支持向量机的优化目标可以写为：
上面已经提到，函数间隔γ关于w和b的大小并不影响实际的几何间隔γi，因为其变化总会被||w||所抵消。因此，不妨令γ=1。这样上面的优化目标就变为：
为了求解方便，我们选择凸的单调递增函数，进一步将优化目标等价地写为：
如果数据线性不可分，我们可以适当放低上面的约束要求，引入松弛变量ξi，将约束问题改写为：
凸优化的原始问题：
定义其拉格朗日函数（Lagrangian function）为：
当约束条件满足时，拉格朗日函数的最大值恰好就等于原问题的目标函数f(w)，从而原问题可以写为：
将上面优化问题中计算min和max的顺序交换，定义其对偶问题为：
所以求解拉格朗日函数得到w和b，代入对偶函数得到：
序列最小优化
pass
