支持向量机——机器学习思考总结(3)

​ 本篇文章为作者阅读西瓜书和《统计学习方法》中所思所想,我想要抽离出我看到的有价值的,可学习的地方做一个总结。因个人能力有限,所以请各位读者多多赐教。每一个分点为我认为有价值的点。

内容来源:本节内容以周志华《机器学习》的第六章支持向量机部分和李航的《统计学习方法》第七章为基础,融合少量网上搜集到的资料。

1. 支持向量机的分类?

​ 根据训练数据的性质,可对选用的支持向量机进行分类。当训练数据线性可分时,通过硬间隔最大化,学习一个线性的分类器,即线性可分支持向量机,又称为硬间隔支持向量机;训练数据近似线性可分时,得到线性支持向量机,又称为软间隔支持向量机;训练数据线性不可分时,通过使用核技巧及软间隔最大化,学习非线性支持向量机。

2. 函数间隔和几何间隔?

​ 在支持向量机中,我们用$wx+b=0$这个超平面对训练数据集进行分类。那么$wx+b=c$是关于$c$的一个超平面族,在$w,b$保持一致的情况下,$c$的差别就可以代表距离的远近。那么我们就可以利用这个定义一个函数间隔,即:

注意这里${y_i} \in \{ 1, - 1\} $.

​ 但是函数间隔有个问题,就是这里有一个多余的自由度,即$w,b,c$是成比例的,为了破除这个,我们有多种方法,常用的$||w||=1$或者$c=1$。这时,函数间隔称为几何间隔,因为间隔是确定的了。

3. 最大间隔分离超平面的存在唯一性?

​ 约束最优化问题的形式是:

​ 这种形式下,可以看出解一定是存在的。唯一性可以用反证法证明,基本思路是首先可以看出$||w_1||=||w_2||$,然后取两者均值可以证明$w_1=w_2$,继而对约束条件做差,取其中支持向量的点,可以得到$b_1=b_2$,完成证明。

4. 拉格朗日对偶性?