一、什么是SVM
支持向量机(Support Vector Machine，SVM)是用于分类的一种算法，也属于有监督学习的范畴。
当一个分类问题，数据是线性可分（linearly separable）的，也就是用一根棍就可以将两种小球分开的时候，我们只要将棍的位置放在让小球距离棍的距离最大化的位置即可，寻找这个最大间隔的过程，就叫做最优化。但是，现实往往是很残酷的，一般的数据是线性不可分的，也就是找不到一个棍将两种小球很好的分类。这个时候，我们就需要球模拟成三维空间，然后找到将球分类的平面。而将球模拟成三维空间的这个东西就是核函数（kernel），用于切分小球的平面就是超平面（hyperplane）。如果数据集是N维的，那么超平面即使N-1维的。
把一个数据集正确分开的超平面可能有多个（如下图），而那个具有“最大间隔”的超平面就是SVM要寻找的最优解。而这个正则的最优解对应的两侧虚线所穿过的样本点，就是SVM中的支持样本点，称为“支持向量（support vector）”。支持向量到超平面的距离被称为间隔（margin）。
二、线性SVM
1. 概述
一个最优化问题通常有两个最基本的因素：
① 目标函数，也就是你希望什么东西的什么指标大到最好；
② 优化对象，你期望通过改变哪些因素来使你的目标函数达到最优。
在线性SVM算法中，目标函数显然就是那个“间隔”， 而优化对象则是超平面。
我们以线性可分的二分类问题为例
