《支持向量机SVM.ppt》由会员分享，可在线阅读，更多相关《支持向量机SVM.ppt（23页珍藏版）》请在三一办公上搜索。
1、支持向量机SVM,主要内容,1.SVM简介 2.SVM相关概念解释 3.SVM原理 3.1线性可分 3.2线性不可分,支持向量机简介,支持向量机(Support Vector Machine)是Vapnik等人在1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。,SVM相关概念解释,VC维：对于一个指示函数（即只有0和1两种取值的函数）集，如果
2、存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目。,圈代表0；点代表1；,SVM相关概念解释,经验风险：使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值。根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。缺点：1.经验风险主要反映的是样本数据与真实结果的差距，而样本数据在实际项目中只是总体的一小部分；2.过度地强调经验风险最小化容
3、易造成过学习问题。,SVM相关概念解释,过学习问题,推广能力:将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。,underfitting,Good fit,overfitting,选择了一个足够复杂的分类函数，能够精确的记住每一个样本，但对样本之外的数据可能一律分类错误。,SVM相关概念解释,结构风险最小化即SRM准则:统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表
4、了我们在多大程度上可以信任分类器在未知样本上分类的结果。置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的VC维(分类函数的复杂度)，显然VC维越大，推广能力越差，置信风险会变大.,SVM相关概念解释,SVM原理数据线性可分,2个类的问题,设两类问题训练样本集为(X1,y1),(X2,y2),(Xn,yn),其中XiRn,yi=1,-1,i=1,n，这里线性可分就是指，存在着超平面（Hyper-plane）直线f(x)=wX+b，使得训练样本中的一类输入和另一类输入分别位于该超平面的两侧.,这种线性分类函数在一维空间里就是一
5、个点，在二维空间里就是一条直线，三维空间里就是一个平面，可以如此想象下去，如果不关注空间的维数，这种线性函数还有一个统一的名称超平面（Hyper Plane）！,最优超平面,就是分割的间隙越大越好，把两个类别的点分得越开越好。具有最大边缘超平面,如何求最优超平面,分离超平面可以记作：W X+b=0 其中，W是权重向量，即W=w1，w2，.，wn，n是属性数，b是标量，通常称做偏倚。训练组是二维的，如X=（x1，x2），其中 x1，x2 分别是X的属性A、B的值。我们将b看作附加的权重w0，则将分离超平面改写成 b+w1 x1+w2 x2=0 这样，位于分离超平面下方的点满足 b+w1 x1+w
6、2 x2 0 调整权重使得定义边缘侧面的超平面记为 H1：b+w1 x1+w2 x2 1，对于所有yi=+1 H2：b+w1 x1+w2 x2-1，对于所有yi=-1,两个边界平面的距离:m=2/|w|,如何求最优超平面,求解最优超平面问题可以表示成约束优化问题MinimizeSubject to定义Lagrange函数,现在，原问题转化为下面这样一个优化问题求解w和b，使得对于所有的样本(xi,yi)，能有m=2/|w|最大，其中满足当yi=1时，wTxi+b1，当yi=-1时，wTxi+b-1,所以有：yi(wTxi+b)1,如何求最优超平面,分别对w和b求偏导，并令其为0，可得这实际上是
7、寻找极值条件下L函数满足的等式约束,将得到的约束条件 带入原L函数，得到:该式称为L函数的对偶式，由对偶理论可知，最小化L式等于最大化以L式的约束的拉格朗日乘子为变量的上式,x1=(0,0),y1=+1x2=(1,0),y2=+1x3=(2,0),y3=-1x4=(0,2),y4=-1,调用Matlab中的二次规划程序，求得1,2,3,4的值，进而求得w和b的值。,SVM原理数据非线性可分,对于无法直接构造分类超平面的样本集，我们需要采取某种方法使其能够被某个“平面”划分基本思想是通过选择非线性映射(x)将x映射到高维特征空间Z，在Z中构造最优分类超平面,设训练集，其中假定可以用 平面上的二次曲线来分划：,现考虑把2维空间 映射到6维空间的变换,上式可将2维空间上二次曲线映射为6维空间上的一个超平面：,可见，只要利用变换，把 x 所在的2维空间的两类输入点映射到 x 所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面：,最后得出原空间中的二次曲线：,应用,SVM可以用来分类和预测应用领域：手写数字识别、对象识别、语音识别、基准时间序列预测检验,谢谢大家！,
