《模糊支持向量机.ppt》由会员分享，可在线阅读，更多相关《模糊支持向量机.ppt（47页珍藏版）》请在三一办公上搜索。
1、模糊支持向量机的分类研究,华东师范大学地理系,支持向量机概述支持向量机理论基础支持向量机模糊支持向量机应用研究,主要内容,支持向量机(Support Vector Machine，简称SVM)是一种基于统计学习理论的模式识别方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出。COLT(Computational Learning Theory),支持向量机概述,支持向量机是九十年代中期发展起来的一类新型机器学习方法。它在很多领域都得到了成功的应用，如人脸检测、手写体数字识别、文本自动分类等。它结构简单，且具有全局最优性和较好的泛化能力，支持向量机方法是求解模式识别和分类
2、问题的有效工具。,支持向量机概述,近年来SVM 方法已经在图像识别、信号处理和基因图谱识别等方面得到了成功的应用,显示了它的优势。SVM 通过核函数实现到高维空间的非线性映射,所以适合于解决本质上非线性的分类、回归和密度函数估计等问题。支持向量方法也为样本分析、因子筛选、信息压缩、知识挖掘和数据修复等提供了新工具。,支持向量机概述,SVM正在成为继神经网络研究之后新的研究热点，并将有力地推动机器学习理论和技术的发展，是一项很有发展前途的技术。目前，国际上支持向量机在理论研究和实际应用两方面都正处于飞速发展阶段，而我国国内在此领域的研究尚未成熟，因此我们需要及时学习掌握有关理论，开展有效的研究工
3、作，使我们在这一有着重要意义的领域中能够尽快赶上国际先进水平。,支持向量机概述,线性判别函数和判别面,一个线性判别函数(discriminant function)是指由x的各个分量的线性组合而成的函数 两类情况:对于两类问题的决策规则为如果g(x)0，则判定x属于C1，如果g(x)0，则判定x属于C2，如果g(x)=0，则可以将x任意 分到某一类或者拒绝判定。,支持向量机理论基础,线性判别函数,下图表示一个简单的线性分类器，具有d个输入的单元，每个对应一个输入向量在各维上的分量值。该图类似于一个神经元。,支持向量机理论基础,超平面,方程g(x)=0定义了一个判定面，它把归类于C1的点与归类于
4、C2的点分开来。当g(x)是线性函数时，这个平面被称为“超平面”(hyperplane)。当x1和x2都在判定面上时，这表明w和超平面上任意向量正交，并称w为超平面的法向量。注意到：x1-x2表示超平面上的一个向量,支持向量机理论基础,总之：线性判别函数利用一个超平面把特征空间分隔成两个区域。超平面的方向由法向量w确定，它的位置由阈值w0确定。判别函数g(x)正比于x点到超平面的代数距离（带正负号）。当x点在超平面的正侧时，g(x)0；当x点在超平面的负侧时，g(x)0,支持向量机理论基础,多类的情况,利用线性判别函数设计多类分类器有多种方法。例如：可以把k类问题转化为k个两类问题，其中第i
5、个问题是用线性判别函数把属于Ci类与不属于Ci类的点分开；更复杂一点的方法是用k(k-1)/2个线性判别函数，把样本分为k个类别，每个线性判别函数只对其中的两个类别分类。,支持向量机理论基础,广义线性判别函数：,在一维空间中，没有任何一个线性函数能解决下述划分问题（黑红各代表一类数据），可见线性判别函数有一定的局限性。,支持向量机理论基础,如果建立一个二次判别函数g(x)=(x-a)(x-b)，则可以很好地解决上述分类问题。决策规则仍是：如果g(x)0，则判定x属于C1，如果g(x)0，则判定x属于C2，如果g(x)=0，则可以将x任意分到某一类或者拒绝判定。,广义线性判别函数,支持向量机理论
6、基础,广义线性判别函数,支持向量机理论基础,广义线性判别函数,支持向量机理论基础,设计线性分类器,支持向量机理论基础,核函数的选择,支持向量机,最优分类面,SVM 是从线性可分情况下的最优分类面发展而来的,基本思想可用图2的两维情况说明。,图中,方形点和圆形点代表两类样本,H 为分类线,H1,H2分别为过各类中离分类线最近的样本且平行于分类线的直线,它们之间的距离叫做分类间隔(margin)。所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大.推广到高维空间，最优分类线就变为最优分类面。,支持向量机理论基础,支持向量机,小结：SVM从线性可分情况下的最优分类
7、面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。,SVM方法的特点,非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。SVM 是一种有坚实
8、理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”(transductive inference),大大简化了通常的分类和回归等问题。,支持向量机,SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:增、删非支持向量
9、样本对模型没有影响;支持向量样本集具有一定的鲁棒性;有些成功的应用中,SVM 方法对核的选取不敏感。,SVM方法的特点,支持向量机,模糊支持向量机,2002年，LIN Chun-fu 等人提出了Fuzzy SVM（FSVM）算法。针对支持向量机推广到多类分类时存在的一些混分和漏分样本的问题，模糊支持向量机引入模糊因子以提高分类精度；即给每个样本都赋一个模糊隶属度值，这样不同的样本对决策函数的学习有不同的贡献，以减小外部的影响。,我们称训练集S=(x1,y1,a1),(x2,y2,a2),(xt,yt,at)(其中xjRn,yj为模糊数,aj为隶属度,0aj 1,j=1,2,t)为模糊训练集，称
10、训练点(xj,yj),j=1,2,t 为模糊训练点。由于模糊训练点(xj,yj)中的输出yj模糊，可导致最优超平面 x+b=0中的和b模糊，记作,，x+=0称为模糊最优超平面。,模糊支持向量机,选择适当的隶属度函数很重要。首先，隶属度的下界要被定义，其次，挑选数据集的特性和数据的特性之间的联系来构造隶属度函数。基于距离的隶属度函数主要考虑样本点到相应类中心的距离，以减少噪声点对分类的影响。,模糊支持向量机,根据模糊训练集构造带有模糊决策的机会约束规划利用基于模糊模拟的遗传算法近似求解带有模糊决策的机会约束规划，得模糊最优解(,)构造模糊（分类）决策函数(x)=(x)+,模糊支持向量机,确定评价
11、指标选择训练数据确定模糊训练集训练模糊训练点，构造最优分类函数以及最优分类函数隶属函数测试测试结果评价,模糊支持向量机,FSVM与区域增长结合的图像分割 作为一种全局处理方法，模糊支持向量机图像分割方法不能完成对图像进行精细分割，其分割结果需要其他分割方法进一步处理。一种结合模糊支持向量机和区域生长的交互式分割方法，不仅可有效剔除与感兴趣区域特征类似的非目标区域，而且把为FSVM选择训练样本和为区域生长选择种子点两个步骤合二为一，从而提高了图像分割质量和交互式分割方法的自动分割能力。,模糊支持向量机,FSVM与小波分析在人脸识别中的结合 由于小波能量特征具有表现表情纹路的能力，与人脸表情识别的
12、要求正好相符，把小波能量特征加入到原始图像中，用Fisher线性判别法（FLD）进行特征提取，然后采用FSVM进行识别。它不仅能获得高的表情识别率，而且过程简单，易于实现。,模糊支持向量机,FSVM与主成份分析结合的图像多目标分割 边界复杂且不规则图像的分割，对传统的分割算法提出严峻的挑战。主成份分析(PCA)可达到降维和消除冗余信息的目的，使模糊支持向量机准备的样本空间更为紧凑、合理。便于对图像进行多目标分割，成功提取不规则边界。理论和实验表明，基于PCA和FSVM相结合的分割性能优于仅采用FSVM的分割性能。,模糊支持向量机,FSVM与K均值结合的图像分类 遥感图像分类方法通常采用监督算法
13、，它需要人工选取训练样本，较繁琐；而非监督算法的分类精度不高。针对这些缺陷，可以使K均值与模糊支持向量机结合来对遥感图像全自动分类。首先使用K均值聚类算法对样本进行初始聚类，根据每类中样本数及其稀疏程度选取一些点作为标记的学习样本训练FSVM分类器，然后用FSVM对原始数据重新分类。,模糊支持向量机,图像复原（程序image_svm）SVM用于线性分类基于matlab的SVM模式分类（程序演示）模糊支持向量机用于冠心病诊断研究,应用研究,SVM用于图像复原,应用研究,SVM用于线性分类,应用研究,加载数据,SVM用于线性分类,应用研究,分类结果,基于matlab的SVM模式分类,应用研究,数据
14、分类仿真实验模块界面,基于matlab的SVM模式分类,应用研究,创建数据模块,基于matlab的SVM模式分类,应用研究,数据分类实验,基于matlab的SVM模式分类,应用研究,线性核函数下的训练结果,基于matlab的SVM模式分类,应用研究,rbf-1核函数下的训练结果,基于matlab的SVM模式分类,应用研究,rbf-8核函数的训练结果,基于matlab的SVM模式分类,应用研究,rbf-36核函数下的训练结果,基于matlab的SVM模式分类,应用研究,由实验结果可以看出（1）：选取不同的核函数，分类的效果和训练时间会有所不同。比如，RBF-8的训练时间比较长，而RBF-1的支持
15、向量个数不同于其它，可见还是根据实际情况选取合适的核函数及其参数才能进行最佳的分类。由实验结果可以看出（2）：随着训练数据个数的增加，支持向量的个数和训练时间也随之增多。而且支持向量只是总训练样本种的很少一部分。要使支持向量机标准算法达到最佳效果，应该选取合适的训练个数，使得分类的训练时间达到最佳效果，并提高分类的正确率。,冠心病诊断实例,下面，我们将应用模糊支持向量机的理论于冠心病的鉴别诊断。我们收集了34名患者的资料，以24名患者的资料作为训练样本，其中一半为正常人，表示为=1，另一半为冠心病患者，表示为=-1，数据见表1，其中 舒张期血压，表示血浆胆固醇含量，且 和 为三角形模糊数。,应用研究,表1：冠心病人和正常人舒张期血压和血浆胆固醇含量数据,应用研究,取参数C=0.1,，利用以上数据来训练以上规划，可得解,b=-6.962587,则可以得到冠心病的鉴别诊断规则：对给定的置信水平,如果,则 为冠心病患者；如果,则 为正常人。利用此鉴别诊断规则来拟合表1种的数据，只有三例被错分，诊断正确率为87.5%。用另外10例患者的资料作为测试样本，经测试正确率为90%。由此充分说明基于模糊训练样本的支持向量机具有好的拟合效果和高的预测精度。,应用研究,表2 诊断结果,应用研究,Thank You!,
