支持向量机组合核函数研究.doc

《支持向量机组合核函数研究.doc》由会员分享，可在线阅读，更多相关《支持向量机组合核函数研究.doc（29页珍藏版）》请在三一办公上搜索。

1、支持向量机组合核函数研究目录摘要IAbstractII1 引言11.1研究背景和意义11.2支持向量机的研究现状21.3本文的主要研究内容42 基础知识和基本理论52.1支持向量机基础知识52.2支持向量分类机53 核函数93.1核函数功能93.2核函数理论基础93.3常用核函数及基本性质104 组合核函数124.1高斯核函数的性质：124.2 Sigmoid核函数的性质154.3 组合核函数的构造184.4本文的组合核函数205 实验结果分析215.1实验1：简单的回归分析215.2实验2：复杂的数据分类分析246 结束语266.1本文研究工作总结266.2本文展望26致谢29附录29摘要支

2、持向量机是二十世纪九十年代发展起来的统计学习理论的核心内容，而核函数是它的重要组成部分。核函数将低维输入向量通过映射而工作在高维特征空间，从而有效的解决维数灾难及非线性问题，并且它携带了数据样本间的依存关系、先验知识等信息。为更好的描述现实生活中存在的大量复杂非线性系统，人们提出了不同的非线性映射形式的模型。本文主要讨论了支持向量机核函数的以下几方面内容：首先，通过参考文献了解核函数的基本理论和知识，熟悉核函数的功能和性质，以及组合核函数的构造原理。其次，具体分析高斯核函数，讨论其可分性和局部性，接着分析sigmoid核函数的可分性和全局性。对高斯核函数进行修正，提高泛化能力，根据修正后高斯核

3、的局部性，选择全局核函数（sigmoid核函数）与修正高斯核组成组合核函数以提高分类器性能。最后，通过实验对比本文的组合核函数和简单组合核函数，修正的高斯核函数，高斯核函数，sigmoid核函数的测试结果的准确度来对比说明本文的组合核函数的优越性。本文数据测试与分析软件基于Matlab7.11和lib-svm3.16开发。关键词： 支持向量机；高斯核函数； 修正高斯核函数； 组合核函数；AbstractSupport Vector Machine(SVM) is the main content of Statistics Learning Theory developed from 1990

4、sThe kernel function is the crucial ingredient of SVMKernel function maps low-dimensional input vector to high dimensional space to solve the curse of dimensionality and nonlinear problems effectively .To better describe quantities of complex nonlinear systems existing in the real world，researchers

5、have proposed some different forms of model with nonlinear mappingThis paper mainly discusses some aspects of kernel functionFirst，I know about the basic theory and knowledge of kernel function and I can mastering its functions and properties by references. I also master the knowledge about structur

6、e combination kernel function.Secondly, we in particular analysis of gauss kernel function and discuss its ability of separate and the property of localization. Then we analysis of sigmoid kernel function and discuss its ability of separate and the property of global.By corrected Gauss kennel functi

7、on，improve its generalization ability.Based the property of localization of the corrected Gauss kernel function, we select global kernel function(sigmoid kernel function) to compound with the corrected Gauss kernel function and constitute combination kernel to improve the performance of classifierLa

8、stly, doing the test in the way of combination kernel function of the paper, kernel function of simple combination, corrected Gauss kernel function, gauss kernel function, sigmoid kernel function, analysis their accuracy of test of results and we can illustrate the superiority of the combination of

9、kernel function in the paper.The related software is developed on Matlab7.11b and lib-svm3.16Key words: support vector machine; Gauss kennel function; corrected Gauss kernel function; combination kernel function;1 引言1.1研究背景和意义随着现代科学技术的快速发展以及信息网络的广泛推广，现实生活中出现了大量的复杂非线性高维数据，怎样从这些非常复杂的、有噪声的数据中发现一些有用的规律，

10、提取出隐藏在其中的、潜在有用的信息，并将之转化为我们可以明白和利用的信息，这对于传统的统计学方法是一个难点。20世纪60年代诞生的统计学习理论(SLT，Statistical Learning Theory)，是针对实际情况下的有限样本假设而提出的，它具有完备的理论基础与严格的理论体系，到90年代中期，该理论得到不断完善与成熟，产生了一种新型机器学习工具，即支持向量机(SVM，Support Vector Machines)。它建立在统计学习理论的结构风险最小化原则与VC维理论基础之上，具有推广能力强、不易陷入局部极小点、与维数无关等优点，近年来得到快速发展，被作为数据挖掘以及机器学习等领域的

11、重要研究工具来使用。目前，支持向量机已成功应用于文本分类、模糊系统、人脸识别、系统预测、图像处理与识别等多个领域1。核函数方法是以支持向量机为核心算法的一类新的机器学习方法，作为其重要组成部分的核函数决定了支持向量机的非线性处理能力高低以及所构造的分类函数的好坏，故核函数在支持向量机中占用具有极其重要的地位，是SVM理论成熟发展的关键点2。目前，对于核函数的研究主要体现在核函数的选取、构造、改进以及对应参数选择优化上，这些问题的有效解决对于支持向量机理论的未来发展起着极其重要的作用，而目前对于这些问题的研究仍然是一个开放性问题，它的有效解决对核函数的研究具有重要意义。在对实际问题的建模、处理过

12、程中，常会出现因人们的知识、经验等不同，而导致使用的数据具有不确定性，产生噪声与野点，从而使得辨识效果不佳，而基于传统的数据统计分析方法的辨识，因不受知识、经验与行为所限制，能够在观察数据存在不确定的情况下，通过某种合适的数据分析方法构建正确的分析模型，进而正确的描述实际问题，所以，传统数据分析法就得到长足发展与应用3。传统的数据分析方法(如网格法、模糊聚类法)易出现维数灾难、易陷入极小点、函数逼近能力不强等问题，而具有坚实数学理论基础的支持向量机却很好的解决了这些缺陷，因此，研究以支持向量机为工具的数据分析处理就具有现实意义。近年来，一些学者开始将支持向量机应用于各种数据分析之中，并取得卓越

13、成效。1.2支持向量机的研究现状1.2.1对支持向量机训练速度方面的研究通过数学知识中的最优化技术可以很好地解决支持向量机中的对偶问题，可是求解过程中需要存储矩阵运算的结果，而这些矩阵多数是稠密的，庞大的，对内存要求较高。而且，在二次型的优化过程中需要进行大量的迭代，同样需要进行针对矩阵的运算。因此，必然会出现计算量很大的现象。在支持向量机中，利用SVM中解的稀疏性和最优化问题的凸性，可进行问题间的转换，把复杂的大问题变为一系列规模小的子问题，按照一定迭代方案，一步步的构建近似解，并使之逐渐依次收敛，最终达到最优解。目前主要有选块算法(chunking)4、分解算法(decomposing)5

14、、序列最小最优化方法(Sequential Minimal Optimization-SMO)6等。l 选块算法选块算法的核心思想是从训练集中任意挑选一个子集或“块”开始算法，利用标准优化法求解对偶问题，得到向量，选出支持向量(即)对应的样本点，并把其余的没用的样本点剔除，利用决策函数检验除本块外的所有数据点，把违反系统规定条件最严重的M个点加入到新块中，然后在形成的新块中求对偶问题，得到新的变量，依次不断反复的循环，直到系统停机条件得到满足，算法停止。若样本中支持向量数远远小于样本集中的样本数，则选块算法是可行有效的，不然就会出现迭代次数增多、运算速度下降、内存不足等问题，导致选块算法失效。

15、l 分解算法当选块算法中出现维数过多、内存不足等缺陷的时候，分解算法就应运而生，其核心算法方法思想是将变量，分解成不同的两部分，一部分称之为非工作集，另一部分称为工作集，并使得工作集的总体规模保持不变。而且每次的迭代过程中，依次选取非工作区中“情况最糟”的样本，并把它们与工作区中同样多的样本进行替换，从而将工作集中的变量逐步优化，达到最终的优化效果。 在分解算法中，虽然还是求解二次规划问题，但由于选取了较小的工作集，从而弥补了选块算法的缺陷。l SMO算法SMO算法核心思想是分解算法中取工作集数为2的一种特例，即每次迭代只对两个拉格朗日乘子进行优化。SMO算法首先从满足的训练点中选出违反规定条

16、件最严重的样本作为第一个样本，然后再选择最大的样本作为第二个样本，从而求出，最后根据停机条件进行迭代。由于两个最优解不需要迭代求解二次规划问题，而是直接就可以得到线性解的形式，故能快速收敛，同时，它还不需进行矩阵运算，因此，SMO算法得到较好的应用研究。lin利用改进的SMO算法开发出了Lib-SVM软件包。1.2.2在核函数的改进、构造及对应参数优化选择方面的研究核函数是通过映射关系，从而实现了将样本信息从低维空间映射到高维空间，这样就可以有效处理“维数灾难”问题，且其与支持向量机的推广泛化能力息息相关。在核函数的构造及改进方面，文8提出了一种虽然不满足Mercer条件，但可以成功应用于核学

17、习方法中的核函数，条件正定核函数(Conditionally Positive Definite)；文9以核函数的基本运算及性质为基础，构造了一个基于局部核与全局核的混合核函数，提高了SVM的分类性能；文10-11以先验知识为基础，通过流形学习，提出了核的黎曼度量等定义，并通过一致性转换来对高斯核函数进行修改，提高了SVM的分类效果。在核函数参数选择方面，较早的是K-折交叉验证法，该方法的核心思想是依次比较各个参数的K-折误分率，从而选取最优化参数，但遇到样本数量较大的情况时，容易产生计算量猛增的现象，这样会导致可调参数较少。文12针对标准支持向量分类机提出留一法(Leave-one-out，

18、LOO)误差上界，此界求法是对所有样本点进行一次算法，只求出一个决策函数即可。文13阐述的基于半径一间隔界(Radius-margin)的梯度下降估计，但因需计算二次规划问题，这就使得计算量极大。文14阐述了一个改进型半径一间隔界算法，它可以大大的减少计算量。在核函数的改进、构造及对应参数的优化方面，虽然取得了不少的研究成果，但是仍然没有达到理想的预期。因文本文字、图像等结构本身数据并不能被支持向量机直接使用，所以怎样构造有效的核函数，使之转化为向量形式，从而更迅速有效解决现实中的文本、图像、语音分类等问题，俨然成为支持向量机研究的一个方向。1.2.3支持向量机的应用领域主要集中于几个方面：1

19、.数字识别、语音识别、人脸识别数字识别是测试分类器性能的标准问题，最先起源于美国邮政系统。而语音识别是通过选用合适的核函数及将其通过有效变换，利用SVM方法，对语音信息库中的数据进行检测、去噪声、激活等处理进行语音识别，从而达到较好的分类效果。文15将SVM应用于人脸识别系统中，大大地提高分类的准确率。2.生物信息技术由于核函数反映了样本数据间的内在的相似性，因此一些学者就利用生物信息间的相似性，构造出适用于不同数据处理的核函数，使用支持向量机对其提取的生物信息进行处理。文16通过对基因表达式、氨基酸数据等的分析，将SVM与核函数成功的应用于现代生物技术中。文17进行了DNA的信息分析和并且对

20、同形异体的蛋白质进行了检测。3.模糊辨识由于支持向量机中的支持向量蕴含着样本数据间隐藏信息，而且SVM能够消除维数灾难、不易出现局部极小值问题，这就可以弥补传统模糊辨识方法(如模糊聚类、神经网络)中的一些不足，所以近年来越来越多的学者把SVM应用于模糊辨识中。文19阐述了模糊基函数(fuzzy basis functionFBF)的思想，并将其成功应用于推理系统中，同时把它与基于模糊聚类和基于最小二乘法的辨识系统进行了比较，而且利用此系统对几组数据进行了辨识。文18为了平衡基于模糊基函数模型的逼近性、推广性、可解释性的关系，提出了一个基于简约集向量的TS模型。此模型中模糊规则的提取是利用简约集

21、向量，参数的辨识采用了两种不同的学习规则。文21证明了支持向量机与基于规则的模糊推理系统的函数等价性，同时设计了一个基于支持向量机学习过程的模糊推理系统。文20提出了一个基于SVM的推理模型，同时还给出了此模型能够逼近所有连续函数的证明。4.文本分类文本分类就是根据文本的不同内容自动地把文本归类，它是数据挖掘与信息检索的重要部分。文22、24设计了基于支持向量机的文本分类系统。文23利用主动学习方法进行文本分类，文25对基于支持向量机的不同分类算法进行了研究。1.3本文的主要研究内容通过上面的综述和分析，可以看出支持向量机理论、应用前景广阔，本文将从核函数与模糊辨识两个方面对支持向量机进行研究

22、，以下是各章的具体内容：第一章主要介绍了课题的研究背景和意义，并对支持向量机在算法及应用两个方面的研究现状进行了简单介绍。第二章主要介绍了支持向量机在分类原理以及核函数的基础知识。本章内容为第四章章理论做铺垫。第三章主要介绍常用核函数的一些理论基础知识和基本的性质，主要为第四章组合核函数提出做铺垫。第四章主要介绍组合核函数的构造及参数的选择。首先介绍高斯核函数的优缺点和sigmoid的核函数的优缺点，并对高斯核函数进行修正，提高其泛化能力，而后根据sigmoid核函数全局性的优点，提出了一个全新的组合核函数。结论部分主要介绍全文研究成果以及对未来知识的展望。2 基础知识和基本理论2.1支持向量

23、机基础知识支持向量机以统计学习理论为基础，因此其具有坚实数学理论基础；因为应用结构风险最小化原则，所以具有推广能力强；采用二次规划方式对问题进行寻优，使得到的最优解具有全局性，避免了神经网络中的局部极小问题；采用核思想，可以解决传统机器学习方法中出现的维数灾难问题。因此，支持向量机在解决非线性、高维的模式分类问题和回归估计等问题中表现出许多独有的优势。2.2支持向量分类机支持向量分类机可以分为线性分类与非线性分类两种，而线性分类又进一步分为线性可分与线性不可分两种，下面分别介绍。2.2.1线性可分支持向量分类机定义1 最优超平面：若一个超平面能把向量集合 （2-1）分开，并且离超平面最近的向量

24、与超平面的距离为最大，则这个超平面称为最优超平面，如图2-1中H。实际上，最优超平面是满足式，z且分类间隔取最大的超平面。求解最优超平面可以表示为如下最优化问题(称为原问题)： （2-2）图2-1 最优超平面示意图利用拉格朗日优化方法与Wolf对偶理论得到原问题的对偶问题为 （2-3）由KKT条件知，所以，对应于可以得到，因此原问题的最优解只依赖那些对应于的输入向量，称满足此条件的向量为支持向量。实质上，支持向量恰好位于最靠近最优超平面的分类边界上，如图2-l中的Hl，H2所示。2.2.2线性不可分支持向量分类机对于有些样本数据，不可能构造出一个平面来对其进行划分，但却能够根据样本特征，构造一

25、个对样本集的分类误差之和最小的平面。方法是通过引入松弛变量使得，从而可以构造一个软间隔分类超平面，来折衷考虑最少错分样本和最大分类间隔，它满足： （2-4）其中C0称为惩罚参数，作用是调节样本被错分的惩罚度，对算法复杂度与错分样本数进行折衷处理。利用相同的拉格朗日优化方法与Wolf对偶理论，我们可以得到上面的原问题的对偶问题： （2-5）2.2.3非线性支持向量分类机现实生活中有许多样本数据的依存关系并不是线性的，而是非线性的，但是如果可以选用适当的方法，就会将复杂的非线性问题转换为线性可分问题来解决。如图2-2所示：图 2-2 样本空间到特征空间的非线性映射Vapnik等人提出利用内积思想来

26、对非线性系统进行转化的方法，即利用一个非线性映射 （2-6）把数据从低维输入空间映射到一个高维特征空间，而在高维特征空间中，训练集更容易达到线性可分，从而可以在高维空间构造最优分类超平面，进行内积模式分类。若满足：则可以将核函数代入原问题及其对偶问题的表达式中，即可得到用于分类的非线性支持向量机的原问题： （2-7）以及其对偶问题： （2-8）并且得到决策函数： （2-9）实际上，支持向量机函数结构上类似于一个神经网络，其输出值是s个中间节点的线性组合，而每个中间节点对应一个支持向量，如图3-1。图3-1 支持向量机结构示意图3 核函数3.1核函数功能核函数的功能是将输入空间的向量，通过一个非

27、线性变换映射到某个高维特征空间中，然后在此高维特征空间中构造最优分类超平面，进行线性分类，从而提高机器的非线性处理能力，有效的消除维数灾难问题。3.2核函数理论基础定义2 核函数(核或正定核)：设是中的一个子集。称定义在上的函数是核函数(核或正定核)，如果存在从z到某一个高维特征空间H的映射 （3-1）使得 （3-2）其中表示H的内积定理1 Mercer定理：设一个连续实值对称函数，它可以表示为内积的形式： （3-3）的充分必要条件是是半正定的，即 （3-4）定义3 Gram矩阵：对于给定的函数和，称第行第列元素为的矩阵为的关于的Gram矩阵，即为： （3-5）定义4 Mercer核：称是Me

28、rcer核，如果是上的连续对称函数，是上的紧集（即），且关于任意的的Gram矩阵半正定。3.3常用核函数及基本性质3.3.1常用的核函数（1）线性核函数(Liner)： （3-6）（2）多项式核函数(Polynomial)： （3-7）（3）高斯(Gaussian)核函数(又称径向基函数，RBF) （3-8）（4）Sigmoid(或2层感知机)核函数 （3-9）3.3.2核函数性质设与是上的核函数，则下面核函数的组合为核函数：（1） （3-10）(2) （3-11）（3） （3-12） (4),其中是任意的正实数 （3-13）3.3.3旋转不变核及平移不变核定义5 旋转不变核：统称为旋转不变核

29、，如果可以表示成的核函数。显然，旋转不变核是一种全局核函数，它具有全局分布及与位置相关的特点，它要成为Mercer核函数的必要条件是对任意的，下式成立 （3-14）显然，线性核函数、多项式核函数属于旋转不变核。定义6 平移不变核：称为平移不变核，如果可以表示为的核函数。平移不变核是一种局部核，它具有较强的局部学习能力，但全局性差。对于如何判断一个函数是核函数，有如下定理：定理2 ： 设是有界可积连续函数，则是核函数的充要条件是：且其Fourier变换 （3-15）其中，与是一维空间上的变量，是复数。 4 组合核函数4.1高斯核函数的性质：在实际问题的处理中，高斯核函数是人们最常用的核函数，因为

30、高斯核函数总能为实际问题提供满意的结果。这是由于高斯核函数本身的性质决定的。下面就讨论高斯核的两大性质，可分性和局部性。高斯核函数的一般形式是：是核函数的半径。(1)可分性所谓高斯核函数的可分性，是指对给定训练样本，核函数通过映射后的特征变换能否将这些样本在特征空间中线性分开的能力。相当多的情况，在使用核函数之前，人们并不了解样本是否真的可以在核函数的映射作用下在特征空间中变得可以线性划分。但是，对于对核函数很熟悉的人来说：当我们选用高斯核函数的时候，根据经验，选择适当的的参数，训练样本几乎不存在不能线性划分的情况。这是高斯核函数自身性质可以保证的26.27.在文献27中利用二次规划问题的KK

31、T条件详细解释了这一问题。我们简单阐述一下，对于大多数的分类问题，首先把(2-7)中的二次规划中的而替换成，简单变换如下： （4-1）再引入Lagrange函数： （4-2）其中，是Lagrange乘子因此二次规划(4-1)解的KKT等价条件是：存在Lagrange乘子，使 （4-2）定理3 ：若高斯核半径，则所有训练样本是支持向量，且它们全部被正确分类，即Lagrange乘子，松弛变量满足。另外，文献31也详细阐述了当高斯核半径充分小时，训练样本在特征空间基本不存在不能被线性划分的问题。文中是采用高等代数的方法证明了一个该结论。定理4：当时，则训练样本在特种空间中线性可分。其中是Gram矩阵

32、。对于高斯核函数，当时，Gram矩阵K将成为强对角阵，因而满秩，因此由以上定理可知训练样本在特征空间中线性可分。 以上讨论了高斯核半径时高斯核的可分性，那么，高斯核半径时的情况又会怎样呢?从实验中得来的经验告诉我们，当逐渐增大时，Lagrange乘子的训练样本逐渐增多。由于通过可以得出，即。所以当逐渐增大时也意味着有越来越多的训练样本将位于间隔内或者被错分。进一步研究我们可以发现，当时，所有训练样本都被判为同一类，学习机的推广能力或者说对新样本的判别能力为0。(2)局部性可分性分析可知，对于高斯核函数，当核半径的值很小时，虽然也可以把训练样本线性可分，但经常会出现过拟合现象，使超平面的泛化性变

33、得较差。原因是当的值很小时，从高斯核的表达式中可以看出，它只对样本距离与相当的小领域内的样本产生影响，当样本之间距离远大于时，它的值逐渐趋于零。因此，高斯核函数的插值能力较强，比较善于提取样本的局部性质。因此，高斯核是一种局部核函数28 29。与之相反的是，多项式核虽然插值能力相对较弱，但比较善于提取样本的全局特性。对于一定的样本，影响支持向量机的性能主要因素是核函数和误差惩罚参数C，对这两种参数了解才能更好的对支持向量机性能的优化提供条件。Vapnik等人的研究表明：支持向量机的性能与所选用的核函数的类型关系十分密切，而核参数和惩罚系数C也是影响支持向量机性能的主要因素30。4.1.1高斯核

34、半径的选择对高斯核半径进行选择，首先要制定合理的模型评价指标。经典的支持向量机利用两类样本间的间隔(margin)作为泛化性能的指标。可是，不同的核函数以及不同的核参数映射不同的特征空间，致使它们之间的间隔不具可比性。4.1.2高斯核函数的参数选择重交叉验证方法是最为普遍的计算推广误的方法之一。其核心思想部分为：将训练样本集随机分为个不相交的集合，通常分为等份。对其中的个集合进行训练，得到一个决策函数，并用决策函数对剩下的一个集合进行样本测试。记其中错误分类的样本点数个数为，该过程重复次，即得到了。取次过程中的测试错误的平均值，即作为算法错误的一个估计，该值称为折交叉确认误差32。4.1.3惩

35、罚系数的选择惩罚系数是为约束Lagrange乘子在得到宽边界间距与小数目的边缘奇异之间进行折衷的一个参数，在文献33的研究中，实验选择350个小样本进行训练。从提取的特征向量中的每一个分量分别用从大量数据样本统计得到的绝对值最大值进行归一化处理，使每个特征向量的每一个分量值都在-1，+1区间内。实验中要求检查条件满足时，在所选的样本上进行训练，并记录数据。当惩罚参数大于等于8000时，错误率在2.3上保持不变，另外支持向量的个数也在43-44左右保持不变。这说明了利用改训练集进行训练收敛到最佳，得到最佳的支持向量个数。这些支持向量携带着二分类的重要信息，也就是利用这些支持向量在高维特征空间中能

36、够较好地表示一个线性不完全可分的分类超平面。所以，惩罚参数的选择是一个折中，当参数大到一定值时即可得到最佳的分类错误率和最佳支持向量数，再增加只会加大训练时间，对支持向量机的性能没有额外的提高。而对于实际问题，我们可以适当增加惩罚系数的选择。4.2 Sigmoid核函数的性质4.2.1非半正定核矩阵的可分性非线性支持同量机的对偶问题为： （4-3）其中，是单位向量。核函数 （4-4）由核函数定义(4-4)，核矩阵Q是一个对称、半正定的矩阵。假设核矩阵Q(或核函数K)是对称的但不是半正定的。为分析使用非半正定矩阵Q时，问题(4-3)的解的情况，文献27构造了一个新问题： （4-5）该问题是由原问

37、题lib-vm39 (4-6)变来的，由于,则，注意到新问题(4-5)与对偶问题(4-3)很像，但不同的是对偶问题(4-3)中，而新问题(4-5)中可以取负值。Lin曾经指出：如果核矩阵Q是对称的半正定矩阵时，对偶问题(4-3)的最优解口也是新问题(4-5)的最优解。但是反过来是不成立的，除非核矩阵Q是对称且正定(positivedefinite，PD)的38。定理5：对偶问题(4-3)的任意一个驻点在都是新问题(4-5)的可行解。定理6：说明了新问题(4-5)与对偶问题(4-3)的关系。于是有：如果是对偶问题(4-3)的驻点，则当含有较多零元素时，训练误差就不会很大。因此，即使核矩阵Q不是半

38、正定矩阵，训练误差也不会很大的。定理7：考虑不含参数C的对偶问题(4-3)： （4-5）如果存在一个驻点，则有：1当，时，新问题(4-5)有一个可行解。2如果C足够大时，则西也是对偶问题(4-3)的驻点。因此当问题(4-5)至少有一个驻点时，核矩阵就具有了将训练点线性分类的能力。更进一步来说，如果问题(4-5)能求出一个全局最优解，则盘一定是驻点，那么非半正定核矩阵具有可分性。那么，当核矩阵满足什么样的条件时，问题(4-5)有全局最优解，即其目标函数值不是。早期的研究工作已经得出了一个非常有用的结论：对于支持向量机来说，一个条件半正定(conditionally positive semide

39、finite，CPSD)的核函数已经足够了。下面先给出矩阵K条件半正定的定义。定义7：如果对所有的且时，则矩阵K是条件半正定的(或条件正定的，CPD)。定理8：1核矩阵K是条件正定的当且仅当存在一个使得矩阵是正定的。2如果核矩阵K是条件半正定的，则问题(4-5)有全局最优解。如果核矩阵K是条件正定的，由定理8的结论1可以得出矩阵是正定的。因此，问题(4-5)等价于 （4-6）这是一个严格的凸二次规划问题。因此，问题(4-6)必有唯一的全局最优解，那么相应的问题(4-5)也有唯一的全局最优解。这就保证了问题(4-5)一定有驻点，从而非半正定核也具有可分性。4.2.2 Sigmoid核函数的性质当

40、参数和分别取不同值时，Sigmoid核函数有着不同的性质。当时，a是输入数据的一个幅度调节参数，是一个控制映射阈值的位移参数。当时，输入数据的内积不仅被缩放而且方向也变了。不同参数组合下的Sigmoid核函数的性质见表4-1，可以看出：对于Sigmoid核函数来说1。表4-1 不同参数组合下的Sigmoid核函数性质结论+-当很小时，K是CPD的；同时当趋于0时，与RBF核相似+一般来说，不如第一种情形(+，)好-+当足够大时，问题(4-5)的目标函数值趋于-问题(4-5)的目标函数很容易趋于下面重点介绍第一种情形下Sigmoid核函数的性质。后三种情形可参考文献40。情形1：通过分析在这一范

41、围内的极限情形，可以说明当足够小时，Sigmoid核矩阵K是条件正定的。先看一个关于Sigmoid函数的命题：命题4-1：假设对于任意的，都有 （4-7）根据命题4-1，可以得出当参数，足够小时，Sigmoid核矩阵是条件下是正定的。定理9：假设对于任意一个训练集，如果，此时，且，则存在，使得时，是正定的。证明：令矩阵，其中，。由命题4-1知 （4-8）4.3 组合核函数的构造本文第三章的核函数基本性质可知，利用核函数的做简单线性组合运算，就会出现新的复合核函数；另外，如果将核参数进行适当变换也能够产生满足应用要求的新核函数，这样，就可以得到两类简单的核函数构造方式3：(1) 修改基本核函数的

42、不同核参数构造核函数每个基本核函数中都有自己特有的参数，它们代表了不同的意义。在现实遇到的问题中，经常会有一些参数不能满足我们要求，如在文本分类时，高斯核函数的恒定核宽度就不能对不同样本的属性权重区别对待，针对此问题，文34提出了改进型高斯核函数： （4-9）文35提出了类似的改进型高斯核函数： （4-10）上面的核函数构造法，是通过分析现实样本数据的特点，根据自己经验，增加或修改体现样本间信息的核参数，并采取适当的调整区间，使新核函数在应用于实际问题中时能根据样本特点而变化参数，从而提高核函数的泛化性能，可是，这只是从微观上和局部范围的调整，并没有改变原核函数的本来的性质，如式(4-9)与(

43、4-10)，虽然可以更好的体现了样本间信息，可是其还是属于局部核，没有增加核函数全局性的性能。(2) 利用若干基本核函数的简单组合构造核函数对几种基本核函数，由于核函数具有封闭运算规则，所以通过运算可能会构造出性能更高的组合核函数，例如文36；将多项式核函数与高斯核函数组合为新的核函数为： （4-11）在KCS核函数的研究中可以看到：KCS核函数的复杂度较高，不利于发挥其分类速度快、错误率低的特点。另外，由于高斯核函数存在的两个缺陷，其设想通过改进高斯核函数来进一步提高核函数的性能，在有效克服高斯核函数的两个缺陷的同时，保持其原来的四个主要特性。高斯核函数的表达式为： （4-12）其中高斯核带

44、宽是唯一一个参数，传统的高斯核函数支持向量机就通过控制惩罚系数C和高斯核带宽来调整SVM的性能与分类能力。从Remaki等人的研究中看出，只调整这两个参数效果不大，并不能太多的改善高斯核函数固有的缺陷。因此，其设想能否提出一种核函数，既能满足第一个条件，又能满足第二个条件。其尝试将距离方程放到指数函数的分母上。这样在函数的特性曲线上就能使该核函数在远离测试点的时候任能够保持一定的衰减速度，而不是几乎为零。因此，核函数初步构造为： （4-13）其中为核函数的带宽，其取值可以通过交叉验证法搜索其最优解。从该核函数的特性曲线上看，能同时满足上文提出的两个条件，因为当样本值趋向于无穷大的时候，函数仍能有一个比较缓慢的衰减。另外，我们为了获得更好的分类性能，分别增加了位移核参数和修正量，用来进行核函数的位移调节和幅值微调。此时的核函数变为： （4-14）另外，我们增加了幅度调节参数G来控制核函数的幅度变化，观察核函数的幅度变化是否对支持向量机的性能有影响。所以，我们将最终的修正高斯核函数表达式定义如下： （4-15）其中，为新核函数的带宽变量、为位移参数，而则是函数微的调变量。参数和参数可以通过交叉验证求得其最优解2。这种核函数构造方法，是综合利用几种核函数的不同特征，取它们各自的优点，构造出新核函数，在应用于实际问题中时达到性能折衷或者较高