《支持向量回归机.docx》由会员分享，可在线阅读，更多相关《支持向量回归机.docx（27页珍藏版）》请在三一办公上搜索。
1、支持向量回归机3.3 支持向量回归机 SVM本身是针对经典的二分类问题提出的，支持向量回归机是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数f(x)=wx+b拟合(xi,yi),i=1,2,.,n，xiRn为输入量，yiR为输出量，即需要确定w和b。 图3-3a SVR结构图 图3-3be不灵敏度函数 惩罚函数是学
2、习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。 表3-1 常用的损失函数和相应的密度函数 损失函数名称 %(xi) 损失函数表达式c噪声密度p(xi) e-不敏感 xie 12(1+e)12exp(-xie) 拉普拉斯 xi 12exp(-xi) 高斯 xi 212pexp(-xi22) 鲁棒损失 12(xi),ifxis;2s x-s,otherwise;i21p2xiexp(-),ifxis2s exp(s-x),otherwisei2多项式 x
3、ipp2G(1/p)exp(-xi) p分段多项式 p1xpsp-1i,ifxis x-sp-1,otherwiseippxi),ifxisexp(-p-1ps exp(sp-1-x),otherwiseip标准支持向量机采用e-不灵敏度函数，即假设所有训练数据在精度e下用线性函数拟合如图所示， yi-f(xi)e+xi*f(xi)-yie+xi*xi,xi0i=1,2,.,n式中，xi,xi*是松弛因子，当划分有误差时，x，xi*都大于0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题： R(w,x,x)=*12nww+C(xi+xi) *i=1式中第一项使拟合函数更为平坦，从而
4、提高泛化能力；第二项为减小误差；常数C0表示对超出误差e的样本的惩罚程度。求解式和式可看出，这是一个凸二次优化问题，所以引入Lagrange函数： L=12nn*inww+C(xi+x)-aixi+e-yi+f(xi)i=1*i=1nii-aixi+e-yi+f(xi)-i=1(xgi=1+xigi)*式中，a，ai*0，gi，gi*0，为Lagrange乘数，i=1,2,.,n。求函数L对w，b，xi，xi*的最小化，对ai，ai*，gi，gi*的最大化，代入Lagrange函数得到对偶形式，最大化函数： W(a,a)=*12nni=1,j=1(ai-ai)(aj-aj)(xixj)n*i+
5、(ai-ai)yi-i=1(ai=1+ai)e*其约束条件为： n*(ai-ai)=0 i=10a,a*Cii求解式、式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有： aie+xi-yi+f(xi)=0xigi=0aie+xi-yi+f(xi)=0xigi=0*得出aiai*=0，表明ai，ai*不能同时为零，还可以得出： (C-ai)xi=0(C-ai)xi=0*从式可得出，当ai=C，或ai*=C时，f(xi)-yi可能大于e，与其对应的xi称为边界支持向量，对应图3-3a中虚线带以外的点；当ai*(0,C)时，f(xi)-yi=e，即xi=0，xi*=0，与其对
6、应的xi称为标准支持向量，对应图3-3a中落在e管道上的数据点；当ai0，ai*0时，与其对应的xi为非支持向量，对应图3-3a中e管道内的点，它们对w没有贡献。因此e越大，支持向量数越少。对于标准支持向量，如果0aiC(ai*=0)，此时xi=0，由式可以求出参数b： lb=yi-(aj-aj=1*j)xjxi-e*j=yi-xjSV(aj-a)xjxi-e同样，对于满足0ai*C(ai=0)的标准支持向量，有 b=yi-xjSV(aj-a*j)xjxi-e一般对所有标准支持向量分别计算b的值，然后求平均值，即 b=1NNSV+0aiCyi-xjSV(aj-aj)K(xj,xi)-e*0ai
7、eV(x);eV(x)y-f(x)-eV(x); *y-f(x)-eV(x);*其中V(x),V*(x):cR+，采用推广的e-不敏感损失函数构造n-SVR问题，将原始最优化问题转化为： mina(*)(*),x,bs.t.1lli=1(ai+ai)+Cn*ll*xi+ni=1*xi+i=1*1lli=1*(xi+xi)wxi+b-yieiV(xi)+xiyi-wxi-beiV(xi)+xiei(*),xi(*)0,i=1,2,L,l惩罚带为任意形式的支持向量回归机包含了针对惩罚函数改进SVR结构的所有模型。 此外，还有模糊支持向量回归机59、拉格朗日支持向量机115等。 3.3.3 SVM参
8、数优化方法研究 支持向量机的性能取决于超参数C、e、核函数类型及核参数。核函数类型的选择与所应用的领域有关，核函数特性的不同决定建立的模型也具有不同的特性，对于静态软测量建模，一般采用rbf核函数，因为其跟踪性能较好且没有记忆性，符合静态建模的特点。核参数反映了训练数据的范围或分布，它对模型的预测效果影响较大；调整因子C是模型复杂度和推广能力的折中，它决定了对损失大于e的样本的惩罚程度，当C时，模型优化目标退化为经验风险最小化，C过小，使经验风险所占比重太少，模型结构复杂度下降，但训练误差可能超出接受范围；e不灵敏函数是SVR的重要特征，它决定了支持向量的数目，保证了解的稀疏性，是模型推广性能
9、的象征，但是太平滑的估计又会降低模型的精度。目前没有一个理论的方法来设计SVR的参数，现有的软件都是基于建模者的经验在建模之前设定。常用的设定SVR参数的方法主要有以下几种： 1）交叉检验法 交叉检验法是用的最多的一种参数选择方法，其基本思想是将样本集分为训练集、检验集和测试集，选择若干组模型参数，用训练集推导模型系数，选择其中使检验集误差测度最好的参数用于测试集。根据样本集的长度，可以设定交叉检验的次数。 2）经验选择法 经验选择就是根据建模者的经验在建模之前选择参数。Vladimir等提出了一种根据训练集数据特性选择模型参数的方法116，其中 C=max(y+3sy,y-3sy) 式中y,
10、sy分别表示训练数据集中y的均值和标准偏差； e=3slnnns为噪声的标准偏差，n为样本数。上述经验公式是基于噪声水平已知的假设，并没有理论上的证明。 3）网格优化选择法 网格优化算法是一种大范围点集搜索方法。搜索范围的确定仍需建模者设定。该方法简单易行，但是训练时间较长，一般用来确定参数范围，再用其他方法进行渐近搜索。 4）统计学习理论的VC维学习方法117、118 采用统计学习理论的方法导出模型推广错误的界，并用VC维来表示，用统计学习理论选择的核和调整因子C可以使VC维的上界最小，从而可以确定模型的参数。但这种方法需要在非线性空间计算超球半径。 5）Bayesian学习方法 James Tin-Yau Kwok基于权值空间的观点给出了SVM的贝叶斯解释119。说明了SVM可以解释为MacKay证据体系的第一层推理，还说明了证据体系下的第二层、第三层推理也可以应用到SVM：第一个层次的推导考虑w的概率分布，确定正则项和损失函数的可能性；第二层推理是调整因子C的推导；第三个层次的推理是获得核参数。
