《非参数回归的介绍ppt课件.ppt》由会员分享，可在线阅读，更多相关《非参数回归的介绍ppt课件.ppt（60页珍藏版）》请在三一办公上搜索。
1、1,参数回归与非参数回归的优缺点比较：,参数回归：,非参数回归：,优点：(1).模型形式简单明确，仅由一些参数表达 (2).在经济中，模型的参数具有一般都具有明确的经济含义 (3).当模型参数假设成立，统计推断的精度较高，能经受实际检验 (4).模型能够进行外推运算 (5).模型可以用于小样本的统计推断缺点：(1).回归函数的形式预先假定 (2).模型限制较多：一般要求样本满足某种分布要求，随机误差满足 正态假设，解释变量间独立，解释变量与随机误差不相关，等 (3)需要对模型的参数进行严格的检验推断，步骤较多 (4).模型泛化能力弱，缺乏稳健性，当模型假设不成立，拟合效果 不好，需要修正或者甚
2、至更换模型,优点；(1)回归函数形式自由，受约束少，对数据的分布一般不做任何要求 (2)适应能力强，稳健性高，回归模型完全由数据驱动 (3)模型的精度高 ;(4)对于非线性、非齐次问题，有非常好的效果,缺点：(1)不能进行外推运算,(2)估计的收敛速度慢 (3)一般只有在大样本的情况下才能得到很好的效果， 而小样本的效果较差 (4)高维诅咒, 光滑参数的选取一般较复杂,2,非参数回归方法,样条光滑,正交回归,核回归：N-W估计、P-C估计、G-M估计,局部多项式回归：线性、多项式,光滑样条：光滑样条、B样条,近邻回归：k-NN、k近邻核、对称近邻,正交级数光滑,稳健回归：LOWESS、L光滑、
3、R光滑、M光滑,局部回归,Fourier级数光滑,wavelet光滑,处理高维的非参数方法：多元局部回归、薄片样条、 可加模型、投影寻踪、 回归树、张量积，等,3,核函数K ：函数K(.)满足:,常见的核函数：,Boxcar核：,Gaussian核：,Epanechnikov核：,tricube核：,为示性函数,4,回归模型：,(1)模型为随机设计模型,样本观测 (X i, Yi)iid,(2)模型为固定设计模型,Xi 为R中n个试验点列, i=1,2,n,Yi为固定Xi的n次独立观测，i=1,2,n,m(x)为为一未知函数，用一些方法来拟合,定义：线性光滑器(linear smoother)
4、,5,光滑参数的选取,风险(均方误差) (mean squared error , MSE),理想的情况是希望选择合适的光滑参数h，使得通过样本数据拟合的回归曲线能够最好的逼近真实的回归曲线(即达到风险最小)，这里真实回归函数m(x)一般是未知的。 可能会想到用平均残差平方和来估计风险R(h),但是这并不是一个好的估计，会导致过拟合（欠光滑），原因在于两次利用了数据，一次估计函数，一次估计风险。我们选择的函数估计就是使得残差平方和达到最小，因此它倾向于低估了风险。,是 的估计，h是光滑参数，称为带宽或窗宽,6,光滑参数的选取,缺一交叉验证方法(leave-one-out cross valid
5、ation , CV),这里 是略去第i个数据点后得到的函数估计,交叉验证的直观意义：,因此：,7,光滑参数的选取,定理：若 那么缺一交叉验证得分 能够写成：,这里 是光滑矩阵L的第i个对角线元素,广义交叉验证(generalized cross-validation,GCV),其中： 为有效自由度,8,光滑参数的选取,其他标准,(1)直接插入法(Direct Plug-In , DPI),相关文献可以参考：,Wolfgang Hrdle(1994)，Applied Nonparametric Regression，Berlin Jeffrey D.Hart (1997), Nonparame
6、tric Smoothing and Lack-of-Fit Tests， Springer Series in Statistics 李竹渝、鲁万波、龚金国(2007)，经济、金融计量学中的非参数估计技术，科学出版社，北京 吴喜之译(2008)，现代非参数统计，科学出版社，北京,(2)罚函数法(penalizing function),(3)单边交叉验证(One Sided Cross Validation，OSCV),(4)拇指规则(Rule Of Thumb),9,1.核回归（核光滑）,N-W估计是一种简单的加权平均估计，可以写成线性光滑器：,局部回归,由Nadaraya(1964) 和
7、 Watson(1964)分别提出，,（1）N-W估计,形式：,其中： , 为核函数， 为带宽或窗宽,10,局部回归,（2）P-C-估计,由Priestley and Chao(1972)提出，形式：,写成线性光滑器的形式：,在随机设计模型下，P-C估计可由x的密度估计：,推导出来，相关文献可参考hrdle(1994)和李竹渝等(2007),11,局部回归,(3) G-M估计,由Gasser and Mller(1979)提出，形式如下:,其中,写成线性光滑器的形式:,G-M估计是卷积形式的估计，P-C估计可看成G-M估计的近似:,当K连续,12,局部回归,核估计存在边界效应，边界点的估计偏差
8、较大,以N-W估计为例，如下图,13,局部回归,一般，核函数的选取并不是很重要，重要的是带宽的选取,14,局部回归,一般，核函数的选取并不是很重要，重要的是带宽的选取,15,局部回归,一般，核函数的选取并不是很重要，重要的是带宽的选取,可以看到：拟合曲线的光滑度受到光滑参数h变化的影响,16,局部回归,核估计的渐近方差核渐近偏差,其中，h为光滑参数，f为X的密度函数，且,17,局部回归,2.局部多项式光滑,多项式的回归模型,其中 可由最小二乘法估计, 即,局部多项式回归：对m(x)在u处进行p阶泰勒展开，略去p阶高阶无穷小量，得到m(x)在u处的一个p阶多项式近似，即,此时，x应该靠近u，且,
9、18,局部回归,通过最小二乘来估计系数,注意：是在x的一个邻域内进行多项式估计，因此，最小二乘应该与x的邻域有关,局部加权平方和：,使上述问题最小化，可以得到系数的局部多项式的最小二乘估计,可以很容易得到，取p=0时为局部常数估计，即N-W核估计,取p=1，为局部线性估计,19,局部回归,写成矩阵形式：,使上式最小化，可以得到系数的估计,其中,20,局部回归,得到加权最小二乘估计,当p=1时（局部线性估计）的渐近偏差和渐近方差,其中,可以看到局部线性回归的渐近方差和N-W估计相同，而渐近偏差却比N-W回归小，说明局部线性多项式可以减少边界效应，局部线性估计由于N-W估计,21,局部回归,局部多
10、项式光滑可以很好的减少边界效应,22,局部回归,检验函数(Doppler函数),23,局部回归,使用GCV选取最优带宽h=0.017，权函数为tricube核函数,24,局部回归,使用GCV选取最优带宽h=0.017，权函数为tricube核函数,25,局部回归,3.近邻光滑,(1) k-NN回归(k-nearest neighbor regression),其中 = i : xi是离x最近的k个观测值之一,K-NN估计的渐近偏差和渐近方差：,对于随机设计模型，近邻估计写成线性光滑器的形式,权函数：,26,局部回归,(1) k-NN回归(k-nearest neighbor regressio
11、n),27,局部回归,(1) k-NN回归(k-nearest neighbor regression),28,局部回归,(2)k-近邻核回归,K近邻核估计的权重,其中R为xi 中离x最近的第k个距离，K为核函数,渐近偏差和渐近方差：,29,局部回归,(2)k-近邻核回归,30,局部回归,(2)k-近邻核回归,31,局部回归,(3)对称化近邻回归(Symmetrized Nearest Neighbor Estimate),Yang(1981)，Stute(1984)研究了这种估计,其中权重,写成线性光滑器,这里的k(h)相当于nh, 可以看出实质上相当于nh个Yi值加权平均,32,局部回归,
12、4. 稳健光滑,(1)局部加权描点光滑(Locally Weighted Scatter plot Smoothing, LOWESS),Step1:在x的邻域内，用一个多项式进行拟合，求出系数 j ,其中Wki(x) 为k-NN权,Step2:根据残差 计算尺度估计 ，,定义稳健权重,Step3:用新的权重 重复Step1、Step2，直到第N次结束,33,(1)局部加权描点光滑( LOWESS),局部回归,34,(1)局部加权描点光滑( LOWESS),局部回归,35,局部回归,(2) L- 光滑,条件L函数,其中为条件分位数函数,特别：a)当 时,b)当 时，为中位数光滑,其中 = i
13、: xi是离x最近的k个观测值之一,36,局部回归,(2) L- 光滑,对于条件L函数,其中用 来估计F(y|x),得到L-估计,37,局部回归,(3) M- 光滑,(局部)最小二乘方法得到的光滑估计,是通过考虑损失函数为二次函数得到的，现在考虑损失函数,c较大时，为普通的二次损失函数，c较小(1倍或2倍观测误差的标准差)可以获得更多的稳健性,38,局部回归,M-样条(Cox, 1983),核M-光滑(kernel M-smoother)(Hubber,1979;Silverman,1985),39,局部回归,(3)R-光滑,定义得分函数,其中J是定义在(0, 1)上的非减函数，满足J(1-s
14、)=J(s),用 来估计F(y|x)，则 应该粗略地接近0,对于 ，则,Cheng and Cheng(1986)提出的R-估计：,40,样条回归,设m(x)在a, b连续可微，且二阶导数平方可积,考查形式,其中 为粗糙惩罚,1. 光滑样条,41,样条回归,定义一组样条基函数：,注意，这里样条基函数可以是其他样条基 如: B样条基(吴喜之译(2008),样条,42,样条回归,将前面的优化问题写成矩阵形式：,其中,上述问题的最优解,其中,43,样条回归,下面的图利用的是B样条基函数，,44,样条回归,下面的图利用的是B样条基函数，,45,样条回归,下面的图利用的是B样条基函数，,46,正交光滑,
15、1.正交多项式回归,回归函数,其中 是正交基函数，如Laguerre, Legendre正交多项式,正交基满足,系数,系数估计,如,47,正交光滑,回归函数估计,写成线性光滑器：,48,Legendre正交多项式,正交光滑,49,正交光滑,2. Fourier 级数光滑,在实际中，将无穷用有限值r替换，r称为截断点，相当于光滑参数,是正交cosine基空间,系数,系数 的估计,其中,50,正交光滑,m(x)的估计,将 代入，得,其中,可以看到上面的估计与G-M估计有相同的表达形式，都为卷积形式，只是核函数不相同,51,正交光滑,另外一种的Fourier估计,一般要求：,同样可以写成卷积形式：,
16、其中,关于权函数选取可以是满足前面条件任意的权函数,52,正交光滑,常见的权函数,. Fejr权：, Rogosinski权：,特征权:,若令n-1=r,则,K是K的特征函数，K是关于原点对称的连续概率密度函数,53,正交光滑,3.小波回归(wavelet regression),具有空间适应性，是一种适应性估计，一般对信噪比很大的数据可以很好的拟合,其中,在实际中，可以这样近似：,其中：,54,正交光滑,小波基函数：,Haar父小波,母Haar小波,55,正交光滑,函数集,是 上的正交基,父小波：,水平1：,水平2：,水平3：,水平4：,56,正交光滑,通过小波基函数可以发现大多数 因此可以略去，但需要识别.,对于：,回归函数估计的步骤:,(1)估计系数:,(2)收缩:,(3)重新构造:,57,正交光滑,常用的收缩方法：软阈与硬阈,软阈(soft threshold):,硬阈(hard threshold):,其中阈值的确定,58,正交光滑,59,正交光滑,60,正交光滑,
