《多元线性回归模型的参数估.ppt》由会员分享，可在线阅读，更多相关《多元线性回归模型的参数估.ppt（30页珍藏版）》请在三一办公上搜索。
1、,3.2 多元线性回归模型的估计,估计方法：OLS、ML或者MM,一、普通最小二乘估计*二、最大或然估计*三、矩估计,四、参数估计量的性质五、样本容量问题六、估计实例,一、普通最小二乘估计,对于随机抽取的n组观测值(Yi,X ji),i=1,2,n,j=0,1,2,k,如果样本函数的参数估计值已经得到，则,有：Yi=0+1 X 1i+2 X 2i+ki X Ki,i=1,2n(3.2.1),1、普通最小二乘估计,i,根据最小二乘原理，参数估计值应使得剩余平方和达到最小，min Q=min e2=(Yi-Yi)2即,i,+k X ki)2,min e2=Yi(0+1 X1i+,(3.2.2),2
2、 Yi(1+2 X 2i+3 X 3i+.+ki X ki)=0,X1i)ki=0,2 X ki=0,Yi(0 1 X1i+k X ki),利用微积分知识，只要求Q关于待估参数的偏导数，并令其值为零，即,k),=0(j=0,1,(ei2)j,就得到待估参数估计值的正规方程组：,2 Yi(0+1 X1i+k X,+,(*),(0+1 X1i+,(0+1 X1i+,(0 1 X1i+,+,在(*)式中，移项得：,解这个k1个方程组成的线性代数方程组，即可,得到k1个待估参数的估计值,+k X ki)=Yi+k X ki)X1i=Yi X1i+k X ki)X ki=Yi X ki,j(j=0,1,
3、k),(3.2.3),X 1i,X 0 1,X 1i X ki 1 X 11,X ki k X k 1,1 Y1,Y,(3.2.3)的正规方程组的矩阵形式,=,X X X ki,n X ki,X 1n Y2 X kn n,ki2,1i21iX 1i,1X 12X k 2,即,(XX)=XY,由于XX满秩，故有,=(XX)1 XY,(3.2.4),(3.2.5),),),将上述过程用矩阵表示如下：即求解方程组：(Y X(Y X=0(YY 2YX+XX=0 XY+XX=0,XY=XX=(XX)1 XY,得到于是,Yi(0+1 X1i+,+k X ki)=ei,j X ji ie=0,对于(*)式，
4、注意到,用矩阵形式表示：我们可以得到正规方程的另一种形式,k,j=1,2,ei=0,(3.2.6),(3.2.6)式是多元回归模型正规方程的离差形式。,1,y1 x11 x21 xk1,y 2,2,y=,x=,=,x x x,y,由此容易得到多元回顾分析中样本回归函数的离,差形式,yi=1 x1i+2 x2i+k xki+ei i=1,2n(3.2.7),其矩阵形式为,其中,x12 x22 xk 2,n 1n 2 n kn k,在离差形式下，参数的最小二乘估计结果为,y=x+e,(3.2.8),k X k,=(xx)1 xy 0=Y 1 X 1,(3.2.9),x x(x x),2,2,x x
5、(x x),2,2,i,Y=0+1 X1i+2 X2i+ui其参数的最小二乘估计量如下：,(i=1,2,n),2,22,1 2 1 21 2 1 2,1=2=,x1 y x2 x2 y x1x2 x2 y x1 x1 y x1 x2,最简单的多元线性回归模型是二元线性回归模型。二元线性回归模型的一般形式为：,0=Y 1 X 1 2 X 21、2称为偏回归系数。,(X X)=,X n,1,X 1,X i,X n,=,例3.2.1 在例的家庭收入-消费支出例中，,21500 53650000,10 21500,11 1,i2i,X X,X 2 n=,1X 2,1 X 1,=X 2 Y Yn 可求得
6、1 0.0003 1.35E 07 于是=2,估计值与观测值之间的残差：,2、随机干扰项的方差的普通最小二乘估计,对于多元回归模型 Y=X+由于被解释变量的,e=Y X=X+X(X X)1 X(X+)=X(X X)1 X=I X(X X)1 X=M 残差的平方和为：ee=MM,因为所以,M=I X(X X)1 X 为对称等幂矩阵，即M=M,M 2=M M=Mee=M,=,=,所以,E(ee)=E I X(X X)1 X,=2tr I X(X X)1 X=2trI tr X(X X)1 X=2n(k+1),2,E(ee)n k 1,2,een k 1,(3.2.10),其中k为解释变量的个数,(
7、2)n,(2)n,二、最大或然估计*(ML),对于多元线性回归模型Yi=0+1 X 1i+2 X 2 i+k X ki+i,易知,Yi N(X i,2),),2,2,=,=,12,12,e,e,1n2,(Yi(0+1 X 1i+2 X 2 i+k X ki)2,1n2,(Y X(Y X即为变量Y的似然函数,其中 X i=(1 X 1i X 2i X ki)Y的随机抽取的n组样本观测值的联合概率,(3.2.11),对数似然函数为,),(Y X(Y X,12 2,=nLn(2),L*=Ln(L),(3.2.12),),对对数似然函数求极大值，也就是对(Y X(Y X求极小值。因此，参数的最大或然估
8、计为,=(XX)1 XY显然结果与参数的普通最小二乘估计相同,(3.2.13),(Y X)(Y X),=,与一元回归相仿，容易得出多元回归下随机干,扰项方程的方差估计为：,2,i,n,enn,(3.2.14),四、参数估计量的性质在满足基本假设的情况下，其结构参数 的普通,最小二乘估计、最大或然估计及矩估计仍具有：,线性性、无偏性、有效性。同时，随着样本容量增加，参数估计量具有：渐近无偏性、渐近有效性、一致性。1、线性性,=(XX)1 XY=CY,由于,其中,C=(XX)-1 X 为一仅与固定的X有关的向量；可见参数估计量是被解释变量Y的线性组合。,2、无偏性E()=E(X X)1 X Y=E
9、(X X)1 X(X+)=E(X X)1 X X+E(X X)1 X,=这里利用了假设:E(X)=0,(3.2.17),X X)X E()X(X X)1,(3.2.17),1,3、有效性（最小方差性）首先给出参数估计量 的方差协方差矩阵：Cov()=E E()E()=E()()1,=(,=(X X)1 X 2 IX(X X)1,=2(X X)1,这里利用了=(X X)1 X Y=(X X)1 X(X+)=+(X X)1 X,和,E()=2 I,I为单位矩阵,=C Y=C(X+)=C X+C,E(*)=C X,*是无偏性要求 C X=I,C X=(X X)X X+DX,根据高斯马尔可夫定理，（）
10、式表示的方,差在所有无偏估计的方差中是最小的，所以该参数估计,量具有有效性。,事实上，*是其他方法得到的关于的线性无偏估*1,*,*,于是根据由于,*1,*,(*=C Y=C X+C*=+C*),*,*,Cov(*)=E*E(*)*E(*),=E(*)(*)*,=E(C*)(C*),=E(X X)1 X+D X(X X)1+D=2(X X)1 X X(X X)1+(X X)1 X D+DX(X X)1+DD=2(X X)1+2 DD=Cov()+2 DDDD为主对角线元素非负的对称矩阵，由此得Var(*)Var(),五、样本容量问题,所谓“最小样本容量”，即从最小二乘原理和最大,或然原理出发，
11、欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,1、最小样本容量,样本最小容量必须不少于模型中解释变量的数,目（包括常数项）,即,n k+1,因为，无多重共线性要求：秩(X)=k+1,2、满足基本要求的样本容量,从统计检验的角度：,n30 时，Z检验才能应用；n-k8时,t分布较为稳定,一般经验认为:,当n30或者至少n3(k+1)时，才能说满足模型,估计的基本要求。,模型的良好性质只有在大样本下才能得,到理论上的证明,六、多元线性回归模型的参数估计实例,例3.2.2 在例中，已建立了中国居民人均消费,一元线性模型。这里我们再考虑建立多元线性模型。解释变量：人均GDP：GDPP前期
12、消费：CONSP(-1)估计区间：19792000年Eviews软件估计结果,Eviews软件估计结果LS/Dependent Variable is CONSSample(adjusted):1979 2000Included observations:22 after adjusting endpoints,VariableCGDPPCONSP(-1),Coefficient120.70000.2213270.451507,Std.Error36.510360.0609690.170308,t-Statistic3.3059123.6301452.651125,Prob.0.00370.0
13、0180.0158,R-squaredAdjusted R-squared,0.9954030.994920,Mean dependent varS.D.dependent var,928.4946372.6424,S.E.of regression,26.56078,Akaike info criterion,6.684995,Sum squared resid,13404.02,Schwarz criterion,6.833774,Log likelihood,-101.7516,F-statistic,2057.271,Durbin-Watson stat,1.278500,Prob(F
14、-statistic),0.000000,e,(3.31)(3.63)由表可知：,(2.65),CONSP=120.7+0.22137 GDPP+0.451507 CONSP(1),2i,=13404.02,k=2,所以随机干扰项的方差估计值为：13404.0222 3,【练习】我国国有独立核算工业企业生产函数。根据生,产函数理论，生产函数的基本形式为：Y=f(t,L,L,)，其中L、K分别为生产过程中投入的劳动与资本，时间变量t反映技术进步的影响，下表列出了我国19781994年期间国有独立核算工业企业的有关统计资料，其中产出Y为工业总产值（可比价），L、K分别为年末职工人数和固定资产净值（
15、可比价）。试使用Eviews软件建立线性生产函数：Y=0+1t+2 L+3 K+其相关数据资料见下表。,我国国有独立核算工业企业统计资料,1.建立工作文件：cheate A 78942.输入统计资料：DATA Y L K,3.生成时间变量t：GENR T=TREND（77）4.建立回归模型：LS Y C T L K,可得到,Dependent Variable:YMethod:Least SquaresDate:02/21/08 Time:22:07Sample:1978 1994Included observations:17,VariableCTLK,Coefficient-675.320
16、877.678930.6666650.776417,Std.Error2682.060115.67310.8536260.104459,t-Statistic-0.2517920.6715380.7809807.432745,Prob.0.80510.51360.44880.0000,R-squaredAdjusted R-squaredS.E.of regressionSum squared residLog likelihoodDurbin-Watson stat,0.9957640.994786179.5630419157.5-110.08071.510903,Mean dependen
17、t varS.D.dependent varAkaike info criterionSchwarz criterionF-statisticProb(F-statistic),6407.2492486.74213.4212513.617301018.5510.000000,因此，我国国有独立工业企业的生产函数为：Y=675.32+77.6789t+0.6667 L+0.7764 K(0.252)(0.67)(0.78)(7.43)模型的计算结果表明，我国国有独立核算工业企业,的劳动力边际产出为0.6667，资金的边际产出为0.7764，,技术进步的影响使工业总产值平均每年递增77.68亿元。,但是模型中除资金变量K之外，其他变量（包括常数项）,所对应回归系数的估计误差都比较大。,
