最大似然估计及三大检验资料.docx

《最大似然估计及三大检验资料.docx》由会员分享，可在线阅读，更多相关《最大似然估计及三大检验资料.docx（25页珍藏版）》请在三一办公上搜索。

1、第二章线性回归模型回顾与拓展（12-15学时）第四节三大检验（LR Wald LM） 一、极大似然估计法（ML）（一）极大似然原理假设对于给定样本-X，其联合概率分布存在，f （匕X;&）。将该联合概率 密度函数视为未知参数 &的函数，则f （Y, X; &）称为似然函数（Likelihood Function）o极大似然原理就是寻找未知参数&的估计&，使得似然函数达到最大， 或者说寻找使得样本Y, X 出现的概率最大&。（二）条件似然函数VS无条件似然函数f （Y, X;&）=f （YX ;0）f （X;q）若0与中没有关系，则最大化无条件似然函数f （Y,X;&）等价于分别最大化 条件似然

2、函数f G|X ;0）和边际似然函数f （X冲），从而0的最大似然估计就是 最大化条件似然函数f G|X ;0）。（三）线性回归模型最大似然估计Y - X p + u， u T N（0,。2I）2b 2L(Y, X; p, b 2) = (2兀b 2)-； exp (Y _ X p)(Y _ X P)对数似然函数:2b 2于是dlapaiab 2l = LnL =亳 2s 直Lnb 2 (Y X p )(Y X p) 221(2 X Y + 2 X X p) = 0 2b 2+(Y X p )，(Y X p) = 0 2b 22b 4r x .0 = (X X)-i X Y ML1b 2 =_

3、 ee、ML n（三）得分（Score ）和信息矩阵（Information Matrix ）所 ，一，-V = f （ ；匕X）称为得分;QU和1aiao仞得分向量；（Gradient）2aoka 2i 海瑟矩阵(Hessian Matrix) : H =aoao信息矩阵: 三*、带约束条件的最小二乘估计（拉格朗日估计）在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候 可能会遇到非样本信息一一对未知参数的约束限制（如生产函数中的规模报酬不 变等）。在这种情况下，我们就可以采用拉格朗日估计法。对于线性模型（1），若其参数P具有某种线性等式约束:H0 =0（6）其中H是m x

4、k矩阵（m 00,0 0。等），从总体中抽取一个容量为n的样本，确定 一个统计量及其分布，决定一个拒绝域W，使得p（W）=a，或者对样本观测数00据X，P（X G W）a。a即是显著性水平，也是犯第一类错误的概率。00既然犯两类错误的概率不能同时被控制，所以通常的做法是限制犯第一类错 误的概率，使犯第二类错误的概率尽可能的小，即在P （X G W）a0 G0的条件下，使得PCX G W），0 G0-00达到最大。其中P（X G W）表示总体分布为F（x,0 ）时，事件X G W的概率，00为 零假设集合(。0只含一个点时成为简单原假设，否则称为复杂原假设)。0-00 则表示备择假设集合，为了方

5、便描述，我们定义p(o)=%(X e W)称(0)为该检验的势函数。当0 e00时，(0)是犯第一类错误的概率；而当 Oe0-0o时，1-(0)是犯第二类错误的概率。于是一个好的检验方程是：maxp(0),0 e0 -0 八 0s.t p(0) a,0 e00为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数1, x eW 甲(x) = 八0, x W W它是拒绝域W的示性函数，仅取0、1两个值。反之如果一个函数中(x)只取0 或1，则W = x I (X) = 1可作为一个拒绝域。也就是说，W和之间建立了一种 对立关系，给出一个就等价于给出了一个检验法，(我们称为检验函数)。

6、那 么，对于检验法的势函数为p(0)=铲(X) = W (x)dF(x, 0)于是，一个好的检验法又可写为maxp (0),0 e0 -0s.t E( x) 0，使得侦方满足：E 甲(X) =a001,当p(x,01) Kp(x,00)甲 X) =10，当p(x,0 ) K0,人(x) K这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定 是似然比检验法。而大量的文献都已证明了传统假设检验中的Z检验，t检验，X 2 检验，F检验都是最优势检验。于是，我们可以放心地回到这部份的主题一一计量经济模型的检验方法。二、一般线性框架下的假设检验多元回归模型丫 = p +p X +P

7、X + u的统计检验通常包括以下三种情 011k k况：（1）单个系数的显著性检验；（2）若十个回归系数的联合检验；（3）回归系 数线性组合的检验。例如：考虑下面这些典型假设的例子。10、H0: p . = 0。即回归元X对Y没有影响，这是最常见的参数显著性检验。20、H : p = p 。p是某一具体值。例如p表示价格弹性，我们也许希 0 . 0. 0.望它是-1。30、H0:料+ 02=1。这里的P表示生产函数中资本和劳动的弹性，此时检 验是否规模报酬不变。40、H : P =P或p -p = 0。即检验X和X的系数是否相同。 023232350、H0: p广。2=.p广0。即检验全部回归

8、元都对Y没有影响。60、H0: p广0。 这里的含义是把p向量分为两个子向量pp，分别 含有匕和七个元素。检验H0: p= 0就是检验某一些回归元X（ X的一部分） 对Y没有影响。诸如以上的情形都可归于一般的线性框架：Rp = r（注意：这里p = （p ,p ）其中R是由已知常数构成的qxk矩阵（q k），r是各元素为常数（一般是0或 1）的qx1矩阵。于是，对于上述情形，具体的我们有：（i）R （010）,r = 0.（q 1）（ii）R = （0 1 0）,r = p .（q 1）（iii）R = （1,1,0 0）, r 1.（q 1）（iv）R （0,1,-1,0）,r 0.（q 1

9、）(v) R = I ,r = 0.(q = k)、(0 0 )(vi) R = 0 I ,r = 0.(q = kk2所以，上述问题的统一假设是：H 0: Rp- r = 0. .人.一人 .、为了检验这个假设，应先估计出P，计算Rp-r，若其值较“小”，(接近于0),一 、.、 . .A则不应否定原假设;而如果其值较大，那么应对H提出怀疑。为此我们先考察Rp 0的分布。，A-一、,、一 一.对于OLS的P，我们知道P N(P,6(XX)-1)。(汪意：这里的X是所有解 释变量观测值组成的nxk矩阵不含全是1的第一列)而E (Rp) = RPVar(Rp) = ER(P - P)(P - P

10、)，R = RVarpR=sR(XX)-1R所以，Rp N(Rp,Q2R(XX)-iR)于是，在H : Rp-r = 0成立的条件下， 0Rp - r N(0,Q2R(XX)-iR)那么，由有关的数理统计知识可知：(Rp- r )Q2 R( X X )-i R-i( Rp- r) / 2(q)(1)此外，我们还可以证明p一 X2(n-k -1)(残差平万和的分布)。Q 2因此，由上述两式，得到在H 0下的检验统计量：F= (RPr坏)1R1(耶r) q F(q,n k 1)ee (n k 1)(2)(注意：ee(n k 1) =，2)于是，检验的程序是，如果算出的F值大于某个事先选定的临界值，

11、则拒绝H0。具体描述如下:、# 人 -一、此时Rp为p。R(XX)-1R为c。即(XX)-1王对角线上的第i个兀素(注：.II(XX)-1是一 K阶对称方阵)。因此：P 2 p 2F 二 F (1n k 1)b 2cVrp.ide取平方根t -鸟 t(n k 1),这就是传统的关于回归参数显著性的t检验法。 sepi20、H0: p. = pB p类似10，这里t 心 t (n k 1)sepi此时也可以计算，比如p.的95%置信区间，而不用检验关于p,的具体假设，这个置信区间是ptSep。i 0.025 i30、H0： p + p2 1Rp给出了两个估计系数的和8+8，而此时R(XX)-1

12、R c + 2c + c (注:12111222(XX)-1 (c )，R=(1,1,0)。那么 .成(、) 1 b2(c+ 2c + c)-1= Varp+ 2Cov(p,p ) + Varp-1=Var(p+p)-1111222112212于是检验统计量为:B +6 -1I.t 12- 口 t (n k 1)Var (料+叩或者，也可以计算p+p的95%置信区间（p +&） 土 t -12120.025/40、H0: P2 二匚类似30，可推得此时的检验统计量为t 一 ，2 ，3口 t (n k 1)Var(B -B ) 、235。、H : p =。= . p = 0此时R =匕,r=0，

13、 q=k，那么44 F 二史竺虹二ESSk口(k, n - k -1)ee (n - k -1) RSS n - k -1这就是我们熟悉的关于回归方程显著性的F检验。60、H0: p = 0这里对应于p=?i 。把X分块为X =（X X ），可以证明（过程略）叮1此匕日寸 F = (e1e1-ee) k2 口 F(k ,n-k -1)(3)ee (n - k -1)2其中竹是Y对X,做线性回归的残差平方和。ee是Y对所有X回归的rss。通过上述示例，我们看到一般线性框架下的假设检验，它涵盖了传统计量经 济分析中的统计检验方法。有了它，我们可以方便地实现许多实证问题中线性意 义下的统计检验。其重

14、要性是显而易见的。三、一般线性假设检验的另一种形式上面第60情况出现的统计量就是这里所说的另一种形式。显然50是60的特 殊情况，而事实上我们还将看到其它的情况也可归于60。另外，这里还有一个问 题，即类似于第30种情况的检验与上一章所讲的带约束的最小二乘估计的关系是 什么？也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约 束限制的模型回归后的参数检验的结果是否一致？下面的具体分析就回答了这 一问题。事实上，无论50还是60都可以认为用了两种不同回归的结果。第一种回归 可看作有约束的回归，或者说H中的约束条件实际上是估计方程施加的。即50中 0有约束回归是将X ,X，,X从回归

15、式中省略掉，或等价地说，令p , p，,p为 12K12 k零；在60中，有约束的回归只用了前面一部分变量X( K +1 -K2个)。而50、60 两种情况的第二种回归是无约束回归，它们都用了所有的变量X。由于无约束模 型的残差平方和RSS是de，有约束模型的残差平方和RSS记为e*e*，因此对某 些P,的显著性检验也就是问，对应的Xj加入模型后，残差平方和RSS是否显著 减少。具体到第3。种情形，考虑离差形式的回归方程 j = p x +p x + e1122对其施加约束P+P =1，代入回归方程 j = p x + (1-p )x + e121112或(j - x ) = p (x - x

16、 ) + e由变量(j - x2)对(气-x2)的回归便可得到p的受约束估计值，而这个回归的 RSS就是有约束的RSS，即e*e*。实际上这就是我们前面讲到的带约束条件的最小二乘估计。.-一一一- A.一般地，在约束条件R&* = r下，求使RSS达到最小的&*，构造拉格朗日函数L = (Y - Xp )(Y - Xp ) +归(R。- r)，运用前面所讲的方法可得到(过程略)q q q、p =p-(X X )-1 RR( X X )-1 R-i(Rp- r)(4)*其中p是无约束的OLS估计量，而受约束回归的残差为e = Y-Xp = Y-Xp-X(p -p) = e-X(p -p)*将其转

17、置，再与其自身相乘，有ee =e，e + (p -p)XX(p -p)*一人人一再把(4)式的p -p代入并化简可得 *ee ee = (Rp - r)R(X X )-i R-i(Rp r)(5). . 人.这与(2)式中除q外的分子完全相同，也就得到了检验假设H : Rp = r的统计 0量的另一种形式为 F = M*_竺1_ 口 F(q,n 一k -1)(6)ee (n - k -1)这也恰好说明前面所述的6种检验的情形都可以用上述方式进行，即拟合一个受约束的回归，用受约束模型的残差平方和与无约束模型的残差平方和之差ee - e，e的大小(或记为RSS -RSS)来推断原假设是否成立。这也

18、就是说一* *RU般的线性假设情形都是60的特例，或者(6)式的F统计量是普遍适应于一般线性假设的一种重要检验方法。即F=(RSS. - RSS ) q RSSR (n - k-1) U F (q, n - k -1)其中RSSr和RSSu分别是受约束模型和无约束模型的残差平方和，q是约束条件个数。同时，这也就回答了本段开始的问题，即，对于未知参数有约束限制的模 型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果应该是 一致的。四、似然比检验（LR）如本节开头所述，在统计推断中，古典检验方法是建立在似然比的基础之上 的。由此可见似然比检验的重要性（当然它的实用性也会在应用中显现出

19、来）。 一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数 的最大值的比率。上一节我们得到了线性回归模型参数的极大似然估计量（上一 节（4）式和（5）式）人.p = （X X ）-1 X YML1U4b2 =（Y - X p ）f（Y - X p ）ML nMLML它们在无约束条件下，使似然函数最大化。把它们代入似然函数可得无约束 的最大似然值（推导过程略）L（仅 6 2）=常数（ ee）-n2（7）（式中的常数与模型中的任何参数无关，ee是残差平方和）另一方面，如果在约束条件RP = r下使似然函数最大化，令日和或2表示所 导致的估计值，那么L（ fP Q 2）便是约束条

20、件下的最大似然值，有约束的最大值当 然不会超过无约束的最大值，但如果约束条件“有效”，有约束的最大值应当“逼 近”无约束的最大值，这正是似然比检验的基本思路。似然比定义为拦 L（,g）L（我,62）显然，0 x 1。如果原假设为真，我们会认为人的值接近1。或者说，如果 人太小，我们则应该拒绝原假设。似然比检验的建立就是要使得当X k时，拒 绝原假设。即P（0 xx* （卡方分布的a上侧分位数）时，则拒绝原假设。LM检验方法实际上是从一个较简单的模型开始，检验是否可以增加新变 量，第一步就是对简单模型（变量较少）回归，得到残差e。如果“真实”模型变 *量很多，则这些变量加入模型应对e*有影响。所

21、以第二步e*对所有变量回归而得 到的R2的大小就将直接决定是否应该增加新变量，即约束RS = r是否成立。如 果R2很大（nR2 xa），则说明新增变量对e*有显著影响，即真实模型应含较多 变量，或者说对参数的约束（比如某些S，.为0）不成立。如果R2较小（nR2 LR LM首先，(10)式可写为 LR = nln(1+ )ee1将其按级数ln(1+z) = z z2 + 展开，便可得到LR W。2其次证明(15)式可写为LM = n(e*e* ee)(17)e e* *-.一-一-人 .事实上，对于回归模型Y = Xp + e的残差可表为人.e = Y X p = Y X (X X)-1X Y = I X (X X)-1X Y = MY其中M = I X(XX)-1 X是一对称等幕矩阵，它具有性质MX = 0，Me = e。而.人.人对于满足约束条件RP* =尸的受约束估计量p *同样有e*= Y Xp *，从而Me = MY= e因为MX = 0)，于是有*ee = e： M Me = e; M(M = M, M 2 = M)=e; I X (X X)-1X e*=e e e X (X X)-1X e* *即e*X(XX)-1 Xe* = e*e* ee，这就得到了 LM的另一种表达式，即(17)式。再次，LR还可写为LR