《极大似然估计及其性质.docx》由会员分享，可在线阅读，更多相关《极大似然估计及其性质.docx（11页珍藏版）》请在三一办公上搜索。
1、极大似然估计及其性质极大似然估计及其性质 一、极大似然估计 设联合密度函数为 f(Y;q),则似然函数为 q=(q1q2Lqk) 似然函数=L(q;Y)=f(Y;q) 为使关于q的似然函数最大化，求q的一个估计q，使获得的已观测到的样本值的概率自大化，即最大似然估计量。 定义对数似然函数为 l=lnL 则 llL= qLq最大化l的q值也会最大化L，l对q的导数s(q;Y)称作得分，将得分定义为0，即可解出q，即 s(q;Y)=l=0 q二、MLE的性质 1、一致性。 )=q Plim(q 2、渐进正态性。 N(q,I-1(q) q式中I(q)为信息矩阵 l2ll I(q)=E=-Eqqqql
2、当q是一个k维向量时，表示k个偏导数组成的列向量，即 qlq1llq2 =qMlqk而l的二阶导数为 q2l2q1L2l=qq2lqqk13、渐进有效性。 2lq1q2L2lqkq22lLq1qk 2lL2qkk*kd-q)n(qN(0,s2) 4、不变性。 )是g(q)的MLE。 如果q是q的MLE，g(q)是q的连续函数，则g(q5、得分的均值为0，方差为I(q)。 三、线性模型的极大似然估计 设 Y=XB+UU的多元正态密度函数为 UN(0,s2) f(U)=Y关于X的多元条件密度为 1(2ps)2n2e-(12s2)(UU)f(Y,X)=f(U)U YU是由U中元素关于Y中元素的偏导数
3、组成的nn矩阵转换成的行列式的绝Y对值，并且为恒等矩阵。则上述意义下的对数似然函数为 nn1l=ln(f(Y|X)=ln(U)=-ln2p-lns2-2UU222snn1=-ln2p-lns2-2(Y-XB)(Y-XB)222s求B,s2的偏导数 l1=-2(-XY+XXB)B2sln1=-+(Y-XB)(Y-XB)224s2s2s令其为零，可解出极大似然估计 =(XX)-1XYB)(Y-XB) (Y-XB2s=n)=B，但s2不是s2的无偏估计，由于E(UU)=E(u2)=ns2，因此，求二阶导数为 2lXX2lXX=-2,-E=BBsBBs22lXU2l=-4,-E=0,(E(XU)=0)
4、 Bs2sBs22lnUU2ln=-,-E9=(s2)22s4s6(s2)22s4按照信息矩阵的定义，则 B2lI(q)=I2=-E2Bss2lBB=-E2ls2B1s2(XX)=02lXX2-s2Bs=-E2l-XUs4(s2)20n2s4s4 nUU-2s4s6-XU它的逆为 s2(XX)-1I-1(q)=004,(XX)为满秩矩阵 2sn、s2的结果代入似然函数l，可得似然函数的最大值为 将B-n-n,s2)=(2pe)2(s2)2L(B2pe-n2-n=(EE)2 n=g(EE)-n2其中，g为常数，它与模型中的任何参数都无关系。 四、三大检验 设一般线性假设为 H0:RB=r R为q
5、k阶矩阵，r为q1维已知向量。 ,s2)，约束条件的似然函数最大值为设无约束条件的似然函数最大值为L(B%,s%2)，则似然比为 L(B%,s%2)L(B l=2L(B,s)如果l很小，则凭自觉拒绝原假设，在某些情况下，可以由l的某些特殊变换来对l的“很小”导出精确的有限样本检验量，普遍适用的大样本检验是 a2,s%,s2)-lnL(B%2)LR=-2lnl=2lnL(Bc(q) 通过拉格朗日函数求最大化 l*=l-m(RB-r) 可得约束的极大似然估计，令其残差为E*=Y-XB*，s2的约束条件的极大似然*2=估计为sE*E*，则 n-n%,s%2)=g(E*E*)2 L(B其中，g为常数，
6、它与模型中的任何参数都无关系。由似然比 ,s%,s2)-lnL(B%2)LR=-2lnl=2lnL(Bnn=2lng-ln(EE)-lng+ln(E*E*)22=nln(E*E*)-ln(EE)(E*E*)(EE)EE+E*E*-EE=nlnEEEE-EE=nln(1+*)EE1=nlnE*E*-EE1-E*E*=nln 2、Wald检验。 a-r)在H0:RB=r成立下，有(RBN(0,Rs2(XX)-1R)，可得 a2-r)Rs2(XX)-1R-1(RB-r)(RBc(q) 2=q为R中约束条件的个数。用s2的一致估计量sEE代替上式中的s2，则 n-r)Rs2(XX)-1R-1(RB-r
7、)W=(RB=3、LM检验。 记得分为 s(q)=lnLl= qq-r)R(XX)-1R-1(RB-r)(RB2sn(E*E*-EE)EEac2(q) %)应趋近于L(q)。则此时，有s(q%)0。可以证明，在H当约束条件有效时，L(q0成立的情况下， a%)I(q%)-1s(q%)LM=s(qc2(q) 其中 l1Bs2XU%)=s(q=l-n+UU2s2s22s4*2=用E*代替U，s E*E*%满足RB%-r，则 代替s2，向量Bn1XE* %)=ss(q%20并且，信息矩阵的逆矩阵为 %2(XX)-1s%)=I-1(q0所以， 1LM=(2E*X%s%2(XX)-1s0)004 %2sn1%2(XX)-1=2E*Xs%s=01XE%2*%2s2s0n12XE*0s%012-11%EXs(XX)XE*%2*%2ss%2(XX)-1XE*E*Xs=%2s%2(XX)-1XE*nE*Xs=E*E*Engle证明了，在大样本下， aLR=nR2c2(q) 其中，R2为E*对X的辅助函数的可决系数。
