《非经典计量经济学模型估计方法第一节最大似然估计课件.ppt》由会员分享，可在线阅读，更多相关《非经典计量经济学模型估计方法第一节最大似然估计课件.ppt（57页珍藏版）》请在三一办公上搜索。
1、非经典计量经济学模型估计方法,第一节 最大似然估计,非经典计量经济学模型估计方法,计量模型估计方法说明,计量经济学模型(参数模型、均值回归模型、基于样本信息）的3类估计方法LS、ML、GMM经典模型的估计LS非经典模型的估计ML、GMM综合样本信息和先验信息的贝叶斯估计分位数回归模型，Quantile Regression ,QREG非参数模型的权函数估计、级数估计等,计量模型估计方法说明计量经济学模型(参数模型、均值回归模型、,主要内容,一、最大似然原理 二、线性模型的最大似然估计三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计 五、最大似然估计下的Wald、LM和LR检验,
2、主要内容一、最大似然原理,一、最大似然原理,一、最大似然原理,内在机理：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。该方法更本质地揭示了通过样本估计母体参数的内在机理。 在微观计量模型尤其适用。似然函数：将样本观测值联合概率函数称为样本观测值的似然函数。极大似然法：通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。,内在机理：当从模型总体随机抽取n组样本观测值后，最合理的参数,工作原理：在已经取得样本观测值的情况下，使似然函数取最大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。最
3、小二乘法：最合理的参数估计量是使得模型能最好的拟合样本数据；以正态分布的总体为例，每个总体都有自己的分布参数期望和方差，如果已经得到n组样本观测值，在可供选择总体中，哪个最可能产生这组样本数据？取得n组样本观测值的联合概率，然后选择参数使其最大，和该参数匹配的即为总体。,工作原理：在已经取得样本观测值的情况下，使似然函数取最大值的,二、线性模型的最大似然估计,二、线性模型的最大似然估计,1、一元线性模型的最大似然估计,Yi的分布,Yi的概率密度函数,Y的所有样本观测值的联合概率似然函数,随机抽取n组样本观测值Yi 。,为什么是这个形式?,1、一元线性模型的最大似然估计Yi的分布Yi的概率密度函
4、数,对数似然函数,对数似然函数极大化的一阶条件,结构参数的ML估计量,判断L*为海塞矩阵负定，所以有极大值，一阶条件为：,对数似然函数 对数似然函数极大化的一阶条件结构参数的ML估计,分布参数的ML估计量,分布参数的ML估计量,非经典计量经济学模型估计方法第一节最大似然估计课件,注意：ML估计必须已知Y的分布。只有在正态分布时，ML和OLS的结构参数估计结果相同。如果Y不服从正态分布，不能采用OLS。例如：选择性样本模型、计数数据模型等。在微观计量领域有重要应用。,注意：,2、多元线性模型的最大似然估计,i=1,2,n,2、多元线性模型的最大似然估计i=1,2,n,结构参数估计结果与OLS估计
5、相同,结构参数估计结果与OLS估计相同,分布参数估计结果与OLS不同,分布参数估计结果与OLS不同,3、最大似然估计量的性质,3、最大似然估计量的性质,4、信息矩阵,4、信息矩阵,非经典计量经济学模型估计方法第一节最大似然估计课件,三、非线性模型的最大似然估计,三、非线性模型的最大似然估计,1、简单非线性模型的最大似然估计,i=1,2,n,Y和X是分离的,1、简单非线性模型的最大似然估计i=1,2,nY和X是分,面临NLS（非线性最小二乘估计）同样的过程，得到相同的估计结果。,面临NLS（非线性最小二乘估计）同样的过程，得到相同的估计结,2. 一般非线性模型的ML估计,以上是一般非线性模型的完
6、整描述。,随机项满足经典假设,2. 一般非线性模型的ML估计 以上是一般非线性模型的完整描,模型参数的一种估计方法是最小二乘法，即最小化,模型参数的另一种估计方法是最大似然法。得到广泛应用。,模型参数的一种估计方法是最小二乘法，即最小化 模型参数的另,最大似然估计,雅可比行列式,第i个观测点的似然函数=雅可比行列式密度函数,最大似然估计雅可比行列式第i个观测点的似然函数=雅可比行列式,总体的对数似然函数为：,样本的对数似然函数为：,总体的对数似然函数为： 样本的对数似然函数为：,很明显若没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计；但是，如果雅可比行列式包括，最小二乘法不是最大
7、似然法。,很明显若没有雅可比行列式项，参数的非线性最小二乘估计将是最大,最大化对数似然函数的一阶条件为：,最大化对数似然函数的一阶条件为：,3、说明,非线性模型最大似然估计的性质 结构参数的最大对数似然估计是渐近无偏、一致估计且渐近地服从正态分布；分布参数的最大对数似然估计是渐近无偏和一致估计。非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计，而是一个加权非线性最小二乘估计。 在特殊情况下，雅克比行列式为1，最大对数似然估计才等 价于非线性最小二乘估计，条件如下：,3、说明非线性模型最大似然估计的性质,四、异方差和序列相关的最大似然估计,四、异方差和序列相关的最大似然估计,1、思路,
8、经典模型异方差问题或者序列相关问题的处理方法：一类是变换模型，使之成为不再具有异方差性或者序列相关性的模型，然后采用OLS进行估计，例如WLS、GLS等；一类是修正OLS估计量的标准差，纠正模型具有异方差性或者序列相关性时OLS估计量的非有效性，使得继而进行的统计推断（例如显著性检验、参数的置信区间估计等）仍然有效，例如White修正、Newey-West修正方法等。,1、思路经典模型异方差问题或者序列相关问题的处理方法：,非线性ML方法将异方差问题或者序列相关问题看成一类非线性问题，采用ML估计，比较简单，可以同时得到结构参数估计量和反映异方差或者序列相关特征的分布参数估计量。,非线性ML方
9、法,2、异方差的最大似然估计,2、异方差的最大似然估计,被解释变量样本的对数似然函数为：,被解释变量样本的对数似然函数为：,非经典计量经济学模型估计方法第一节最大似然估计课件,对异方差的结构给出假定，可以对模型的参数和的参数进行最大似然估计。,对异方差的结构给出假定，可以对模型的参数和的参数进行最,3、例题,3、例题,非经典计量经济学模型估计方法第一节最大似然估计课件,OLS,ML,OLSML,非经典计量经济学模型估计方法第一节最大似然估计课件,注：线性模型，截面样本，一般存在异方差。时间序列也有可能有异方差，常见金融时间序列。采用非线性最大似然法估计，可以得到关于异方差结构的估计结果。在某些
10、情况下，得到异方差结构的估计结果比模型参数估计量更重要。这就是异方差性的非线性方法的意义所在。,注：,4、序列相关的最大似然估计,首先假定模型随机误差项的序列相关结构。一般以AR(1)、MA(1)、ARMA(1,1)为常见。求出随机误差项对被解释变量的偏导数表达式，即得到雅克比式。构造最大似然函数。同时得到模型参数和随机误差项的序列相关结构的估计结果。,4、序列相关的最大似然估计 首先假定模型随机误差项的序列相关,假定模型随机误差项的序列相关结构为AR(1),假定模型随机误差项的序列相关结构为AR(1),按照非线性模型ML显示：,此时，n变为T，且有,所以，对数似然函数为：,按照非线性模型ML
11、显示：此时，n变为T，且有所以，对数似然函,中心化对数似然函数：,模型随机误差项的序列相关结构为MA(1)、ARMA(1,1)的估计方法步骤相同，见教材。,中心化对数似然函数： 模型随机误差项的序列相关结构为MA(,5、例题,5、例题,五、最大似然估计下的Wald、LM和LR检验,五、最大似然估计下的Wald、LM和LR检验,1、说明,在采用最小二乘估计的经典模型的检验中，常用的检验统计量是基于残差平方和构造的，例如F统计量、t统计量等。在采用最大似然估计的非经典模型的检验中，常用的检验统计量是基于最大似然函数值构造的，例如Wald统计量、LR统计量、LM统计量等。 三类检验在大样本下渐进等价
12、。,1、说明在采用最小二乘估计的经典模型的检验中，常用的检验统计,1、沃尔德检验（Wald Test） 通过研究 的无约束估计量与有约束的距离来检验，如果原假设正确，二者差值不应该很大。,1、沃尔德检验（Wald Test）,2、似然比检验（WLR） 通常来说，无约束的似然函数最大值 比有约束的似然函数最大值 更大，如果原假设正确，差值不应该很大。,2、似然比检验（WLR）,3、拉格朗日乘子检验（LM）,3、拉格朗日乘子检验（LM）,注：Wald仅利用无约束估计的信息，LM检验仅利用有约束估计的信息，而LR检验同时利用有约束与无约束信息。这三类检验在大样本情况下是等价的，小样本下性质不同。在正
13、态分布与线性假设的情况下，可以证明统计量WALDLRLM。在不对模型的具体概率分布做出假设的情况下，LR、LM检验无法进行，但是Wald检验仍可以进行。LR、LM检验具有不变性，但是Wald则不具备，即如果对原假设进行参数变换可能得到不同的Wald。,注：,六、对正态分布假设的检验,六、对正态分布假设的检验,对非线性模型使用ML时，正态分布是推导的前提，所以检验扰动项是否服从状态分布就比较重要。常用方法：直方图核密度估计法QQ图雅克贝拉检验（JB检验）,对非线性模型使用ML时，正态分布是推导的前提，,非经典计量经济学模型估计方法第一节最大似然估计课件,非经典计量经济学模型估计方法第一节最大似然估计课件,非经典计量经济学模型估计方法第一节最大似然估计课件,非经典计量经济学模型估计方法第一节最大似然估计课件,
