《元线性回归模型参数估计.ppt》由会员分享，可在线阅读，更多相关《元线性回归模型参数估计.ppt（39页珍藏版）》请在三一办公上搜索。
1、2.2 一元线性回归模型及参数估计 Simple Linear Regression Model and Its Estimation,一、“线性”回归模型的特征及含义二、一元线性回归模型的基本假设 三、参数的普通最小二乘估计(OLS)四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干扰 项方差的估计,一、线性回归模型的特征,一个例子凯恩斯绝对收入假设消费理论：消费C是由收入Y唯一决定的，是收入的线性函数：,但实际上上述等式不能准确实现。,原因(1)消费除了受收入影响外还受其他因素因影响。(2)线性关系是一个近似，收入变量的观察值是近似的，数据本身并不绝对准确地反映收入水平。,因此，一
2、个更符合实际的数学描述是：,线性回归模型的特征：是通过引入随机误差项将变量之间的关系用线性随机方程来描述，并用随机数学的方法来估计方程中的参数。在线性回归模型中，被解释变量的特征由解释变量和随机误差项共同决定。,计量经济学中“线性”回归模型的含义,对参数为线性、对变量非线性的函数：,对参数非线性、对变量线性的函数：,对参数非线性、对变量非线性的函数：,对参数不可化为线性的函数,对参数可化为线性的函数,(1),(2),(3),(4),(5),对可化为线性的非线性模型的处理方法(1)变量置换例如，描述税收与税率之间关系的拉弗曲线：s=a+br+cr2(c 0)s：税收，r：税率设，X1=r,X2=
3、r2，则原方程变为s=a+bX1+cX2,(2)对数变换 例如，Cobb-Dauglas生产函数：幂函数,Q:产出量，K：投入的资本，L：投入的劳动方程两边取对数：,三个版本的C-D生产函数模型：,注意模型线性化后 的前提假设,线性模型与非线性模型,(1),(2),(3),(4),(5),(7),(6),结论：实际经济活动中的许多问题，变量之间的非线性关系都可以最终化为线性关系。所以，线性回归模型具有普遍意义。即使对于无法采取任何变换方法使之变成线性的非线性模型，目前适用较多的参数估计方法非线性最小二乘法，其原理仍然是以线性估计方法为基础。线性模型理论方法在计量经济学理论方法中占据重要地位。,
4、其他条件不变的概念(ceteris paribus),包括经济学在内的许多社会科学中的假设都具有“其他条件不变”的特点：在研究两个变量之间关系时，所有其他相关因素都必须固定不变。例如，经济学中在分析消费需求时，想知道之中商品价格的变化对其需求量的影响，而让所有其他因素收入、其他商品的价格和个人偏好等都保持不变。计量经济分析中的其他条件不变意味着“其他(相关)因素保持不变，这一概念在因果分析中有重要作用。,二、线性回归模型的基本假设,技术路线：由于回归分析的主要目的是要通过样本回归函数（模型）SRF尽可能准确地估计总体回归函数（模型）PRF。即通过：,采用最小二乘或最大似然方法。,一元线性回归模
5、型：只有一个解释变量,i=1,2,n,Y 为被解释变量，X为 解释变量，0 与1为待估参数，为随机干扰项。,估计方法有多种，其中最广泛使用的是普通最小二乘法（ordinary least squares,OLS）。,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。,注：这些假设与所采用的估计方法紧密相关。,一元线性回归模型的基本假设,假设1：解释变量X是确定性变量，不是随机变量；假设2：随机误差项具有零均值、同方差和不序列相关性：E(i|Xi)=E(i)=0 i=1,2,n Var(i|Xi)=2 i=1,2,n Cov(i,j)=0 ij i,j=1,2,n 假设3：随机误差项与
6、解释变量X之间不相关：Cov(Xi,i)=0 i=1,2,n 假设4：服从零均值、同方差、零协方差的正态分布 i N(0,2)i=1,2,n,如果假设1和2满足，则假设3也满足；如果假设4 满足，则假设2 也满足。,注意：,假设1-4假设也称为线性回归模型的经典假设或高斯(Gauss)假设，满足该假设的线性回归模型称为经典线性回归模型(Classical Linear Regression Model,CLRM)。,假设5：随着样本容量的无限增加，解释变量X的样本方差趋于一个有限常数，即：假设6：回归模型是正确设定的。,假设4：i N(0,2)i=1,2,n例：测度教育的回报问题问题提出：如果
7、从总体中选择一个人，并让他或她多受一年教育，那么，他或她的工资会提高多少？工资水平与可测教育水平及其他非观测因素的关系：工资：小时工资(元)，教育：受教育的年数。其他非观测因素：工作经验、天生素质、职业道德等。E(i|Xi)=0假设是天生能力，这个假定就是要求，不论受教育的年数是多少，平均能力水平都一样。例如，E(abil|8)=E(abil|6)；,Var(i|Xi)=2，Var(Yi|Xi)=2Var(wage|educ)=2，虽然平均工资E(wage|educ)可随着教育水平的提高而增长，但工资相对于它的均值的变异却被假定为对所有的教育水平都不变。i N(0,2)的理由：由于是影响wag
8、e而又观测不到的许多因素之和，所以我们可以借助中心极限定理来断定具有近似正态分布。,三、参数的普通最小二乘估计（OLS）,给定一组样本观测值（Xi,Yi）（i=1,2,n）要求样本回归函数尽可能好地拟合这组值。普通最小二乘法(Ordinary least squares,OLS)给出的判断标准是：二者之差的平方和最小。,方程组（*）称为正规方程组（normal equations）。由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators）。,四、参数估计的最大似然法(ML),最大或然法(Maximum Likeli
9、hood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。基本原理：对于最大似然法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n 组样本观测值的联合概率最大。,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测值（Xi,Yi）（i=1,2,n）。,那么Yi 服从如下的正态分布：,于是，Y 的概率密度函数为:,（i=1,2,n）,假如模型的参数估计量已经求得，为,因为Yi 是相互独立的，所以的所有样本观测值的联合概率，也即似然函数(likelihood function)为：
10、,将该似然函数极大化，即可求得到模型参数的极大似然估计量。,由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下：,解得模型的参数估计量为：,在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。,但是，随机误差项的方差的估计量是不同的。,即可得到 的最大似然估计量为：,解似然方程：,记,上述参数估计量可以写成：,称为OLS估计量的离差形式（deviation form）。,关于参数估计量的离差形式(deviation form)：,记,则有,可得,（*）式也称为样本回归函数的离差形式。,（*）,注意：在计量经济学中，往往以小写字母表
11、示对均值的离差。,样本回归线的数学性质(numerical properties),样本回归线通过Y 和X 的样本均值；Y 估计值的均值等于观测值的均值；残差的均值为零：,五、最小二乘估计量的统计性质,（1）线性性(linear)，即它是否是另一随机变量的线性函数；（2）无偏性(unbiased)，即它的均值或期望值是否等于总体的真实值；（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。,高斯马尔可夫定理(Gauss-Markov theorem)在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。,证：,易知,故,同样地，容易得出,（2）证明最小方差性,其中，c
12、i=ki+di，di为不全为零的常数则容易证明,显然这些优良的性质依赖于对模型的基本假设。,结论：普通最小二乘估计量（ordinary least Squares Estimators）具有线性、无偏性、最小方差性等优良性质。具有这些优良性质的估计量又称为最佳线性无偏估计量（best linear unbiased estimator,BLUE）,六、参数估计量的概率分布及随机干扰项方差的估计,2、随机误差项 的方差2的估计,由于随机项i 不可观测，只能从i的估计残差ei出发，对总体方差进行估计。,2又称为总体方差。,可以证明，2 的无偏估计量为,它是关于2的无偏估计量。,例2.2：在例2.1家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。,由该样本估计的回归方程（样本回归函数）为：,复 习,单方程计量经济学模型的特征经典线性模型的基本假设最小二乘原理和最大似然原理一元线性模型最小二乘估计量的统计性质,
