《双变量回归模型估计问题.ppt》由会员分享，可在线阅读，更多相关《双变量回归模型估计问题.ppt（32页珍藏版）》请在三一办公上搜索。
1、第三讲：,双变量回归模型：估计问题,主要内容：,普通最小二乘法高斯-马尔可夫定理拟合优度,3.1 普通最小二乘法,回归分析的主要目的：根据样本回归函数，估计总体回归函数。,样本回归线如何确定,如何去估计样本回归线？,估计的方法：普通最小二乘法(OLS)简单方便 参数估计量在一定的假设下具有其他方法所没有的良好统计性质,给定一组样本观测值如何使 尽可能好地拟合这组值.即我们希望样本回归模型的估计值 尽可能地靠近观测值。,为达到此目的，我们选择使,残差平方和（3-1）,尽可能地小，其中 是残差的平方,换句话说，我们期望能确定出、，使得残差平方和最小,即求出、，使 成立根据微积分知识，（3-2）（3
2、-3）,（3-4）（3-5）解得：（3-6）（3-7）,假定4：,解释变量的样本有变异 在样本中，解释变量 的取值不为相同的常数。有意义或有解,写成离差形式：（3-8）（3-9）上面得到的估计量,是从最小二乘原理演算而得的。因此，称其为最小二乘估计量。,估计量的数值性质,数值性质：指运用最小二乘估计法而成立的那些性质，而不管数据如何产生。（1）（2）（3），,3.2 高斯-马尔可夫定理,最小二乘估计量有何优良的统计性质呢？假定5：同方差性,高斯-马尔可夫定理：在假定1假定5下，OLS估计量是最优线性无偏估计量（BLUE）。它是线性的 它是无偏的 它是有效估计量,（1）线性性 令，则有,这说明
3、是 的一个线性函数，它是以 为权的一个加权平均数，从而它是一个线性估计量。同理，也是一个线性估计量。,（2）无偏性 就是说，虽然由不同的样本得到的，可能大于或小于它们的真实值，但平均起来等于它们的真实值，。,因为，,所以,（3）有效估计量：具有最小方差 估计量的精度（可靠性）：,（2）证明最小方差性,其中，为不全为零的常数则容易证明,普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator,BLUE）,3.3 拟合优度,？样本回归直线对数据拟合得有多好呢 样本在多大程度上能够解释
4、被解释变量的变异程度 判定系数-拟合优度度量,计算R2的步骤如下,据样本回归模型可得：,（3-10）,（3-11）,两式相减，可得,（3-12）,总平方和（TSS）解释平方和（ESS）残差平方和（RSS）,对（3-12）两边取平方求和,(3-13),式(3-13)可表示为,TSS=ESS+RSS,（3-14）,这说明 的观测值围绕其均值的总变异可分解为两部分，一部分来自回归线，而另一部分则来自扰动项。,=总离差,=来自回归,=来自残差,用TSS除式（3-14）的两边，得,（3-15）,定义R2为：,（3-16）,上述定义的 称为判定系数，它是对回归线拟合优度的度量。就是说，测度了在 的总变异中
5、由回归模型解释的那个部分所占的比例或百分比。,据判定系数的定义可知：。等于1的R2意味着一个完美的拟合，即对每个 都有。另一方面，等于0的R2意味着被解释变量与解释变量之间无任何关系（即），这时，就是说，对任一Y值的最优预测值都是它的均值，从而回归线平行于X 轴。,与R2关系紧密但概念上与R2差异较大的一个参数是相关系数，它测度了两个变量之间的关联度。,也可据R 的定义计算,（3-17）,从定义可以看出。在回归分析中，R2是一个比R 更有意义的度量，因为R2告诉我们在被解释变量的变异中，由解释变量解释的部分占怎样一个比例，因而对一个变量的变异在多大程度上决定另一个变量的变异，提供了一个总的度量，而R 则没有这种作用。,Thanks!,
