《农大计量经济学多元回归模型.ppt》由会员分享，可在线阅读，更多相关《农大计量经济学多元回归模型.ppt（66页珍藏版）》请在三一办公上搜索。
1、第三章、经典单方程多元线性回归模型,多元线性回归的几个问题多元线性回归模型的参数估计多元线性回归模型的统计检验多元线性回归模型的预测回归模型的其他函数形式,一、多元线性回归模型的几个问题,在实际经济问题中，一个变量往往受到多个原因变量的影响，表现在线性回归模型中的解释变量有多个。这样的模型被称为多元线性回归模型。多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。,1、多元线性回归模型,多元线性回归模型:表现在线性回归模型中的解释变量有多个。一般表现形式：,i=1,2,n,其中:k为解释变量的数目，j称为回归参数（regression coefficient）。习惯上：把常
2、数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样模型中解释变量的数目为（k+1）,被称为总体回归函数的随机表达形式。它 的非随机表达式为:,方程表示：各变量X值固定时Y的平均响应。j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。,总体回归模型n个随机方程的矩阵表达式为,其中：,样本回归函数：用来估计总体回归函数,其随机表达式:,ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代。样本回归函数的矩阵表达:,其中：,2
3、、多元线性回归模型的基本假定,假定1：解释变量是非随机的或固定的，且各解释变量（X）之间互不相关（无多重共线性）。,、基本假定：,经典多元回归模型的参数估计是建立在一系列的假设前提条件下得到的，这些经典假是：,解释变量矩阵Xn(k+1)是非随机的，且X的秩=k+1，即X满秩。,假定2：随机误差项具有零均值、同方差及无序列相关,假定3：解释变量与随机误差项不相关,假定4：随机误差项服从正态分布，即,另外，在进行模型回归时，还有两个暗含的假设：,：随着样本容量的无限增加()，解释变量X的样本方差趋于一有限常数。即,这一假设旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使
4、大样本统计推断变得无效，而且往往产生所谓的伪回归问题（spurious regression problem）。,或,回归模型设定正确即：模型没有设定偏误（specification error）,二、多元回归的普通最小二乘估计,对于随机抽取的n组样本观测值,如果样本函数的参数估计值已经得到，则有：,1、参数的最小二乘（OLS）估计,根据最小二乘原理，参数估计值应该是下列方程组的解,其中：,于是得到关于待估参数估计值的正规方程组：,解这k+1个方程组成的线性代数方程组，即可得到k+1个待估参数的估计值,正规方程组的矩阵形式,即：,由于矩阵 满秩，故有,将上述过程用矩阵表示如下：,即求解方程组：
5、,得到：,于是：,寻找一组参数估计值，使得残差平方Q和最小：,家庭收入-消费支出例中，,可求得,于是,正规方程组 的另一种写法,对于正规方程组,于是：,或：,(*)或（*）是多元线性回归模型正规方程组的另一种写法,(*),(*),2、普通最小二乘样本回归函数性质,。,线性性,因为,记矩阵,的第j行第i列的元素为aji，则,是矩阵,的第j+1行与列矩阵Y的乘积，即,这就是说，,中的任意一个都可以表示为,的线性组合。,满足线性性。,3、OLS估计量的统计性质,被解释变量,、无偏性,因为,所以,有效性,因为,的方差-协方差矩阵为,记矩阵,的主对角线上,的第i个元素为cii，则,、高斯马尔可夫定理(G
6、auss-Markov theorem),在给定经典线性回归的假定条件下，最小二乘（OLS)估计量是具有最小方差的最优线性无偏估计量（BLUE：Best Linear Unbiasedness Estimator)。,证明：,设 是 的无偏估计,的协方差矩阵,4、参数估计量的方差-协方差矩阵和随机误差项2方差的估计,疑问：在无偏性证明中将参数估计量看作随机量，而在正规方程组的推导中又将它看作确定值。如何解释？解释：将一组具体样本资料代入参数估计量的表达式给出的参数估计结果是一个“估计值”，或者“点估计”，是参数估计量的一个具体数值，是确定的；但从另一个角度，仅仅把它看成是参数估计量的一个表达式
7、，那么，则是被解释变量观测值的函数，而被解释变量是随机变量，所以参数估计量也是随机变量，在这个角度上，称之为“估计量”。,、一个疑问与回答,、参数估计量的方差-协方差,将参数估计量看作随机量，具有数字特征。参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性。具体描述如下：,参数 的方差协方差矩阵的矩阵符号表达式：,、随机误差项方差2的估计,于是：第i个参数估计量 的方差、标准差、协方差可分别用其样本方差、标准差、协方差作为估计量,5、样本容量问题,所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,、最小样本容
8、量,样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即 n k+1因为，无多重共线性要求：秩(X)=k+1,、满足基本要求的样本容量,从统计检验的角度：n30 时，Z检验才能应用；n-k8时,t分布较为稳定,一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。,模型的良好性质只有在大样本下才能得到理论上的证明,三、多元线性回归模型的统计检验,1、拟合优度检验（1）总离差平方和的分解,由于：,所以有：,（2）总离差平方和、残差平方和与回归平方和的矩阵表达式,2、可决系数r2和调整后的可决系数R2,一般说来，模型中增加一个解释变量，回归平方和往往会增大（至少不会
9、减少），导致r2增大。这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。,对有k个解释变量的多元回归方程，可决系数的另一个计算方式如下：,在式 中，TSS 就是，与模型中的X变量的个数无关。但 RSS 即 却与模型中出现的解释变量个数相关。随着X 变量个数的增加，会减小，至少不会增大；因此，判定系数r2将会增大。所以，使用r2来判断具有相同被解释变量Y 和不同个数解释变量X的回归模型的优劣时就很不适当。,现实情况往往是，由增加解释变量个数引起的r2的增大与拟合好坏无关，因此在含解释变量个数k不同的模型之间比较拟合优度，r2就不是一个适合的指标，不能用于比较两个回归方程的拟合优度必须加
10、以调整。,在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响:,其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。,3、方程的显著性检验(F检验),（1）方程显著性的F检验,F检验的思想来自于总离差平方和的分解式：TSS=ESS+RSS,如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此,可通过该比值的大小对总体线性关系进行推断。,（2）关于拟合优度与方程显著性F检验关系的讨论,可见，与r2(或R2)同向变化：当r2时，；
11、r2(或R2)越大，值也越大；当r2（或R2=1)时，为无穷大。,拟合优度、调整后的 及F检验统计量三者之间的关系：,有许多著名的模型，R2小于 0.5，支持了重要的结论，例如收入差距的倒U型规律。不要片面追求拟合优度。,R2多大才算通过拟合优度检验？,4、变量显著性检验（t检验）,对于多元线性回归模型，方程的总体线性关系是显著的，并不能说明每个解释变量对被解释变量的影响都是显著的。因此，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。与一元回归分析相仿，这一检验是由对变量的 t 检验完成的。,提出原假设与备择假设：H0：i=0,H1:i0,在中国消费模型中，t(0)=
12、6.412,t(1)=22.00,t(2)=4.188 给定=0.01,查得t 0.005(13)=3.012 所以,所有变量都在99%的水平下显著。,注：在一元线性回归（k=1）中，t检验与F检验是一致的。,5、关于检验标准的判断,科学性灵活性关键是讲清楚在什么置信水平下显著直观判断,四、多元线性回归模型的置信区间,多元线性回归模型的置信区间问题仍包括参数估计量的置信区间和被解释变量预测值的置信区间两个方面。,1、参数估计量的置信区间,2、预测值的置信区间,但是，严格地说，这只是被解释变量的预测值的估计值，而不是预测值。原因在于：,由于随机因素的影响，模型中的参数估计量是不确定的。所以，我们
13、得到的仅能是预测值的一个估计值，预测值仅以某一个置信水平处于以该估计值为中心的一个区间中。于是，又是一个区间估计问题。下面进行置信区间的推导：,这就是说:当给定解释变量值X0后，能得到被解释变量Y0以（1-）的置信水平处于该区间的结论。,3、如何缩小置信区间,增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小；提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应越小。提高样本观测值的分散度,一般情况下，样本观测值越分散，(XX)-1的分母的|XX|的值越大，致使区间缩小。,4、一点启示,计量经济学模型用于预测时，必须严格科学地描述预测结果。如果要求给出一个“准确”的预测值，那么真实值与该预测值相同的概率为0。如果要求以100%的概率给出区间，那么该区间是(-,)。模型研制者的任务是尽可能地缩小置信区间。,五、多元线性回归分析计算步骤及主要公式,例3.1：设某中心城市对各地区商品流出量Y取决于各地区的社会商品购买力X1以及各地区对该市的商品流入X2，即可能有如下总体回归方程：,（2）统计检验,拟合优度检验：,总体显著性检验（F检验）：,参数显著性检验（t检验）,
