多元线性回归模型.doc

《多元线性回归模型.doc》由会员分享，可在线阅读，更多相关《多元线性回归模型.doc（20页珍藏版）》请在三一办公上搜索。

1、第三章 多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节 多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被解释变量与多个解释变量之间存在线性关系。假定被解释变量与多个解释变量之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即 (3-1)其中为被解释变量，为个解释变量，为个未知参数，为随机误差项。被解释变量的期望值与解释变量的

2、线性方程为： (3-2)称为多元总体线性回归方程，简称总体回归方程。对于组观测值，其方程组形式为： (3-3)即其矩阵形式为=+即 (3-4)其中为被解释变量的观测值向量；为解释变量的观测值矩阵；为总体回归参数向量；为随机误差项向量。总体回归方程表示为： (3-5)与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量发生作用，若要考察其中一个解释变量对的影响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归

3、系数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量的均值的影响。由于参数都是未知的,可以利用样本观测值对它们进行估计。若计算得到的参数估计值为，用参数估计值替代总体回归函数的未知参数，则得多元线性样本回归方程： (3-6)其中为参数估计值，为的样本回归值或样本拟合值、样本估计值。其矩阵表达形式为: (3-7)其中为被解释变量样本观测值向量的阶拟合值列向量；为解释变量的阶样本观测矩阵；为未知参数向量的阶估计值列向量。样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差。 (3-8)二、多元线性回归模型的假定与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OL

4、S)对参数进行估计时，有如下假定：假定1 零均值假定：，即 (3-9) 假定2 同方差假定(的方差为同一常数)： 假定3 无自相关性： (3-10) 假定4 随机误差项与解释变量不相关(这个假定自动成立)： 假定5 随机误差项服从均值为零，方差为的正态分布：假定6 解释变量之间不存在多重共线性： 即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵的秩为参数个数k+1，从而保证参数的估计值唯一。第二节 多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于含有个解释变量的多元线性回归模型设分别作为参数的估计量，得样本回归方程为： 观测值与回

5、归值的残差为： 由最小二乘法可知应使全部观测值与回归值的残差的平方和最小，即使 (3-11)取得最小值。根据多元函数的极值原理，分别对求一阶偏导，并令其等于零，即 (3-12)即化简得下列方程组 (3-13)上述个方程称为正规方程，其矩阵形式为 (3-14)因为设为估计值向量样本回归模型两边同乘样本观测值矩阵的转置矩阵，则有 得正规方程组： (3-15)由假定(6)，为阶方阵，所以满秩，的逆矩阵存在。因而 (3-16)则为向量的OLS估计量。以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。由(3-3)式得二元线性回归模型为为了计算的方便，先将模型中心化。 设，则二元回归模型

6、改写为中心化模型。 (3-17)记 (3-18)将代入得 (3-19)因为 (3-20)则由(3-16)式得 (3-21)其中 由(3-21)式可知得 (3-22) (3-23) (3-24)(二)随机误差项的方差的估计量样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差 则 设，可以得出是阶对称幂等矩阵，。于是而残差的平方和为 其中“”表示矩阵的迹，即矩阵主对角线元素的和。于是 随机误差项的方差的无偏估计量，记作，即，为残差的标准差(或回归标准差)。因此 (3-25)其中 (3-26)例如,对于二元线性回归模型() (3-27) (3-28)二、估计参数的统计性质1、线性性指最

7、小二乘估计量是被解释变量的观测值的线性函数。由于设，则矩阵为一非随机的阶常数矩阵。所以 (3-29)显然最小二乘估计量是被解释变量的观测值的线性函数。2、无偏性将代入(3-16)式得 (3-30)则 所以是的无偏估计量。3.最小方差性设为阶数值矩阵，为阶随机矩阵(随机变量为元素的矩阵)，为阶数值矩阵，则 下面我们推导的方差、协方差矩阵。定义： 由(3-30)式得 所以 (3-31)这个矩阵主对角线上的元素表示的方差，非主对角线上的元素表示的协方差。例如是位于的第行与第列交叉处的元素(主对角线上的元素)；是位于的第行与第列交叉处的元素(非主对角线上的元素)在应用上，我们关心的的方差，而忽略协方差

8、，因此把(3-31)式记作 (3-32)记，则，所以是的最小方差线性无偏估计。这说明，在(3-1)式系数的无偏估计量中，OLS估计量的方差比用其它估计方法所得的无偏估计量的方差都要小，这正是OLS的优越性所在。用代替则得的标准估计量的估计值，乃称为标准差。 (3-33)其中 对于二元回归模型()，求估计量的方差，由(3-32)式得 其中 于是 所以 (3-34) (3-35) (3-36) (3-37)其中 第三节 显著性检验一、拟合优度检验(一)总离差平方和分解设具有个解释变量的回归模型为其回归方程为离差分解： 总离差平方和分解式为： (3-38)即 (3-39)总离差平方和分解为回归平方和

9、与残差平方和两部分。(二)样本决定系数对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。，简记为。 (3-40)根据式(3-39) (3-41)因为 由(3-26)式知 所以 (3-42)作为检验回归方程与样本值拟合优度的指标：越大，表示回归方程与样本拟合的越好；反之，回归方程与样本值拟合较差。具体的，当时,求样本决定系数 由(3-28)式，得 ，因此有 (3-43)(三)调整后的样本决定系数在使用时，容易发现的大小与模型中的解释变量的数目有关。如果模型中增加一个新解释变量，总离差不会改变，但总离差中由解释变量解释的部分，即回归平方和将会增加，这就是说与模型中解释变量个数有关。但通过

10、增加模型中解释变量的数目而使增大是错误的，显然这样来检验被回归方程与样本值拟合优度是不合适的，需要对进行调整，使它不但能说明已被解释离差与总离差的关系，而且又能说明自由度的数目。以表示调整样本决定系数， (3-44)其中 这里是残差平方和的自由度，是总离差平方和的自由度。由(3-44)式得 其中,是样本观测值的个数,是解释变量的个数。从式中可以看出，当增加一个解释变量时，由前面分析可知会增加，引起减少，而增加，因而不会增加。这样用判定回归方程拟合优度，就消除了对解释变量个数的依赖。或只能说明在给定的样本条件下回归方程与样本观测值拟合优度，并不能做出对总体模型的推测，因此不能单凭或来选择模型，必

11、须对回归方程和模型中各参数的估计量做显著性检验。二、方程显著性检验由离差平方和分解(3-39)式可知，总离差平方和的自由度为，回归平方和是由个解释变量对的线性影响决定的。因此它的自由度为。所以，残差平方和的自由度由总离差平方和的自由度减去回归平方和的自由度，即为。检验回归方程是否显著，第一步，作出假设 备择假设H1：b1 、 b2 、bk不同时为0第二步，在成立的条件下，计算统计量 第三步，查表临界值对于假设，根据样本观测值计算统计量给定显著水平，查第一个自由度为，第二个自由度为的分布表得临界值。当时，拒绝，则认为回归方程显著成立；当时，接受，则认为回归方程无显著意义。三、参数显著性检验回归方

12、程显著成立，并不意味着每个解释变量对被解释变量的影响都是重要的。如果某个解释变量对被解释变量的影响不重要，即可从回归模型中把它剔除掉，重新建立回归方程，以利于对经济问题的分析和对进行更准确的预测。为此需要对每个变量进行考查，如果某个解释变量对被解释变量的作用不显著，那么它在多元线性回归模型中，其前面的系数可取值为零。因此必须对是否为零进行显著性检验。由(3.44)式 (3-45)其中 对回归系数进行显著性检验，步骤如下：(1)提出原假设；备择假设。(2)构造统计量，当成立时,统计量。这里是的标准差，为解释变量个数，计算由式(3-45)给出。(3)给定显著性水平，查自由度为的分布表，得临界值。(

13、4)若，则拒绝，接受，即认为显著不为零。若，则接受，即认为显著为零。四、利用多元线性回归方程进行预测对于多元线性回归模型 其中 ，根据样本观测值利用最小二乘法求得回归方程 预测就是给解释变量某一特定值对被解释变量的值进行估计，作为的预测值。设，称其为预测误差。为一随机变量，可以证明服从正态分布，即 将式中用它的估计值代替，则得的标准差 其中 统计量 对于给定置信水平，预测值置信区间为 即为五、多元线性回归分析实例第四节 最大似然估计一、似然函数(一)基本假定对于所研究的模型，给定如下基本假设：(1)(2)(3)(4)随机抽样总是生产单一的最可能结果：任意样本都是其所属总体的代表。这个强假定是针

14、对小样本而言的。（二）似然函数确定随机变量的任一观测样本的联合概率的函数，就称为的似然函数。一般表达式为： (3-47)二、极大似然估计法的基本思想极大似然估计法(maximum likelihood estimation,MLE)需要对随机扰动项的分布做出假定，通常选择正态分布假定。在极大似然估计中，假定样本是固定的，个观测值都是独立观测的，这个样本可由各种不同的总体生成，而每个样本总体都有自己的参数。那么在可供选择的总体中，哪个总体最可能生成所观测到的个样本值？为此需要估计每个可能总体取得这个观测值的联合概率，选择其参数能使观测样本的联合概率最大的那个总体。三、线性回归模型的最大似然估计一

15、元随机扰动变量的正态分布密度函数为 (3-48)相互独立的多元随机扰动变量的正态分布密度函数为 (3-49)定义被解释变量的概率密度函数，要根据与的关系进行变换 式中的是的偏微分矩阵的行列式的绝对值，该值就是Jacobean变换行列式的绝对值 对于上面所研究的线性回归方程来说，Jacobean矩阵为单位矩阵，相应行列式值是1。因而的似然函数 （3-50)设，求似然函数的极大值由于是的单调函数，所以使极大的参数值也将使极大，即。简化似然函数为对数表达式，为： (3-51)求上式对和的偏导数，并令其等于零，可以求出有关估计参数和。 (3-52) (3-53)这个方程的解为 显然，参数估计式是的无偏

16、估计式，而则是的小样本有偏估计式，由于 仅当时，所以是的渐近无偏估计式。本章小结：本章重点研究了一个经济变量受多个因素影响的多元线性回归模型。介绍了多元线性回归模型的建立及其假定条件，应用普通最小二乘法进行多元线性回归模型的参数估计及参数的统计性质和回归方程的显著性检验，利用实例讲述了计量经济学软件包EViews在多元线性回归分析中的应用；最后介绍了最大似然估计法，拓宽模型回归参数估计的思路。 出师表两汉：诸葛亮先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚危急存亡之秋也。然侍卫之臣不懈于内，忠志之士忘身于外者，盖追先帝之殊遇，欲报之于陛下也。诚宜开张圣听，以光先帝遗德，恢弘志士之气，不宜

17、妄自菲薄，引喻失义，以塞忠谏之路也。宫中府中，俱为一体；陟罚臧否，不宜异同。若有作奸犯科及为忠善者，宜付有司论其刑赏，以昭陛下平明之理；不宜偏私，使内外异法也。侍中、侍郎郭攸之、费祎、董允等，此皆良实，志虑忠纯，是以先帝简拔以遗陛下：愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。将军向宠，性行淑均，晓畅军事，试用于昔日，先帝称之曰“能”，是以众议举宠为督：愚以为营中之事，悉以咨之，必能使行阵和睦，优劣得所。 亲贤臣，远小人，此先汉所以兴隆也；亲小人，远贤臣，此后汉所以倾颓也。先帝在时，每与臣论此事，未尝不叹息痛恨于桓、灵也。侍中、尚书、长史、参军，此悉贞良死节之臣，愿陛

18、下亲之、信之，则汉室之隆，可计日而待也。臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。先帝不以臣卑鄙，猥自枉屈，三顾臣于草庐之中，咨臣以当世之事，由是感激，遂许先帝以驱驰。后值倾覆，受任于败军之际，奉命于危难之间，尔来二十有一年矣。先帝知臣谨慎，故临崩寄臣以大事也。受命以来，夙夜忧叹，恐托付不效，以伤先帝之明；故五月渡泸，深入不毛。今南方已定，兵甲已足，当奖率三军，北定中原，庶竭驽钝，攘除奸凶，兴复汉室，还于旧都。此臣所以报先帝而忠陛下之职分也。至于斟酌损益，进尽忠言，则攸之、祎、允之任也。愿陛下托臣以讨贼兴复之效，不效，则治臣之罪，以告先帝之灵。若无兴德之言，则责攸之、祎、允等之慢，以彰其咎；陛下亦宜自谋，以咨诹善道，察纳雅言，深追先帝遗诏。臣不胜受恩感激。今当远离，临表涕零，不知所言。