《《线性回归模型》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《线性回归模型》PPT课件.ppt（70页珍藏版）》请在三一办公上搜索。
1、线性回归模型,简单线性回归模型,简单线性回归的假定,假定1：线性于参数假定2：随机抽样假定3：解释变量的样本有变异性假定4：零条件均值 E(u|x)=E(u)=0 假定5：同方差性,同方差情形,异方差情形,简单线性回归模型：估计问题,求解方程的样本对应值为,估计方程,得到斜率的估计值而,OLS估计,拟合优度,将每个观测值写成它的拟合值与残差之和，便提供了解释OLS回归的又一方法，即,表示实测的Y 值围绕其均值的总变异，称为总平方和（SST）。为来自解释变量的回归平方和，称为解释平方和（SSE）。是围绕回归线的Y值的变异，称为残差平方和（SSR）。SST=SSE+SSR,用TSS除式SST=SS
2、E+SSR的两边，得,定义,拟合优度,上述定义的R2称为判定系数，它是对回归线拟合优度的度量。就是说，R2测度了在Y 的总变异中由回归模型解释的那个部分所占的比例或百分比。,误差项概率分布,在前面的假定之下，无论扰动项的分布如何，所得到的OLS估计量，均为BLUE 如果研究的目的仅是估计参数，OLS方法就可实现这一目的 进一步为了进行区间估计和假设检验，需要对误差项的概率分布作出合适的假定，即假定为正态分布。,误差项的正态性假定,经典正态线性回归假定具有正态分布，且均值 方差 协方差 上述假定采取记为,正态假定下OLS估计量的性质,无偏性 一致性 最小方差 它们的分布为正态分布,t检验,构造一
3、个假设检验，比如如果接受虚拟假设就认为 对y没显著影响为此，首先构造一个t统计量,除此之外还要构造一个备择假设H1和显著性水平H1可以是单侧的也可以是双侧的。,正态性,假设:,运用t分布构造的 b2 区间,第4步:比较 tc 和t*,单尾t检验规则,决定准则,3.查t表得临界值:,双尾t检验,4.比较 t 和,双尾t检验,H0:2=0H1:2 0,Stata得到的t值,接受原假设:我们能够说的是基于样本我们不能拒绝;我们不能说原假设是毫无疑问的.,因此“接受”Ho,我们应该意识到另一个假设可能和数据是协调的.所以统计的结论“不拒绝”优于“接受”,“接受”或“拒绝”,计量经济学软件中，目前广泛使
4、用精确的概率值，它表示所设定的原假设可被拒绝的最低的显著性水平 p值与显著性水平a关系，如果要选定a，那么，当p值小于或等于a 时，则在a水平上拒绝原假设。反之，不拒绝原假设。,精确显著性水平：p值,在回归分析中，我们推出了下式 TSS=ESS+RSS 总平方和TSS的自由度为n-1；解释平方和的自由度为1；残差平方和的自由度为n-2考虑显著检验问题,回归分析与方差分析,在扰动为正态分布且在H0：b20之下，统计量F服从F分布，其第一自由度为1，第二自由度为n-2 对于双变量回归模型，显著性H0：b20 检验F与t检验互为补充，其关系为 但对于多元回归模型，F检验是检验模型是否显著的统计量。,
5、回归分析与方差分析,多元线性回归模型,X2的系数 的意义为：在所有其它变量 保持不变的条件下，X2改变一个单位而导致Yi 的均值的变化量 这个偏效应与先将 对 做回归，得到残差u后，再将y对u回归所得到的系数是一致的。,偏相关系数,多元线性回归模型的假定,假定1：线性于参数假定2：随机抽样假定3：不存在完全共线性假定4：零条件均值 E(u|x)=E(u)=0 假定5：同方差性,在一元回归模型中，判定系数R2是回归方程拟合优度的一个度量；它给出了在被解释变量Y的总变差中由（一个）解释变量X解释了的比例或百分比。,判定系数,调整的判定系数,判定系数R2的一个重要性质是：在回归模型中增加一个解释变量
6、后，它不会减少，而且通常会增大。即R2是回归模型中解释变量个数的非减函数。,为了消除解释变量个数对判定系数R2的影响，需使用调整后的判定系数：,式中，k 为包括截距项在内的模型中的参数个数。在二元回归模型中k3，在一元回归模型中 k2。,与 关系,调整判定系数 与 的关系为,多元回归中的t 检验决策规则与一元回归相同。在多元回归中，我们除了要判断每一个偏回归系数的显著性外，还需要对多元回归模型的总体显著性进行判断。,整体显著性检验,多元回归模型的总体显著性就是对原假设,进行检验。检验的目的就是判断被解释变量Y 是否与X2,X3,Xk 在整体上有线性关系。,可以证明，在ui 服从正态分布和原假设
7、,的条件下，变量 服从自由度为（k-1）和（n-k）的F分布，即,F 检验决策规则,原假设,备择假设,不全为 0，j 2,3,k,（2）计算F 统计量,（3）在给定显著性水平 的条件下，查F 分布表得临界值,如果 则不拒绝H0。,如果 就拒绝H0，接受备择假设,时间序列：平稳性概念,经济数据可以看成由随机过程所生成，大多数宏观数据为非平稳过程，这会使得常用OLS估计方法失效协方差平稳过程定义：时间序列yt 被称为平稳过程，如果满足以下三个条件：（1）E(yt)=m（常数不依赖于时间t）（2）var(yt)=s2（常数不依赖于时间t）（3）cov(yt ys)=l|t-s|（仅与时间间隔有关，与
8、时间起点无关）,白噪声过程,最基本的协方差平稳过程为白噪声过程，对于et 如果满足性质：E(et)=0,var(et)=s2,E(et es)=0 for ts,白噪声过程为平稳过程，如图所示：,白噪声过程 et 可以用来表述p 阶自回归AR(p)过程：yt=a+g1 yt-1+gp yt-p+et白噪声过程 et 也可以用来表述 q 阶滑动平均MA(q)过程：yt=m+et-q1 et-1-qq et-q,考虑模型 yt=g yt-1+et可以表述为(1-gL)yt=et 因此多项式的根为 1-gZ=0即|z|=1/|g|1，要求|g|1,AR(1)过程,因此|g|1时，AR(1)发散，而当
9、|g|=1时即为单位根通常我们关注g=1的情况,随机行走过程 随机行走过程是单位根过程的特例，为非平稳过程,yt=yt-1+et,yt=m+yt-1+et,与随机行走过程不同，它有一个确定性时间趋势项mt，也就是在每一期都有一个增量m,带漂移的随机行走,带漂移随机行走图示 yt=5+0.5 t+ei,上述过程带有时间趋势，改变了其均值，但是其方差和自相关函数仍和纯随机行走过程相同,单位根过程的检验,我们看到有截距（及趋势项）和无截距（及趋势项）单位根过程表现完全不同，因此针对不同情况应用不同模型进行单位根检验，并使用不同临界值表,Dickey-Fuller(DF)TestCase I:无截距无
10、趋势 yt=g yt-1+et,H0:g=1 v.s.H1:g 1,单位根过程的检验,从AR(1)模型两边同时减去yt-1 有 yt yt yt-1=d yt-1+et,d=g-1 如果存在单位根，那么d=0,检验单位根H0:g=1 v.s.H1:g 1即是检验 H0:d=0 v.s.H1:d 0,用OLS估计模型并构造统计量,yt=m+g yt-1+et,检验假设H0:g=1 vs.H1:g 1,检验单位根H0:g=1 v.s.H1:g 1即是检验 H0:d=0 v.s.H1:d 0,两边同时减去yt-1 有 yt=m+d yt-1+et,Case II:带有漂移项,Case III:带有漂
11、移项和趋势项,Dickey and Fuller(1976)给出了三种情况临界值,注意所有临界值均为负值，当计算统计量小于临界值时拒绝原假设,DF检验要求误差项 et 是独立同分布的，这一假定有时过于苛刻ADF检验对DF检验进行扩展，即允许误差项存在序列相关,ADF检验,对于一般模型,检验单位根即是检验 H0:d=0 vs.H1:d 0,yt=d y-1+f1yt-1+fp-1 yt-p-1+et,Case two:,yt=dyt-1+m+f1 yt-1+fp-1 yt-p-1+et,Case three:,yt=dyt-1+m+qt+f1 yt-1+fp-1 yt-p-1+et,单位根过程,
12、平稳过程,假定有两个独立随机行走过程,E(etus)=0 for all t and s,如果我们用 yt 对 xt 做回归,yt=b0+b1 xt+et,yt=yt-1+et,xt=xt-1+ut,虚回归,比较小,不拒绝H0:b1=0,R2很低，因为 y 和 x 是互相独立的,实际上统计量 t，随着 T,R2并不小,虚回归中et 也是I(1)过程,理论上应该存在,这即是虚回归,观察可支配收入(Y)和消费(X)是否有协整关系,它们非平稳但有共同运动的趋势,协整(Cointegration),有两个I(1)过程yt 和xt，如果存在系数b使得它们的线性组合yt bxt为平稳I(0)过程，那么我们
13、称yt 和xt 存在协整关系，b为协整系数,如果两个变量有不同的阶数，如一个为I(2)另一个为I(1),则不存在协整关系,在协整关系中,yt=b0+b1 xt+et,et 为平稳过程,协整定义,检验协整关系即是检验回归残差的平稳性,对残差进行单位根检验,第一步：回归得到残差 ut,yt=b0+b1 xt+ut,第二步：检验残差单位根,协整检验EG两步法,检验原假设 H0:q=0 无协整 H1:q 0 有协整,拒绝原假设即认为存在协整关系,该检验临界值由Mackinnon(1991)给出,缺点：仅能检验一个协整关系,yt=b0+b1 xt+ut,当 yt 和 xt 存在协整关系时，我们有,ut=(g-1)ut-1+et,模型短期动态性,这即是误差纠正模型,误差纠正模型,
