《第12章简单线性回归.ppt》由会员分享，可在线阅读，更多相关《第12章简单线性回归.ppt（72页珍藏版）》请在三一办公上搜索。
1、第十二章 简单线性回归,对于考察变量与变量之间关系时，我们采用回归分析的方法建立模型或方程进行变量间关系的分析。因变量：被预测的变量自变量：进行预测的变量,简单线性回归模型（对总体而言）为未知参数，为随机误差项，反映其它未列入回归模型的变量对因变量的影响。,关于简单线性回归模型的标准假设：1.，可推知，该方程称为回归方程。2.对于所有的X，误差项 的方差 一样：即同方差假定。3.误差项 独立。其协方差为零，4.自变量是给定的变量，与误差项线性无关。5.误差项 服从正态分布，从而说明Y服从正态分布,对于总体的线性回归模型，由于总体参数未知，我们只能利用样本数据进行估计，得到样本回归模型（对样本而
2、言）。分别为 的估计。其中真实值与估计值之间的差距用e来表示：是y的一个估计值。,我们称下式为估计回归方程：,估计回归方程与总体回归模型之间的区别。总体回归模型是未知的，它只有一个。而估计回归方程则是根据样本数据拟合的，每抽取一组样本，便可以拟合一个样本估计方程。总体回归模型中的1和2是未知的参数，表现为常数。而回归估计方程中的 和 是随机变量，其具体数值随所抽取的样本观测值不同而变动。总体回归模型中的E是Y 与未知的总体回归线之间的纵向距离，它是不可直接观测的。而样本回归模型中的e 是Y 与估计回归线之间的纵向距离，当根据样本观测值拟合出估计回归方程之后，可以计算出e 的具体数值。,最小二乘
3、估计法,该法的目的：使残差平方和达到最小残差：因变量y的观察值与估计值之间的距离求该式对应的b0,b1可以根据微分的方法求解最优解。,令,披萨连锁店的销售量与学生人数的回归方程,模型的拟合度,判定系数：用来判断估计回归方程的拟合程度。误差平方和SSE总平方和SST回归平方和SSRSST=SSR+SSE 判定系数,SST=SSR+SSE WHY?,在该披萨店的例题中，由样本估计得到的回归方程的判定系数为：0.9027我们认为：该估计回归方程有90.27%的总平方和可以通过估计回归方程来解释，我们认为该模型较好的拟合了学生人数与销售额之间的线性关系。,判定系数与相关系数的关系：,从而有：判定系数=
4、SSR/SST=回忆相关系数的计算公式：本例中：r0.9501,模型的显著性检验,在模型进行估计以后，得到了估计回归方程。由于估计回归方程是由样本信息得到的，具有随机性。为了由样本推及总体，我们需要对估计参数进行显著性检验。因此可以利用之前介绍的假设检验的统计方法来判断。,1.估计回归模型中残差项的方差,之前的假设中，令误差项 的方差记为可得，因此 也代表了y值的方差。数学上可以证明，方差 的无偏估计为MSE(mean square error),其中SSE的自由度为n-2，受两个约束(b0,b1)MSE=SSE/(n-2)s称为估计量的标准误差pizza店的例子中，计算得到SSE=1530,
5、因此方差 的一个无偏估计，,2.T检验及相应的抽样分布,T检验:用来判定 是否显著为零。H0：=0;Ha:0如果x和y相关，则有 0.如果通过假设检验，我们拒绝了H0，可以相应得到 0的结论。由于 是唯一的，是未知总体的参数，我们需要借助样本计算得到的斜率b1来进行判断。,考察b0,b1的抽样分布：可以证明，在标准假定能够得到满足的条件下，回归系数的最小二乘估计量的期望值等于其真值，即有：,我们给出截距项估计参数的推导公式：以上公式的推导，是由于:令,推导：,由于总体方差未知，我们用之前说过的MSE来渐近估计总体方差：代入估计参数的方差和标准差公式：,构造统计量T，在H0为真是，T统计量服从自
6、由度为(n-2)的t分布。显著水平下的拒绝规则：如果Tt(a/2;n-2),拒绝H0的初始假定。说明 显著非零。,披萨店的例子，我们来看人数的估计参数是否显著，也就是看学生人数是否真的与销售量有显著关系：显著水平为0.01H0:=0;Ha:0在H0为真的前提下，有统计量T服从自由度为8的t分布。,比较T与临界值t(0.005,8)，T3.36从而可以拒绝H0的假定，统计上提供依据可以认为学生人数与披萨店的销售量有显著相关关系。,3.F检验及相关抽样分布,F检验是针对整体模型是否显著而设计的假设检验。在一元简单回归模型中，F检验的对象与T检验一致，结果也一致。但在多元回归模型中，F检验是对所有自
7、变量的显著性同时进行检验。,F检验的原理：类似于方差分析的构造方式，总体方差有两个独立的估计量。之前介绍的MSE是总体方差 的无偏估计，的另一个独立估计量为MSRMSR=SSR/(k-1)k为模型待估参数个数。在一元回归模型中，k=2,当H0:为真时，两个估计量应当相当接近，且MSR和MSE相除后得到的统计量服从F分布，自由度为(k-1,n-2)我们依照该分布的特点，且在一定显著水平下，找到统计值落入小概率事件的区域。F=MSR/MSEF(a;k-1,n-2)拒绝原则：如果FF临界值，则拒绝H0，从而可以认为模型整体通过显著检验。,类似于方差分析，我们同样可以列出ANOVA表：,披萨店的例子：
8、k-1=1由之前的计算，有MSR=14200,MSE=1530/8=191.25F=14200/191.25=74.25通过比较F与临界值，有F11.26,相应拒绝H0原假设，认为模型整体通过显著检验。F检验结果与T检验一致。,对一元线性回归模型而言，F检验与T检验的关系：,4.回归模型中参数的区间估计,样本回归模型中的b1是由（x,y）的一组样本数据计算得到的，类似于点估计，那么对总体回归模型中的 是未知参数，我们通过样本估计b1来估计，其区间估计为：置信度(1-),5.关于显著性检验的几点问题,1.变量x和y之间有显著性关系，并不能得出x和y之间存在因果关系的结论。我们可以说，x的变化是y
9、产生变化的最大可能。2.x和y之间存在显著性关系，不能说明x和y之间存在线性关系。只能说明在样本观察值范围内有一近似线性关系。,利用估计回归方程进行估计和预测,前面的章节对模型的拟合度、参数估计显著性进行的分析，在我们得到较高的拟合度以及明显的变量间关系以后，可以利用估计回归方程进行估计和预测。估计：因变量的点估计和区间估计预测：观测样本以外的因变量预测,1.E(y)的点估计：利用估计回归方程给出某一特定的x对应的y的均值的点估计。由披萨店的例子，我们估计当x=10时的y均值的点估计。说明：所有位于有1万名学生的校园附近的餐馆平均每季度销售额为11万美元。,因为：是 的无偏估计。所以给出的是在
10、某个对应点上因变量的均值。,2.E(y)的区间估计在已知了E(y)点估计 的基础上，我们可以构造E(y)的区间估计：点估计加减抽样极限误差抽样极限误差与点估计 的标准差有关。,因为：,E(y)的置信区间的估计公式为：求位于有1万名学生的校园附近的连锁店平均销售收入的95%置信区间：（98585，121415）,由标准差 的公式看出，当 时，最小，相应的E(y)估计区间最窄。,x,y,抽样极限误差,x,y,3.y的个别值预测区间当 时，以 作为 的预测值。预测误差为：,当总体方差未知时，我们用MSE替代，由已知抽样分布，有，,从而有,y个别值的预测区间：,由以上公式，求在学生人数为1万的校园附近
11、一家指定连锁店的销售收入，置信度为95%的估计区间：（76215，143875）,由标准差 的公式看出，当 时，最小，相应的E(y)估计区间最窄。,x,y,抽样极限误差,x,y,残差分析,我们在进行模型估计之前，曾经对回归模型的误差项做了诸多假设。残差分析就是用来判断这些假定是否符合真实数据的统计方法。若对误差项的那些假定不成立，那么关于回归关系的显著性检验和区间估计的结果就不可能正确。,我们利用残差e提供的信息，对误差项 的假设是否合适进行分析。我们利用残差项的残差图来观察和判断：1.自变量x的值的残差图2.关于自变量的预测值的残差图3.标准残差图4.正态概率图,关于x的残差图,(1)图满足
12、同方差假定(2)图不满足同方差假定(3)图说明模型不能合理的描述变量间的关系。,关于因变量y预测值的残差图,标准残差图,残差标准化以后，观察其是否服从标准正态分布：第i个观测值的标准化残差=其中第i个残差的标准差为：其中h与x有关，因此残差标准差依赖于x。,该图形以x为横坐标，标准化残差为纵坐标，该图表明：所有标准化残差都在-2到+2之间，因此我们没有理由拒绝误差相服从正态分布的假设。标准正态变量至少有95%的值介于-2到+2之间。,正态概率图,标准正态分布的样本的顺序统计量和正态分数(n=10),作图：将10个标准化残差由小到大顺序，使与10个正态分数依顺序对应。然后，以对应所得的10对数在
13、坐标系（正态分数为横坐标）中描点，得出散点图。若散点图显示这些散点紧密的聚集在45度线附近，则认为残差来自正态分布。否则表明正态性假设不成立。,残差分析：离群值与影响值,1.检测离群值（1）查看散点图某个别的观测值远离大部分的观测点。,（2）计算标准残差计算每个观测点的标准残差，若该值大于2或小于-2，就可以将该观测点视为异常值。若将异常值放入模型中，会发现其对整个模型拟合效果有明显影响。,2.检测有影响的观察值所谓的影响值是对回归结果有强影响的观测值。（1）利用散点图识别影响值影响值可能是离群值，也可能是远离x平均值的观测值，同时也可能是与接近极端的x值对应、有某种程度偏离其它诸y值的观测值
14、。,（2）观测值的杠杆率对应x为极端值的观测值称为高杠杆率点。,根据杠杆率公式，我们可以计算各观测点的杠杆率：我们可以设定：若h6/n，则可将该观测值识别为高杠杆率的观测值。第7个观测点,作业,1.估计成本是回归分析在会计学上的一个重要应用。根据搜集到的产量和成本的数据，利用最小二乘法可以求出关于成本和产量的估计的回归方程，从而使会计师能够估计某一特定制造业生产过程的成本。考虑下面某一制造业的产量和总成本数据组成的样本。,a.利用这些数据求出估计的回归方程，在产量已知的情形下，这个方程能用来预测总成本。b.生产每单位产品的可变成本或追加成本是多少？c.计算判定系数。总成本中的变异能被产量解释的
15、百分比是多少？d.公司的生产计划进度表表明，下个月必须生产500个单位的产品。对于这一生产计划估计的总成本是多少？,2.美国全国住宅建筑商协会(National Association of Home Builders)对购买力最强的和购买力最弱的住宅市场进行排序。排序的根据是在该住宅市场上中间收入的家庭有能力购买住宅的比例。从购买力最强的住宅市场中抽取1 2个市场组成一个样本，中间收入(千美元)和中间销售价格(千美元)数据如下：,a.利用这些数据，求出估计的回归方程，在某个市场的家庭中间收入已知时，能利用这个方程去预测该市场的中间销售价格。b.估计的回归方程对数据拟合的好吗？请作出解释。c.已知在某市场，家庭的中间收入是40100美元。求出在该市场上已售出的所有住宅的中间销售价格的95%的置信区间估计。d.在纽约州宾厄姆顿市，家庭的中间收入是40100美元。求出在宾厄姆顿市场，已售出住宅的中间销售价格的95%的预测区间估计。,
