《回归分析专题.ppt》由会员分享，可在线阅读，更多相关《回归分析专题.ppt（30页珍藏版）》请在三一办公上搜索。
1、单变量回归,目的：介绍作为实证模型建立方法的回归分析，以模拟具有连续响应变量“Y”的过程。（定义：实证基于观测值或事实）,目标：确定何时使用回归，以及为什么使用。理解使用回归方法构建一个连续“X”变量与连续“Y”响应变量的关系模型。在Minitab中应用回归方法，根据数据拟合一条直线。在给定X的情况下，用拟合的直线方程式预测“Y”。了解确定模型是否为所给定数据的最佳模型的数学方法。说明并理解确定模型是否为所给定数据的最佳模型的图形方法。,单变量回归,1、什么是回归？描述“Y”与“X”关系的数学方法 创建工序的“模型”。Y=b0+b1x+e 其中：b0为Y截距b1为直线斜率e为模型的误差项2、为
2、何要使用回归？寻找潜在的关键少数“X”预测“Y”优化“Y”确定如何设置“X”以优化“Y”3、何时使用回归？筛选被动数据（历史或基准数据），以找到潜在的关键“X”危险!不要使用被动数据得出最终结论。还要继续进行DOE（试验设计）记住被动数据是历史数据；这种关系当前可能并不存在。分析DOE（试验设计）的结果,回归是一种必须谨慎使用的强有力的工具。,回归寻找“Y”与“X”关系的方法,单变量回归,我们可能对独立变量（X）和响应变量之间的关系感兴趣。表示它们之间关系的散点图可能如下所示：,假定真正的关系为：线性关系存在“b0”（常数）和“b1”（系数）为固定、但未知的参数“X”为独立变量“Y”为观测的响
3、应值“e”为误差。常见的误差假设有：平均值为0.0不相关正态分布误差不存在型式的分布,Y,i,Y=bo+b1*X+ei i,收集数据 以估测方程的最佳方法是什么？,“b0”和“b1”的估测值是多少？,这是否是正确的函数形式（直线）？,关系是否具有统计显著性（不是偶然出现）？,误差“ei”有多大？,与拟合方程相关的问题有：,要使估计的斜率误差最小，将观测值的1/2置于“X”的下限，将其它1/2置于上限，并使独立变量在广范围内取值。这适用于Y值高度变化、独立变量的范围较小、而且它们之间的关系预期为直线的情形。,要确定关系的形式(是直线还是曲线？),采用两级以上的独立变量。如果数据高度变化，常常采用
4、3个级别。,最好是以随机顺序收集数据，而不要以低值的“X”开始然后逐渐递增 另一个随时间变化的可能影响工序。,收集数据,在Minitab中打开新工作表，并在C1和C2中输入以下数据：,举例:您在尽力优化油漆烤箱的性能。一种理论称鼓风机风扇速度影响油漆中溶剂的蒸发。您在尽力通过下列数据证明这种关系的存在。,Minitab的单变量回归,看上去是线性!,1)始终首先将数据制图,GraphPlot,单击“OK”运行,2)运行数据的回归分析,自变量,单击 Graphs,单击 Storage,StatRegressionRegression.,(参见下页的子对话框）,并,此对话框用于生成残差(误差)图采用
5、这些图形检验您的模型中有关误差的假设单击此框，指明您想看的图形,单击 OK,然后单击对话框中的 Storage 按钮,单击 Fits 和 Residuals，以在数据窗口存储信息,点击 OK 两次,“X”变量的p值-速度 Ho:斜率=0 Ha:斜率=0或者，另一种表达方式：Ho:“X”不显著 Ha:“X”显著,会话窗口包含分析结果.,接受Ha,无法拒绝Ho,常数的p-值H0：直线通过原点(0,0)(0速度=0蒸发)Ha：直线不通过原点(0,0),(“Ctrl-M”移至会话窗口,s:残差(误差)的标准差。残差为观测值预测值。换句话说，指观测点至回归方程式中描述的拟合线的距离。(对于优秀的模型，此
6、值应较小)s=MS(error)1/2R-Sq:由拟合线“解释”的总变差的百分数。由“X”解释的变差。(对于优秀的模型，此值应较大)R-Sq(adj):对过于拟合情况(方程式中的变量过多)的调整，它将包括模型中的项数与观测值的个数进行对比其中 n=观测值数量 p=模型中项数，包括常数,R2越大，模型对工序模拟得越好,对于良好的模型，该值应接近R2值,该值越小(误差的大小)，模型越好,通过查看R-Sq,R-Sq(adj)，s和p值来评估模型,SSregression:由模型中的“X”而解释的响应变量“Y”的变差。每一X值对应的模型预测值和Y的总平均值之差的平方和。SSerror:未被解释的“Y”
7、的变差。每个数据点的Y观测值和该数据点Y的预测值之差的平方和。SStotal:Y值相对其平均值的总变差。,误差项相对总数应很小,p-值应 0.05，以表示统计显著性(良好拟合的方程式),回归项(的SS 和 MS)应比误差项的(SS 和 MS)大,FITS指“Y”的预测值，即根据回归方程式计算出的与“X”值相对应的Y值。C3=0.069+0.00383 C1(会话窗口中的回归方程式)或者响应变量的预测值=0.069+0.00383(速度)残差为误差。残差的出现说明模型显示的数据有误差。(每个点的实际响应变量Y值减去其预测值(拟合值)。因此：,数据窗口将出现两个新栏“FITS1”and RESI1
8、”,按 Ctrl-d 返回数据窗口,C4=C2-C3,残差的平均值始终为0.0 残差应为正态分布残差应随机分布。残差存在的型态可能指出所选择的模型不对。型态举例：曲线(起点低，逐渐上升，然后下降)随数据收集的时间而变化不等变差(一般情况下，值越大，变差越大)一个或两个极端值,改进不良拟合的几种方法：调查非同寻常的数据，它可能是错误，也可能是您的研究中最重要信息。拟合不同的方程式(可能不是线性关系)转换Y(对数，平方根，倒数，yk.)转换“X”变量(对数，平方根，倒数),残差图-检查回归模型“优劣”的诊断工具,用“Scrtl-Tab”键滚动窗口，直至找到残差图,不象是钟形曲线.,注：此例中的样本
9、容量较小(10个)。尽管残差直方图往往能够说明问题，但在此例中数据不足，难以得出结论。,残差应正态分布：,检查残差:,如果型态较明显，单变量线性模型可能不是所具有的数据的最佳拟合，或者说，还有其它的关键“X”。,这些误差的分布相当随机,残差应为平均值为0.0的正态分布,误差必须在平均值0上下随机分布。,回归分析也可用图形表示！,StatRegressionFitted Line Plot,单击“Options”,单击这些选项以在图形输出窗口显示更多的信息,“拟合线图”提供：会话窗口中的回归分析显示运用最小二乘法原理拟合直线*图显示置信区间(C.I.)和预测区间(P.I.)图,单击两次“OK”,
10、置信区间和预测区间,C.I.=置信区间(95%置信度表示所有数据的平均值都位于此带内)P.I.=预测区间(95%置信度表示单个数据点位于此带内),置信带,预测带,会话窗口中的信息与早期生成的信息相同,无法否定Ho:,接受Ha:,结论：我们已经找到潜在的关键“X”速度根据散点图、及残差图（无型态）得出结论，线性模型拟合良好。拟合有多好？给定速度来预测蒸发率，为此目的，这个模型应该可以接受(基于：R2=90.5%，以及较小误差项(S=.16)。如果工序非常关键，应使用更多的数据。然后，可以建立误差分布更接近正态的回归模型。,您相信我们的家电所占据的展示厅面积的大小会影响销售量。您已经收集了过去12
11、个月内，多个零售点销售量与总的占地面积方面的数据。现在，您希望分析这些数据，看占地面积是否确实与年销售量存在某种关系。,在Minitab输入以下数据：,应用您所学的单变量回归方法。准备好解释您的答案、以及支持您的结论的结果。,($K)(平方英尺),课堂练习:,在进行回归之前，将“Y”与“X”的数据画图您首先需要知道哪种模型合适。回归可用于被动数据，但一定要谨慎，因为它不是一个受到控制的试验。在采用回归方法得出有关被动数据的结论之前，一定要进行 DOE。观察 残差与拟合值图，以集中精力于您的模型可能存在的潜在问题。借助残差图来判断“拟合的优劣”。采用拟合线图，通过数据创建一个回归线图形，并确定模
12、型的置信区间和预测区间。,关键概念,附录,回归术语,r：多重回归的相关系数(r)。越接近+/-1，模型拟合越好。0表示无线性关系。R-Sq：相关系数的平方(R2)。R2的值越接近100%，说明可能存在关系，由模型解释的 变差的百分比越高。R-Sq(Adj)：在过度拟合情况下对R2的调整(将模型中的项数考虑在内)。估计值的数据相对预测“表面”的标准变差。标准误差s=MS误差1/2回归均方模型总体“之间”变差的估测。(MS回归)MS回归=SS回归/DF回归(DF=自由度)F-比率：“F”统计量。数值大表示模型可鉴别因素（X）与因变量Y值之间的关系。F=MS回归/MS误差p-值：接受“存在差异”时，
13、发生错误的机率。p值0.05说明无法得出存在差异(显著)的结论。模型不是“好”模型的机率。“好”表明找到了因素X与响应变量Y之间的关系。,(X,i,-n X,-X),-Y),-X)(Y,-Y)=b1(X,最小平方线通过(X,Y):(Y,回归术语(续),和经常用于表示总体值。“b0”“b1”是从数据中得出的总体值。,选择“b0”“b1”，使误差平方和为最小。,“最小平方”：,最小化：,取与“b0”和“b1”相关的偏导数，并使导数为0.0。,i,i,-X),(X,i,i,斜率为 b1=,-=-,X,i,2,2,2,(ei2)=(Yi-b0-b1 Xi)2,计算系数的置信区间(斜率),会话窗口中的回
14、归方程式为：蒸发率=0.069+0.00383 速度,斜率估算值,0.00383为根据数据得出的直线斜率估测值。由于它是估测值，我们知道实际值位于可能取值的范围内-置信区间。斜率的置信区间可根据下列方程式计算：估算值+/-(t df,)(估计值的标准误差),斜率估计值标准误差在StDev栏中查找：0.00044(上舍入)t值是使用模型中误差项的自由度(8)以及双边检验的a0.05而从T表中获得的结果：t=2.31,斜率的95%置信区间是：0.00383+/-2.31(0.00044)(0.00281,0.00485),课堂练习答案,首先将数据制图.GraphPlot,占地面积和年销售量看上去呈线性关系,下一步，运行回归功能得到模拟方程式不要忘记保存残差并创建残差图,这里“R-Sq”的大小对于这两种变量之间的关系大概可以接受(商业质量过程具有大量无法控制的 噪音)“R-Sq(adj)”接近R-Sq，同样属于良好,首先查看会话窗口,此直方图并不是正态分布。试确定分布呈如此形状的原因(数据输入错误，数据太少等),通过查看残差图分析模型,残差没有一定的型态,结论：占地面积对销售量有影响。同时，可能还有其它关键的 Xs需要考虑，并添加到方程式中。以下步骤：找出其它潜在的关键“X”。优化占地面积与销售量之间的关系。,
