《最小二乘法与回归分析.ppt》由会员分享，可在线阅读，更多相关《最小二乘法与回归分析.ppt（20页珍藏版）》请在三一办公上搜索。
1、5 化学计量学方法,6.1 引言6.2 线性回归分析6.3 化学因子分析6.4 人工神经网络6.5 小波分析6.6 独立成分分析6.7 支持向量机分类与回归,本课程的教学内容,最小二乘法与回归分析化学因子分析人工神经网络小波分析独立成分分析支持向量机分类与回归分析,5.2 回归分析及检验,回归分析是研究随机现象中变量之间关系的一种数理统计方法，它在生产实践和科学研究及实验中有着广泛的应用。目前在寻找经验公式，探索新配方，制定新标准，预言效果等方面都已取得不少成绩。在科学研究及生产实验中，常常会遇到在同一个事物中有多个变量存在，而且它们相互关联，相互制约。这种关联和制约表明它们之间客观存在一定数
2、学的或其他的关系。但要找出它们之间数学关系的数学解析式是非常困难的，有时是不可能的。因此需要用数量统计的方法，在大量的试验中，寻找出隐藏在各变量间的统计规律性或近似的数学模型，这种关系称之谓回归关系。有回归关系的计算方法及理论叫做回归分析。,回归分析的主要内容,从一组数据出发，确定这些变量间的定量关系式；对这些关系的可信度进行统计检验；寻找某一个应变量和哪些自变量有关，其影响程度如何；利用上述关系，进行预报和控制；选择较少的试验点，获得更多的信息，对试验进行较好的设计。,5.2.1 最小二乘法原理,设实测数据为(xi,yi)(i=1,2,n)，其近似符合函数y=(x,a1,a2,am)(nm;
3、a1,a2,am是待定系数)当用测定值x=xi(i=1,2,n)代入(4.6-1)可计算出y值，记作,不要求近似函数通过全部观测点，计算值与实测值不一定完全相等，之间的差称为残差,残差的大小是衡量待定参数a1,a2,am好坏的重要标志。,如何确定残差？,残差和残差绝对值和残差平方和,这样问题就归纳为求多元函数Q(a1,a2,am)极小值点,解此方程即得参数aj(j=1,2,m)近似函数 y(x,a1,a2,am)这就是曲线拟合的最小二乘法原理。,应用举例-1,问题:改变某有色有机酸H2L的溶液的pH，测得溶液的吸光度A，计算该有机酸的离解常数Ka1，Ka2。解:根据吸光度的加和性可得：H2LH
4、LL 将它们用H+及Ka1、Ka2表示,则有,AH2L、AHL和AL为溶液全部以H2L、HL-或L2-形式存在时的吸光度。其中AH2L和AL都可由实验直接测定，因为在足够高的酸度下，有机酸将全部以H2L形式存在，这时溶液的吸光度即AH2L；同理,在足够高的pH值时,测得的吸光度为AL。所以只剩下AHL不易测准。,令 y=(AH2LA)H+2,x1=AH+,x2=AAL,x3=H+,Ka1=a1,Ka1 Ka2=a2,AHL Ka1=a3,这是三元一次方程组,理论上讲只要测得三组数据(pH1,A1),(pH2,A2)和(pH3,A3),就可以解出三元一次方程组,算出a1，a2和a3。但是在实验中
5、，常常带有实验误差，只凭三组测量值进行计算会使结果很不可靠，所以，通常要测量许多组实验数据pH1,A1pH2,A2;pH3A3;pHn,An,得到n个方程,因为n3,该方程组为矛盾方程组,可用最小二乘法求解。,上机作业,用光度法测定间苯二酚的离解常数Ka1,Ka2,测得溶液的pH和A的数据如下:pH 2.90 3.00 3.10 3.20 3.30 3.40 3.50 3.60 3.70 A 0.370 0.374 0.378 0.382 0.387 0.393 0.398 0.403 0.407 pH 4.28 4.38 4.46 4.54 4.64 4.72 4.78 4.85 4.91
6、A 0.407 0.403 0.398 0.393 0.387 0.382 0.378 0.374 0.370 并且测得AH2L=0.353,AL=0.337。要求：将由实验测定所得pH和A经换算后得到课堂所讲y,x,a等形式，编程语言任选；矛盾方程组求解可以编程实现，或由统计软件中的多元线性回归分析而得；将数据预处理程序及结果、数据处理最后结果等以附件l形式交送至化学信息学网络课堂.,5.2.2 线性回归分析,一元线性回归通过一组实验数据进行最小二乘法回归处理，求出直线的斜率和截矩，并根据一定的统计方法处理，得到较多的统计信息，对实验数据线性相关性进行检验及进行预报等。,平均值 差方和,回归
7、分析结果,回归方程检验,相关系数总差方和(S)=剩余差方和(Q)+回归差方和(U)r1。越大，表示相关性越好。r0,正相关,直线的斜率为正;r0,负相关,直线的斜率为负;r=0,不相关,即y与x之间无线性相关关系。r值多大,y 与 x之间才有相关关系呢?这可由自由度(f)及指定置信水平下的 rf,a值来判断,这叫 r检验法。rf,a可以从相关系数检验表中查得。如果r的计算值大于相同f及指定a下的rf,a，则y与x显著相关，否则y与x之间无线性相关关系，拟合函数即失去意义。,F检验法 在一元线性回归分析中,fS=n-1,fQ=n-2,FU=1,根据给定的置信水平,从F检验表中查得F(fU,fQ)
8、的临界值,若计算得到的F值大于F(fU,fQ),则y与x之间有线性关系,否则,无线性相关关系。,回归线的精度 剩余标准偏差值越小，表示根据拟合函数预报的就越准确.若在拟合函数所表示的直线两侧各画一条直线 y=a+bx+z y=a+bx-z 可以预料,在全部可能出现的y值中,当z=0.5时,则38.0%的点落在这两条线所夹的范围之内;当z=1时,则68.3%的点落在这两条线所夹的范围之内;当z=2时,大约有95.4%的点落在这两条线所夹的范围内;当z=3时,则99.7%的点落在这两条线所夹的范围之内。,a,b的变动性a,b变动性的大小与剩余标准偏差的大小及xi 值的波动有关,xi 越分散,a和b
9、就越小,另外,a还与测量点数n有关,n值越大,a就越小。这就从统计学上说明了改进实验的方法。最后，根据拟合函数预报y时，还与x有关，即x越靠近，预报就越准，因此，在计算时，一般作内插预报，而不要任意外推。,应用举例-2,某合金钢的抗拉强度y1(kg/mm2)和延伸率y2与钢中碳含量x有一定的关系,其实验数据如下表所示。要求预报使此合金钢抗拉强度y132kg/mm2，延伸率y233%，且要求有95%的把握满足上述要求，问含碳量在什么范围。合金钢成分及性能实测数据 x(%)y1(kg/mm2)y2(%)x(%)y1(kg/mm2)y2(%)0.03 40.5 40.0 0.15 46.0 40.5
10、 0.04 41.5 34.5 0.16 48.0 33.0 0.05 42.5 41.5 0.17 53.0 37.0 0.06 43.0 37.5 0.18 50.0 36.5 0.07 39.5 36.0 0.20 52.5 37.0 0.08 42.0 40.0 0.21 56.0 31.0 0.09 42.5 34.5 0.23 60.0 32.5 0.10 43.5 39.0 0.24 56.0 32.4 0.11 42.5 31.5 0.25 54.5 35.5 0.12 49.0 41.0 0.26 61.5 33.3 0.13 43.0 37.5 0.29 59.5 31.0
11、 0.14 49.0 40.0 0.32 64.0 32.0,解 将例实测数据进行线性回归处理得如下结果：对抗拉强度：回归方程 y1=85.6093x+36.02 剩余标准差 1=2.3673 显著性检验 F=205.7 相关系数 r=0.9504 对延伸率：回归方程 y2=-25.1589x+39.89 剩余标准差 2=2.7970 显著性检验 F=12.72 相关系数 r=0.6050 若有95%的把握满足题中条件，则应 85.6093x+36.02+22.3673 32 85.6093x+36.02-22.3673 32-25.1589x+39.89+22.770 33-25.1589x
12、+39.89-22.770 33 解之得 0.0083x0.0536 因此可以预测，当合金钢的含碳量在0.0083%到0.0536之间时,可以有95%的把握说其抗拉强度大于32kg/mm2，延伸率大于33%；同理可以计算得当把握要求降至90%时,含碳量范围变为0到0.13%之间(含碳量为负时没有实际意义,舍去该值)。,一些可转化为线性回归的非线性情况,多元线性回归分析多元线性回归的数学模型y=a0+a1x1+a2x2+amxm 由实验测得n组相互独立的实验数据 xi1,xi2,xi3,xim,yi(i=1,2,n;nm)多元线性回归方程的检验 总差方和(S)=剩余差方和(Q)+回归差方和(U)
13、复相关系数 方差比 剩余标准偏差,S的自由度 fS=n-1 U的自由度 fU=m Q的自由度 fQ=n-m-1,例7 N,N-二甲基-2-溴苯乙胺衍生物是肾上腺阻断剂当Y和Z接上不同的取代基,其生物活性是不一样的,Y和Z取代基的结构信息参数通常取其疏水值和电子参数,其结果如下表所示。,REGRESS Multiple linear regression using least squares.b=REGRESS(y,X)returns the vector of regression coefficients,b,in the linear model y=Xb,(X is an nxp ma
14、trix,y is the nx1 vector of observations).,B,BINT,R,RINT,STATS=REGRESS(y,X,alpha)uses the input,ALPHA to calculate 100(1-ALPHA)confidence intervals for B and the residual vector,R,in BINT and RINT respectively.The vector STATS contains the R-square statistic along with the F and p values for the regression.,
