《数值分析之最小二乘法与最佳一致逼近.ppt》由会员分享，可在线阅读，更多相关《数值分析之最小二乘法与最佳一致逼近.ppt（57页珍藏版）》请在三一办公上搜索。
1、1,4 曲线拟合的最小二乘法,1 最小二乘法及其计算,在函数的最佳平方逼近中 如果 只在一组离散点集 上给定，这就是科学实验中经常见到的实验数据 的曲线拟合.,2,记误差,则 的各分量分别为 个数据点上的误差.,3,设 是 上线性无关函数族，,在 中找一函数，,使误差平方和,这里,4,这个问题称为最小二乘逼近，几何上称为曲线拟合的最小二乘法.,用最小二乘求拟合曲线时,首先要确定 的形式.,确定 的形式问题不仅是数学问题,还与问题的实际背景有关.,通常要用问题的运动规律及给定的数据进行数据描图,确定 的形式,然后通过实际计算选出较好的结果.,5,为了使问题的提法更有一般性，通常在最小二乘法中考虑
2、加权平方和,这里 是 上的权函数，它表示不同点 处的数据比重不同.,就是 次多项式.,若 是 次多项式，,的一般表达式为线性形式.,6,这样，最小二乘问题就转化为求多元函数,的极小点 问题.,由求多元函数极值的必要条件，有,使误差取得最小.,7,若记,上式可改写为,这个方程称为法方程，,可写成矩阵形式,8,其中,要使法方程有唯一解，就要求矩阵 非奇异，,9,显然 在任意 个点上满足哈尔条件.,函数 的最小二乘解为,定义10,方程存在唯一的解,从而得到,于是,10,这样得到的，,对任何的,都有,故 确是所求最小二乘解.,11,一般可取，但这样做当 时，,通常对 的简单情形都可通过求法方程得到,给
3、定 的离散数据，,求解法方程时将出现系数矩阵 为病态的问题，我们在下面考虑用正交多项式的方法解决。,12,例1,已知一组实验数据如下，求它的拟合曲线.,13,解,从图中看到各点在一条直线附近，故可选择线性函数作拟合曲线，,将所给数据在坐标纸上标出，见图3-4.,图3-4,14,令,这里,故,15,解得,可得方程组,于是所求拟合曲线为,16,关于多项式拟合，Matlab中有现成的程序,其中输入参数 为要拟合的数据，为拟合多项式的次数，,输出参数 为拟合多项式的系数.,利用下面的程序，可在Matlab中完成上例的多项式拟合.,17,x=1 1 2 3 3 3 4 5;f=4 4 4.5 6 6 6
4、 8 8.5;aa=poly(x,f,1);y=polyval(aa,x);plot(x,f,r+,x,y,k)xlabel(x);ylabel(y);gtext(y=s1(x)）,18,结果如下：,19,有时根据给定数据图形，其拟合函数 表面上不是线性模型的形式，但通过变换仍可化为线性模型.,例如，,若两边取对数得,此时，若令,这样就变成了线性模型.,20,例2,设数据 由表3-1给出，,用最小二乘法确定 及.,解,表中第4行为,通过描点可以看出数学模型为,它不是线性形式.,用给定数据描图可确定拟合曲线方程为,两边取对数得,21,若令,先将 转化为,为确定，,根据最小二乘法，取,则得,数据表
5、见表3-1.,得,22,故有法方程,解得,于是得最小二乘拟合曲线为,23,利用下面的程序，可在Matlab中完成曲线拟合.,x=1.00 1.25 1.50 1.75 2.00;y=5.10 5.79 6.53 7.45 8.46;y1=log(y);aa=poly(x,y1,1);a=aa(1);b=exp(aa(2);y2=b*exp(a*x);plot(x,y,r+,x,y2,k)xlabel(x);ylabel(y);gtext(y=a*exp(bx);,24,结果如下：,25,2 用正交多项式做最小二乘拟合,如果 是关于点集,用最小二乘法得到的法方程组，其系数矩阵 是病态的.,26,
6、则方程的解为,且平方误差为,27,接下来根据给定节点 及权函数,构造带权 正交的多项式.,注意，用递推公式表示，即,这里 是首项系数为1的 次多项式，,28,下面用归纳法证明这样给出的 是正交的.,29,假定 对 及,要证 对 均成立.,有,由 的表达式，有,均成立，,30,而，,当 时，,另外，是首项系数为1的 次多项式，它可由,由归纳法假定，,当 时,的线性组合表示.,由归纳法假定又有,31,由假定有,再考虑,利用 表达式及以上结果，得,32,至此已证明了此多项式,组成一个关于点集 的正交系.,用正交多项式 的线性组合作最小二乘曲线拟合，,只要根据公逐步求 的同时，,相应计算出系数,最后，
7、由 和 的表达式（5.11）有,33,并逐步把 累加到 中去，最后就可得到所求的,用这种方法编程序不用解方程组，只用递推公式，并且当逼近次数增加一次时，只要把程序中循环数加1，其余不用改变.,这里 可事先给定或在计算过程中根据误差确定.,拟合曲线,34,以上述例1为例 先求正交系,35,例3,设X=1.00,1.25,1.50,1.75,2.00,在X上定义内积 5(f,g)=xi f(xi)g(xi)i=1 1)在函数系 1,x2中求一个X上的正交函数系.2)用最小二乘法求一个形如y=a+bx2的经验公式，使它与下列数据拟合.,xi 1.00 1.25 1.50 1.75 2.00,yi 3
8、.00 4.50 5.50 7.00 9.00,36,37,38,5 最佳一致逼近多项式,1.基本概念及其理论,设,在 中求多项式,这就是最佳一致逼近或切比雪夫逼近问题.,使其误差,39,使误差,(为任给的小正数)，,这就是著名的魏尔斯特拉斯定理.,40,使,定理1,在 上一致成立.,伯恩斯坦1912年给出的证明是一种构造性证明.,他根据函数整体逼近的特性构造出伯恩斯坦多项式,41,为二项式展开系数，并证明了,在 上一致成立；,若 在 上 阶导数连续，则,其中,这个结果不但证明了定理1，而且给出了 的一个逼近多项式.,42,定理2(最佳一致逼近的存在性）设f(x)在a,b上连续，则存在pn*(
9、x)Hn使,下面研究求pn*(x)的方法,定义：设f(x)Ca,b,p(x)Hn,若x=x0时则称x0为p(x)的偏差点.,43,要证明的是,这样的点组称为切比雪夫交错点组.,证明,假定在 上有 个点使上式成立，,定理3,即有 个点，,使,是 在 上的最佳逼近多项式.,只证充分性.,44,用反证法，,若存在，,由于,故 也在 个点上轮流取“+”、“-”号.,使,45,这说明假设不对，,故 就是所求最佳逼近多项式.,必要性证明略.,推论1,若，,充分性得证.,46,零偏差最小问题,47,证明,且点 是 的切比雪夫交错点组，,定理4,与零的偏差最小，,其偏差为,由于,48,由定理3可知，,即 是与
10、零的偏差最小的多项式.,定理得证.,49,由定理6可知，,多项式 与零偏差最小，,解,由题意，所求最佳逼近多项式 应满足,当,时，,故,例3,50,就是 在 上的最佳2次逼近多项式.,51,2 最佳一次逼近多项式,定理3给出了 的特性，这里讨论具体求法.,先讨论 的情形.,假定,且 在 内不变号，,根据定理3可知,至少有3个点,52,即.,由于 在 上不变号，,故 单调，,在 内只有一个零点，记为，,另外两个偏差点必是区间端点，,即 且,由此得到,于是,满足,53,解出,代入得,这就得到最佳一次逼近多项式，其几何意义如图3-3.,54,直线 与弦MN平行，且通过MQ的中点D，,图3-3,其方程为,55,由 可算出,例1,求 在 上的最佳一次逼近多项式.,解,又,由 得,故,解得,56,即,误差限为,于是得 的最佳一次逼近多项式为,57,在上式中若令,则,从而可得一个求根式的公式,
