《平方逼近离散.ppt》由会员分享，可在线阅读，更多相关《平方逼近离散.ppt（44页珍藏版）》请在三一办公上搜索。
1、第六章,函数逼近（曲线拟合）,第六章目录,1 最小二乘法原理和多项式拟合2 一般最小二乘拟合 2.1线性最小二乘法的一般形式 2.2非线性最小二乘拟合3 正交多项式曲线拟合 3.1离散正交多项式 3.2用离散正交多项式作曲线拟合4 函数的最佳平方逼近5 最佳一致逼近,函数逼近（曲线拟合）概述,用简单的计算量小的函数P(x)近似地替代给定的函数f(x)（或者是以离散数据形式给定的函数），以便迅速求出函数值的近似值，是计算数学中最基本的概念和方法，称为函数逼近。通常被逼近的函数一般较复杂，或只知道离散点处的值，难于分析，而逼近函数则比较简单，如选用多项式，有理函数，分段多项式，三角多项式等。,函数
2、逼近（曲线拟合）概述（续）,在大量的实验数据(xi,yi)(i=1,2,n)中寻找其函数关系y=f(x)的近似函数P(x)，是在实践中常遇到的。上一章介绍的插值方法就是一种逼近，要求在给定的节点处P(x)与f(x)相等（甚至导数值相等），因此在节点附近，逼近效果较好，而在远离节点的地方，由Runge现象知道，有时效果会很差，另一方面，由观测得到的实验数据不可避免地带有误差，甚至是较大的误差，此时要求近似函数P(x)过全部已知点，相当于保留全部数据误差，所以使用插值法不合适。因此，对逼近函数P(x)不必要求过给定的点，即不要求P(xi)=yi(i=1,2,n)，只要求P(xi)yi 总体上尽可能
3、小即要求P(x)尽可能反映给定数据点的总体趋势，在某种意义（要求或标准）下与函数最“逼近”。下面先举例说明。,函数逼近举例,给定一组实验数据如上，求x,y的函数关系。,例1,解 先作草图如图6-1所示这些点的分布接近一条直线，因此可设想，y为x的一次函数。设y=a0+a1x，从图中不难看出，无论a0，a1取何值，直线都不可能同时过全部数据点。怎样选取a0，a1才能使直线“最好”地反映数据点的总体趋势？首先要建立好坏的标准。,假定a0，a1已经确定，yi*=a0+a1xi(i=1,2,n)是由近似函数求得的近似值，它与观测值yi 之差ri=yi yi*=yi a0a1xi(i=1,2,n)称为偏
4、差。显然，偏差的大小可作为衡量近似函数好坏的标准。偏差向量r=(r1,r2,rn)T，,例1（续）,（1）使偏差的绝对值之和最小，即:,（2）使偏差的最大绝对 值达到最小，即:,（3）使偏差的平方和最小，即:,在离散情况下,也称为曲线拟合的最小二乘法,是实践中常用的一种函数逼近方法。,常用的准则有以下三种：,准则（1）的提出很自然也合理，但实际使用不方便，,按准则（2）求近似函数的方法称为函数的最佳一致逼近,按准则（3）确定参数，求近似函数的方法称为最佳平方逼近,ri=yi yi*=yi a0a1xi,函数的近似替代，求近似函数称为逼近,要求（准则或标准）不一样，逼近的意义不一样，因此，方法不
5、一样，结果也不一样。插值是逼近，满足条件Ln(xi)=yi 是在“过给定点”意义下的逼近。要求Ln(xi)-yi 总体上尽可能小,满足准则（3）称为最佳平方逼近,在离散情况下,也称为曲线拟合的最小二乘法.,1 最小二乘法原理和多项式拟合,一、曲线拟合的最小二乘法基本原理,对给定的数据(xi,yi)(i=1,2,n)，选取近似函数形式，即在给定的函数类中，求函数(x)，使偏差ri=(xi)yi(i=1,2,n)的平方和为最小，即:,亦即:,从几何上讲，就是求在给定的点x1,x2,xn处与点(x1,y1),(x2,y2),(xn,yn)的距离平方和最小的曲线y=(x)。这种求近似函数的方法称为离散
6、数据曲线拟合的最小二乘法，函数(x)称为这组数据的最小二乘拟合函数。通常取为一些较简单函数的集合如低次多项式，指数函数等。例1中取为一次多项式集合。,二、多项式拟合,对于给定的一组数据(xi,yi)(i=1,2,n)，求一多项式(m n),使得:,为最小，即选取参数 aj(j=0,1,m)使得:,其中为不超过m次多项式的集合。这就是数据的多项式拟合，Pm(x)称为这组数据的m次拟合多项式。与求解矛盾线性方程组的最小二乘法的方法相同，由多元函数求极值的必要条件，得方程组:,移项得:,（紧接下屏）,多项式拟合（续）,这是最小二乘拟合多项式的系数ak(k=0,1,m)应满足的方程组，称为正规方程组或
7、法方程组。由函数组1,x,x2,xm的线性无关性可以证明，上述法方程组存在唯一解，且解所对应的m次多项式Pm(x)必定是已给数据(xi,yi)(i=1,2,n)的最小二乘m次拟合多项式。,如图6-1表明，可用一次多项式P1(x)=a0+a0 x拟合例1中数据组所给定的函数关系，将所给数据代入正规方程组可得：,其解为a0=1.1,a1=1.02，所以：y=1.1+1.02x 就是所给数据组的最小二 乘拟合多项式。,最小二乘二次拟合多项式举例,例2,求下面数据表的最小二乘二次拟合多项式：,解：设二次拟合多项式为P2(x)=a0+a1x+a2x2，将数据表直接代 入正规方程组：,其解为a0=2.00
8、34,a1=2.2625,a2=0.0378。所以此数据组的最小二乘二次拟合多项式为：,2 一般最小二乘拟合,上节介绍了多项式拟合问题及其解法。在实际应用中，针对所讨论问题的特点，拟合函数可能为其他类型的函数，如指数函数，三角函数，有理函数等，待定参数也可能会出现在指数上，分母中等，对观测数据，由于它们的精度不一样，还会引入权系数，这都属于一般最小二乘拟合问题。,2.1 线性最小二乘法的一般形式,作两个推广：1.函数系由xmm(x)线性无关 2.加权系数i(i=1,2,n)即对(xi,yi)(i=1,2,n)选取函数(x)：,达到最小，对aj 求偏导数令其为0 正规方程组：,正规方程组的几种形
9、式：,首先，可用向量和矩阵表示正规方程组,正规方程组的几种形式,如果G的列向量线性无关，则正规方程组存在唯一解向量a，从而可确定：,其次可引进内积表示正规方程组：,正规方程组的几种形式（续）,正规方程组的几种形式（续）,k(x)线性无关 系数矩阵非奇异 唯一解:,令j=0,1,2,m，则正规方程组为:,在(6-4)中打开和式,最小二乘拟合函数定理,定理2,定理2（续）,所以(x)是数据组(xi,yi)(i=1,2,n)的最小二乘拟合函数。特别地，当取k(x)=xk(k=1,2,m)时，即为多项式拟合，所以多项式拟合为一般线性最小二乘拟合的一种特殊情况。,注意到(x)与(x)的表示式，由正规方程
10、组，上式中 间项为：,最小二乘法求其拟合函数举例,例3,已知一组数据如表，用最小二乘法求其拟合函数。,最小二乘法求其拟合函数举例（续）,例4,已知数据如下表，求一个二次多项式，使之与所给数据拟合：,解：从函数值的分布情况看，该函数可能为一偶函数，故考虑用偶次多项式作拟合函数，为此，取0(x)=1,1(x)=x2于是所求二次多项式可设为：(x)=a0+a1x2,而G为:,从此例题看到，通过对数据特点进行分析，确定选用不带一次项的二次多项式为拟合函数，不仅符合原来函数的 特征，而且使 计算更加简单。可见，在实际问题中选择 合适的函数类型是十分重要的。,2.2 非线性最小二乘拟合,当最小二乘拟合所取
11、函数类中的函数F=(x,a0,a1,am)关于参数a0,a1,am是非线性时，称为非线性最小二乘拟合问题。对非线性最小二乘拟合问题，虽然仍可由偏差平方和对aj求偏导生成方程组:,但是，与线性最小二乘问题不同的是，上述方程组是关于ak(k=0,1,m)的非线性方程组，要求解是很困难的，因此，一般的非线性最小二乘拟合问题不作详细讨论。,可化为线性拟合问题的常见函数类,但对于一些较特殊的非线性拟合函数类型，可以通过适当的变量代换后化为线性最小二乘问题，下表列出了部分这样的拟合函数类型。,可化为线性拟合问题的常见函数类:,拟合函数类型 变量代换 化成的拟合函数,非线性拟合举例,例5,在某化学反应里，根
12、据实验所得生成物的浓度与时间关系数据见下表，求浓度y与时间t 的拟合曲线y=F(t)：,解：将数据标在坐标纸上如图6-2由图看到开始时浓度增加较快，后来逐渐减弱，到一定时间就基本稳定在一个数值上。即当t时，y超于某个定数，故有一水平渐近线。t 0时，反应未开始，生成物的浓度为零。根据这些 特点，可设想y=F(t)是双曲线型或指数型曲线。,（紧接下屏）,非线性拟合举例（续1）,可见y关于参数a,b是非线性的为确定a,b可令：,（1）取拟合函数为双曲线型：,非线性拟合举例（续2）,非线性拟合举例（续3）,（2）取拟合函数为指数型,那么，怎样比较两个数学模型的好坏呢？一般可通过比较拟合函数与所给数据
13、误差大小来确定。对此例可计算得：,非线性拟合举例（续4）,而均方误差为：,可见y=F2(t)的误差比较小，用它作为拟合曲线更好。,从此例也可看到，选拟合曲线的类型，并不是一开始就能选好，往往要通过分析若干模型的误差后，再经过实际计算才能选到较好的模型。,3 正交多项式曲线拟合,求解线性最小二乘问题，必须求解正规方程组，然而困难的是最小二乘法的正规方程组往往是病态的，在（6-5）中，当k(x)=xk 时，正规方程组的系数矩阵：,与矩阵：,（紧接下屏）,是病态阵一样，m不大时还好，当m较大时为病态阵（m太大，大小都为病态的）。因此，在实际应用时，m不能太大，也即曲线拟合的多项式的次数不会太大，多用
14、低次的。因此，一般情况下，对线性最小二乘问题，要得到最小二乘拟合多项式,就面临着要求解病态方程组这一困难，要克服这一困难。可以选用适用于病态方程组求解的数值方法如奇异值分解法等去求解法方程组。也可以通过生标的平移和伸缩变换，去降低法方程组的病态程度。本节考虑用正交多项式来进行曲线拟合,3.1 离散正交多项式,对多项式k(x)和j(x)，式（6-4）定义了在离散情况下的内积：,利用内积，可以有:,定义6.1,则称k(x)与j(x)在点集x1,x2,xn上是带权i离散正交的。设0(x),1(x),m(x)为多项式系，k(x)为k次多项式，如果满足正交条件：,则称0(x),1(x),m(x)为点集x
15、1,x2,xn上的带权i 的离散正交多项式系。,如果两个多项式k(x)、j(x)满足:,这样的k(x)是首项系数为1的k次多项式，下面的定理给出了k(x)的正交性证明。,离散正交多项式（续）,对于给定的节点x1,x2,xn，可以按下列公式（称为三项递推式）构造离散正交多项式系：0(x),1(x),m(x)(mn)：,构造离散正交多项式,定理6.2,按式（6-6），（6-7）构造的多项式系0,1,n 是点集x1,x2,xn上关于i 的离散正交多项式。,证明:用数学归纳法证明 当k=1时，利用式（6-6）中第二式得:,从而证明了0(x)与1(x)的离散正交性;,（紧接下屏）,构造离散正交多项式（续
16、1）,由归纳假设：对,待证：,定理6.2证明（续2）归纳证明,（紧接下屏）,定理6.2证明（续2）,对j=1,2,m-3，有,由归纳法原理，对一切自然数，多项式系0,1,m满足正交条件，因此是点集xi上关于i的正交多项式系。,因此对k=m成立。,证毕！,构造离散多项式举例,例6,试构造点集0,1,2,3,4,5上的离散正交多项式系0(x),1(x),2(x),3(x),解：若没有给出i，一般认为i=1，由三项递推式（6-6），（6-7）进行构造，计算中，在求出每个k(x)的同时，将其在所给节点上的值求出列入表6-1 中，以便求下一个k+1(x)时使用。,3.2 用离散正交多项式作曲线拟合,设(
17、xi,yi)(i=1,2,n)为给定数据。i 为对应的权系数(i=1,2,n)，若未给出i，则认为i=1，0(x),1(x),m(x)为点集xi 上的离散正交多项式系，为由其所有线性组合生成的多项式集合:=Span0(x),1(x),m(x),使其满足式（6-2），利用多项式0(x),1(x),m(x)的离散正交性易知，此时正规方程组（6-5）的系数矩阵为对角阵：,用离散正交多项式进行最小二乘曲线拟合,亦即求：,（紧接下屏）,用离散正交多项式作曲线拟合（续）,可见，不用解线性方程组，可减少含入误差，避免病态情况出现，直接计算可得:,这样可总结利用离散正交多项式求给定(xi,yi)(i=1,2,
18、n)带权i(i=1,2,n)的拟合多项式的步骤（逐步构造k(x)法）：,（紧接下屏）,求给定(xi,yi)带权i 的拟合多项式的步骤,1.按三项递推式（6-6）（6-7）构造离散正交多项式系 0(x),1(x),m(x)；2.按（6-8）计算内积并由此得正规方程的解；3.按（6-9）写出拟合多项式(x)。,拟合多项式举例,利用离散正交多项式求例2所给数据表的二次拟合多项式,例7,解：按三项递推式及k,k的计算公式可得：,而由系数ak的计算公式有：,拟合多项式举例（续）,由此可得最小二乘二次拟合多项式为：,第六章,结 束,上机练习题：不同拟合模型的比较,已知观测数据如下表所示，按下述方案求最小二乘拟合函数，并求出偏差平方和Q，比较拟合曲线的优劣。,方案I 拟合函数取为如下形式的三次多项式：,方案II 用离散正交多项式求三次拟合多项式,方案III 用离散正交多项式求四次拟合多项式,方案IV 拟合函数取为如下形式的函数：,观测数据表,
