《最小二乘拟合多项式.ppt》由会员分享，可在线阅读，更多相关《最小二乘拟合多项式.ppt（27页珍藏版）》请在三一办公上搜索。
1、第二节 最小二乘拟合多项式,最小二乘拟合问题：,为什么不能使用插值函数来逼近？由于观测数据数目较大，又往往带有观测误差，对于这类问题使用插值函数来逼近，插值函数会将这些误差也包括在内，这是不适当的！,换句话说：寻求，使其在某种准则下与所有数据点最为接近，即曲线拟合得最好。,数据处理问题,拟合的含义是：不要求 所对应的曲线完全通过所有的数据点，只要求它能够反映数据的整体变化趋势。,因此，我们需要一种新的逼近原函数的办法,插值与拟合的关系：,问题：给定一组数据点，构造一个函数作为近似（或逼近）。解决方案：1.若要求所求曲线通过给定的所有数据点，就是插值问题；2.若不要求曲线通过所有数据点，而是要求
2、它反映数据点的整体变化趋势，这就是数据拟合，又称曲线拟合，所求出的曲线称为拟合曲线。,解决方案：1.不要求过所有数据点（可以消除误差影响）；2.尽可能地刻画数据点的趋势，靠近这些数据点。,曲线拟合问题最常用的解法 最小二乘法,考虑问题：测得铜导线在温度 时的电阻 如下：,k 1 2 3 4 5 6 7 温度 x 19.10 25.00 30.10 36.00 40.00 45.10 50.00 电阻 y 76.30 77.80 79.25 80.80 82.35 83.90 85.10,求电阻 和温度 之间的关系.,拟合问题的几何背景是寻求一条近似通过给定离散点的曲线，故称曲线拟合问题。,1)
3、将变量所对应的点(数据点)在坐标平面中描绘出来。这些点组成了变量之间的一个图，通常称这种图为变量之间的散点图。,2)可以看出，电阻随着温度增加而增大，并且这7个点大致分布在一条直线附近，因此可认为电阻与温度之间的主要关系是线性关系。建立适当的数学模型。,问题：如何选择a和b，使得到的方程与实际情况比较符合.,电阻,温度,易见，在数据给定的前提下，误差的大小仅依赖于a,b的选择。反过来，衡量a,b的好坏可以由整体误差的大小来确定。,问题：如何得到参数a和b，使整体误差达到最小？,常用的三种准则是：,由于准测（）、（）含有绝对值不便于处理，通常采用准测（），并称基于准则（）来选取拟合曲线的方法，称
4、为曲线拟合的最小二乘法。,3)确定拟合曲线.求解如下的二元函数极值问题.,利用极值必要条件，有,整理，得到如下线性方程组,一般地，我们有,问题：,实验次数,称为数据的最小二乘拟合多项式！,令,称为正规方程组（或法方程组）。,n+1个方程n+1个变量,法方程组可写成以下形式:,令,则法方程系数矩阵为：,常数项为：,可以证明：当 互异时，该方程组有唯一解，并是最小值问题的解。,9,其他类型的拟合问题,最小二乘法并不只限于多项式，也可用于任何具体给出的函数形式。特别重要的是有些非线性最小二乘拟合问题通过适当的变换可以转化为线性最小二乘问题求解。,第3节 一般最小二乘逼近问题的提法,常见的广义多项式：
5、,j(x)=x j 对应代数多项式,j(x)=cos jx、j(x)=sin jx j(x),j(x)对应三角多项式,j(x)=e kj x,ki kj 对应指数多项式,离散型,根据一系列离散点 拟合时，在每一误差前乘一正数，即 误差函数，这个 就称作权，反映该点的重要程度。,连续型,离散型,给定一组数据，和一组权系数 下求广义多项式 使得误差函数 最小。,连续型,已知 以及权函数，求广义多项式 使得误差函数 最小。,内积与范数,离散型,连续型,则易证(f,g)是内积，而 是范数。,广义最小二乘问题可统一地叙述为：求广义多项式使得最小，其中,n,由于,内积空间的最佳逼近问题,利用极值必要条件，
6、有,即,法方程组,1）矩阵 形式,证明：参考数值逼近,2）内积 表示,上式表明：所有基函数 都与 正交。,特征定理,定理,例3.1：用 来拟合如下数据，i 1,k 1 2 3 4 5x 1 3 4 6 7y-2.1-0.9-0.6 0.6 0.9,解：,决定问题的维数,为5维！,其中的内积是向量,的标量积.因此，得到,解之,例：用 来拟合，i 1,解：0(x)=1，1(x)=x，2(x)=x2,注意：四维问题,第4节 用正交多项式作最佳平方逼近问题,背景：若使用一般的广义多项式 做基底，求最佳平方逼近多项式，当 较大时，系数矩阵是“高度病态的”，求法方程组的解，舍入误差很大。另外，计算法方程中
7、的 以及求解法方程组的计算量都是很大的。,若能取函数族=0(x),1(x),n(x),，使得任意一对i(x)和j(x)两两（带权）正交，则系数(Gram)矩阵可化为对角阵！,常用的正交多项式：,1.,不用解线性方程组!,2.,4.,3.,广义Fourier级数展开,右端称为 的广义Fourier级数，称为广义Fourier系数。,之所以使用“联结符号”是：因为还不能断定Fourier级数是否平均收敛于f(x),于是，我们得到,当 时，期望,f(x)的Parseval等式,!,?,1 勒让德(Legendre)多项式,1),2),令,性质4.,用定义容易检验,使用递推公式得,2 切比雪夫(Chebyshev)多项式,切比雪夫多项式性质,性质1.,性质4.,由递推关系,可有,
