《线性代数课件7-4向量到子空间的距离最小二乘法.ppt》由会员分享，可在线阅读，更多相关《线性代数课件7-4向量到子空间的距离最小二乘法.ppt（9页珍藏版）》请在三一办公上搜索。
1、,第四节 向量到子空间的距离 最小二乘法,在欧氏空间中可以引入向量间的距离概念。定义 8 长度|称为向量和的距离，记为d(,).,不难证明距离的三条基本性质：（1）d(,)=d(,)；（2）d(,)0 当且仅当=时等号成立。（3）d(,)d(,)+d(,),在中学几何中学过一个点到一个平面（或一条直线）上所有点的距离以垂线为最短，下面可以证明一个固定向量和一个子空间中各向量间的距离也以“垂线最短”。,先设一个子空间W,它是由向量 1,2,k所生成，即W=L(1,2,k).说一个向量垂直于子空间W，就是指向量垂直于 W 中任意一个向量。现给定，设是 W中的向量，满足 垂直于 W，则对W中任意向量
2、，有|,证明,=（）+（）,因 W 是子空间，W，W，则 W，故 垂直于。,W,由勾股定理|2+|2=|2故|,这个几何事实可以用来解决一些实际问题。其中的一个应用就是解决最小二乘法问题。,最小二乘法问题：线性方程组,可能无解，即任何一组数x1,x2,xs都能使,不等于0。我们设法找 x10,x20,xs0使（2）最小，称为方程组（1）的最小二乘解。这种问题就叫最小二乘问题。,（1）,（2）,令,（3）,用距离的概念，（2）就是|yB|2。,由（3）,把A的各列向量分别记为 1,2,s，由它们生成的子空间为L(1,2,s)，y 就是其中的向量。,于是，找 x 使（2）最小，就是在L(1,2,s)中找到一个向量 y,使得 B 到它的距离比到该子空间中其他向量的距离都短。,设,是所求向量，则,必须垂直于子空间L(1,2,s)，从而有,即,而,刚好排成矩阵AT，于是有,或,这就是最小二乘解所满足的代数方程，它是一个线性方程组。,例1 设有一组实验数据:(1,2),(2,3),(3,5),(4,7)。从数据点的趋势看接近直线，实验者希望使直线y=a+bx 最好的拟合数据点，求最佳拟合直线。,解 把数据代入y=a+bx 得,记作,其最小二乘解为,其中,则最佳拟合直线为y=1.7x。,从而,
