第五章向量范数和矩阵范数ppt课件.ppt

《第五章向量范数和矩阵范数ppt课件.ppt》由会员分享，可在线阅读，更多相关《第五章向量范数和矩阵范数ppt课件.ppt（88页珍藏版）》请在三一办公上搜索。

1、第五章 向量范数和矩阵范数,对于实数和复数，由于定义了它们的绝对值或模，这样我们就可以用这个度量来表示它们的大小（几何上就是长度），进而可以考察两个实数或复数的距离。,对于 维线性空间，定义了内积以后，向量就有了长度（大小）、角度、距离等度量概念，这显然是3维现实空间中相应概念的推广。利用公理化的方法，可以进一步把向量长度的概念推广到范数。,1、向量范数,一、 从向量的长度或模谈起,，当且仅当 时，等号成立。,例 1复数 的长度或模指的是量,显然复向量 的模 具有下列三条性质：,，当且仅当 时，等号成立。,显然向量 的模 也具有下列三条性质：,例 2 维欧氏空间中向量 的长度或模定义为,二、

2、向量范数的概念,定义3如果 是数域 上的线性空间，对 中的任意向量 ，都有一个非负实数 与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：,则称 是向量 的向量范数，称定义了范数的线性空间 为赋范线性空间。,拓扑空间,线性空间,Hausdorff空间,赋范空间,距离空间(度量空间),拓扑线性空间,完备距离线性空间,距离线性空间,内积空间,Hilbert空间,Banach空间,欧氏空间 和,各类空间的层次关系,例 4 设 是内积空间，则由,定义的 是 上的向量范数，称为由内积 导出的范数。这说明范数未必都可由内积导出。例如后面介绍的 和 。,三、 常用的向量范数,例 7 对任意 ，由

3、,定义的 是 上的向量范数，称为p -范数或 范数。,例 8 对任意 ，由,定义的 是 上的向量范数，称为1-范数或 范数或和范数，也被风趣地称为Manhattan范数。,特别地，p = 1 时，有,遗憾的是，当 时，由,定义的 不是 上的向量范数。,因为 时，取 ，则,例 9 对任意 ，由,定义的 是 上的向量范数，称为 -范数或 范数或极大范数。,在广义实数范围内，P能否取到正无穷大呢？具体而言，如何计算这种范数呢？,也就是,证明： 验证 是向量范数显然很容易。下证 。,令 ，则有,由极限的两边夹法则，并注意到 ，即得欲证结论。,解 ：,%ex501.m i=sqrt(-1);a=3*i,

4、0,-4*i,-12; norm(a),norm(a,1),norm(a,inf),ans = 13ans = 19ans = 12,这些范数在几何上如何理解呢？,例11 对任意 ，对应于 四种范数的闭单位圆 的图形分别为,特别地， 范数、 范数和 范数分别为,对于任意 ，有,当 时， ；当 时由 对称正定知 ，即 。,由于 为Hermite正定矩阵，故存在酉矩阵 ，使得,从而有,这里 的特征值 都为正数。,此时,因此对任意 ，,这从几何上可以理解成求可逆变换 的像的“长度” 。这说明只要运算 成立即可，因此对矩阵 的要求可放宽为列满秩矩阵。,如果 ，此时 ，这就是加权范数或椭圆范数名称的由来

5、。,一般地，由于 是Hermite正定矩阵，从而存在Cholesky分解，即存在可逆矩阵 （未必是酉矩阵），使得 ，因此,为李雅普诺夫（Lyapunov）函数，这里 是正定对称矩阵。大家已经知道，此函数是讨论线性和非线性系统稳定性的重要工具。,在现代控制理论中，称二次型函数,例 14 （模式识别中的模式分类问题）,模式分类的问题指的是根据已知类型属性的观测样本的模式向量 ，判断未知类型属性的模式向量 归属于哪一类模式。其基本思想是根据 与模式样本向量 的相似度大小作出判断。,最简单的方法是用两向量之间的距离来表示相似度，距离越小，相似度越大。最典型的是Euclidean距离,其他距离测度还包括

6、,以及与椭圆范数类似的Mahalanobis距离：,这里 是从正态母体 中抽取的两个样本。,四、 向量范数的性质,定理15 Euclid范数是酉不变的，即对任意酉矩阵 以及任意 ，均有,这个定理的结论是显然的，因为酉变换保持向量的内积不变，自然也保持了Euclid意义下的几何结构（长度、角度或范数等）不变。,注意这个结论对无限维未必成立。另外，根据等价性，处理向量问题（例如向量序列的敛散性）时，我们可以基于一种范数来建立理论，而使用另一种范数来进行计算。,定理16 有限维线性空间 上的不同范数是等价的，即对 上定义的任意两种范数 ，必存在两个任意正常数 ，使得,2、矩阵范数,向量是特殊的矩阵，

7、 矩阵可以看成一个 维向量，因此自然想到将向量范数推广到矩阵范数。,一、 矩阵范数的概念,定义1 对 中的任意矩阵 ，都有一个非负实数 与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式,矩阵乘法相容性）：,则称 是矩阵 的矩阵范数。,(4) (矩阵乘法相容性),例 2 对任意 ，由,定义的 是 上的矩阵范数，称为 范数。,例 3 对任意 ，由,定义的 是 上的（广义）矩阵范数，称为 范数。,例 4 对任意 ，由,定义的 是 上的矩阵范数，称为 范数，Euclid 范数或Frobenius范数(F范数)。,二、 算子范数和范数的相容性,矩阵不仅仅是向量，它还可以看成变换或算子。 实际中

8、，从算子或变换的角度来定义范数更加有用。,定义5 对 中的任意矩阵 ，用一个非负实数 表示对于任意向量 ， 可以“拉伸”向量 的最大倍数，即使得不等式成立的最小的数 。称 为范数 和 诱导出的矩阵范数或算子范数。,由矩阵范数的正齐性可知 的作用是由它对单位向量的作用所决定，因此可以等价地用单位向量在 下的像来定义矩阵范数，即,从几何上看，矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例 的上界。,而且考虑到矩阵乘法的重要地位，因此讨论矩阵范数时一般附加“范数相容性”条件（这里的范数一般要求是同类的）：,注意到即,可以证明，前面给出的矩阵范数 都满足“相容性条件”，即成

9、立,但是矩阵范数 不满足“相容性条件”。例如对于矩阵,就有,要使矩阵范数 满足“相容性条件”，则可以修正其定义为：,在“相容性条件”中，如果 而且范数 与范数 相同时，即如果有则称矩阵范数 与向量范数 是相容的。,证明：,定理6 上的矩阵F-范数与 上的向量2-范数相容。,根据算子范数的定义，当向量范数 分别为 时，我们可诱导出相应的相容矩阵范数 。,设任意矩阵 ，则1-范数单位球,在 下的像中的任意向量 满足,从而,如果 ，则选取 ，此时由 ，得,因此,类似地可得，,实际上，这些诱导矩阵范数具有如下的表示定理。,定理7 对 中的任意矩阵 ，有,最大列和,最大行和,最大谱,证明：,所以 是半正

10、定Hermite矩阵,因此特征值全部为非负实数。设为,并设对应的两两互相正交且2-范数都为1的特征向量为 ，那么，对于任意的单位2-范数向量 ，必成立,由于,因此有,所以,因此成立,另外，由于 ，而且,同样给出这些范数在几何上的理解。,例 8 求矩阵的 范数（ ），并考察对应于 的三种向量范数的闭单位球在矩阵 作用下的效果。,%ex502.m A=1 2;0 2; norm(A),norm(A,1),norm(A,inf),ans = 2.9208ans = 4ans = 3,定理9 上的谱范数具有下列性质：,三、矩阵范数的一些性质,(1),设有 使 ，令 ，则有,证明：,(2),(3),设有

11、 使 ，则,定理10 上的矩阵F-范数和谱范数都是酉不变的，即对任意酉矩阵 ，恒有,令,则,即,对于谱范数的情形，利用定义即可。,对于谱范数， 这个定理的结论可以推广到列正交酉矩阵，即的情形，此时仍然成立,利用定理9可以证明这个推广结论。,3、 范数的应用,长度和距离在实分析和复分析中的应用，我们已经有充分认识，而范数是长度和距离的推广，因此范数作为一种推广的度量，由于其抽象性和概括性，其应用范围自然也随之扩展。至少在矩阵分析和数值线性代数领域，范数有着深刻的应用。,一、谱半径与矩阵范数,根据矩阵的诱导范数的含义，结合特征值，,设 为 的任意特征对，则,从而,这说明矩阵特征值的模都不超过它的范

12、数。,定义1设 的特征值为 ，称,为矩阵 的谱半径。,定理2对 的任意矩阵范数 ，恒有,当 是正规矩阵时，等号对2-范数成立。,当 是正规阵时，有特征值分解,从而,故结论成立。,证明：,%ex503.m A=-1 1 0;-4 3 0; 1 0 2;D=eig(A)； %eig函数虽然不能求出广义特征向量，但能求出所%有特征值，这里D为所有特征值构成的列向量norm(D,inf),ans = 2,定理4 对 ，存在 上矩阵范数 ，对任意 ，恒有,定理2给出了矩阵谱半径的的一个上界，那么矩阵谱半径的下界呢？,注意这里的矩阵范数与矩阵 有关。,对任意矩阵 ，存在Jordan标准型,其中 ，,证明：

13、,令 ，则,从而,易证函数 是 上的矩阵范数，这里,例5 设 为 的单位列向量 ,令 ， 则(1) ；(2) ；(3),(1) 因为 ，所以,(2) 因为秩 ，并且 是对称矩阵，所以1是矩阵 唯一的非零特征值，因此矩阵 的特征值为 ，从而,(3),二、矩阵逆和线性方程组解的扰动分析,例 6 线性方程组,的精确解为,如果系数矩阵和常数项分别有一个扰动,则扰动后的线性方程组为,它的精确解为,显然，由于原方程组本身的固有性质导致原始数据的小扰动引起解的很大变化，我们称这样的问题是病态的（敏感的）或不稳定的。,下面定量分析系数矩阵和常数项的扰动对线性方程组解的影响。,设非奇异线性方程组 ，经扰动后仍有

14、唯一解 ，即成立,因此,两边取范数，并缩放，得,如果有 ，则,绝对误差估计式,再由 ，可得,即,因此,这里,相对误差估计式,显然在相对误差估计式中，系数 反映了方程组解 的相对误差对于系数矩阵 和常数项 的相对误差的依赖程度。 越大，方程组解的相对误差也越大。,定义7 对非奇异线性方程组 ，称数,为求解线性方程组的条件数。,问题是非奇异线性方程组 经过扰动后未必有唯一解，也即非奇异矩阵 经过什么样的扰动后得到的矩阵 仍然是可逆的呢？扰动对逆矩阵又有何影响？,由于,两边取范数，并缩放，得,因此,下一步需要缩放 ，由于,假定 可逆，两边取范数，并缩放，得,因此,令 ，由于,即,两边取范数，并缩放，

15、得,如果有 ，则,下一步需要缩放 。,并且 的任意特征值 ，从而 的特征值 均不为零，因此矩阵 可逆。,引理8 对 ，若 ，则矩阵 非奇异，且,从而由引理8，得,由于 ，将条件 修改为 ，此时仍有,绝对误差估计式,即,相对误差估计式,定义9称数,为可逆矩阵 关于求逆的条件数。,定理10 设 非奇异，且 。如果扰动矩阵 满足条件,则扰动后的矩阵 为非奇异矩阵，并且,定理11 设 非奇异，且 。如果扰动矩阵 满足条件,则非齐次线性方程组 经过扰动后的方程组 有唯一解有唯一解 ，并且,%ex504.m A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ;

16、 0.001; %扰动 k=cond(A1) %矩阵A的条件数 Ab1=A1 b1; UC1=rref(Ab1); %内置函数rref化矩阵为最简形 x1=UC1(:,3) %原方程组的解 A2=A1+dA;b2=b1+db; Ab2=A2 b2; UC2=rref(Ab2); x2=UC2(:,3) %扰动后的方程组的解 dx=x2-x1;rx=100*norm(dx)/norm(x1) %解的绝对误差和相对误差,k = 3.9206e+004 x1 = 100 -100 x2 = -0.1000 1.1111rx = 100.6068,%ex504.m(续) A1=1 0.99;0.99 0.98;b1=1;1; dA=0 0 ;0 0.01;db=0 ; 0.001;%扰动 k=cond(A1) %矩阵A的条件数 IA1=inv(A1) %原矩阵的逆 IA2=inv(A2) %扰动后的逆 dIA=IA2-IA1; rIA=100*norm(dIA)/norm(IA1) %逆的绝对误差和相对误差,k = 3.9206e+004 IA1 = 1.0e+004 * -0.9800 0.9900 0.9900 -1.0000IA2 = 100.0000 -100.0000 -100.0000 101.0101rIA = 101.0126,