《矩阵特征值分解与奇异值分解.pptx》由会员分享，可在线阅读，更多相关《矩阵特征值分解与奇异值分解.pptx（15页珍藏版）》请在三一办公上搜索。
1、矩阵特征值分解与奇异值分解,特征值与特征向量的几何意义,我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。,特征值与特征向量的几何意义,它其实对应的线性变换是下面的形式：,因为这个矩阵M乘以一个向量(x,y)的结果是：,上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值1时，是拉长，当值1时时缩短），当
2、矩阵不是对称的时候，假如说矩阵是下面的样子：,特征值与特征向量的几何意义,它所描述的变换是下面的样子：,这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个）。如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。,特征值分解,如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：这时候就被称为特征向量v对应的特征值，特征值分解是将一个矩阵分解成下面的形式：其中Q是这个矩阵A的特征向量组成的矩阵，是一个对角阵，每一个对角线上的元素就是一个特征值。,特征值分解,分解得到的矩阵是一个对角阵，里面的特
3、征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵A的信息可以由其特征值和特征向量表示。对于矩阵为高维的情况下，那么这个矩阵就是高维空间下的一个线性变换。可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。,奇异值分解,特征值分解是一
4、个提取矩阵特征很不错的方法，但是它只是对方阵而言的，在现实的世界中，我们看到的大部分矩阵都不是方阵，比如说有N个学生，每个学生有M科成绩，这样形成的一个N*M的矩阵就不可能是方阵，我们怎样才能描述这样普通的矩阵呢的重要特征呢？奇异值分解可以用来干这个事情，奇异值分解是一个能适用于任意的矩阵的一种分解的方法：,奇异值分解,分解形式：,（矩阵论P114）,假设A是一个N*M的矩阵，那么得到的U是一个M*M的方阵（称为左奇异向量），是一个N*M的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），V(V的转置)是一个N*N的矩阵（称为右奇异向量），从图片来反映几个相乘的矩阵的大小可得下面的图片
5、。,奇异值分解,那么奇异值和特征值是怎么对应起来的呢？我们将一个矩阵A的转置 乘以 A，并将会得到一个方程：我们利用这个方阵求特征值 i以及特征向量组V这里得到的v，就是我们上面的右奇异向量。此外我们还可以得到：这里的就是奇异值，u就是上面说的左奇异向量。,奇异值分解,根据定理：正规矩阵必酉相似与对角矩阵。可得：,代入上式可得：,奇异值分解,奇异值跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r（r远小于m、n）个的奇异值来近似描述矩阵，即部分奇异值分解：,右边的三个矩阵相乘的
6、结果将会是一个接近于A的矩阵，在这儿，r越接近于n，则相乘的结果越接近于A。,奇异值与主成分分析（PCA）：,假设矩阵每一行表示一个样本，每一列表示一个特征，用矩阵的语言来表示，将一个m*n的矩阵A的进行坐标轴的变化，P就是一个变换的矩阵从一个N维的空间变换到另一个N维的空间，在空间中就会进行一些类似于旋转、拉伸的变化。,将一个m*n的矩阵A变换成一个m*r的矩阵，这样就会使得本来有n个特征，变成了有r个特征了（r n)，这r个其实就是对n个特征的一种提炼，我们就把这个称为特征的压缩。用数学语言表示就是：,奇异值与主成分分析（PCA）：,用SVD实现上式：,在矩阵的两边同时乘上一个矩阵V，由于
7、V是一个正交的矩阵，所以V转置乘以V得到单位阵I，所以可以化成后面的式子：,上面是将一个m*n 的矩阵压缩到一个m*r的矩阵，也就是对列进行压缩，如果我们想对行进行压缩（在PCA的观点下，对行进行压缩可以理解为，将一些相似的sample合并在一起，或者将一些没有太大价值的sample去掉）怎么办呢？,奇异值与主成分分析（PCA）：,这样就从一个m行的矩阵压缩到一个r行的矩阵了，对SVD来说也是一样的，我们对SVD分解的式子两边乘以U的转置U：,即要得到下面的式子：,可以看出，其实PCA几乎可以说是对SVD的一个包装，如果我们实现了SVD，那也就实现了PCA了，而且更好的地方是，有了SVD，我们就可以得到两个方向的PCA，如果我们对A进行特征值的分解，只能得到一个方向的PCA。,更多内容请参考：http:/220.169.242.165:8080/TEST8/VIP/h_goto.php?u=wudi123124,
