《独立成分分析成课件.ppt》由会员分享，可在线阅读，更多相关《独立成分分析成课件.ppt（33页珍藏版）》请在三一办公上搜索。
1、目录,目录问题的提出一、信号与随机变量间的关系二、独立分量分析法(ICA)的基本问题三、独立分量分析法(ICA)的历史与应用数学准备独立分量法具体算法,问题的提出：1、信号与随机变量间的关系,一、信号与随机变量间的关系问题：随机变量X在实际中的体现？答：独立重复试验，得到试验样本集Xi。由这组数据样本点可以估计出随机变量的各阶矩，近而估计出pdf（probability distribution function)等全部统计信息。,问题的提出：1、信号与随机变量间的关系,对一个信号X(t)：独立重复试验 抽样ti，i=1,2,N样本集 X(ti)因而信号X(t)可以看成是一个随机变量,并可估算
2、它的各阶矩，以及谈论它的pdf，独立、相关等统计特性。例如：,问题的提出：2、独立分量分析法的基本问题,假设源信号若干个统计上相互独立的信号组成的，它们在空间中形成交叠，独立分量分析(Independent Component Analysis，ICA)是借助于多个信道同步观察交叠信号，将观察信号经过解混分解成若干独立成分，作为对源信号的一组估计。,简化假设：1、A是线性系统，可用矩阵表示.(实际仿真时是随机阵)2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵),问题的提出：2、独立分量分析法的基本问题,问题的提出：2、独立分量分析法的基本问题,信号的分离,图像的分离,源图像混合后的
3、图像分离后的图像,问题的提出：3、独立分量分析法的基本问题,几点说明：1、解出来的Y只要求各分量独立，因而解不是唯一的，可以有相移、次序颠倒、幅值变化等2、要解出Y，需要对Y各分量是否独立进行判断。确切地说，需要找到某种判断函数G，使Y个分量独立时G(Y)达到最大或最小值。3、由于独立判据函数G的不同，以及求解Y的步骤不同，有不同的独立分量分析法。,问题的提出：4、独立分量分析法的历史与应用,历史：是盲信号处理的一种，是90年代后期发展起来的ICA是盲信号处理的一个组成部分，20世纪90年代后期(1986、1991)发展起来的一项新处理方法，最早是针对“鸡尾酒会问题”这一声学问题发展起来的鸡尾
4、酒会问题：从酒会的嘈杂的声音中，如何分辨出所关心的声音,问题的提出：4、独立分量分析法的历史与应用,应用：盲分离问题的研究在短短的二十年时间里，已经取得显著的成效，也正因为信号盲分离技术具有如此广阔的应用前景，促使国内外广大的科研工作者迅速投身这一领域的研究，盲分离技术也因此获得了飞速的发展。然而，这一领域的研究工作还远不能满足工程的需要，特别在单路混叠信号的盲分离与应用方面，是一个基本的、极富挑战性的研究课题。信号处理码分多址通信，雷达信号分选等生物医学心电图(胎儿)，脑电图等图像处理图像压缩，数字识别，图像融合等其他地震勘探、遥感遥测等，总之包含了信息、通讯、生命、材料、电力、机械、化学等
5、各个学科,模型与假定,设某个混合系统由个k传感器和m个信号源组成，其混合模型可以表述如下：为了保证上式的可分解性。需有如下的假设限制（约束条件）：1.每个源信号之间是统计独立的，其联合概率密度函数可分解为边缘密度的乘积。2.混合矩阵,为列满秩的矩阵，即rank()=。3.在 的分量中，服从高斯分布的分量不超过一个。分离结果的不确定性：1：幅值的不确定性；2：排列次序的不确定性,目录,目录问题的提出预备知识一、统计数学知识二、信息论基本知识三、概率密度函数的展开四、信号通过线性系统信息特征的变化独立分量法介绍总结与展望,预备知识：一、统计数学知识,1、特征函数2、第二特征函数 各分量独立时：,预
6、备知识：一、统计数学知识,3、矩 n阶矩：4、累计量 n阶累计量：,预备知识：一、统计数学知识,当各分量独立时：只有 中一个非零，其他皆为零时，不为零。即互累计量为零。(可作为检验独立的一个判据),预备知识：二、信息论基本知识,1、熵 信号中平均所含有的信息量。随机信号 单变量：多变量：联合熵：各分量独立时：在协方差矩阵相同的概率密度函数中，高斯分布的熵最大。,预备知识：二、信息论基本知识,2、Kullback-Leibler散度 两个概率密度函数间相似程度的度量。概率密度函数：p(x),q(x)单变量：多变量：特点：,预备知识：二、信息论基本知识,3、互信息 可见，当仅但当各分量独立时，互信
7、息是各分量独立程度的最直接的量度！,预备知识：二、信息论基本知识,4、负熵 任意概率密度函数p(x)pG(x):与p(x)其具有相同协方差阵的高斯分布因为在协方差矩阵相同的概率密度函数中，高斯分布的熵最大，所以负熵非负。负熵用来度量p(x)的非高斯程度。非高斯性另一种衡量方法：四阶累计量k4,峰度(kurtosis)，单变量。|k4|高斯信号k4=0 k4 0,超高斯 k4 0,亚高斯,预备知识：三、概率密度函数的展开,高阶统计量形式：设x零均值，方差1（白化数据）Edgeworth展开Gram-Charlier展开,缺点：大值野点会引起较大误差,预备知识：三、概率密度函数的展开,非多项式函数
8、的加权和形式：文献提到，当 与标准高斯分布 相差不太大时，可用若干个非多项式函数 的加权和来逼近：需要满足以下条件：(1)、正交归一性(2)、矩消失性,探查性投影追踪,为了使近似性能较好，F(y)除了上述性质外，最好能有以下性质：(1)、统计特性EF(y)不难求得(2)、当y增大时，F(y)的增长速度不能快于，以使EF(y)对野点不太敏感。通常N取1或2。有以下函数形式可用：,预备知识：四、信号通过线性系统信息特征的变化,信号通过线性系统熵关系：|B|=1，即系统正交归一时，熵不变KL散度关系：|B|=1，即系统正交归一时，KL散度为0,预备知识：四、信号通过线性系统信息特征的变化,互信息关系
9、：负熵关系：,目录,目录问题的提出数学准备独立分量法具体算法一、主要步骤二、各类ICA算法简介三、Fast ICA算法总结与展望,目录：独立分量法具体算法,独立分量法具体算法一、主要步骤二、各类ICA算法简介三、Fast ICA算法,独立分量法具体算法：一、主要步骤,独立分量分析：对交叠信号X，求解混矩阵B，使Y=BX各分量尽量相互独立。独立判据函数G。主要步骤：预处理部分（简化计算）核心算法部分,独立分量法具体算法：一、主要步骤,预处理部分：1、对X零均值处理 2、球化分解（白化）即：乘球化矩阵S，使Z=SX各行正交归一，即ZZ=I意义：消除原始各道数据间二阶相关(?)，以后只需要考虑高阶矩
10、量(因为独立时各阶互累积量为0)，使很多运算过程简化。注意：各道数据间不相关，不一定独立，除非是高斯信号,独立分量法具体算法:一、主要步骤主成分分析与球化,协方差矩阵：特征值分解：U:特征向量矩阵，正交归一，每一列称为一特征向量:特征值对角矩阵，可排序：特征值代表分量功率大小。P中各行正交，称为X的主分量，且可见各行能量从大到小排列可以选择能量大的主分量代表X，此即为主成份分析的由来。,独立分量法具体算法:一、主要步骤主成分分析与球化,取球化阵：可见：满足球化条件！,精品课件！,精品课件！,作业,完成对一段信号（录制自己的语言信号）的去均值、预白化处理。load X wavread Xfeatures=X；r,c=size(features);%对数据进行预白化，使之为0均值features=features-mean(features)*ones(1,c);E,D=eig(cov(features,1);V=E*inv(sqrtm(D)*E;z=V*features;,
