《独立成分分析ICA深圳大学课件.ppt》由会员分享，可在线阅读，更多相关《独立成分分析ICA深圳大学课件.ppt（31页珍藏版）》请在三一办公上搜索。
1、Independent component analysis,独立成分分析（ICA）,1,可编辑ppt,Independent component analysis,ICA简介,ICA是20世纪90年代提出的，起初是神经网络的研究中有一个重要的问题，独立成分分析是一个解决问题的新方法。在许多应用方面，包括特征识别、信号分离。这种方法是用一种解线性方程组的方式的估计方式求解信号源。,2,可编辑ppt,ICA简介ICA是20世纪90年代提出的，起初是神经网络的研,独立成分分析（ICA）,假想一下，在一个房 间里的不同位置放着两个麦克风，同时有两个人说话。两个麦克风能同时记录下两个时间信号，如果仅用
2、这两个记录的信号来估计出原来的两个语音信号，那将是一件非常有意义的事情，这也就是所谓的“鸡尾酒会”问题 。,由于主成分分析(PCA)和奇异值分解(SVD)是基于信号二 阶统计特性的分析方法，其目的用于去除图像各分量之间的相关性，因而它们主要应用于图像数据的压缩；而ICA 则是基于信号高阶统计特性的分析方法，经ICA分解出的各信号分量之间是相互独立的。正是因为这一特点，使ICA在信号处理领域受到了广泛的关注,3,可编辑ppt,独立成分分析（ICA）假想一下，在一个房 间里的不同位置放着,声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。,麦克风1,麦克风2
3、,麦克风3,4,可编辑ppt,声音提取：麦克风1麦克风2麦克风34可编辑ppt,a为权重的参数，在鸡尾酒舞会问题中为距离，x为两个话筒得到信号，s为两个表演者的声音。这两个人的声音相对独立并且忽略所有的其他因素比如声音的时间延迟。如果我们知道a的参数，也就是说知道距离，反解出s就很简单。（半盲源）但ICA是在不知道a和Si(t)的情况下的一种估计的算法，也就是说的盲信号分离的一种算法。,5,可编辑ppt,a为权重的参数，在鸡尾酒舞会问题中为距离，x为两个话筒得,ICA的约束,为了确保上边刚刚给出的基本的ICA模型能被估计，我们必须要做出一定的假设和约束。1.独立成分被假定是统计独立的；2.独立
4、成分具有非高斯的分布；3.假定混合矩阵是方阵；,6,可编辑ppt,ICA的约束为了确保上边刚刚给出的基本的ICA模型能被估计，,1.独立成分被假定是统计独立的,该假设是ICA能够成立的前提。概念上理解：我们说随机变量y1，y2.yn独立，是指在ij时，有关yi的取值情况对于yj如何取值没有提供任何信息。技术角度上理解：联合概率密度等于各边缘概率密度的乘积。,7,可编辑ppt,1.独立成分被假定是统计独立的该假设是ICA能够成立的前提。,2.独立成分具有非高斯的分布,如果观测到的变量具有高斯分布，那么ICA在本质上 是不可能实现的。原因：因为独立成分联合分布是高斯的，那么他们的联合概率密度为：P
5、(s1,s2) =1/2*exp-(s12+s22)/2 = 1/2*exp（-|s|2/2）假定S经过混合矩阵A后，他们的联合概率密度仍然不变化，因此我们没有办法在混合中的得到混合矩阵的信息。,8,可编辑ppt,2.独立成分具有非高斯的分布 如果观测到的变量具有高,3. 假定混合矩阵是方阵,换句话说，就是独立成分的个数与观测到的混合量个数相同。,9,可编辑ppt,3. 假定混合矩阵是方阵换句话说，就是独立成分的个数与观测到,根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原始源信号的过程,“盲”,源信号不可观测,混合系统的特性事先不可知,盲源分离（Blind Source Sepe
6、ration）,1、盲源分离与ICA的概念,盲源分离的目的是求得源信号的最佳估计。,10,可编辑ppt,根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原,给定随机变量的一组观测（ X1(t)， X2(t)， X3(t) ）其中t是时间或者样本标号。假设他们有独立成分线性的混合而产生：式中，A是一个未知矩阵。在我们观测仅能观测到Xi(t)的情况下，独立分量分析就要同时估计出矩阵A和Si（t）。并且假设观测到的独立成分Xi(t)数目与Si（t）数目相同。,当盲源分离的各分量相互独立时，就成为独立分量分析,公式1,11,可编辑ppt,给定随机变量的一组观测（ X1(t)， X2(t)，
7、X3(,应用场景,生物医学信号领域,心电图(ECG)脑电图(EEG)信号分离,听觉信号分析、功能磁共振图像(FMRI)分析,处理孕妇身上测到的心电信号，分别得到孕妇自己和胎儿的心电信号,12,可编辑ppt,应用场景生物医学信号领域心电图(ECG)脑电图(EEG)信号,阵列信号处理领域,应用场景,在阵列传感器中，各传感器接收到混合信号，源信号和混合特性未知，是典型的盲分离应用问题。在移动通信阵列天线处理、海洋声纳探测等方面的作用越来越重要,13,可编辑ppt,阵列信号处理领域应用场景在阵列传感器中，各传感器接收到混合信,声信号处理领域,应用场景,移动通信中，ICA技术能够有效地消除噪声、抑制干扰
8、、增强语音，提高通信质量；,通过ICA方法对车辆行驶时产生的声音信号进行分离，对车辆个数与行车方向进行估计，实现车辆的简单分类,14,可编辑ppt,声信号处理领域应用场景移动通信中，ICA技术能够有效地消除,ICA范例EEG,信号与假象分离,噪声条件下研究脑活动,监测多个脑活动过程,15,可编辑ppt,ICA范例EEG信号与假象分离 15可编辑ppt,ICA范例fMRI,fMRI数据噪声大且复杂,ICA辨识同时产生的血流动力学过程,不需要特定的实验相关先验知识,16,可编辑ppt,ICA范例fMRIfMRI数据噪声大且复杂ICA辨识同时,3、数学基础,牛顿迭代法熵负熵,17,可编辑ppt,3、
9、数学基础牛顿迭代法17可编辑ppt,牛顿迭代法法,牛顿法最初是用于求解方程f(x)=0的解。其解的过程：由初始值x(k)开始，用一阶导数f(x(k)=0计算新的估计值x(k+1)。 x(k+1)由f(x)在Pk点的切线与x轴的交点来确定。因此：f(xk)=,f(xk),Xk-xk+1,Xk+1=xk-,f(xk),f(xk),而式中的f(xk)可以看做是在初始点的导数，是可以很容易求出来的。,18,可编辑ppt,牛顿迭代法法 牛顿法最初是用于求解方程f(x)=0的解。,例.,用牛顿迭代法求方程的根:,解:,由牛顿迭代法,x0 =0.5;x1 =0.3333333333x2 =0.3472222
10、222x3 =0.3472963532x4 =0.3472963553,迭代四次,精度达10-8,19,可编辑ppt,例.用牛顿迭代法求方程的根:解:由牛顿迭代法x0 =0.5;,熵,由信息论理论可知： 对于一个离散取值的随机变量X，他的熵定义为H：,H(x)=-p(xi)log(p(xi) (i=1,2,.n),Xi是X可能的取值。P是X取不同值的概率。,对于一个连续取值的随机变量X,他的熵定义为H(微分熵),随机变量越随机，越是难预测和非结构化，他的熵就越大。假设一个概率接近于1，其他的概率接近于0。那么该随机变量就没有什么随机性，他的熵就更小。如果所有概率相等，那么它们都远离0和1，意味
11、着它们的熵较大。,20,可编辑ppt,熵 由信息论理论可知：H(x)=-p(xi)log(p,负熵,我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。,21,可编辑ppt,负熵我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。,(fastICA）-极大化非高斯性,FastICA算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyvrinen等人提出来的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。FastICA算法有基于峭
12、度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大的FastICA算法。,22,可编辑ppt,(fastICA）-极大化非高斯性FastICA算法,独立分量分析（ICA）的过程如下图所示：在信源中各分量相互独立的假设下，由观察值X通过解混系统把他们分离开来，使输出逼近。,23,可编辑ppt,独立分量分析（ICA）的过程如下图所示：在信源中各分量相互独,等于,球化,白化原因：一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白
13、化处理相比，算法的收敛性较好。,白化,白化操作：,24,可编辑ppt,等于球化白化原因：一般情况下，所获得的,25,可编辑ppt,25可编辑ppt,fastICA实际上是一种寻找wTz（Y= wTz ）的非高斯最大的不动点迭代方案。为了推导近似牛顿法，首先wTz的近似负熵的极大值通常在Eg(wTz) 极值点处取得。根据拉格朗日条件， Eg(wTz) 在约束 条件下的极值，是在那些使得下面拉格朗日乘子式的梯度为零的点处取得：,正交系统,为拉格朗日乘子,26,可编辑ppt,fastICA实际上是一种寻找wTz（Y= wTz ）的,现在我们试图采用牛顿法来求解方程。用F表示上方程的左部分，求的其梯度为：,为了简化矩阵求逆的过程需要对上式第一项进行近似。因为数据已经是球化过的，似乎可以作为一个合理的近似。这是梯度变化成了对角矩阵，可以简单的求逆，这样我们的到了近似的牛顿迭代算法：,在上式两边同时乘以 进一步简化得：,每次迭代完成后对W进行标准化。以上就是fastICA算法中不动点迭代的基本公式,27,可编辑ppt,现在我们试图采用牛顿法来求解方程。用F表示上方程的左部分，求,28,可编辑ppt,28可编辑ppt,代码实现,29,可编辑ppt,代码实现29可编辑ppt,30,可编辑ppt,30可编辑ppt,算法结果,31,可编辑ppt,算法结果31可编辑ppt,
