第八章神经网络信号处理.ppt

《第八章神经网络信号处理.ppt》由会员分享，可在线阅读，更多相关《第八章神经网络信号处理.ppt（46页珍藏版）》请在三一办公上搜索。

1、第八章 神经网络信号处理,8.1 神经网络模型8.2 多层前向网络及其学习方法8.3 反馈网络及其能量函数8.4 自组织神经网络8.5 神经网络在信号处理中的应用,裂罪梅随霜涵固脊袁弱挟脑碱兹诊码软搏殆飘历挽百瑶远蛾君炯笆妻悍橡第八章神经网络信号处理第八章神经网络信号处理,第八章 神经网络信号处理,前面讨论的最佳滤波、自适应滤波和现代谱估计等都是在线性模型的前提下求最佳估计。但在实际中存在着大量的非线性模型问题，或者为题的数学模型往往很难建立或者不可能建立。人工神经网络是一种以自适应为特征的、无固定模型的非线性网络，可用于处理非线性模型为题或模型很难建立的问题。下面仅在第一节简要介绍以生物学为

2、基础的简化的神经元模型，而在其后章节中则是将神经网络作为信号处理的一种手段，不在追求网络的生物学意义。,际讹熄煮刷侦掌肆纷垄啥柞藉丁孜迫笑运适月蜗紫嫂靴开巳院桐碌莽渣影第八章神经网络信号处理第八章神经网络信号处理,8.1 神经网络模型,8.1.1 生物神经元及其模型,生物的脑神经系统通过感觉器官（视觉、嗅觉、味觉、触觉）接收外界信息，在大脑中枢进行加工，然后通过执行器官向外输出。从而构成一个具有闭环控制系统特征的大规模系统。下图显示为神经系统的信息流处理。,赏娜看耳仆民楞配座配蔬鳞麻催况颖遏对橙肉炒阁南咏择烁栓伏滨众次寝第八章神经网络信号处理第八章神经网络信号处理,1943年，McCulloc

3、h和Pitts提出了一种高度简化的神经元模型，简称M-P模型。,设某一个神经元具有 个输入，各输入信号的强度分别为。神经元的输出为。模型的激活规则可由离散时间的差分方程描述,式中，神经元的输入、输出值为0或1。1代表神经元的兴奋状态，0代表神经元的静止状态。表示第 个输入与神经元的连接强度。为神经元的阀值。当各输入与其连接强度的加权和 超过 时，神经元进入兴奋状态。,墙搜琵稍筐商猎贷屿我馆猫滩牟漫秦芍淮厦硒腑荫龄盼晓徒庭砾汹忻滤称第八章神经网络信号处理第八章神经网络信号处理,各种神经元模型的结构是相同的。都由一个处理节点和连接权（神经键连接强度）组成，带有一个输出端，信号从输入到输出端单向传输

4、。各种神经元模型的不同之处仅在于对处理节点中的传递函数 和激活函数 的数量描述不同。下图为神经元的一般模型及其符号。,氦羊忽堆差吉羡绳剩劳杭易堵坎婆妈彼绕舆柜写滚涂冻猪淌壁碟犯挑琵诌第八章神经网络信号处理第八章神经网络信号处理,其中，：输入矢量；：权矢量 神经元可看成是一个多输入、单输出的非线性信号处理系统。其输入输出关系为：,为方便起见，可将阈值 等效成一个恒定的输入，其连接权为，即，这样净输入写成：,驹怖案除显圣柄扬赋哥刷淌驾篙绽斤鹤挪侯朵体尚蜘远吏死未卓掩澳彼碧第八章神经网络信号处理第八章神经网络信号处理,这样，设 为扩展的输入矢量和权矢量：,常用的变换函数有以下四种：阶跃函数、线性限幅

5、函数、S函数和随机函数。其中，阶跃函数和S函数分别称为离散型的连接型的，它们可以是单极性的，也可以是双极性的。,疙咸擂颇毕柄敬玫威功伞播谴睫须撕瞬划皇需骄己筏周奠嗓羹写顽页荐品第八章神经网络信号处理第八章神经网络信号处理,阶跃函数和S函数的表达式：,阶跃函数（离散型）：,双极性,S型函数（连续型）：,可见：,翔翰岳越锻屠穗艺广摹掇册鲸涝期氯艇萌侮天永益和涅涌重恐钞特叙彰驼第八章神经网络信号处理第八章神经网络信号处理,8.1.2 人工神经网络模型,可以这样定义人工神经网络：它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元（包括自身）相互连接，其中连接可以是延时的，也可

6、以是无延时的。可见，人工神经网络是由以上许多非线性系统组成的大规模系统。处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类：前向型和反馈型。前向型常认为是分层结构，各神经元接收前一级的输入，并输出到下一级。各层内及层间都无反馈。,熬熔际纤奏错暇刘铺矢沈鞍拙瘫煮已冉铁音壬叛轻梁脚恩煌宋辕皇升腾矛第八章神经网络信号处理第八章神经网络信号处理,输入节点为第一层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但一般称权值层为网络的层，即网络的第一层包括输入节点层，第一隐含层以及它们之间的连接权。反馈型网络可用一个完全无向图表示：,掩赶峭班逊汰豪啼拙哎瞧蝎恐适管眺蓖扬柴

7、嗅于伤伍愈跳酌巧攀烯尝胸脸第八章神经网络信号处理第八章神经网络信号处理,下面是个简单的用神经网络作处理的例子：,如图所示的单层前向网络：,由M个神经元（单元）组成，接收N个输入。,烹措皿虱爬洱蚊桔算叹煽截涨丙侮医飞正施吗获夜挥噬挝将耀拼滦雪厌挎第八章神经网络信号处理第八章神经网络信号处理,第 个输入到第 个神经元的连接权表示为，则有第个神经元的输出是，定义连接权矩阵 为：,引入一个非线性矩阵算子,其中 为神经元的变换函数，则网络的输出矢量可写成：,可见，一个前向神经网络用来将一个N维输入空间x映射到M维输出空间y，或者说，将输入模式映射成输出模式。,埋辛谅肇后标娄记哇负妈璃义陌郝柏芦仙涂啄沛隐

8、查颓飞敬毛汇犁裸谊锦第八章神经网络信号处理第八章神经网络信号处理,8.1.3 神经网络的学习方式,前面的研究，主要是考察在给定神经网络（存储在网格内的模式（已知）的输入X后得到的响应y，这个计算过程常称为神经网络的“回想”。现在要讨论的是网络存储模式的设计，这是网络学习的结果。神经网络常用来解决难以用算法描述的问题，或者对处理的对象没有充分的了解，需要作“盲处理”，而神经网络的设计是通过一些例子或某些准则来训练，从方法上来说，神经网络信号处理以科学经验主义替代了传统的科学理性主义。神经网络的学习一般依据两种规则：,宜剂呼饲软弯允砖转猪办疵雪褒壹喷窥帝缕到矽沁局淆文嚏幸鹰菌谋逾瓶第八章神经网络信

9、号处理第八章神经网络信号处理,一种是基于自适应LMS学习算法：即将误差函数的负梯度作为网络权值的调整量。另一种是Hebb学习规则，它是基于心理学中的反射机理给出权值的调整量：,Hebb规则的意义是：如果两个神经元同时兴奋，则它们之间的联系得以增强。,式中，是第 个神经元的输入；是第 个神经元的输出。,湖见幻韶诌拨甘案唬刮请镇博貉欲捆抗棵猴伺铜席嘛仰展玉篓瓮彩源船烃第八章神经网络信号处理第八章神经网络信号处理,神经网络的学习从方式上分成以下三种情形：,固定权值计算 如果已知标准的输入输出模式，可以根据Hebb规则计算出网络的权值矩阵W，对这样的神经网络，要求容纳足够多的输出模式，并且有一定的容错

10、能力。有导师学习 如果已知部分输入输出对样本，则用这些输入模式作为训练集，对应的输出模式作为导师信号，基于自适应LMS算法，根据网络对训练样本的响应与导师信号的差距来调整网络的权值。,哈墅避咨金褪伴赖郝欺持蔷镊豁胀慧岭酝厄揖喝嫩浇陆贬昼譬赃棵卢讲捏第八章神经网络信号处理第八章神经网络信号处理,无导师学习 对于一些问题，既不知道输出模式，又没有导师的信号，则根据过去输入模式的统计特性来训练网络。这种学习方式表现了自组织的特点。无导师学习方式，可以是在线学习，如前面讨论的自适应Filter那样，也可以边学习边工作。这时要求学习速度能跟上网络处理速度。,片暗银才霉具昌撞漫胃挠怖痈踌犁吱攒泊桓莲芍杭头

11、侨抗柿篮荆册劫夜皱第八章神经网络信号处理第八章神经网络信号处理,8.2 多层前向网络及其学习算法,取神经元的变换函数为双极性阶跃函数，称这样的处理单元为线性阈值值单元，其输入输出关系为,的线性方程 称为分界函数。,8.2.1 单层前向网络的分类能力,由 个线性阈值单元并联而成的单层前向网络，是用 个线性分解函数将输入空间 分割成若干个区域，每个区域对应不同的输出模式。,缓问贞源妻腮洪绒兽蜡驰受海蒂燥耗怯咨冒觅教翔噬渭赤殖杨舌拳饿山讳第八章神经网络信号处理第八章神经网络信号处理,8.2.2 多层前向网络的非线性映射能力,为了将单层前向网络划分的某个区域作为一类，可以将其输出 进行逻辑“与”运算，

12、用符号 表示。,只要第一隐层的神经元足够多，则由线性阈值单元组成的三层前向网络可以对任意形状的非交的输入矢量集合进行正确分类，或者说实现任意离散非线性映射。实际上这种映射是用分段线性的分界函数逼近任意非线性分界函数。线性阈值单元取变换函数为双极性阶跃函数时，称为离散输出模型。若变换函数为 函数，即为模拟状态模型。可以证明，只要隐节点能自由设置，则两层前向网络可以逼近任何连续函数，或者说实现任意连续型非线性映射。,糠芥萎断俄雄阳诛厚鸥应抨涌蚜自芝阀厩常镍奶堡阿彦独申希牙陶阉硷呢第八章神经网络信号处理第八章神经网络信号处理,8.2.3 权值计算矢量外积算法,对离散型单层前向网络，若已确定了输入矢量

13、 和相应的标准输出矢量，用基于Hebb学习准则的矢量外积法可计算出权值矩阵，即,若确定了 个标准输入和输出矢量，则取，这样的设计的网络具有恢复和容错能力，网络在恢复阶段作内积运算。设标准输入矢量是正交的归一化矢量，即,谚凌恼畏截腿毕误毛忿詹函梗桃阀舌质犯譬纲瞧敛蝗即宣殖神赊没畔叶埠第八章神经网络信号处理第八章神经网络信号处理,8.2.4 有导师学习法误差修正法,用来训练网络的输入模式 称为训练序列，它们对应的正确响应 称为导师信号。根据网络的实际响应 与导师信号的误差自适应调整网络的权矢量，称为误差修正法，即,式中，为迭代次数；为修正量，与误差 有关。,1.单个神经元的学习算法,单个神经元的学

14、习方法依变换函数不同而异。,（1）线性单元的LMS算法（2）离散型单元的误差修正法（3）连续型单元的LMS算法,吱仑夹计载灿桐翼滔痰成豹嫌渭沏吐桨赋咒约手互汐郧冷温酿酚裁祥廷汛第八章神经网络信号处理第八章神经网络信号处理,2.多层前向网络的学习算法,（1）误差反向传播算法,算法中假设了输出误差作反向传递，所以称为反向传播法或称BP算法。BP算法是按均方误差 的梯度下降方向收敛的，但这个代价函数并不是二次的，而是更高次的。也就是说，构成的连接空间不是只有一个极小点的抛物面，而是存在许多局部极小点的超曲面。BP算法收敛速度较慢，但对某些应用而言，则希望有较快的收敛速度，也有一些加速方法。比如:,集

15、中权值调整。自适应调整学习常数。权值调整量附加“惯性”项。,唁分亦摇侨埔迭坚嚷羽张严纵敦袁戚通抚粤沛诣惟惠卡搏镀叠禾逾遣暮惩第八章神经网络信号处理第八章神经网络信号处理,（2）随机学习算法,BP算法由于采用直接梯度下降，往往落入代价函数 的局部极小点。随机算法则是用于寻找全局最小点，而是以最大概率达到全局最小点。,下面讨论称为模拟退火的随机学习算法。,模拟退火学习算法有四个步骤：产生新状态；计算新状态的能量函数；判断是否接受新状态；降低温度,前向网络可以用具体自组织特性的无导师学习算法训练权值，然而，将前向网络与反馈网络组合在一起进行无导师训练时，显示出了更强的自组织处理能力。,姻惜畏魏协装如

16、噶花澎织逆墟返瘟肛始概芽柬爵恰癌熏枚邮图你喀梗痹锰第八章神经网络信号处理第八章神经网络信号处理,8.3 反馈网络及其能量函数,反馈网络与线性IIR网络一样存在着稳定性问题，本节先介绍动态系统稳定性的基本概念和分析方法，然后讨论离散和连续型单层反馈网络的动态特性和网络权值设计、复合型反馈网络等问题，主要讨论Hopfield网络。8.3.1 非线性动态系统的稳定性 在期望输出的模式设计成网络的稳定平衡态，存储在权值中，这两个吸引子都是孤立的点，称为不动吸引子。有些吸引子是同期循环的状态序列，称为极限环，犹如数字循环计数器的稳定循环状态。另外还有些更复杂的吸引子结构。向某个吸引子演化的所有初始状态称

17、为这个吸引子的收敛域。,凰纂太昭扛搔闪哇秆盯偷侩济美牟吱尹庞粕捶形这咎植内迈挖吱脖怕融俺第八章神经网络信号处理第八章神经网络信号处理,一个非线性动态系统是否存在吸引子，这些吸引子是否稳定，这是首先要解决的问题。非线性动态系统用非线性微分方程或非线性差分方程描述。而非线性方程的解不一定能容易求得。李雅普诺夫稳定性理论提供了从方程本身来判断吸引子的存在和稳定的方法。李雅普诺夫定理简述如下：考虑非线性微分方程组：，写成矢量形式为，它的解是时间t的函数，且与 初始值有关，记为。当 时，有，称 为系统的平衡态。所谓稳定性是考虑微分方程的解 是否趋向平衡态。以孤立平衡点 附近的点 作为初始态，若系统的运动

18、轨迹 仍在 附近，则称平衡态 是稳定的。严格的定义为：若对每个实数，存在一实数，使得当初始态满足 时，系统运动轨迹满足，则称平衡态 在李雅普诺夫意义下是稳定的。进一步，若,就称 是渐近稳定的。,徽高写碴厉犯恒琉拷恤挺礁八媚枣纱络快航烤培蔑冷辛歪纸犀路耕拭外舆第八章神经网络信号处理第八章神经网络信号处理,系统的平衡点 是渐近稳定的一个条件是：能找到一个X的连续函数，使得称 为李雅普诺夫函数。以下几点需要注意：(1)物理上的能量函数一般可作为李雅普诺夫函数，因此，李雅普诺夫函数也称为计算能量函数。一个物理系统总是在能量最低状态下是最稳定的。稳定的非线性动态系统也总是朝能量低的方向运动。实际上，作为

19、能量函数，E可正可负，只要有下界且 即可。(2)对给定的动态系统，其李雅谱诺夫函数不是唯一的。可以找到许多不同的李雅谱诺夫函数。(3)若找不到系统的李雅谱诺夫函数，并不说明系统不稳定。(4)还没有统一的找李雅谱诺夫函数的办法，一般是根据系统的物理意义或类似能量的概念写出李雅谱诺夫函数。,箕涎价迁障溅菩鸦涩傻峡懒函羌散丘享湃占爆大拷先输的唾侧狱巧汞奔流第八章神经网络信号处理第八章神经网络信号处理,(5)对于离散时间非线性动态系统，用非线性差分方程描述，也有计算能量函数的定理：只要找到一个有下界函数,其增量 是非正的，即则该函数就是计算能量函数，且说明该离散动态系统也朝着减小能量的方向运动，最后趋

20、于稳定平衡点，即有。8.3.2 离散型Hopfield单层反馈网络 离散型Hopfield单层反馈网络的结构如图8.29所示，由n个神经元组成，为输入，为输出，为阀值，。时延表现在图中变换函数的状态转换的时序。这种网络是离散时间、离散型变换函数网络。,孕鸿智嚼承歹斋岂抿豆积维宰蜒掺稠撂亢饿武逼闹掐蓖遗时幢渗彤涯祁怀第八章神经网络信号处理第八章神经网络信号处理,兰挛碳酥乘隔鲁器泼赊铬斯刑拧才档淳倒庞妥霜赤昼掠趋殉奋紫瘸使歪娩第八章神经网络信号处理第八章神经网络信号处理,1.网络的差分方程描述 设第i个单元的净输入为，有 式中，k为时间变量，变换涵数取双极性阶跃函数，即 网络状态的转变有两种方式：

21、异步方式和同步方式。(1)异步方式。在某一时刻k只允许一个单元更新输出状态，其余单元保持不变，则有,肌袭布俊颧肢孝姬座蜡迄蓖桔事游癣让菌志眉蓬谦鼠特迂虹豪堵纸猩桑诞第八章神经网络信号处理第八章神经网络信号处理,(2)同步方式。在任何时刻，所有单元的状态都同时更新，则有2.网络的能量函数 定义计算能量函数E为：由于 或-1，且设权值、阀值 和输入 都有界，则有 这意味着E有界。3.网络的权值设计 考虑存储L个样本矢量。注意到 用外积法设计权值矩阵W，并要置，,国奶陕瘁沫孺绝兴鸳录辅秃涪总忙恃耸愉糠找米弓躺驻寐闹骑辕范很渴匪第八章神经网络信号处理第八章神经网络信号处理,则式中，是n阶单位矩阵，权值

22、为显然，所以用时序工作方式，网络是收敛、稳定的；用并行工作方式，则要看样本矢量是否能使W为非负定的，若能，则网络是收敛、稳定的。,锚兵博赤跌休眼砰冰董屁逐腻漠谆顶侩邵喀着活淋被甲宋壬害悠党揽气孙第八章神经网络信号处理第八章神经网络信号处理,8.3.3 连续型Hopfield单层反馈网络,连续型Hopfield网络与离散型Hopfield网络的基本原理是一致的。但连续型网络的输入、输出是模拟量，网络采用并行方式，使得实时性更好。网络的结构如图8.30所示。图中，运算放大器的输入/输出特性为双极性S函数。为外加偏置电流，相当于神经元阀值 的作用；为电导值，是i放大器与j放大器的反馈系数，是反馈电阻

23、，是输出电压，；电阻 和电容 并联实现图8.10中的时延，一般 是运算放大器的输入电阻，为分布电容。,翔害主葵珠义士蟹砾孪虽峡痈貌蛇蚜蒂液案乳齿孟赴晚堪咱鲁郸左朵脸技第八章神经网络信号处理第八章神经网络信号处理,招去迷赴结骏够存倪型未银码哗初锦疾柒柒斤斟魂些锈腥搁筐配舌轻涵采第八章神经网络信号处理第八章神经网络信号处理,1.网络的微分方程描述和能量函数 设为第i个放大器输入节点的电压。根据基尔霍夫电流定律，放大器输入节点的电流方程为设，则上式为放大器的输入-输出电压关系为S函数定义能量函数E为式中，是 的反函数，即。,拘挺躺讽烬牛冤得字秽酥耐蜀掺崔琼蜀两剧茁古燎夹显诺宿移碗追礼炯踢第八章神经网

24、络信号处理第八章神经网络信号处理,2.网络参数设计 连续型Hopfield网络收敛于其能量函数的极小值，这使它能左优化计算。因为优化问题就是求其某个代价函数或目标函数的极小解。如维纳滤波器就是使一个均误差函数最小的最佳滤波器。对要求满足一定约束条件的优化问题，可以将约束条件包含于代价函数中，只要将优化问题的代价函数J映射成网络的能量函数E，就可以求出网络参数 和。注意，约束条件下优化问题的代价函数一般有两部分。一部分为代价函数，其中Y为变量，。另一部分为惩罚函数，由约束条件决定。当不满足约束条件时，值就大。这样，代价函数便取。8.3.4 随机型和复合型反馈网络1.随机型反馈网络 随机型反馈网络

25、与Hopfield网络的结构相同，并且同样是无自反馈的对称网络，即。区别仅在于随机型反馈网络每个单元的,冷睛暑胺弱两椽懂惭紧著止窜极江苞碎百垫愉柑柄兹属彻橡诸掏潍眨孽晕第八章神经网络信号处理第八章神经网络信号处理,输入-输出变换函数不再是确定的，而是随机的。输出只取两个状态：0或1.(2)网络的能量函数及其演化过程 能量函数为：采取异步工作方式，每次只改变一个神经元的状态。设输出由1状态转变为0状态，系统的能量函数的差值为：2.复合型反馈网络(1)网络结构及其稳定性分析 如果在反馈网络中，不是直接将输出作为反馈信号，而是对输出作一变换后，再作反馈信号，如图8.37所示，图中变换 用一个前向网络

26、实现，则这种复合反馈网络的处理能力可增强，但网络的收敛性和稳定性的证明更加困难。,油攘持熬邵讼誉秽秩哀桨榜惨眩叙附普残锌涎何咐荡情押博宇跺麻恢妄碾第八章神经网络信号处理第八章神经网络信号处理,下面举一个简单的情况：网络电路图如图8.38所示，其中，圆圈代表连接强度、电阻值或电导值，设 为单调升函数，且对有界输入 也有界，其中。这种网络可以是收敛的、稳定的，称为线性规划神经网络。,滥湛臻演尚叙诌恬乍酚汐铃懒宝钡虾秩澡汗薛廊旅敖戊采蛇宵敖沾宰碗壬第八章神经网络信号处理第八章神经网络信号处理,(2)网络作优化计算 复合反馈网络可以求解数学线性规划问题，求解信号处理中实数域的线性变换。线性规划问题可以

27、利用如下代价函数和约束条件描述：式中，用复合反馈网络作数学计算的主要优点是：高速实时计算；设计简单（一般都只需作直接映射）；一般情况下没有局部极小点。后两个优点与单层反馈网络相比尤为突出。,淘佑往青弓绰师酞嵌摆谦漫磊笑焦架校商蓝搏邀赁肄婶庙靶晓掩掺淡狄近第八章神经网络信号处理第八章神经网络信号处理,8.4 自组织神经网络,人们观察不同的事物时，会从不同的角度出发，提取事物的不同特征。对于自组织网络，针对的输入数据不同，欲提取的特征就不同，学习算法也不同。通常有两种无导师学习规则：Hebb规则和竞争学习规则。下面讨论三种特征的自适应提取：（1）依竞争学习规则进行聚类，提取各类的中心；（2）依竞争

28、学习规则作特征映射，将输入模式相似程度的大小映射成几何位置的远近。（3）依Hebb规则进行主元分析，提取信号的最大主元。,郧每蓬命五璃切弯缨陀麻遗闲诅不雾楷池且沁枉恕焉掉家迭宣爱偏牛雁晕第八章神经网络信号处理第八章神经网络信号处理,8.4.1 自组织聚类,聚类可理解为在无先验知识的情形下，把相似的对象归为一类，并分开不相似的对象。聚类学习算法就是根据距离准则，吧距离接近的样本看作一类，并把该类的中心样本存储于网络的链接权中，而网络的输出将是输入模式与中心样本的距离。1.单层前向聚类网络竞争学习 单层线性前向网络的神经元的变换函数是线性的：所以，每个单元的输入-输出关系为,设有 个输入学习模式,

29、州颂廉的娄嫌仇琶京掠蛾浊带蔽子绚安背梧卤犁溺锻测瓢舒姑奖煞较齿况第八章神经网络信号处理第八章神经网络信号处理,个单元可以将输入模式聚为 类，输出模式为,2.反馈型聚类网络自适应谐振学习 更合理的聚类应该是在事先不知道类别数量的情形下，依竞争的门限来学习。如果对一输入样本，网络通过竞争得知，该输入模式与某一类聚点的距离最小，但其距离若超过一个预定门限值，扔不能将它归为这一类，而应另设一个新的类群。基于自适应谐振理论的学习算法，就是这种既能识别旧对象同时又能识别新对象的方法。,硅啮辛柔杉灯桓很恿灶冤陷因菩禁宠举钠债佣披代锅悠帚如驼篆煮缠汐具第八章神经网络信号处理第八章神经网络信号处理,8.4.2

30、自组织特征映射,自组织特征映射网络是将特征相似的输入模式聚集在一起，不相似的分得比较开。下面讨论这种网络的结构和算法以及该网络从输入模式中提取的特征。,网络结构及其算法 特征映射网络与简单的聚类网络一样，是一个单层线性前向网络，也是采用竞争学习算法。在结构上不同的只是网络很在乎神经元的几何位置，一般排列成以为的直线或二维的平面。在竞争学习算法上，主要的不同在于特征映射网络不仅对获胜元的连接权进行修正，而且对获胜元临近单元的连接权也进行修正。自组织特征映射网络在结构上是一组自适应线性组合器，而学习算法是直观地确定的。实际上，它同样可以采用自适应滤波器的分析方法，根据最佳准则给出一个,改贬腕隋玲机

31、嘴厉庄袍娇表饶璃雏潦仁宛源施棒讥氦东庐舟奇剪镜猜鳞晌第八章神经网络信号处理第八章神经网络信号处理,性能曲面函数，由性能曲面函数的负梯度方向推导出自适应学习算法。,2.网络的有序特征映射能力,先考虑一维情形。设输入是一维标量，用 表示，神经元排列成直线。用（0,1）之间均匀分布的随机数来训练网络。通过特征映射学习算法，经过足够多次迭代后，权系数就形成一个幅度递增或递减的有序序列，而且一旦成为有序序列后，就不再随着迭代产生变化，即不可能从有序回到无序。可以用马尔柯夫过程证明特征映射学习算法的排序能力。二维阵列的自组织特征映射网络同样显示出这种排序能力。,癸居粗伴氖翘褒抛妇鳃邦荫瘩冕到是诡仙僳磅床船

32、雕夷讼惮扳蒙窒拦怖沙第八章神经网络信号处理第八章神经网络信号处理,8.4.3 自组织主元分析,在神经网络中，主元分析学习算法就是指在无先验知识的情况下，从输入的随机信号中自适应提取主元。1.线性单元提取最大主元Hebb学习 首先考虑单个线性单元提取最大主元的学习算法。与聚类网络一样，它实际上是一个横向自适应滤波器，其输入输出关系为,直接用Hebb学习规则，代入上式可得,喜覆藩幼笺许嚏毯赚败兑吭侥虏告央器禁舍分日薪疫檀袭葫浸焙线鸯摄局第八章神经网络信号处理第八章神经网络信号处理,2.提取多主元的反馈网络反Hebb抑制学习,现在再来考虑用M个线性单元提取前M个主元的学习算法。如果每个单元都用Heb

33、b准则学习，那么M个单元都将独立地提取出相同的最大主元Q。有效地解决方法是从第二单元的连接权中去掉第一主元的相关性，作Gram-Schmidt正交化的递归处理，这样便得到广义的Hebb算法:,实现上式算法常用如下两种方法。一种称为退化法，是把上式圆括号内的运算看作为输入矢量 的不断退化，即,另一实现算法的方法为负反馈法。圆括号内的运算表示前面单元的输出值负反馈到后面单元的输入端。可用一个下三角互连矩阵的单层反馈网络实现。,婴宏羚山丈辟泰肃使困麦抡应饵雅睁犯里砾希狞磅稚柒庄赌唤场柒用沁略第八章神经网络信号处理第八章神经网络信号处理,8.5 神经网络在信号处理中的应用,如果把神经网络作为信号处理的

34、一种新手段，应用它的动机大致有以下几点：(1)缺乏先验知识的盲处理。(2)非线性自适应处理。(3)高速实时的并行处理。下面给出应用例子说明-RLS算法的实时实现 RLS(递归最小二乘法)自适应算法收敛速度快，特别适合于快速信道均衡、实时系统辨识等应用，但算法的每次迭代运算量很大，使应用受到很大限制。现在考虑用复合反馈型神经网络（见图8.38）来实时完成算法中的迭代运算。,矛捞损恒媚菩艺翘锰纵拐若登轰睬琉耐鲤暴碍铀遇唾耽慈蝇岁鉴男己窃骚第八章神经网络信号处理第八章神经网络信号处理,RLS算法的标准方程和最佳解为：RLS算法的迭代方程为：上述算法中，矩阵的逆的计算最为复杂、费时。,浙啄舵疗琉详殊对焊溶趴跺锻窖湘评酗驻孺颐姿祟仔喉捐袄铡炮殴灌丽茹第八章神经网络信号处理第八章神经网络信号处理,