《基于神经网络的电力电子装置故障检测与诊断研究毕业论文.doc》由会员分享，可在线阅读，更多相关《基于神经网络的电力电子装置故障检测与诊断研究毕业论文.doc（42页珍藏版）》请在三一办公上搜索。
1、基于神经网络的电力电子装置故障检测与诊断研究摘要：提出采用基于波形直接分析的神经网络故障诊断方法实现电力电子电路在线故障诊断,以三相整流电路为例,选用BP 网络对其进行了有效故障诊断。仿真和实验表明,其方法是有效的。电力电子电路模型具有很强的非线性，通常对其进行在线故障诊断比较困难，文章利用神经网络非线性映射特性，由神经网络来学习及存储电力电子电路的故障特征信号和故障类型（或原因）之间的映射关系，并将其用于在线诊断，从而达到对电力电子电路进行在线自动故障诊断的目的。关键词： 神经网络；电力电子；电路故障；诊断；故障诊断Abstract：Based on neural network theor
2、y ,a new online fault diagnosis method for power electronic circuits is presented. A neural BP network is founded ,which is able to diagnosis faults of three phase rectifier ef fectively. The method is verified by both simulation and experiment.The circuit model for electronic of electric power is w
3、ith strong nonline arity, it is usually difficult to diagnose the accident online, by the mapping features of nonline arity on the nerve net, the essay will study and store the mapping relationship between the accident signs and accident types(causes) about the circuit for electronic of electric pow
4、er, and put it into the diagnose online, which will be used to diagnose the accident automatically to the circuit of electronic of electric power.Keywords: nerve netelectronic of electric power; circuit accident; diagnose; fault diagnosis毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研
5、究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文
6、的部分或全部内容。作者签名： 日 期： 第1章 绪论1.1 神经网络概述人工神经网络(简称神经网络,NN)是由人工神经元(简称神经元)互联组成的网络,它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径，它反映人脑的若干基本特征，如并行处理、学习、联想、模式分类、记忆等。它是根于神经学、数学、同统计学、物理学、计算机学及工程等的一种技术。人工神经网络是由简单的处理单元所组成的大量并行分布的处理机，这种处理机具有存储和应用经验知识的自然特性，它与人脑的相似之处概括为两个方面：一是通过学习过程利用神经网络从外部环境中获取知识；二是内部神经元（突触权值）用来存储的知识信息。神经网络
7、是近年来的热点研究领域。涉及到电子科学和技术、信息与通信工程、计算科学和技术、电气工程、控制科学和技术等诸多学科。其应用领域包括：建模、时间序列分析、模式识别和控制等，并在不断的拓展。1.2 神经网络的研究发展史神经网络的研究可追溯到19世纪末，其发展历史可分为四个时期。第一个时期为启蒙时期，开始于1890年美国著名心理学家W.James关于人脑结构与功能的研究，结束于1969年Minsky和Papert发表感知器一书。第二个时期为低潮时期，开始于1969年，结束于1982年Hopfield发表“神经网络和物理系统”。第三个时期为复兴时期，开始于J.J.Hopfield的突破性研究论文。结束于
8、并行分布式处理一书的发表。第四个时期为高潮时期，以1987年首届国际人工神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热。1.2.1 启蒙时期1890年，美国心理学家William James发表了第一部详细论述人脑结构及功能的专著心理学原理，对相关学习、联想记忆的基本原理做了开创性研究神经网络的著名文章。在这篇文章中，他们在已知的神经细胞生物学基础上从信息处理的角度出发，提出形式神经元数学模型，称M-P模型。为此，M-P 模型被认为开创了神经科学理论研究的新时代。启蒙时期的另一位重要学者是Donala O.Hebb，他首先建立了人们现在称为 Hebb算法的连接权训练法。
9、1958年计算机科学家 Frank Rosenblatt发表一篇有名的文章，提出了一种具有三层网络特性的神经网络结构，称为“感知器”。启蒙时期的最后两位代表人物是电机工程师Bernard Widrow和Marcian Hoff 。1960年，他们发表了一篇为“自适应开关电路”的文章。Bernard Widrow和Marcian Hoff 不仅设计了在计算机上仿真的人工神经网络，而且还用硬件电路实现了他们的设计。1.2.2 低潮时期在20世纪60年代，掀起了神经网络研究的第一次热潮。由于当时对神经网络的学习能力的过高估计，而随着神经网络研究的深入开展，人们遇到了来自认识方面、应用方面和实现方面的
10、各种困难和迷惑，使得一些人产生了怀疑和失望。使神经网络研究处于低潮时期的重要原因是，20世纪70年代以来集成电路和微电子技术的迅速发展，是传统的Von Neumenn型计算机进入发展的全盛时期，基于逻辑符号处理方法的人工智能的迅速发展并取得显著成就，他们的问题和局限性尚未暴露，因此暂时就掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性4。但仍有为数不多的学者在黑暗时期致力于神经网络的研究。1969年，美国波士顿大学自适应系统中心的S.Grossberg教授和他的夫人G.A.Carpenter提出了著名的共振模型。1972年芬兰的T.Kohonen教授，提出了自组织映射理论，并称其神经网络
11、结构为“联想存储器”；另一位是美国的神经心理学家和心理学家J.Anderson提出了一个类似的神经网络，称为“交互存储器”。1.2.3 复兴时期 1982年美国加州理工学院优秀物理学家John博士总结与吸取前人对神经网络研究的成果与经验，把网络的各种结构和算法概括起来，塑造出一种新颖的强有力的网络模型，称为Hopfiled网络模型。在他文章发表的第三年，美国电话与电报公司的贝尔实验室利用Hopfiled理论首先在硅片上制成硬件的神经计算机网络，继而仿真出耳蜗与视网膜等硬件网络。在1986年贝尔实验室宣布制成神经网络芯片前不久，美国的David E.Rumelhart和James L.McCel
12、ld及其领导的提出了PDP网络思想，其中涉及到神经网络的三个主要特征，即结构、神经元的传递函数和它的学习训练方法， PDP这部书的最重要的贡献是发展了多层感知机的反向传播训练算法，把学习的结果反馈到中间层次的隐节点，改变其连接权值，以达到预期的学习目的。该算法已成为当今最大的一种网络学习方法。1.2.4 新时期1987年6月，首届国际神经网络会议在美国加州圣地亚哥召开，这标志着全世界范围内掀起神经网络开发研究的热潮。在会上成立了国际神经网络学会（International Neural Network Society）。这次会议不久，由世界三位著名的神经网络学家，主持创办了世界第一份神经网络杂
13、志Neural Network。随后，IEEE也成立了神经网络协会并于1990年3月开始出版神经网络会刊。各种学术的神经网络特刊也层出不穷。从以上现象可以看到，神经网络的研究出现了新的高潮，进入了发展的新时期。从1987年来，神经网络的理论、应用、实现及开发工具均以令人振奋的速度快速发展。神经网络的应用已涉及到模式识别、图象处理、非线形优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得了令人瞩目的成果。与此同时，美国、日本等国在神经网络计算机的硬件实现方面也取得了一些实实在在的成绩。1.2.5 国内研究概况中国最早涉及人工神经网络的著作是涂序彦先生等于1980年发表
14、的生物控制论一书，书中将“神经系统控制论”单独设为一章，系统地介绍了神经元和神经网络的结构、功能和模型。随着人工神经网络在世界范围内的复苏，国内也逐渐掀起了研究热潮。1989年10月和11月份别在北京和广州召开了神经网络及其应用学术讨论会和第一届全国信号处理-神经网络学术会议。1990年2月，由中国八个学会（即中国电子学会、计算机学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会、和心理学会）联合在北京召开“中国神经网络首届学术大会”。目前，人工神经网络已在中国科研、生产和生活中产生了普遍而巨大的影响。1.3 人工神经网络的主要应用领域1.3.1 信息领域神经网络作为一种新型智能
15、信息处理系统，其应用贯穿信息的获取、传输、接接收与加工利用等各个环节，这里仅举三个方面的应用。（1）信号处理 神经网络广泛应用于自适应信号处理和非信号处理。前者如信号的自适应滤波、时间序列预测、谱估计、噪声消除等；后者如非线形滤波、非线形预测、非线形编码、调制/调解等。（2）模式识别 模式识别涉及到模式的预处理变换和将一种模式映射为其他类型的操作，神经网络在这两个方面都有许多成功的应用。神经网络不仅可以处理静态模式如固定图像、固定能谱等，还可以处理动态模式如视频图像、连续语音等。（3）数据压缩 神经网络可对待传送的数据提取模式特征。只将该特征传出，接受后在将其恢复成原始模式。1.3.2 自动化
16、领域神经网络用于控制领域已经取得以下主要进展。（1）系统辨别 神经网络所有的非线形特性和学习能力，使其在系统辨别方面的有很大的潜力，为解决具有复杂的非线形、不确定性和不确知开辟了一条新的途径。（2）神经控制器 神经网络具有自学习和自适应等智能特点，因而非常适合于做控制器。对于复杂非线形系统，神经控制所达到的控制效果往往明显好于常规控制器。近年来，神经控制器 在工业、航空以及机器人等领域的控制系统应用中已取得许多可喜的成就。（3）智能检测 所谓智能检测一般包括干扰量的处理，传感器输入输出特性的非线形补偿、零点和量程的自动校正以及自动诊断等。1.3.3 工程领域（1）汽车工程 神经网络在汽车刹车自
17、动控制系统中也有成功的应用，该系统能在给定刹车距离、车速和最大减速度的情况下，以人体感受到最小冲击实现平稳刹车，而不受路面坡度和车重的影响。神经网络在载重车柴油机燃烧系统方案优化中的应用有效地降低了油耗和排烟度，获得了良好的社会经济效益。（2）军事工程 神经网络同红外搜索与跟踪系统配合后可发现和跟踪飞行器。利用神经网络的联想记忆特性可设计出密钥分散保管方案；利用神经网络的分类能力可提高密钥的破解难度；利用神经网络还可设计出安全的保密开关，如语音开关、指纹开关等等。（3）化学工程 在谱分析方面，应用神经网络在红外谱、紫外谱、折射光谱和质谱与化合物的化学结构建立某种确定的对应关系方面的成功应用。此
18、外，还有将神经网络用于判定化学反应的生成物；用于判定钾、钙、硝酸、氯等离子的浓度。（4）水利工程 近年来，我国水利工程领域的科技工作者已成功地将神经网络的方法用于水利发电过程辨识和控制、河川径流预测、河流水质分类、水资源规划、混泥土性能预估、预应力混凝土桩基等结构损伤诊断、沙土液化预测、岩体可爆破性分级及爆破效应预测等。此外，神经网络在宇宙飞船，汽车行业，银行业，国防领域，电子领域，娱乐领域，金融领域，制造业，医药领域 ，石油和天然气，机器人，语音领域，有价证券，电信领域，交通领域也有广泛的应用。1.4 毕业设计与要求及基本思路 针对经典控制理论及现代控制理论在电力电子装置故障检测的局限性，研
19、究神经网络控制的可行性及优势；神经网络控制方案的实现方法；BP神经网络控制方法及其改进；神经网络控制系统的MATLAB仿真方法；神经网络的电力电子装置故障检测。为实现史密斯预估补偿控制，需要求取补偿器的数学模型。由于实验测试数据或处理不当均会引起模型与对象特征不一致，这时闭环系统特征方程还会存在纯滞后项。因此，严格的说，预估补偿器不能完全补偿纯滞后。当两者严重不一致时，甚至会引起系统稳定性变得更差，这也是史密斯预估补偿控制的一个缺点。第2章 模糊神经网络控制2.1 人工神经元模型人脑约由1011个神经元组成，神经元之间的联系多过10141015，每个神经元由两部分构成：神经细胞体及突起（树突和
20、轴突）。神经细胞通过突触复杂的结合着，形成了大脑的复杂的神经网络系统。人工神经元是一个多输入、单输出的非线性元件，它有三个基本要素：（1）一组连接权（对应生物神经元的突触），连接强度由各连接权上的权值表示，权值为正表示激励，为负表示抑制。（2）一个求和单元，用于求取各输入信息的加权和（线性组合）。（3）一个非线性传递函数，起非线性映射作用并限制神经元输出幅度在一定的范围内（一般限制在0，1或-1，+1之间）。另外还有一个阀值q（或偏置b=-q）.神经元模型如图3.1所示： W1j W2j nj 图2.1 人工神经元模型其输入、输出关系可描述为: (2.1)式中是从其它神经元传过来的输入信号；是
21、阀值；是表示从神经元i到神经元j的连接权值；f()为传递函数。有时为了方便，将统一表达成，式中=- ，。传递函数f(x)可为线性函数，或S状的非线性函数，或具有任意阶导数的非线性函数，常用的非线性函数有阀值函数、双向阀值函数、S型函数、双曲正切函数、高斯函数等。当f(x)为阶跃函数，且不考虑输入、输出之间的延时，只处理0和1二值信息时，这种阀值单元模型称为MP模型，是美国心理学家McCulloch和数学家Pitts在1943年提出的。2.2 人工神经网络结构人工神经网络是由大量的神经元互连而成的网络，按其拓扑结构来分，可以分成两大类：层次网络模型，互连网络模型。2.2.1 层次网络模型神经元分
22、成若干层顺序连接，在输入层上加入输入（刺激）信息，通过中间各层，加权后传递到输出层后输出（图2.2(a)），其中有的在同一层中的各神经元相互有连接（图2.2(b)），有的从输出层到输入层有反馈（图2.2(c)）。图2.2(c) 图2.2(b) 图2.2(a) 2.2.2 互连网络模型在这类模型中，任意两个神经元之间都有相互连接的关系。在连接中，有的神经元之间是双向的，有的是单向的，按实际情况决定。若按连接方式，也可以分为：前馈型网络和反馈型网络。前馈型网络的第I层的输入只能与第I-1层输出相连，输入和输出节点和外界相连，而其它中间层则为隐层。反馈型网络的所有节点都是计算单元，同时可接受输入并向
23、外。若按连接方式，也可以分为：前馈型网络和反馈型网络。前馈型网络的第I层的输入只能与第I-1层输出相连，输入和输出节点和外界相连，而其它中间层则为隐层。反馈型网络的所有节点都是计算单元，同时可接受输入并向外界输出，其中每个连接线都是双向的。从作用效果看，前馈型网络主要是函数映射，可用于模式识别和函数逼近。按对能量函数的所有极小点的利用情况，可将反馈网络分成两类：一类是能量函数的所有极小点都起作用，主要用做各种联想存储器；另一类只利用全局极小点，它主要用于求解优化问题9。若按神经网络的功能分类，目前常用的有如下分类：神经网络分类 双值输入 有教师 Hamming网络Hopfield网络连续输入
24、无教师Kohonen网络 有教师 单层感知器 多层感知器 无教师Grossterg网络，Carpenter网络2.3 神经网络学习方法学习和记忆是人类智能器官的最主要的功能，模拟人脑神经系统的学习功能是人工神经网络的核心任务。由人工神经元相连结的神经网络系统的全部“知识”，主要体现为网络中全部神经元之间的连结权值，调整权值也就相当于人类的学习过程。2.3.1 学习方式神经网络性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的，学习方式按环境提供信息量的多少分为三种：(1)无教师学习如图2.3(a)所示，无教师学习完全按照环境提供数据的某些统计规律来调节自身参数或结构，以表示
25、外部输入的某些固有特性。(2)有教师学习如图2.3(b)所示，这种学习方式需要外界存在一个“教师”对给定输入提供应有的输出（即训练样本集），神经网络根据实际输出和预定输出的差值来调整系统参数。(3)强化学习如图2.3(c)所示，该方式介于上述两种情况之间，外部环境对系统输出结果只给出评价信息，学习系统通过强化那些受到好的评价的动作来改善自身的性能。环境 教师 学习系统应有 响应 实际 响应 误差信号 环境 学习系统 输入 动作 环境 学习 系统 评价 输出 图2.3(a) 图2.3(b) 图2.3(c) 2.3.2 学习规则神经网络是通过一定的规则,根据神经元的输入状态（或活性度）、当时的连接
26、权及有无教师示教的信息来调整权值的，这个规则就称为学习规则。常用的学习规则有以下几种：（1）联想式学习Hebb规则心理学家Hebb在1949年提出突触联系的神经群体理论，他指出，突触前后两个同时兴奋（即活性度高，或称处于激发状态）的神经元之间的连接强度（权值）将增强，虽然他本人没有给出数学表达式，但后来许多研究者用不同的数学公式来表示这一基本思想。Hebb提出的这一原则被称为Hebb规则。图2.4表示了两个相连的神经元之间的信号联系，从神经元到神经元之间的联结权值为；与被“激活”的程度、称为活性度；与的输出分别为与；教师的示教信号为。 教师示教信号 图2.4 Hebb学习规则 输出、与活性度、
27、有关，满足如下关系： （2.2）其中、是传递函数。对于神经元而言，其输入（即的输出）可以理解为学习的内容，连接权值可以理解为学习的基础，是教师的指导内容，的活性度可以理解为学习的“积极性”。易知学习的方式和结构与上述四个要素有关。在人工神经网络中，每一次学习，意味着一次权值的调整，因此权值变化可以用下列函数式表示：（2.3）采用不同的函数G和H，就有不同的学习规则。例如上述神经元无教师示教信号时，H函数仅与成正比，则上式改成简单形式：（2.4）式中是学习率常数（0）。上式表明，对一个神经元而言，若该神经元有较大的活性度或有较大的输入（即）时，他们之间的联结权值会变大。（2）误差传播式学习Del
28、ta学习法则此时，式2.4中的函数G采用下列形式：（2.5）式中为正数，把差值称为。函数H仍与神经元的输出成正比：（2.6）式中为正数。根据Hebb学习规则可得（2.7）式中为学习率常数（0）。在式（3.8）中，如将教师示教信号作为期望输出，而把理解为实际输出，则该式变为：（2.8）式中为期望输出与实际输出的差值。称式（2.8）为规则，又称误差修正规则。根据这个规则可以设计一个算法，即通过反复迭代运算，直至求出最佳的值，使达到最小。这个规则就是BP（反向传播）网络的算法基础。从上述简化过程可知，在选用简化的G函数时，我们实际上令，也就是用了线性可分函数。故式（2.8）不适合用于采用式（2.2）
29、的非线性函数的情况，此时就需要采用广义的规则。不同状态时实现联结的概率来调整其间的权值：。式中为学习率，、分别是神经元和在输入、输出固定状态及系统为自由状态时实现联结的概率。调整的原则是：当时增加权值，否则减小权值。（3）竞争式学习这种学习是无教师示教学习，网络分成不同的层，网络中的神经元之间分成兴奋性联结和抑制性联结。在不同性的联结机制中引入竞争。竞争的实质是看哪个神经元受到的刺激最大，由此来调整权值： （2.9）式中是学习率，是外部刺激系列中第项刺激成分，是刺激激励输入单元的总数。在竞争中，与输入单元间联结权值变化最大的为优胜者，优胜者的联结权值按式（2.9）改变，而失败的单元，其为零。2
30、.3.3 学习与自适应当学习系统所处环境平稳时（统计特性不随时间变化），从理论上讲通过监督学习可以学到环境的统计特征，这些统计特征可被学习系统（神经网络）作为经验记住。如果环境是非平稳的（统计特征随时间变化），通常的监督学习没有能力跟踪这种变化，为解决此问题，需要网络有一定的自适应能力，此时对每一不同输入都作为一个新的例子对待。模型被当作一个预估器，基于前一时刻输入和模型在时刻的参数，它估计时刻的输出，再将与实际值（作为应有的正确答案）比较，若其差值，则不修正模型参数6。2.4 前向神经网络前向神经网络中的神经元是分层排列的，每个神经元只与前一层神经元相连，最上一层为输出层，最下一层为输入层。
31、输入层和中间层也称为隐层。隐层的层数可以是一层或多层，前向网络在神经网络中应用十分广泛，感知器、线性网络、BP网络都属于这种类型。2.4.1 感知器美国学者Rosenblatt于1957年提出一种用于模式分类的神经网络模型，称为感知器，它是一个单层神经网络，神经元模型为阀值模型。与MP模型不同之处在于其联结权值可变，因此它具有学习功能。感知器信息处理的规则为： 式中为时刻的输出，为输入向量的一个分量，为时刻第个输入的权重，为阀值，为阶跃函数。感知器的学习规则如下： (2.10)其中为学习率（01），为期望输出（又称教师信号），是实际输出。感知器的工作原理及学习规则可参见图2.5。 修正权值 _
32、+d误差图2.5 感知器感知器只有一层神经元，这是由感知器学习规则所决定的，因为感知器学习规则只能训练单层神经网络。感知器神经网络这种结构上的局限性也在一定程度上限制了其应用范围。2.4.2 线性神经网络线性神经网络是最简单的一种神经网络，它由一个或多个线性神经元构成。1960年由B.Widrow和M.E.Hoff提出的自适应线性单元网络是线性神经网络最早的典型代表。线性神经网络采用线性函数作为传递函数，因此其输出可取任意值。线性神经网络可以采用Widrow-Hoff学习规则来调节网络的权值和阀值，其收敛速度和精度都有较大的改进。该模型的结构如图2.6所示： 图2.6 线性神经元模型 和感知器
33、神经网络一样，线性神经网络只能反映输入和输出样本矢量间的线性映射关系，它也只能解决线性可分问题。线性神经网络在函数拟合、信号过滤、预测和控制方面都有着广泛的应用。2.5 BP控制方法BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差某种形式，通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号没，此误差信号即作为修正各单元权值的依据12。这种信号正向传播与误差反向传播的
34、各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。2.5.1 基于BP算法的多层前馈网络模型利用BP算法的多层前馈网络是至今为止应用最为广泛的神经网络。在多层前馈网络的应用中，已图3.15所示的单隐层网络的应用最为普遍。一般习惯将单隐层前馈网络称为三层前馈网或三层感知器，所谓三层包括了输入层、隐层和输出层。三层前馈网中，输入向量为,如加入,可为隐层神经元引入阀值；隐层输出向量, 如加入,可为输出层神经元引入阀值；输出层输出向量为;期望输出向量为。输入层到隐层之间的权值矩阵用V表示
35、，,其中列向量为隐层第个神经元对应的权向量；隐层到输出层之间的权值矩阵用W表示，,其中列向量为输出层第个神经元对应的权向量。下面分析各层信号之间的数学关系。x1 x2 xi xi+1 i层 k层 j层 y1 y1 _ + 训练信号 调整权值 误差 输入层（n个）隐层（p个） 输出层（q个） 图2.7 BP网络结构及反向学习 对于输出层，有 （2.11） （2.12）对于隐层，有 （2.13） （2.14）以上两式中，转移函数均为单极Sigmoid函数 （2.15）具有连续、可导的特点，且有 （2.16）根据应用需要，也可以采用双极性Sigmoid（或称双曲线正切函数）（2.17）式（2.11）
36、 式（2.17）共同构成了三层前馈网的数学模型。2.5.2 BP学习算法下面以三层前馈网为例介绍BP学习算法，然后将所得结论推广到一般多层前馈网的情况。网络误差与权值调整:当网络输出与期望输出不等时，存在输出误差E，定义如下（2.18）将以上误差定义式展开至隐层，有（2.19）进一步展开至输入层，有（2.20）由上式可以看出，网络输入误差是各层权值、，的函数，因此调整权值可改变误差E。显然，调整权值的原则是使误差不断地减小，因此应使权值调整量与误差的负梯度成正比，即 （2.21） （2.22）式中负号表示梯度下降，常数表示比例系数，在训练中反映了学习速率。可以看出BP算法属于学习规则类，这类算
37、法通常被称为误差的梯度下降算法。2.5.3 标准BP算法的改进将BP算法用于具有非线形转移函数的三层前馈网，可以以任意精度逼近任何非线形函数，这一非凡优势使多层前馈网络得到越来越广泛的应用。然而标准的BP算法在应用中暴露出不少内在的缺陷：(1)易形成局部极小而得不到全局最优；(2)训练次数多使得学习效率低，收敛速度慢；(3)隐节点的选取缺乏理论指导；(4)训练时学习新样本有遗忘旧样本的趋势；针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。（1）增加动量项一些学者于1986年提出，标准BP算法在调整权值时，只按时刻误差的梯度降方向调整，而没有考虑时刻以前的梯度方向，
38、从而使训练过程发生振荡，收敛缓慢。为了提高网络的训练速度，可以在权值调整公式中增加一动量项若用代表某层权矩阵， 代表某层输入向量，则含有动量项的权值调整向量表达式为（2.23）可以看出，增加动量项即从前一次权值调整量中取出一部分叠加到本次权值调整量中，称为动量系数，一般有。动量项反映了以前积累的调整经验，对于时刻的调整阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。目前，BP算法中都增加了动量项，以至于有动量项BP算法成为一种新的标准算法13。（2）自适应调节学习率学习率也称为步长，在标准BP算法中定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率。从误差曲面
39、可以看出，在平坦区域内太小会使训练次数增加，因而希望增大值；而在误差变化剧烈的区域，太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代此时增加。为了加速收敛过程，一个较好的思路是自适应调节学习率，使其该大时增大，该小时减小。（4）引入陡度因子前面的分析指出，误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元进入了转移函数的饱和区。如果在调整进入平坦区后，设法压缩神经元的净输入，是其输出退出转移函数的饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。实现这一思路的具体作法是，在原转移函数引入一个陡因子 01图2.8 压缩后的转移函数曲线当发现 接近零而 仍较大时，
40、可判断已进入平坦区，此时令 ；当退出平坦区后，再令。从图3.21 可以看出，当时， 坐标压缩了倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的退出饱和值。当时转移函数恢复原状，对较小的具有较高的灵敏度。应用结果表明该方法对于提高BP算法的收敛速度十分有效。2.5.4 基于BP算法的多层前馈网络设计基础（1）网络信息容量与训练样本数多层前馈网络的分类能力与网络信息容量相关。如用网络的权值和阀值总数 表征网络信息容量与训练误差之间应满足如下匹配关系 （2.24）上式表明网络的信息容量与训练样本之间存在着合理匹配关系。在解决实际问题时，训练样本常常难以满足以上要求。对于确定的样本数，网络
41、参数太少则不足以表达样本中蕴涵的全部规律，而网络参数太多则由于样本信息太少而得不到充分训练。因此，当实际问题不能提供较多的训练样本时，必需设法减少样本维数，从而降低。（2）训练样本集的准备训练数据的准备工作是网络设计和训练的基础，数据选择的科学性以及数据表示的合理性对于网络设计具有极为重要的影响。数据准备工作包括原始数据的收集、数据分析、变量选择和数据预处理等诸多步骤，下面分几个方面介绍有关的知识。（3）输入输出的选择一个待建模系统的输入输出就是神经网络的输入输出变量。这些变量可能是事先确定的，也可能不够明确，需要进行一番筛选。一般来讲，输出量代表系统要实现的功能目标，其选择确定相对容易一些，
42、。输入量必须选择那些对输出影响大且能检测或提取的变量，此外还要求各输入变量之间互不相关或相关性很小，这是输入量选择的两条基本原则。如果对某个变量是否适合作网络输入没有把握，可分别训练含有和不含有该输入的两个网络，对其效果进行对比14。（4）输入量的提取与表示在很多情况下，神经网络的输入量无法直接获得，常常需要用信号处理与特征提取技术从原始数据中提取能反映其特征的若干特征参数作为网络的输入。提取的方法与解决的问题密切相关，下面仅讨论几种典型的情况。文字符号输入 在各类字符识别的应用中，均以字符为输入的原始对象。BP网络的输入层不能直接接受字符输入，必须先对其进行编码，变成网络可以接受的形式。曲线
43、输入 多层前馈网在模式识别类应用中常被用来识别各种设备输出的波形曲线，对于这类输入模式，常用的表示方法是提取波形在个区间分界点的值，以其作为网络输入向量的分量值。个输入分量的下标表示输入值在波形中的位置，因此分量的编号是严格有序的。函数自变量输入 用多层前馈网见建立系统的数学模型属于典型的非线形映射问题。一般系统已有大量输入输出数据对，建模的目的是提取其中隐含的映射规则，这类应用比较简单，一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。图象输入 当需要对物体的图象进行识别时，很少直接将每个像素点的灰度值作为网络的输入。因为图象的像素点常数以万计，不适合作为网络的输入，而且难以从中提取有价值的输入输出规律。
