《人工神经网络及其应用硕士.ppt》由会员分享，可在线阅读，更多相关《人工神经网络及其应用硕士.ppt（183页珍藏版）》请在三一办公上搜索。
1、第8章 人工神经网络及其应用,人工神经网络已在模式分类、机器视觉、机器听觉、智能计算、机器人控制、信号处理、组合优化问题求解、联想记忆、编码理论、医学诊断、金融决策和数据挖掘等领域获得了卓有成效的应用。,生物神经网络(Natural Neural Network,NNN):由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。人工神经网络(Artificial Neural Networks,ANN):模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。,第8章 人工神经网络及其应用,神经网络（Neu
2、ral Networks，NN）,神经网络方法：隐式的知识表示方法,人脑构造:皮层（cortex）中脑（midbrain）脑干（brainstem）小脑（cerebellum）人脑由1011 1014 个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。神经元约有1000种类型，每个神经元大约与103 104个其他神经元相连接，形成错综复杂而又灵活多变的神经网络。,人脑神经网络系统与计算机处理信息的比较,运行控制：计算机：有一个中央处理单元来控制所有的活动和对所有的信息进行存取操作；人脑神经系统：每个神经元只受与它相连接的一部分神经元的影
3、响。,第8章 人工神经网络及其应用,知识存储：计算机：知识静态地存储在编有地址的记忆单元中，新的信息破坏老的信息；人脑神经系统：知识存储在神经元之间的连接关系中，新的知识用来调整这种连接关系。,人脑神经网络系统与计算机处理信息的比较,第8章 人工神经网络及其应用,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法8.3 BP神经网络的应用8.4 Hopfield神经网络及其应用其他神经网络,8.1.1 神经元模型,1.生物神经元结构,（输入）,（输出）,轴突,树突,细胞体,突触,8.1.1 神经元模型,1.生物神经元结构,工作状态:兴奋状态：细胞膜电位 动
4、作电位的阈值 神经冲动 抑制状态：细胞膜电位 动作电位的阈值 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱。,8.1.1 神经元模型,2.人工神经元模型,-1,（突触）,（细胞体）,（阈值）,（神经冲动）,人工神经元 i 的模型图,8.1.1 神经元模型,2.人工神经元模型非线性激励函数（传输函数、输出变换函数）,（阶跃函数或硬极限函数）,（对称硬极限函数）,8.1.1 神经元模型,2.人工神经元模型非线性激励函数（传输函数、输出变换函数）,（S型函数或对数-S 形函数）,（双曲正切S形函数）,8.1.1 神经元模型,2.人工神经元模型非线性激励函数（传输函数、输出变换函数）
5、,（线性函数）,（高斯或径向基函数）,8.1.1 神经元模型,2.人工神经元模型非线性激励函数（传输函数、输出变换函数）,（饱和线性函数）,（对称饱和线性函数）,8.1.1 神经元模型,2.人工神经元模型,-1,（突触）,（细胞体）,（阈值）,（神经冲动）,+1,（偏置）,人工神经元 i 的模型图,人工神经元 i 的模型图,8.1.1 神经元模型,2.人工神经元模型,8.1.1 神经元模型,标准的统一的神经元模型：,工作过程:从各输入端接收输入信号 uj(j=1,2,n)根据连接权值求出所有输入的加权和 用非线性激励函数进行转换，得到输出,8.1.1 神经元模型,2.人工神经元模型,8.1 神
6、经元与神经网络,8.1.1 神经元模型8.1.2 单神经元学习规则8.1.3 人工神经网络,8.1.2 单神经元学习规则,单神经元的学习：调整单神经元的连接权，使输入输出具有需要的特性。单神经元的连接权修正公式：,8.1.2 单神经元学习规则,1.Hebb学习规则（1944）,当某一突触两端的神经元同步激活时，该连接的强度增强，反之减弱。,2.误差纠正学习规则（delta学习规则）,8.1.2 单神经元学习规则,3.竞争学习,以某种内部规则（与外部环境无关）确定竞争层获胜神经元，其输出为1，其它神经元输出为0，对获胜神经元与输入间的连接权值进行调整，其余不变。,8.1 神经元与神经网络,8.1
7、.1 神经元模型8.1.2 单神经元学习规则8.1.3 人工神经网络,8.1.3 人工神经网络,决定人工神经网络性能的3大要素：,神经元的特性；神经元之间相互连接的形式拓扑结构；为适应环境而改善性能的学习规则。,8.1.3 人工神经网络,1.神经网络的结构（1）前馈型（前向型）,BP神经网络,8.1.3 人工神经网络,1.神经网络的结构（2）反馈型,Hopfield神经网络,8.1.3 人工神经网络,2.神经网络的工作方式,同步（synchronous,或并行）方式：任一时刻神经网络中所有神经元同时调整状态；异步（asynchronous,或串行）方式：任一时刻只有一个神经元调整状态，而其它神
8、经元的状态保持不变。,8.1.3 人工神经网络,3.神经网络的学习方式,（1）监督学习（Supervised Learning,有教师学习）,常用学习规则：误差纠正学习规则,（2）非监督学习（Unsupervised Learning,无教师学习）,8.1.3 人工神经网络,3.神经网络的学习方式,常用学习规则：竞争学习规则 无监督的Hebb学习规则,例子：交叉口交通流预测,例子：交叉口交通流预测,Input：20个交通流数据,8.1.3 人工神经网络,3.神经网络的学习方式,（3）死记式学习：ANN的连接权值是根据某种特殊的记忆模式设计而成的。,常用学习规则：有监督的Hebb学习规则,8.1
9、.3 人工神经网络,（4）再励学习（强化学习或增强学习,Reinforcement Learning）,3.神经网络的学习方式,例子：机器人行动规划,8.1.3 人工神经网络,4.神经网络的发展概况,探索时期（开始于20世纪40年代）：1943年，麦克劳（W.S.McCullocn）和匹茨（）首次提出第一个神经网络模型M-P模型（描述脑神经细胞动作的数学模型），标志神经计算时代的开始。1949年，赫布（D.O.Hebb）在论著“The Organization of Behavior”中实现了对脑细胞之间相互影响的数学描述，提出了改变神经元连接强度的 Hebb学习规则。,8.1.3 人工神经网
10、络,4.神经网络的发展概况,第一次热潮时期：50年代末60年代初：1958年，罗森布拉特（F.Rosenblatt）提出了描述信息在人脑中存储和记忆的数学模型感知器模型（Perceptron），第一次把神经网络研究从纯理论的探讨推向工程实现。1959年，威德罗(B.Widrow)等提出自适应线性元件（Adaline）网络，通过训练后可用于抵消通信中的回波和噪声。1960年，他和 M.Hoff 提出LMS（Least Mean Square 最小方差）算法的学习规则。,8.1.3 人工神经网络,4.神经网络的发展概况,低潮时期：60年代末70年代：1969年，明斯基（M.Minsky）等在Per
11、ceptron中对感知器功能得出悲观结论。1969年，S.Grossberg 提出ART（自适应谐振理论）神经网络。1972年，T.Kohonen 和 J.Anderson 分别提出能完成记忆的新型神经网络。,8.1.3 人工神经网络,4.神经网络的发展概况,第二次热潮时期：80年代至今 1982年-1986年，霍普菲尔德（）陆续提出离散的和连续的全互连神经网络模型，并成功求解旅行商问题（TSP）；1986年，鲁姆尔哈特(Rumelhart)和麦克劳（McCelland）等在Parallel Distributed Processing中提出反向传播学习算法（BP算法）。1987年6月，首届国
12、际神经网络学术会议在美国圣地亚哥召开，成立了国际神经网络学会（INNS）.,8.1.3 人工神经网络,4.神经网络的发展概况,第二次热潮时期：80年代至今 美国国防部和航空航天局自1989年以来用于资助神经网络研究的经费大约七千万美元，国防高级研究规划局的投资一亿美元。欧共体1991年投资两千多万美元支持神经网络研究的GALATEA计划。日本1991开始“软逻辑”的第六代机的研制，投资八亿美元，包括神经计算、模糊计算等信息处理技术。我国实施了攀登计划，支持神经网络研究。,8.1.3 人工神经网络,4.神经网络的发展概况,第二次热潮时期：80年代至今 1990年IBM公司推出AS400工作站，提
13、供了一个神经网络仿真开发环境;Intel公司的80170N可训练模拟神经网络芯片；Bell实验室推出了用于高速字符识别的模拟神经网络处理器；西门子公司推出了MA16神经信号处理器；日本三菱电机公司推出了集成400个神经元和4万个神经键的模拟神经芯片；美国滨州大学推出了通用神经计算机；我国中科院半导体研究所1995年研制成功基于模拟数字混合的神经网络芯片。,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法8.3 BP神经网络的应用8.4 Hopfield神经网络及其应用其他神经网络,8.2 BP神经网络及其学习算法,8.2.1 BP神经网络（Back-pr
14、opagation Neural Network）模型8.2.2 BP学习算法,8.2.1 BP神经网络模型,1.BP 网络结构:2-4-1,魔 盒,8.2.1 BP神经网络模型,2.输入输出变换关系,第1层（输入层）神 经元输出,第2层（隐层）神经元输出,第2层第1个神经元,8.2.1 BP神经网络模型,2.输入输出变换关系,第1层（输入层）神 经元输出,第2层（隐层）神经元输出,8.2.1 BP神经网络模型,2.输入输出变换关系,第3层（输出层）神 经元输出,第2层（隐层）神经元输出,8.2.1 BP神经网络模型,2.输入输出变换关系,8.2.1 BP神经网络模型,一般 BP 网络结构,8
15、.2.1 BP神经网络模型,输入输出变换关系,8.2.1 BP神经网络模型,3.工作过程,第一阶段或网络训练阶段：N组输入输出训练样本：x(l)=x1,x2T,d(l)=d1T,l=1,2,N 对网络的连接权进行学习和调整，以使该网络实现给定样本的输入输出映射关系。第二阶段或称工作阶段：把实验数据或实际数据输入到网络，网络在误差范围内预测计算出结果。,8.2 BP神经网络及其学习算法,8.2.1 BP神经网络模型8.2.2 BP学习算法,1）是否存在一个BP神经网络能 够逼近给定的样本或者函数。,8.2.2 BP学习算法,两个问题：,2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的
16、样本相同。BP学习算法最早由Werbos在1974年提出，鲁梅尔哈特（D.Rumelhart）等在1985年发展BP学习算法，实现了Minsky多层感知器的设想。,8.2.2 BP学习算法,目标函数：,约束条件：,连接权值的修正量：,1.基本思想：通过反向学习过程使误差最小。,8.2.2 BP学习算法,正向传播：输入信息由输入层传至隐层，最终在输出层输出 反向传播：修改各层神经元的权值，使误差信号最小,2.学习过程,8.2.2 BP学习算法,初始化：对所有连接权和阈值赋以随机任意小值；从N组输入输出样本中取一组样本：x（1）=x1,xp1T,d(1)=d1,dpm T,把输入信息 x(1)=x
17、1,xp1T输入BP网络中 正向传播：计算各层节点的输出 计算网络的实际输出与期望输出的误差：,3.BP算法的计算机实现流程,8.2.2 BP学习算法,反向传播：从输出层方向计算到第一个隐层，按连接权值修正公式向减小误差方向调整网络的各个连接权值 让 t+1 t，重复，直到 N 组输入输出样本的误差达到要求时为止。,3.BP算法的计算机实现流程,BP学习算法的程序框图,8.2.2 BP学习算法,（1）隐层数、隐层神经元数、传递函数的类型、学习率、步长等网络结构及训练参数的确定：目前尚无理论指导。网络结构的选择 多层BP网络可用来逼近几乎任一个函数，只要在隐层中有足够的神经元。但通常并不能说，多
18、少层或多少神经元就足以得到足够的性能。,BP算法设计中应注意的问题：,8.2.2 BP学习算法,翻页,网络结构的选择 网络要逼近的函数：BP网络：1-3-1，隐层为对数S型函数，输出层为线性函数,i=1,i=2,i=4,i=8,翻页,网络结构的选择 网络要逼近的函数：BP网络：1-y-1，隐层为对数S型函数，输出层为线性函数,1-2-1,1-3-1,1-4-1,1-5-1,翻页,BP算法设计中应注意的问题：,8.2.2 BP学习算法,推广：网络要逼近的函数：BP网络：1-y-1，隐层为对数S型函数，输出层为线性函数,一个网络要能被推广，应当具有比训练集中的数据点少的参数。,1-2-1,1-9-
19、1,只要一个更小的网络能工作，就不要使用更大的网络（Ockham的“剃刀”）。,翻页,（1）隐层数、隐层神经元数、传递函数的类型、学习率、步长等网络结构及训练参数的确定：目前尚无理论指导。（2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。,BP算法设计中应注意的问题：,8.2.2 BP学习算法,翻页,BP算法设计中应注意的问题：,8.2.2 BP学习算法,收敛到局部极小值,收敛到全局极小值,收敛性：网络要逼近的函数：BP网络：1-3-1，隐层为对数S型函数，输出层为线性函数,多试几个不同的初始条件以保证得到最优的解。,原函数曲线,翻页,（1）隐层数、隐层神经元数、传递函数的
20、类型、学习率、步长等网络结构及训练参数的确定：目前尚无理论指导。（2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。（3）训练数据预处理：线性的特征比例变换，将所有的特征变换到0，1或者-1，1区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。（4）后处理过程：应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。,BP算法设计中应注意的问题：,8.2.2 BP学习算法,翻页,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法8.3 BP神经网络的应用8.4 Hopfield神经网络及其应用
21、其他神经网络,翻页,8.3 BP神经网络的应用,8.3.1 BP神经网络在模式识别中的应用8.3.2 BP神经网络在软测量中的应用,翻页,BP网络模式识别实例,最大学习次数：1000 学习率：0.50 连接权偏置的初值：-1,1,训练样本,8.3.1 BP神经网络在模式识别中的应用,3-6-2,翻页,最大学习次数：1000 学习率：0.50 连接权偏置的初值：-1,1,翻页,W2-12.6855-5.2925 0.37711;-13.3534-0.5828-1.9078;7.5246-7.2837-3.9754;-2.0382 7.8177-5.443;-8.834 10.9063-4.716
22、3;5.6275 3.3138 8.3693,W3-4.0074-18.3528 13.6751 1.3435-0.6675 2.8518;4.0682 11.6072-17.1094-10.7699-6.6564-1.9721,b2 7.828;7.4493;-1.9512;1.3978;-3.15;5.7068,b3=0.71523;4.0313,翻页,测试样本,训练样本,翻页,8.3.1 BP神经网络在模式识别中的应用,每个数字:97的点阵，黑色像素为1，非黑色像素为0。位映射由左上角开始向下直到网格的整个一列，然后重复其他列。选择BP网络结构为63-6-9。97个输入结点，对应上述网格
23、的映射。9个输出结点对应10种分类。使用的学习步长为0.3。训练1000个周期，如果输出结点的值大于0.9，则取为1，如果输出结点的值小于0.1，则取为0。,BP网络数字识别,翻页,测试结果表明：除了8以外，所有被测的数字都能够被正确地识别。对于数字8，神经网络的第6个结点的输出值为1，第8个结点的输出值为0.49，表明第8个样本是模糊的，可能是数字6，也可能是数字8，但也不完全确信是两者之一。,8.3.1 BP神经网络在模式识别中的应用,当训练成功后，对如图所示测试数据进行测试。测试数据都有一个或者多个位丢失。,训练数据,测试数据,翻页,准备样本,训练样本集：美国邮政服务（USPS）数据库,
24、8.3.1 BP神经网络在模式识别中的应用,邮政编码识别,翻页,抽取样本的特征,利用K-L变换将1616点阵的图像变换为维度为20的特征向量。,输入层（20）,隐层（20-16-8）,输出层（1）,邮政编码识别,8.3.1 BP神经网络在模式识别中的应用,构造了10个 输出层使用purelin函数，隐层使用 logsig函数 的BP神经网络:,翻页,图像采集,利用摄像头采集大小适中、亮度适中的信封图像,8.3.1 BP神经网络在模式识别中的应用,邮政编码识别,翻页,邮政编码的定位,利用邮政编码边框的颜色信息，分割出邮政编码边框图像,8.3.1 BP神经网络在模式识别中的应用,邮政编码识别,翻页
25、,邮政编码的定位,轮廓提取，并使用Hough变换，检测出邮政编码的具体位置,8.3.1 BP神经网络在模式识别中的应用,邮政编码识别,翻页,邮政编码图像的提取,提取出邮政编码图像，并根据图像倾角，进行姿势校正,8.3.1 BP神经网络在模式识别中的应用,将图像灰度化,邮政编码识别,翻页,笔画粗细调整,将图像中的文字笔画粗细做调整,8.3.1 BP神经网络在模式识别中的应用,将图像标准化为16X16大小，并识别,邮政编码识别,翻页,8.3.1 BP神经网络在模式识别中的应用,邮政编码识别,翻页,8.3.1 BP神经网络在模式识别中的应用,邮政编码识别,翻页,8.3 BP神经网络的应用,8.3.1
26、 BP神经网络在模式识别中的应用8.3.2 BP神经网络在软测量中的应用,翻页,8.3.2 BP神经网络在软测量中的应用,BP网络的逼近,采样时间：1ms 学习率：0.50 连接权的初值：-1,1,翻页,翻页,软测量根据可以检测的过程变量，又称辅助变量（secondary variable),利用计算机语言编制软件，从而推断出某些难以检测或根本无法检测的工艺参数，即主导变量（primary variable)。软测量技术又称软仪表（soft sensor）技术，开始于20世纪70年代Brosillow提出的推断控制（inferential control),20世纪80年代中后期被作为一个概括
27、性的科学术语提出。1992年国际过程控制专家在Automatica上发表的“Contemplative Stance for Chemical Process Control”，指出软测量技术是今后过程控制的主要发展方向之一。,8.3.2 BP神经网络在软测量中的应用,翻页,软测量的基本过程：,主导变量：被估计的变量。辅助变量：与被估计变量相关的一组可测变量。,8.3.2 BP神经网络在软测量中的应用,翻页,软测量系统的设计：辅助变量的选择：变量类型、变量数量和检测点位置的选择。数据采集与处理。软测量模型的建立：通过辅助变量来获得对主导变量的最佳估计。,8.3.2 BP神经网络在软测量中的应用
28、,翻页,序批式活性污泥法（SBR）：广泛使用的污水监测和处理方法,8.3.2 BP神经网络在软测量中的应用,污水处理过程的神经网络软测量模型,水质好坏的重要指标：BOD(生物化学需氧量）、COD（化学需氧量）、N 和 P。,翻页,BOD(生物化学需氧量）、COD（化学需氧量）、N 和 P：为软测量模型的主导变量。ORP（溶液氧化还原电位）、DO（溶解氧）、PH和MLSS（污泥浓度）：辅助变量。三层BP网络：,8.3.2 BP神经网络在软测量中的应用,翻页,8.3 BP神经网络的应用,BP网络的特点及主要优缺点,BP网络：多层前向网络（输入层、隐层、输出层）；连接权值：通过Delta学习算法进行
29、修正；神经元传输函数：S形函数、双曲正切S型函数、线性函数；学习算法：正向传播、反向传播；层与层的连接是单向的，信息的传播是双向的。,1.特点,翻页,8.3 BP神经网络的应用,BP网络的特点及主要优缺点,很好的逼近特性；具有较强的泛化能力；具有较好的容错性。,2.优点,收敛速度慢；局部极值；难以确定隐层和隐层节点的数目。,3.缺点,输入层（1024）,隐层（16）,输出层（1）,翻页,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法8.3 BP神经网络的应用8.4 Hopfield神经网络及其应用其他神经网络,翻页,8.4 Hopfield神经网络及其
30、应用,8.4.1 离散型Hopfield神经网络8.4.2 连续型Hopfield神经网络及其VLSI实现8.4.3 随机神经网络8.4.4 混沌神经网络,翻页,(Discrete Hopfield Neural Networks,DHNN),8.4.1 离散Hopfield 神经网络,翻页,8.4.1 离散Hopfield 神经网络,举例,传感器输出：外形 质地 重量T,翻页,8.4.1 离散Hopfield 神经网络,举例,样本:,具体怎样实现联想记忆？,翻页,离散Hopfield神经网络结构图,1,2,(状态）,(阈值）,（连接权值）,8.4.1 离散Hopfield 神经网络,1.离散
31、Hopfield神经网络模型网络结构：,翻页,注：,或,8.4.1 离散Hopfield 神经网络,1.离散Hopfield神经网络模型输入输出关系：,-1,翻页,（双极硬限器）,（二值硬限器）,工作方式：,异步（串行）方式:,同步（并行）方式:,8.4.1 离散Hopfield 神经网络,1.离散Hopfield神经网络模型,翻页,（异步或同步方式）,初态：,稳态：,8.4.1 离散Hopfield 神经网络,1.离散Hopfield神经网络模型工作过程：,翻页,（异步或同步方式）,联 想,8.4.1 离散Hopfield 神经网络,1.离散Hopfield神经网络模型工作过程：,翻页,稳定
32、性定义：若从某一时刻开始，网络中所有神经元的状态不再改变，即 x=f(Wx-)，则称该网络是稳定的，x 为网络的稳定点或吸引子。,8.4.1 离散Hopfield 神经网络,2.网络的稳定性,翻页,稳定性定理证明：1983年，科恩（Cohen）、葛劳斯伯格（S.Grossberg）稳定性定理（Hopfield）,8.4.1 离散Hopfield 神经网络,2.网络的稳定性,并行（同步方式）稳定性 W：非负定对称阵,串行（异步方式）稳定性 W：对称阵,计算能量函数：,翻页,（1）,异步方式收敛:,8.4.1 离散Hopfield 神经网络,3.连接权设计,样本 吸引子,Hebb规则见8.1.2节
33、,翻页,m个样本,（2）或,异步方式收敛:,8.4.1 离散Hopfield 神经网络,3.连接权设计,样本 吸引子,翻页,m个样本,DHNN是通过有监督的Hebb学习规则来调整神经元之间的连接权，从而获得各样本间的联系，其学习方式为死记式的学习；样本是存储在连接权上，新样本不会破坏老样本，只是调整连接权;各神经元之间的连接共同表现为DHNN的联想记忆功能。,异步方式收敛:,8.4.1 离散Hopfield 神经网络,3.连接权设计,m个样本 吸引子,翻页,8.4.1 离散Hopfield 神经网络,举例,样本:,具体怎样实现联想记忆？,翻页,8.4.1 离散Hopfield 神经网络,1）设
34、计DHNN结构,样本:,注：,输出变换函数:,翻页,3神经元的DHNN结构图,样本:,8.4.1 离散Hopfield 神经网络,1）设计DHNN结构,输出变换函数:,翻页,注：,8.4.1 离散Hopfield 神经网络,举例,样本:,具体怎样实现联想记忆？,翻页,样本:,连接权：,2）设计连接权矩阵,8.4.1 离散Hopfield 神经网络,翻页,样本:,连接权：,2）设计连接权矩阵,8.4.1 离散Hopfield 神经网络,T,0,1,0,),2,(,=,x,翻页,样本:,连接权：,2）设计连接权矩阵,8.4.1 离散Hopfield 神经网络,T,0,1,0,),2,(,=,x,翻
35、页,样本:,连接权：,2）设计连接权矩阵,8.4.1 离散Hopfield 神经网络,T,0,1,0,),2,(,=,x,翻页,8.4.1 离散Hopfield 神经网络,举例,样本:,具体怎样实现联想记忆？,翻页,8.4.1 离散Hopfield 神经网络,输入：1 1 1T,输出?,3）测试,翻页,3）测试,调整次序：,初始状态：,测试用例：,样本：,8.4.1 离散Hopfield 神经网络,翻页,输出变换函数:,注：,调整次序：213,k=0,8.4.1 离散Hopfield 神经网络,翻页,k=1,输出变换函数:,注：,k=1,调整次序：213,8.4.1 离散Hopfield 神经
36、网络,翻页,k=2,输出变换函数:,注：,k=2,调整次序：213,8.4.1 离散Hopfield 神经网络,翻页,k=3,输出变换函数:,注：,k=2,k=3,k=0,k=1,样本：,调整次序：,2 1 3,2 1 3,2 1 3,2 1 3,8.4.1 离散Hopfield 神经网络,翻页,输出变换函数:,注：,8.4.1 离散Hopfield 神经网络,4.举例,输入：1 1 1T,输出：1 0 1T,翻页,8.4 Hopfield神经网络及其应用,8.4.1 离散型Hopfield神经网络8.4.2 连续型Hopfield神经网络及其VLSI实现8.4.3 随机神经网络8.4.4 混
37、沌神经网络,翻页,8.4.2 连续型Hopfield神经网络及其VLSI实现,连续Hopfield神经网络模型网络的稳定性应用举例,翻页,(Continuous Hopfield Neural Networks,CHNN),连续Hopfield神经网络结构图,8.4.2 连续型Hopfield神经网络及其VLSI实现,1.连续Hopfield神经网络模型,翻页,8.4.2 连续型Hopfield神经网络及其VLSI实现,1.连续Hopfield神经网络模型,翻页,连续Hopfield神经网络电路图,细胞膜的传递电阻,输入电容,非线性特性,膜电位的状态,输出状态,电导1/Rij：神经元之间的突触
38、特性。,外部输入电流：用于设置兴奋等级。,8.4.2 连续型Hopfield神经网络及其VLSI实现,1.连续Hopfield神经网络模型,翻页,工作方式：同步（并行）方式。,8.4.2 连续型Hopfield神经网络及其VLSI实现,2.网络的稳定性,计算能量函数：,定理：对于连续型 Hopfield 神经网络，若 为单调递增的连续函数，Ci 0,wij=wji,则；当且仅当,翻页,8.4.2 连续型Hopfield神经网络及其VLSI实现,3.应用举例：,1985年，霍普菲尔德和塔克（D.W.Tank）应用连续Hopfield 神经网络求解旅行商问题（Travelling Salesman
39、 Problem，TSP）获得成功。,旅行商问题（TSP）：典型的组合优化问题 有 n 个城市，城市间的距离或旅行成本已知，求合理的路线使每个城市都访问一次，且总路径最短（或者总成本最少）。n个城市存在的路径数：,翻页,8.4.2 连续型Hopfield神经网络及其VLSI实现,3.应用举例：,旅行商问题（TSP）：典型的组合优化问题 n 个城市存在的路径数：用穷举法，Cray 计算机的计算速度：108次/秒,1985年，Hopfield 和Tank 用Hopfield网络求解 n30 的TSP问题，0.2 s 就得到次优解。,翻页,8.4.2 连续型Hopfield神经网络及其VLSI实现,
40、3.应用举例：,连续Hopfiled神经网络求解约束优化问题的基本思路：,翻页,8.4.2 连续型Hopfield神经网络及其VLSI实现,3.应用举例：,连续Hopfield神经网络（CHNN）求解约束优化问题的步骤：（1）选择合适的问题表示方法，使 CHNN 的输出与优化问题的可行解彼此对应；（2）用罚函数法写出优化问题的目标函数；（3）令目标函数和能量函数相对应，确定CHNN 的连接权和偏置电流，以及动态方程；（4）给定CHNN的初始状态和参数等，使 CHNN 按动态方程运行，直至达到稳定状态，并把它解释为问题的解；,翻页,5个城市的TSP：,神经元数目：25,翻页,C3 C1 C5 C
41、2 C4 C3,TSP的问题描述：,用罚函数法，写出优化问题的目标函数：,能量函数：,翻页,令E 与目标函数 J 相对应，确定连接权值、偏置电流和CHNN 的动态方程：,翻页,设置合适的A、B、C、D和 CHNN 的初始状态，按CHNN动态方程演化直到收敛。,翻页,1,2,(状态）,(阈值）,（连接权值）,翻页,神经网络优化计算目前存在的问题：（1）参数难以确定；（2）能量函数存在大量局部极小值，难以保证最优解。,翻页,8.4 Hopfield神经网络及其应用,8.4.1 离散型Hopfield神经网络8.4.2 连续型Hopfield神经网络及其VLSI实现8.4.3 随机神经网络8.4.4
42、 混沌神经网络,翻页,8.4.3 随机神经网络,Hopfield神经网络中，神经元状态为1是根据其净输入是否大于阈值而确定的，是确定性的。随机神经网络中，神经元状态为1是随机的，服从一定的概率分布。例如，服从玻尔兹曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，从而构成玻尔兹曼机、高斯机、柯西机等随机机。,翻页,1.Boltzmann机 1985年，加拿大多伦多大学教授欣顿(Hinton)等人借助统计物理学的概念和方法，提出了Boltzmann机神经网络模型。模拟退火算法（N.Metropolis等，1953）：把某类优化问题的求解过程与统计力学中的热平衡问题进
43、行对比，通过模拟高温物体退火过程的方法，来找到优化物体的全局最优或近似全局最优解。在物体退火过程中，其能量转移服从Boltzmann分布：,8.4.3 随机神经网络,翻页,系统处于低能E的概率,系统温度,Boltzmann常数,1.Boltzmann机 Boltzmann机是离散Hopfield神经网络的一种变型，通过对离散Hopfield神经网络加以扰动，使其以概率的形式表达，而网络的模型方程不变，只是输出值类似于Boltzmann分布以概率分布取值。Boltzmann机是按Boltzmann概率分布动作的神经网络。,8.4.3 随机神经网络,翻页,8.4.3 随机神经网络,1.Boltzm
44、ann机离散Hopfield神经网络神经元i 的状态：神经元i 的净输入：神经元I 输出状态值为0和1时的概率：,翻页,8.4.3 随机神经网络,1.Boltzmann机 Boltzmann的能量函数：,神经元 i 状态转换时网络能量的变化：,神经元i 改变为状态“1”的概率：,翻页,2.高斯机,8.4.3 随机神经网络,:均值为0的高斯随机变量（白噪声），其方差为,3.柯西机,:柯西随机变量（有色噪声）,翻页,8.4 Hopfield神经网络及其应用,8.4.1 离散型Hopfield神经网络8.4.2 连续型Hopfield神经网络及其VLSI实现8.4.3 随机神经网络8.4.4 混沌神
45、经网络,翻页,8.4.4 混沌神经网络,1.混沌 混沌:自然界中一种较为普遍的非线性现象，其行为看似混乱复杂且类似随机，却存在精致的内在规律性。混沌的性质：（1）随机性：类似随机变量的杂乱表现；（2）遍历性：不重复地历经一定范围内的所有状态；（3）规律性：由确定性的迭代式产生。,翻页,1.混沌混沌学的研究热潮开始于20世纪70年代初期。1963年，E.N.Lorenz在分析气候数据时发现：初值十分接近的两条曲线的最终结果会相差很大，从而获得了混沌的第一个例子；1975年，Li-Yorke的论文“周期3意味着混沌”使“混沌”一词首先出现在科技文献中。混沌的发现，对科学的发展具有深远的影响。,8.
46、4.4 混沌神经网络,翻页,8.4.4 混沌神经网络,2.混沌神经元 混沌神经元（1987年，Freeman）：构造混沌神经网络 的基本单位。混沌神经元模型：,翻页,8.4.4 混沌神经网络,3.混沌神经网络 1990年，Aihara等提出了第一个混沌神经网络模型(Chaotic Neural Network，CNN)。1991年，Inoue等利用两个混沌振荡子耦合成一个神经元的方法，构造出一个混沌神经计算机.1992年，Nozawa基于欧拉离散化的Hopfield神经网络，通过增加一个大的自反馈项，得到了一个与Aihara等提出的类似的CNN模型。,翻页,8.4.4 混沌神经网络,3.混沌神
47、经网络1）基于模拟退火策略的自抑制混沌神经网络 1995年，Chen等提出的暂态混沌神经网络(Transient Chaotic Neural Network，TCNN)：,翻页,8.4.4 混沌神经网络,3.混沌神经网络1）基于模拟退火策略的自抑制混沌神经网络 具有暂态混沌特性；能演化到一个稳定状态；搜索区域为一分形结构；具有混沌退火机制；一种广义的混沌神经网络。可求解0-1问题，也可求解连续非线性优化问题。,翻页,非线性函数,翻页,8.4.4 混沌神经网络,3.混沌神经网络2）基于加大时间步长的混沌神经网络 CHNN的欧拉离散化：1998年，Wang和Smith采用加大时间步长产生混沌：,
48、翻页,8.4.4 混沌神经网络,3.混沌神经网络3）引入噪声的混沌神经网络 1995年，Hayakawa等的混沌神经网络：,翻页,第8章 人工神经网络及其应用,8.1 神经元与神经网络 8.2 BP神经网络及其学习算法8.3 BP神经网络的应用8.4 Hopfield神经网络及其应用其他神经网络,翻页,翻页,习 题,8.1 用BP网络逼近一个非线性函数：要求：1）设计BP网络的具体结构,并画出其结构图；2）试编制BP学习算法的计算程序。8.2 用Hopfield神经网络求解8.1中的非线性函数的最小值。要求：1）设计Hopfield神经网络的具体结构，并画出其结构图；2）试编制Hopfield
49、神经网络计算程序。,翻页,THE END,Artificial Intelligence Principles and Applications,8.1.1 神经元模型,1.生物神经元结构,（输入）,（输出）,神经冲动,8.1.3 人工神经网络,1.神经网络的结构（1）前馈型（前向型）,BP神经网络,8.2 BP神经网络及其学习算法,BP网络数字识别,0,1,2,3,4,5,6,7,8,9,输入层（1024）,隐层（16）,输出层（1）,训练样本：测试样本：,输入：输入图像像素矩阵（3232）按列抽取而成的一维列向量；期望输出：09 隐层的变换函数：双曲正切S型函数 输出层的变换函数：线性函数
50、,3,3,准备样本,8.2 BP神经网络及其学习算法,训练样本集：美国邮政服务（USPS）数据库的特征图,BP网络数字识别,0,1,2,3,4,5,6,7,8,9,例子：机器人行动规划,8.3.2 BP神经网络在软测量中的应用,BP网络的逼近,1.离散Hopfield神经网络模型网络结构：,3神经元的DHNN结构图,1,2,(状态）,(阈值）,（连接权值）,8.4.1 离散Hopfield 神经网络,翻页,3神经元的DHNN结构图,1.离散Hopfield神经网络模型网络结构：,8.4.1 离散Hopfield 神经网络,翻页,1.离散Hopfield神经网络模型网络结构：,3神经元的DHNN
