神经网络第四章.ppt

《神经网络第四章.ppt》由会员分享，可在线阅读，更多相关《神经网络第四章.ppt（172页珍藏版）》请在三一办公上搜索。

1、第四章 反馈式神经网络,4.1 Hopfield神经网络4.2 双向异联想记忆网络4.3 汉明(Hamming)网络,4.1 Hopfield神经网络,美国加州工学院物理学家J.J.Hopfleld于1982年 和1984年分别提出了两种神经网络模型，简称 HNN。离散的随机模型（离散Hopfleld网络）确定论模型（连续Hopfleld网络）,HNN模型是目前得到了最充分研究和广泛应用的反馈式神经元网络模型。Hopfield将“能量函数”(也称李雅普诺夫函数)的概念引入分析一类人工神经元网络的稳定过程，使网络运行的稳定性判断有了可靠和简便的依据。开辟了人工神经网络应用于联想记忆和优化计算等领

2、域的范围。由于Hopfield网络与电子电路存在明显的对应关系，所以使得这种网络易于理解和便于实现。显然，为神经网络计算机的研究奠定了基础。,Hopfield网络的基本思想,Hopfield网络作为一种全连接型神经网络曾经在人工神经网络研究发展历程中起过唤起希望、开辟研究新途径的作用。它用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。,1985年Hopfield和DWTank用这种网络模型成功地求解了优化组合问题中的具有典型意义的旅行商(TSP)问题，在所有随机选择的路径中找到了其中十万分之一的最优路径，这在当时是神经网络研究工作中所取得的突破性进

3、展。Hopfield是从物理学磁场理论中受到启发，结合生物神经网络的思维机理而提出这一网络模型的。,磁场也是种具有记忆功能的物质，人们很早就利用磁场的记忆功能创造出许多很有价值的产品，如目前广泛使用的计算机磁盘。由物理学知识可知:在磁性材料中游动着大量的磁旋，正是由于这些带有方向的磁旋的相互作用，才产生了磁场本身所具有的各种性质。在永久磁铁中，由于所有的磁旋都朝向一个方向，构成了磁铁的N极和S极的两极特性。,Hopfield网络的基本思想:用人工神经元模拟的磁旋，用神经元之间的连接 权模拟磁场中磁场中磁旋的相互作用；用各神经元的“激活”和“抑制”两种状态，模拟磁场中磁旋的上、下两个方向，构成一

4、个具有记忆功能的神经网络系统；引用物理学中有关能量的概念，用“计算能量函数”(ComPutational Energy Function)来评价和指导整个网络的记忆功能。,磁场与神经网络的对照示意图,Hopfield网络的结构和算法,离散型Hopfield网络结构如图。,Hopfield为一层结构的反馈网络，能处理双极型离散数据,即输入 及二进制数据 当网络经过训练后，可以认为网络处于等待工作状态。,对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络输出即网络的下一状态；然后，这个输出状态通过反馈回送到网络的输入端，作为网络下一阶段运行的输入信号，而这个输入信

5、号可能与初始输入信号不同，由这个新的输入又可得到下步的输出，这个输出也可能与上一步的输出不同；,如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络是稳定的，那么，随着许多次反馈运行，网络状态的变化减少，直到后来不再变化达到稳态。这时，在网络的输出端可以得到稳定的输出。,这是一个只有四个神经元的离散型Hopfield网络。,其中每个神经元只能取“1”，或“0”两个状态。设网络有n个神经元，则各个神经元的状态可用向量U表示：U(u1，u2，,un)其中，ui1或0(i1，2，n)Hopfield网络的各个神经元都是相互连接的，即每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同

6、时每个神经元又都接收所有其它神经元传递过来的信息。,特别值得注意的是，由于Hopfield网络的这种结构特征，对于每一个神经元来说、自己输出的信号经过其它神经元又反馈回自己，所以也可以认为Hopfield网络是一种反馈型神经网络。其它形式的Hopfield网络结构：,对于Hopfield网络已有定理证明：当网络满足以下 两个条件时，Hopfield学习算法总是收敛的。(1)网络的连接权矩阵无自连接且具有对称性，即 这一假设条件虽然不符合生物神经网络的实际情况(生物神经元之间连接强度通常是不对称的)。但是却与磁场中各磁旋的相互作用情况相一致。,（2）网络中各神经元以非同步或串行方式，依据 运行规

7、则改变其状态，即各神经元按随机选 取方式，依据运行规则改变状态；且当某个 神经元改变状态时其它所有神经元保持原 状态不变。这一点符合生物神经网络的情况。,(1)串行(异步)方式：任一时刻只有一个单元改变状态，其余单元不 变(动作顺序可以随机选择或按某种确定顺序选 择)。(2)并行(同步)方式：某一时刻所有神经元同时改变状态(常称这种工 作方式的网络为Litt1e模型)。,Hopfield网络运行规则,神经网络主要有两种运行方式：一种是前面介绍过的学习运行方式，即通过对训练模式的学习，调整连接权达到模式记忆的目的；另一种就是下面将要介绍的工作运行方式。在这种运行方式中，各连接权值是固定的，只是通

8、过按一定规则的计算，更新网络的状态，以求达到网络的稳定状态。,图是Hopfield网络中某个神经元的结构图。设网络由n个这样的神经元构成。时刻t第i个神经元的输出为：,上式表明：当所有其它神经元输出的加权总和超过第i个神经元的输出阈值时，此神经元被“激活”、否则将受到”抑制”。这里特别应该注意的是，改变状态的神经元ui，并不是按顺序进行的，而是按随机的方式选取的。,下面将Hopfield工作运行规则总结如下：(1)从网络中随机选取一个神经元ui；(2)求所选中的神经元ui的所有输入的加权总和；(3)计算ui的第t+1时刻的输出值，即,(4)ui以外的所有神经元输出保持不变(5)返回到第一步，直

9、至网络进如稳定状态。,Hopfield网络是一种具有反馈性质的网络，而反馈网络的一个重要特点就是它具有稳定状态，也称为吸引子。那么Hopfield网络的稳定状态是怎样的呢?当网络结构满足前面所指出的两个条件时，按上述工作运行规则反复更新状态，当更新进行到一定程度之后，我们会发现无论再怎样更新下去，网络各神经元的输出状态不再改变，这就是Hopfield网络的稳定状态。,用数学表示为 一般情况下，一个Hopfield网络必须经过多次反复更新才能达到稳定状态。,网络计算能量函数与网络收敛,从Hopfoeld网络工作运行规则可以看出，网络中某个神经元t时刻的输出状态，通过其它神经元间接地与自己的t-1

10、时刻的输出状态发生联系。这一特性从数学的观点看，网络的状态变化可用差分方程表征；,从系统动力学的观点看，此时的网络已不象误差反向传播那样只是非线性映射的网络，而是一个反馈动力学系统。准确地说是一个多输入、多输出、带阈值的二态非线性动力学系统。,一个抽象的动力学系统，与一个具有实际物理意义的动力学系统比较，抽象系统的动态过程必定是使某个与实际系统形式上一致的“能量函数”减小的过程。Hopfie1d网络也同样如此。在满足一定的参数条件下，某种“能量函数”的能量在网络运行过程中不断地降低最后趋于稳定的平衡状态。,设t时刻网络的状态用n个神经元的输出向量U(t)表示：设每个神经元只有“1”或“0”两种

11、状态，所以n个神经元共有2n个组合状态，即网络具有2n 种状态。从几何学的角度看，这2n 种状态正好对应一个n维超立方体的各个顶点。以n3为例，一个立方体的八个顶点正好对应网络的八种状态。如图,网络的能量函数可定义为网络状态的二次函数：上式的能量函数巳不是物理学意义上的能量函数，而是在表达形式上与物理意义上的能量概念一致，表征网络状态的变化趋势，并可依据Hopfield工作运行规则不断进行状态变化，最终能够达到某个极小值的目标函数。所谓网络的收敛，就是指能量函数达到极小值。,下面证明，按照Hopfield工作运行规则，改变网络状态，能量函数式将单调减小。由上式可知，对应第i个神经元的能量函数：

12、则由时刻t至时刻t+1的能量Ei的变化量Ei 为,由Hopfield网络工作运行规则可知：当Hi(t)0时，方括号中的值大于或等于零，故 Ei 0 当Hi(t)0时，方括号中的值小于或等于零，故 Ei 0 总之，Ei 0。因为所有神经元都是按同一个工作运行规则进行状态更新的，所以有 E 0，即 E（t+1）E(t)上式说明：随着网络状态的更新，网络能量函数是单调递减的。,图是Hopfield网络能量函数的示意图，为简单起见，假设网络的状态是一维的。横轴为网络状态，纵轴为网络能量函数。,当网络的状态随时间发生变化时，网络能量沿其减小的方向变化，最后落入能量的极小点。一旦能量落入某个极小点之后，按

13、Hopfield工作运行规则，网络能量函数将会“冻结”在那里。也就是说网络不见得一定收敛到全局的最小点，这是Hopfield网络的一个很大缺陷。但尽管如此，由以上分析可知，Hopfield网络已具有了寻找能量函数极小点的功能，这就为网络的模式记忆打下了基础。,为更深理解Hopfield网络的收敛过程，下面举一个具有四个神经元的Hopfield网络的实例，如图所示。因每个神经元只有“0”、“1”两种状态，故四个神经元共有24=16种状态组合，也就是说，函数共有16种状态，分别用16进制数1F表示。,分别让网络从0，l，2，F状态开始变化，每次共进行30回学习，观察网络状态变化的次序及网络的收敛情

14、况。图中，左边：内分别表示网络的初始状态和对应的网络能量，中间部分表示网络状态在30次学习过程中的变化次序，最右侧“*”号表示网络收敛到全局最小点，“.”表示网络落入局部极小点。网络的连接权初始值为一1，+1内的随机值。,除去从3和A两个初始状态开始变化外，其它14个初始状态最后都能收敛至全局最小点状态4(能量为-115)。例如初始状态9，其能量为187，随着学习的进行，经9-5-，4最后收敛于状态4；而当从状态A开始变化时，由A-3-3-3，最后收敛于局部极小点状态了，其能量为17。这说明网络的收敛情况依赖于网络的初始状态。,另外需要注意的是，这里网络能量的具体数值并不具有一定的物理意义，它

15、只表明网络某一状态在整个网络的所有状态中所处的地位。当网络连接权的初始值改变时，各个状态所对应的能量具体数值也将随之改变。,在上例中，只改变连接权初始随机值的取值方法(程序语言中，设置了产生不同种类随机数的方法)，其它与上例完全一样，则其状态的变化规律如图所示。由图中可知，此时无论网络从哪一个状态出发，最后都将收敛于网络的全局最小点状态e，其能量为一248。这说明整个网络只有一个极小点，即全局最小点。,由此可知，对于同样结构的网络，当网络参数有所变化时，如连接权初始值随机数的取值形式或随机数的振幅有所不同时，网络的能量函数也将发生变化，其曲线或曲面(超曲面)对应的极小点的个数和大小也将变化。,

16、联想记忆,记忆（存储）是生物神经系统一个最基本也是最重要的功能。对于人工神经网络，记忆功能的强弱同样是衡量其综合性能的一个重要指标。而联想记忆（associative memory,AM)又是人工神经网络模拟生物神经网络记忆特征的一个主要方法。,“联想”可以理解为从一种事物联系到与其相关事物的过程。在日常生活中,人们从一种事物出发，自然地会联想到与该事物密切相关或者有因果关系的种种事物。联想记忆的基本特征；这就是由某个模式的部分信息联想起这个模式的全部信息。,联想记忆的两个突出的特点：1.信息（数据）的存取不是像传统计算机通过存储器的地址来实现，而是由信息本身的内容实现，它是“按内容存取记忆”

17、（content adderssbale memory,CAM）;2.信息不是集中存储在某些单元中，而是分布存储的。,联想记忆又分为:自联想记忆（auto-association）互联想记忆(hetero-association)。自联想记忆就是由某种代表事物(或者该事物的主要特征或可能是部分主要特征)联想到其所表示的实际事物；互联想是有某一事物(或该事物的主要特征或者可能是部分主要特征)联想到与其密切相关的另一事物。,事实上，可以将互联想记忆看作是自联想记忆的一个特例。当把互联想有关的两个事物的信息当作一个统一的事物的信息时，互联想过程就自然过渡到自联想过程。,具体化为以下的两个定义：(1)

18、自联想记忆。设在学习过程中存入M个样本使用时要求：若输入要求输出为即使它复原。,(2)异联想记忆。规定两组样本之间有一定的对应关系 使用时,若输入(含义同上)，要求输出:,人脑中对给出一种事物得出其对应事物的途径有两种形成方式。一种是按时间顺序对相关事情进行思考；另一种就是通过事物本质特征的对比来确认事物的属性，从提示信息或局部信息对事物进行回忆或确认。这两种基本方式抽象成计算技术中按地址寻找和按内容寻找两种搜索方法。,按内容寻找是基于事物全部或者部分特征来找出目标事物。寻找过程就是事物间特征对比，而不必知道这些事物的具体存储地址。从匹配过程来看，这种方法不需要地址的管理及变换，这就有可能提高

19、查寻速度。从观念上来看，这种方法接近人的思维的方法，因为在人脑辨识决策过程中，绝大多数是基于事物之间的联系，也就是联想过程。但是，这种方法在传统计算机上用确定性算法难以实现，而人工神经元网络却能提供一种较好的实现方案。,Hopfield网络是如何实现联想记忆的呢?Hopfield网络是一个非线性动力学系统，网络的“能量函数”存在着一个或多个极小点或称为平衡点、平衡状态。当某一时刻各神经元的状态确定之后，即网络的初始状态确定之后，网络的状态将按动力学方程即Hopfield工作运行规则向能量递减的方向变化，最后接近或达到网络的平衡状态。,实际上可观测的平衡状态称为吸引子(Attractor)，吸引

20、子可以是稳定的，也可以是不稳定的；可以是平衡点，也可以是极限环或混沌吸引子(奇异吸引子)。有限环状态：指的是网络状态有规律地在某些状态 之间振荡；混沌状态：指的是网络无规律地在某些状态之间振 荡。不随时间变化的吸引于称为：稳定平衡点(Stable Equilibrium Point)。,Hopfield网络的这一特性提示我们，如果设法把所需记忆的模式设计成某个确定网络状态的一个稳定平衡点(极小值)，则当网络从与记忆模式较靠近的某个初始状态(即发生某些变形或含有某些噪声的记忆模式）出发后，网络按Hopfield工作运行规则进行状态更新，最后网络的状态将稳定在能量函数极小点，即记忆模式所对应的状态

21、。这样就完成了由部分信息(含有噪声的记忆模式)到全部信息(记忆模式)的联想过程。,图表示的是一个稳定吸引子的示意图。网络中存放的一个记忆相当于一稳定吸引子，图中黑点所示位置。黑点以外为不稳定状态，不稳定状态可看成是某记忆事物的部分已知信息。网络的能量函数总是由不稳定状态朝某局部稳定吸引子流动，这就相当于由事物的一部分信息自动联想出事物的全部信息。,这里应特别注意的是神经网络的记忆方式。显然，它的记忆方式与van Neumann数字计算机的记记忆方式完全不同。在数字计算机中，一组信息对应一组存贮单元，当给定了这组信息的正确地址后，就可恢复这组信息，这就是所谓的地址寻址存贮方式(Addressab

22、le Memory，简称AAM方式)。,而神经网络的联想记忆则是由一组信息的部分信息通过网络的演化过程回忆出这组信息的全部内容。它模拟了生物神经网络中的信息存贮机理，也就是说，用一个具有内部连接的非线性网络的动态行为模拟了联想记忆的过程。这种记忆方式称为内容可寻址存储方式(Content Addressable Memory)，简称为CAM方式。,这种记忆方式的特点是信息存贮量大，信息检索时间与信息存贮量大小无关，可高速读取。当用记忆模式的部分信息激励网络时，可恢复出每个记忆模式的全部信息。,联想存储器及其学习,可以通过合理选择权矩阵使待存向量成为某一动力学系统(具体如前述的Hopfield网

23、络)的吸引子(稳定状态)，这样当外加一个测试向量时，网络运行稳定后就被吸引到(稳定在)与之相近的已存向量上。这一过程类似人的联想记亿过程，故称该系统为联想存储器(associate memory，简写为AM)。,对AM的要求：最基本的是要存储的向量是网络的稳定状态（吸引子），此外，还有两个指标：(1)容量(C)：一般指某一定规模的网络可存储的二值向量的最大数量，显然这与联想记忆的允许误差有关。一种是对某一特定的学习算法，当错误联想的概率小于 12时，网络所能存储的最大向量数；另一种是不管用哪种学习算法，只要能找到合适的W，使得任一组m个向量u1,u2,um能成为网络的稳定状态，满足此条件下m的

24、最大值。,(2)联想能力(A)或称纠错能力：当对某一网络输入一个被歪曲的样本时，网络能 纠正其中错误分量，使之联想起与之距离最近的 样本。此距离指Hamming距离。也就是说输入向 量与某一与之最近的样本的Hamming距离只要小 于A，就能稳定到该样本。,两个向量s1、s2的Hamming距离是指s1、s2中不相同的分量数，用 dh(s1,s2)表示，因此有（1）dh(s,-s)=N；（2）若 即s1、s2正交，则 dh(s,-s)=N/2,显然这两个性质是有矛盾的，要A大就应使每个吸引子的“吸引域”大，这会导致容量C减少。它们不仅与网络结构有关，也与用以确定W的学习算法有关。吸引子的吸引域

25、：对于某些特定的初始状态，网络按一定的运行规则最终可能都稳定在同一个吸引子上，那么，称这种经过一定时间能够稳定在吸引子的所有初始状态集合为吸引域。吸引域半径是指包含在吸引域的最大Hnmmmg球半径。,可以证明AM的如下两个性质：（1）对于阈值=0 的情况，若向量u是一个稳定状态，则-u也是（WU=0的情况除外）；（2）对于无自反馈网络只要满足或则若u为稳定状态，一定不是稳定状态。,从上面两点可见：有m个稳定状态的网络至少回同时存在m其它（不需要的）稳定状态，并且有些向量不可能同时成为同一网络的稳定状态。网络中除了希望有的稳定点以外，还回存在一些不希望有的稳定点，称为多余吸引子或假吸引子（Spu

26、rious Attractor）。好的AM应当除基本吸引子外，多余吸引子很少，而且它们的吸引域也比基本吸引子的吸引域小得多。,以Hopfield网络为例来说明按内容寻找的方法。（1）首先把模式向量 编码学习至连接权矩阵W之中；（2）给出测试模式X，把其作为网络输入向量，让网络运行 起来，而且网络状态之间的转换服从演变方程。此时，若网络已经过充分训练、那么网络对于输入X稳定而且 联想正确；（3）网络稳定后，在输出端可以得到最佳PI匹配XK。,整个网络的运行过程概括为以下的若干阶段:,要设计一个全面满足上述要求的AM是很困难的，甚至根本做不到。因此只能针对具体要求取合理的折衷。网络规模确定后，主要

27、问题是选择学习算法以确定W。从输出的形式分有两种AM，一种是自联想存储器，输入一向量(可以含错误)联想起自身；X X 另一种是异联想存储器：X Y,AM的工作分两个阶段，第一步是由一组待存的向量确定权矩阵，称为学习过程)；学习后即可进入第二阶段(工作阶段)。下面将介绍一些常用的学习算法。,Hebb学习,由神经心理学家Hebb提出的学习规则可归纳为“当某一突触(连接)两端的神经元同步激活(同为激活或同为抑制)时，该连接的强度应增强，反之应减弱”。,用数学方式可描述为,上面研究的是所存向量正交时的情况，下面再看一下若各向量为随机的(各分量取0或1的概率相同)，仍按Hebb规则：,外积学习的网络有如

28、下性质：（1）当待存的样本两两正交时。只要满足 则P个样本都可以是网络的稳定点，且各样本的 吸引域为（2）对随机选取的样本（即样本不一定两两正交，其 中各向量取1或0的概率为1/2），为达到满意的 信噪比P应小于N。,应用举例,外积法学习的网络用于存储8个数字，网络规模为N120，连接权数为N2_N14280，每一待存模式为一个1012大小的黑白图像每幅120个象点，用+1表示黑,-1表示白，各基本向量如图所示。,先用外积法学习权值，然后用基本向量作为输入。经试验，所有基本向量都是网络的稳定状态。为了检查纠错能力对基本向量加噪声，具体方法是每一象点都以025的概率变异(-1改为+1或反之)，用

29、污染后的向量去测试。图示出用污染后的6作为输入，经过不同迭代次数的状况。迭代37次后又稳定在基本向量6上。由于所加噪声使网络的120个单元平均有l4会改变状态，所以平均迭代次数为30。,表给出了每次联想所需迭代次数，其平均值为31。,试验中也发现一些问题，有时不能恢复出被污染了的模式的真实值，如污染的2在有些试验中经41次迭代后稳定在6上。还有污染后的数字9有时其结果中有5%的神经元状态不正确这可能是一个多余吸引子。,Hopfield网络联想记忆的设计方法,实现Hopfield网络联想记忆的关键，是使被记忆的模式样本对应网络能量函数的极小值。具体说就是，设有M个N维记忆模式，通过对网络N个神经

30、元之间连接权和N个神经元的输出阈值的设计，让这M个记忆模式所对应的网络状态正好是网络能量函数的M个极小值，这是一个比较复杂、困难的问题。目前还没有一个适应任意形式的记忆模式、且有效的通用设计方法。,针对各种不同的情况，主要的设计方法有:外积法(Outer Product Method)；相关存贮法；投影学习规则法；特征结构法(Eigenstr ucture Method)；非对称连接矩阵网络综合法等。这些方法在使用上各有利弊。对这些方法的介绍和证明需要较深数学基础和对非线性网络平衡点的稳定性、收敛轨道的有界性、吸引子的动态范围的深入了解。本课程对这些方法不再作介绍。,Hopfield网络联想记

31、忆的缺陷,Hopfield网络虽然具有很强的联想记忆功能，但是形成联想记忆的网络综合却是一个十分复杂、且往往需要满足一定约束条件的棘手问题。在许多情况下，这些约束条件很难得到满足，如网络的对称性条件等。这样就给Hopfield网络的联想记忆带来了一些缺陷和使用上的限制。,总结起来主要有以下三点：(1)由网络联想出或恢复出的模式未必是与输入 模式最接近的记忆模式。也就是说，在约束条件 不满足的情况下，由网络的输入模式回想出的记 忆模式，有时并不是与其汉明距离最短的那个记 忆模式；(2)所有的记忆模式并不是以同样的记忆强度回想出 来。我们可以从网络的能量函数曲线直观地解释 这个问题。网络的记忆模式

32、对应着网络能量函数 的各个极小值，即能量函数曲线的各个“谷底”，如图所示。,“谷底“深、“谷面”宽、坡度大的比“谷底”浅、“谷面”狭、“坡度”小的那些“谷底”有更多的被回想出来的机会，前者比后者对应更多的初始状态，或者说前者比后者具有更大的吸引子控制域。,（3）在某些情况下，网络回想出的模式不是记忆模 式户任何一个模式，而落入“伪状态”。举例说明Hopfield网络存在的缺陷。如图所示有三个记忆模式，这三个模式不符合条件。,图(a)为一个与模式1最接近(汉明距离为14)的输入模式，但是当网络依据Hopfield工作运行规则进行网络状态改变500次后，回想出来的却是一个与模式3接近的模式(汉明距

33、离为11)。这是因为虽然输入模式与记忆模式l接近，但是记忆模式3却比记忆模式1具有更小的网络能量，并且记忆模式1与3之间又比较接近(汉明距离为38)，这表明这两个记忆模式的极小值是邻近的，加之模式3比模式1有更宽的吸引子控制范围。,针对Hopfield网络存在的这些问题，许多研究者提出了各种改进方案。其中Hopfield本人提出过一种称为“反学习”(unlearning)的方法。这一方法的主要思想是网络连接权设定好之后，针对需要联想的输入模式，每次按工作运行规则改变一次网络状态时，网络的连接权做一次“微调”做这种“微调”的目的，是使网络能量函数的吸引子的控制范围趋于均等，从而抑制“伪状态”现象

34、的出现。,对于Hopfield网络，另一个十分有意义的问题是，一个具有N个神经元的Hopfield网络最多能存贮多少个记忆模式，即Hopfield网络的信息存贮容量是多少?如果单从网络的两个基本参数ij和i来看，由于它们可以是任意实数，可能有无穷多种参数组合，因而存贮信息的能力似乎是无穷大的。但实际上Hopfield网络的存贮能力决定于由ij和i 的适当组合而能够形成网络能量函数稳定平衡点的个数。,各种理论和实验表明:Hopfield网络的信息存贮容量的上限值为015N，当超过这个上限后，记忆错误将明显增多。目前还没有一个精确地解释和计算神经网络倍息存贮容量的方法，这是一个很有意义的研究课题，

35、特别是对设计神经网络计算机来说，具有重要的实用价值。,连续时间型Hopfield神经网络,连续时间型Hopfield神经网络与离散型Hopfield网络的基本原理是一致的。但由于连续时间型Hopfield神经网络是以模拟量作为网络的输入、输出量，各神经元采用同步工作方式，因而它比离散型网络在信息处理的并行性、联想性、存贮分布性、实时性、协同性等方面更接近于生物神经网络。,这种网络的每个神经元的输入与输出关系为连续可微的单调上升函数，它的每个神经元的输入是一个随时间变化的状态变量，它与外界输入和其他神经元来的信号有直接关系，同时也与其他神经元同它之间的连接权有关系状态变量直接影响输入变量，使系统

36、变成一个随时间变化的动态系统。连续时间型Hopfield网络是Hopfield于1984年在离散型神经网络的基础上提出来的，其网络的结构上与离散型相同，而且状态方程形式上也相同。,在网络的整个运行过程中，所有节点状态的演变有 异步 同步 连续更新 三种形式。与离散Hopfield网络相比，多了一种连续更新的新形式，表示网络中所有节点都随连续时间并行更新。网络中状态确是在一定范围内连续变化。,网络结构,Hopfield提出的连续确定性模型可与电子线路直接对应，每一个神经元可由一个有正反向输出的放大器模拟，其中运算放大器模拟神经元的转移特性函数，连接电阻(输入端)决定各种神经元之间的连接强度，放大

37、器输入端并联的电阻和电容可模拟生物神经元约输出时间常数。互相连线间的电导则可模拟各神经元之间的突触特性(相当权系数)。,对上图的神经元，根据克希荷夫定律列写并经整理后成为以下的微分方程式,微分方程反映网络状态的连续更新的意义。随着时间的增长变化，网络逐渐趋于定态，在输出端可以得到稳定的输出。网络的稳定性同样也可以用能量函数的概念加以说明。,稳定性分析,定义系统的能量函数为对于连续系统，有以下定理：,由以上可知，随着时间的增长，随着状态的变化，能量是降低的。当且仅当网络中所有的节点状态不可改变时，能量不冉变化，此时到达能量的极小点。这就是说网络的稳定点就是E的极小点。当网络的结构不对称时，那么无

38、法保证网络的稳定性。这时在网络的运行量程中可能出现极限环或混沌状态。,如果图中运算放大器为理想或近似理想放大器、那么能量函数定义式中积分项一般可忽略不计，此时，式可写为 在优化计算中，对于特定问题，先写出能量函数，再与标准方程对比，从而决定网络权结构。此时，可认为一般都是与方程相比而得到网络结构。连续状态Hopfield神经网络及其改进型已经广泛用于信号分解、自适应滤波、谱估计、AD变换等信号处理的许多领域。,Hopfield网络的应用,Hopfield网络已经有很多成功的应用，现在还在不断地得到发展和拓宽应用领域。这种网络的应用形式主要有联想记忆和优化计算两种形式。而其具体的应用领域有图像、

39、语音和信号处理、模式分类相识别、知识处理、控制、容错计算、数据查询等。,用神经网络解决优化组合问题，即寻找问题的最优解，是神经网络应用的一个重要方面。所谓最优解问题，就是指在给定的约束条件内，求出使某目标函数最小(或最大)化的变量组合问题。通过对神经网络能量函数的分析，可以得到这样一种启发：既然网络的能量函数在网络的状态按一定规则变化时，可以自动地朝着其稳定的平衡点即极小值点运动，并将最终收敛于极值点。如果把一个需要求解的问题的目标函数转换为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也就随之求出。,怎样用Hopfield网络去解决具体优化问题

40、的过程，简要地归纳如下：(1)对于特定的问题，选择一种合适的表示方法，使 得神经元网络的输出与问题的解对应起来。(2)构造神经元网络的能量函数，使其最小值对应于 问题的最佳解。(3)由能量函数倒过来推出神经元网络的结构，即神 经元之间的连接导纳和偏差(4)由网络结构建立起网络，令其运行，那么稳定状 态就是在一定条件厂问题的解答。在条件有限的 情况下，由网络结构可推导出网络的运行方式，在计算机上模拟，也能得到满意的解。,为了说明这个问题，这里举一个最有代表性的优化组合实例旅行商问题。简称TSP(the Traveling Salesman Problem)。这个问题同时也是用神经网络解决优化组合

41、问题的最典型、最具有范例意义的问题。当年正是因为Hopfield用其连续时间型神经网络成功地求解了这个具有相当难度的组合优化问题,才使人工神经网络的研究工作走出“低谷”，并重新兴盛起来。,有一旅行商从某一城市出发，访问各个城市一次且仅一次后，再回到原出发城市。要求找出一条最短的巡回路线。目前对这一问题已有许多种解法，如 穷举搜索法(Exhaustive Search Method)贪心法(Greedy Method)动态规划法(Dynamic Problem Method)分枝定界法(BranchAndBound)等等。,这些方法部存在着一个共同问题，就是当城市数n较大时，会产生所谓“组合爆炸

42、”问题。如：当n50时，用每秒运算一亿次的巨型计算机按穷举搜索法计算TSP所需的时间为51058年。既使城市数减少到20个，用这一方法求解仍需350年。显然这是无法实现的。如何用Hopfield神经网络解决这一问题。为了简单明了起见，我们仅举n5的例子。设这五个城市分别为A、B、C、D、E。当任选一条路径如 时，其总的路径长度S可表示为,求解这五个城市TSP的第一个关键问题是找到一个简单、能够充分说明问题、又便于计算的表达形式。观察下图。,图中的行表示城市，列表示城市巡回次序。按照提出的路线，可得到如图所示的表现形式。如果把图看作一个短阵的话，这样形式的矩阵称为换位矩阵(Permutation

43、 Matrix)；进一步，如果把短阵中每个元素对应于神经网络中的每个神经元的话，则可用一个nn5525个神经元组成的Hopfield网络来解决这个问题。有了明确的表达形式之后，第二个关键问题是如何把问题的目标函数表示为网络的能量函数，并将问题的变量对应为网络的状态。解决这个具体问题有一定的复杂性，并需要一定的技巧。首先，对应换位矩阵，把问题的约束条件和最优要求分解出来：,(1)一次只能访问一个城市 换位矩阵每列只能有一 个“1”。(2)一个城市只能被访问一次 换位矩阵每行只能有 一个“1”，（3）一共有N个城市 换位矩阵中元素“1”之和应为N。（4）要求巡回路径最短 网络能量函数最小值对应 于

44、TSP的最短路径。如果用vij表示为换位矩阵第i行、第j列的元素，显然vij只能取“1”或“0”。当然vij同时也是网络的一个神经元的状态。则以上第4点也可表达为：构成最短路径的换位矩阵一定是形成网络能量函数极小点的网络状态。,以上前三项只有当满足问题的约束条件时才能为0，因此这三项保证了所得路径的有效性。从一般意义上讲，这三项是针对优化组合问题约束条件而设置的，称为惩罚项(意思是：不满足约束条件，这些项就不为0，网络能量函数就不可能达到极小值)。第四项对应问题的目标，即优化要求，其最小值就是最短路径长度。综合这四项可得到网络能量函数的最后表达形式,上式符合网络能量函数的定义，且只能当达到问题

45、的最优解时，E取得极小值，由此时的网络状态vij 构成的换位矩阵表达了最佳旅行路线。为使网络能收敛到全局极小值，可按以下设置网络各连接权的初值。,实际上，将上式代入Hopfield网络能量函数式,则得到TSP问题能量函数式(只相差一常数N2)。也可以说，比较，则可得到连接权表达式。将式代人Hopfield网络运行方程，则得求解TSP的网络迭代方程,这样做的目的是使网络因初始状态的不同而引起竞争，从而使网络朝收敛方向发展。,注意：在每进行一遍巡回之后，要检查运行结果即旅 行路径的合法性。主要有三方面：(1)每个神经元的输出状态必须是“0”或“1”。(2)换位矩阵每行有且仅有一个为1的单元。(3)

46、换位矩阵每列有且仅有一个为l的单元。这里只要 神经元输出 00l，则可视为0，099 则可视为1。当网络的运行迭代次数大于事先给定 的回数时，经检查运行结果仍属非法时，说明从 这一初始状态网络不能收敛到全局最小值。这时 需要更换一组网络初始状态(即重新设 置)。从步骤开始再进行网络迭代，直到网络达到稳定状态。如图所示。,经验表明，当选择合适的参数，如A500，D500，C200，D500，S函数时间常数0100时，网络能得到较满意的收敛结果。但是应该指出，用Hopfield网络解决TSP问题并不是每次都能收敛到最小值，而时常会“冻结”在无意义的旅行路线上。这说明Hopfield网络模型具有不稳

47、健性(Non Robustness)，关于这方面的问题，有关文献进行了深入的研究，并提出了一些改进设想。这里不再详述。,总结以上用神经网络解决优化组合问题的方法，其主要思想是根据问题的性质，把目标函数与网络的能量函数联系在一起，把问题的变量对应于网络单元状态，通过网络运行时能量函数的最小化趋势得到问题的最优解。由于网络是以迅速收敛的迭代方式运行的，所以那些有“组合爆炸”危险的复杂问题可以变为可计算的简单问题。而运用这一方法的关键是恰当地写出问题的网络能量函数，构造出网络能量函数的一般方法可用下式表示：,2AD转换 Hopfield网络用于优化的另一个实例就是利用人工神经元网络实现一种典型电路-

48、AD变换器，这种电路与传统的AD变换电路相比较，具有结构简单、提高工作速度等优点。1989年和B.J.Sheu在IEEE的固态电路杂志上发表了“用修改的Hopfield网络设计以神经元为基础的AD变换器”文章中提出用附加的逻辑电路消除迟滞，并做出实验芯片，这种电路结构比较复杂而且工作速度降低。,1991年郑君里和张宁在电路与系统学报上发表了文章，分析了迟滞(局部最小)现象出现的条件，导出了约束公式，并且提出利用非对称Hopfield网络构作AD变换器可以消除迟滞现象，电路结构十分简单，工作速度也下降了。,3Hopfield连续模型用于线性时不变系统的辨识和非 线性系统的辨识。4用于求解线性和非

49、线性规划。5图像处理、联想记忆、运动物体的速度场计算等等。以上部分因篇幅关系，这里不介绍。有兴趣的请查阅有关文献。,网络应用与网络能量函数,我们已介绍了人工神经网络在三个主要方面的应用，即 模式识别与分类 联想记忆 最优化。可以发现:这三方面的应用实际上都是在利用神经网络能量的收敛特性的基础上得以实现的，只不过利用的角度不同而已。,（1）联想记忆：利用了网络能量函数的所有极小值，每一个极小值对应一个记忆模式。（2）只利用网络能量函数的全局极小值即最小值，最 小值所对应的网络状态就是问题的最优解。（3）利用网络能量函数的收敛特性进行网络训练，而 没有直接利用其外在表现形式。,4.2 双向异联想记

50、忆网络,双向联想记忆网络是一种两层的异联想、内容可寻址存储器组成的反馈网络。前面介绍的是自联想记亿，这里介绍异联想记忆，又称双向联想记忆，简写为BAM。实现此功能的人工神经元网络称为异(双向)联想存储器。BAM采用前向和反向信息流以产生对存储激励响应联想的联想寻找。网络的拓扑结构如图所示。,利用人工神经元网络实现的BAM有多种结构形式，例如离散、连续和自适应BAM等。这里只介绍最基本的一种就是1987年和1988年出Kosko提出的BAM型。这种BAM网络的运行是双向的。对网络的一端输入信号、则可在另YI一端得到输出，该输出又反馈回来如此反复，直到网络达到稳态为止。这种网络如何实现异联想呢?,