工程应用软计算课件第2章神经网络.ppt

《工程应用软计算课件第2章神经网络.ppt》由会员分享，可在线阅读，更多相关《工程应用软计算课件第2章神经网络.ppt（75页珍藏版）》请在三一办公上搜索。

1、第2章 神经网络,理学院应用数学系,立体化教学资源系列工程应用软计算,2.1 神经元与神经网络基本特征,2.2 神经元模型与神经网络结构,2.3 感知机与BP学习算法,2.4 神经网络的Matlab实现,2.5 神经网络应用实例,序言,工程应用软计算 神经网络,序言,神经计算科学发展-1970：早期1970-1980：休眠期1980-1990：复苏期1990-：高潮期,工程应用软计算 神经网络,发展历程中的里程碑碑序 年代 历史事件 历史人物第一 1943 M-P模型 McCulloch-Pitts第二 1949 Hebb学习律 Hebb第三 1958 感知机 Rosenblatt第四 196

2、9 专著感知机 Minsky,Papert第五 1982 Hopfield网络 Hopfield第六 1986 BP学习算法 Rumelhart,工程应用软计算 神经网络,工程应用软计算 神经网络,2.1 神经元与神经网络基本特征,人的大脑是人类智能的物质基础，而神经元是脑组织的基本单元，同时也是神经系统的结构与功能单元.,计算机智能:结构性问题（能用数学语言程序化）;非结构性问题：如语言理解、景物分析、联想思维、推理判断、自学习和自修复等.,由于神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习等优越性能，使其成为人工智能研究的重要工具，其应用范围已涉及到模式识别、故障诊断、计

3、算机视觉、智能机器人、自适应控制、企业管理、决策优化、专家系统、知识处理等领域.,工程应用软计算 神经网络,2.1.1 神经元的结构与特征,神经元：神经系统内直接从事信息接收或产生信息、传递和处理信息工作的细胞.,人脑智能依靠信息流经神经元组成的复杂网络实现.,典型的神经元由细胞体、树突和轴突组成.,工程应用软计算 神经网络,生物神经元基本组成细胞体突起 树突轴突,人工神经元基本结构处理单元连接输入输出,信息的产生、接收、传递机理：神经元电位的变化和传递.,神经元状态：静息,兴奋,抑制.,神经元去极化：细胞兴奋.神经元超极化：细胞抑制.产生信息传递：冲动电位.,工程应用软计算 神经网络,2.1

4、.2 突触和神经网络,突触：两个神经元进行信息传递的部位.,突触联接方式：轴-树型,轴-体型,轴-轴型,树-树型.,神经元对信息的整合性质：神经元对输入信息的空间总和与时间总和的性质.,工程应用软计算 神经网络,2.2 神经元模型与神经网络结构,1）神经元为多输入、单输出系统.有兴奋性和抑制性两种输入形式.输出服从“全或无”.,2）输出与输入间的时滞取决于突触延搁.,神经元M-P模型(1943年)假设:,3）神经元具有阈值和空间整合性质.,4）神经元是非时变的（静态）.,工程应用软计算 神经网络,2.2.1 M-P模型,神经元输入、输出关系数学模型（无时滞）,M-P模型是形式化的神经元.给出了

5、神经元接收与传输信息功能的主要特征描述.,若考虑输入与输出间有固定时滞,则模型为：,M-P模型的输入、输出状态仅取0，1二值.,工程应用软计算 神经网络,2.2.2 M-P模型的扩展,（1）准线性模型:,（2）微分方程模型:,工程应用软计算 神经网络,常用的神经网络功能函数(matlab函数),线性函数(purelin),硬限幅函数(hardlim),饱和线性函数(satlin),单极性S形函数(logsig),对称硬限幅函数(hardlims),对称饱和线性函数(satlins),双曲正切S形函数(tansig),正线性函数(poslin),竞争函数(compet),工程应用软计算 神经网络

6、,2.2.3 人工神经网络结构,按照网络的拓扑结构分类：分为层状和网状两类.,层状结构神经网络：分为单层网络和多层网络.,单层人工神经网络,单层神经网络：只有输出层有完成计算功能的神经元.,工程应用软计算 神经网络,输入、输出层之间加入一层或多层包含隐单元的隐层.,二层网络：加入一个含有k个神经元的隐层.隐层和输出层神经元具有信息计算功能.,多层人工神经网络:,多层神经网络在信息处理中比单层神经网络能力更强.,隐层第l个神经元的输出:,输出层第j个神经元的输出:,若不考虑阈值作用二层网络可用单层神经网络替代:,工程应用软计算 神经网络,网状神经网络中有反馈存在，故而也称为反馈网络.,层状结构神

7、经网络 网状结构神经网络相邻层神经元间信息传输 任何神经元间都可以通信.同层神经元不能相互通信 通信常是单向的.通信可以是双向的.,反馈网状网络:,反馈网状结构比层状结构更真实.,工程应用软计算 神经网络,2.2.4 神经网络的训练与学习,神经网络的学习：利用应用环境里选出的一些训练数据（也称样本）来不断调整神经网络中的权矩阵W，直到输入输出结论与实际相吻合为止.,训练(确定W):监控式(有导师)、无监控式(无导师).,输入与输出样本成对给出(如BP算法).,1）监控式学习:,W调整原则：对给定的输入，由网络计算产生输出，然后根据误差调整权重，使输出朝正确方向发展.,只给出输入数据，不指定输出

8、.,2）无监控式学习:,W调整原则：只要产生的输出不矛盾，即相似的输入应有相似的输出.这种训练使网络具有自组织和自学习能力.,工程应用软计算 神经网络,1）Hebb学习规则（1949）,基本思想：相互联接的神经元同时兴奋，可使它们间的突触结合强度（权系数）得到增加.,2）学习规则（Widrow和Hoff 1960）,基本思想：先求出所希望的目标输出与学习过程中得到的计算输出之差，再利用这个差值去调整突触强度（权值），以使得差值趋于减小.,工程应用软计算 神经网络,规则训练权值过程,工程应用软计算 神经网络,神经计算科学中：Hebb学习律是最具有一般性和普适性（来自于神经生理学依据）的学习算法和

9、自组织机制.Hebb突触能解释生物神经系统中神经元联结特征.Hebb 学习律可解释、模拟生物神经系统中的自组织行为，如对刺激的钝化、强化、条件反射、“刺激-反应-强化”等.Hebb学习律可用于人工神经系统，以实现自适应自学习自组织，包括监督学习和非监督学习，包括竞争学习和强化学习.第二座里程碑(1949年),工程应用软计算 神经网络,2.3 感知机与BP学习算法,1958年F.Rosenblatt（美Cornell航空实验室）论文-感知机:一种脑信息存贮与组织的概率模型提出著名的视知觉的脑模型感知机,又一个里程碑.,感知机是一种层状结构的神经元网络，各层内部神经元间没有信息流动，层间神经元的联

10、接权重w可随着对网络的训练而改变，即通过学习算法学习，实现网络良好的模式辨识功能.,单层感知机,工程应用软计算 神经网络,例 非线性分类:二阶谓词“异或”问题.,矛盾，无法进行分类.,则必须满足下述4个方程:,用一个单层感知机表示,工程应用软计算 神经网络,感知机能分类(输入样本线性可分)：在其表述的状态空间中,不同类成员位于某直线或超平面的不同侧面.,线性可分例子,异或问题（非线性分类）,在异或问题中，只要能做出方程,就可以对任何样本分类.,工程应用软计算 神经网络,例 线性分类:逻辑“与”问题.,求分类直线：取,则必须满足下述4个方程:,用一个单层感知机表示,工程应用软计算 神经网络,例“

11、异或”问题求解.,该网络能得到正确输出.,隐单元输出、网络输出:,加入一个隐单元解决异或问题.,三维解答,工程应用软计算 神经网络,2.3.2 前馈多层感知机,多层感知机:网络的输入、输出节点层之间加入一层或多层中间隐节点.,前馈多层感知机：多层感知机中，信息流从输入层向输出层单方向逐层传播.,注能克服线性可分性局限.,二层网络可以分离凸区域.,三层网络可分离任何形状区域.,工程应用软计算 神经网络,注（万能逼近定理）对于给定的任何一个连续函数,总能构造一个二层感知机以任意精度逼近它.,进一步，此网络的隐层有2n+1个节点.,工程应用软计算 神经网络,2.3.3 前馈多层感知机的反向传播学习算

12、法,（1）反向传播学习算法 的原理,BP 算法:反向传播（Back Propagation）学习算法.1982年，Rumelhard和Mcclelland等人提出.是一种多层前馈网络使用的监控式学习算法-BP网络.,基本思想：使用梯度搜索理论，使得网络实际输出(计算输出）与期望输出（目标输出）的均方差达最小.,网络学习过程：将输出层误差反向传播回去，并借以修正权值.,注 BP算法有正向传播、反向传播;反向传播是指误差信号的反向传播;网络自身不存在反馈.BP网只是一个非线性映射.,工程应用软计算 神经网络,（2）BP网络的前馈计算,考虑一个二层神经网络.设网络的某层中第j 个节点在给定一个训练样

13、本时，其总输入为:,第j 个节点的输出是其总输入的一个变换:,（3）BP网络调整权值的规则,输出层第j 个节点的计算输出：o j 期望输出：t j 输出误差：t j o j,在固定输入样本时，网络的误差函数,使误差减小，权值修改方向：误差函数梯度下降方向,步长是一个正的增益系数.,工程应用软计算 神经网络,权值调整（监控式学习）,1）若权值的增加造成误差有很大的增加，则减小权值;,2）若权值的增加造成误差有很大的减少，则增加权值.,对于输出层节点的权值修正量,其中,o j 是输出层节点j 的输出.oi 是上一层节点i 的输出.,对于隐层节点的权值修正量,其中,o j 是隐层节点j 的输出.oi

14、 是上一层节点i 的输出.,工程应用软计算 神经网络,（4）BP学习算法的步骤,初始化：依据实际问题(输入变量和输出变量个数)给出网络联接结构,随机设置所有联接权值为任意小.,提供训练样本:,计算实际输出:,利用非线性函数逐级计算各层节点输出值,最后输出:,权值调整：递归法从输出节点开始返回到隐层节点.,对于输出层:,对于隐层:,返回步，重复之，直到误差满意为止.,工程应用软计算 神经网络,（5）BP学习算法的评价与改进,应用:模式识别、系统辨识、图像处理、函数拟合.,神经网络可以实现从n维欧氏空间到m维欧氏空间的高度非线性映射.,不足：网络隐层节点个数的选取尚无理论依据，所以在应用中都是在一

15、个范围内试验确定;,学习算法收敛速度慢;,由于采用梯度搜索，难免会使网络陷入局部最小，得不到全局最优解.,广义BP算 法：网络误差函数e、输出变换函数f 和学习步长.,工程应用软计算 神经网络,BP算法的一种修正：为了加速收敛和防止振荡而引入冲量项.,可变步长BP算 法：根据误差e变化的不同情况来调整步长可以改善算法的收敛速度.,取初始步长，若一次迭代后误差函数增大，则将步长减小（乘以小于1的常数），沿原方向重新计算下一个迭代。若下一次迭代后误差函数减少，则适当增大步长（乘以一个大于1的常数），即,这里,为常数，,工程应用软计算 神经网络,2.4 神经网络的Matlab实现,2.4.1 感知机

16、神经网络的分类问题,例 利用Matlab建立一个具有两个输入、两个神经元、二维输出的感知机神经网络，区分四类输入向量.,输入向量：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0-0.3-0.5-1.5；1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8-1.5-1.3；,期望输出向量：T=1 1 1 0 0 1 1 1 0 0；0 0 0 0 0 1 1 1 1 1；,plotpv(P,T)；,工程应用软计算 神经网络,创建神经网络：net=newp(-1.5 1；-1.5 1,2)；,初始化网络：net=init(net)；,训练网络：反复调整网络权值和阈值，直到误差

17、为,Y,E=adapt(net,P,T)；,经10次循环，网络训练结束，将输入向量分成四类.,工程应用软计算 神经网络,用该感知机神经网络来解决实际问题.设置输入向量p=0.9；1.1；仿真该网络，a=sim(net,p)；,工程应用软计算 神经网络,Matlab源程序:P=0.1 0.7 0.8 0.8 1.0 0.3 0.0-0.3-0.5-1.5；1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8-1.5-1.3；T=1 1 1 0 0 1 1 1 0 0；0 0 0 0 0 1 1 1 1 1；plotpv(P,T)；net=newp(-1.5 1；-1.5 1,2)；%建

18、立感知机linehandle=plotpc(net.IW1,net.b1)；E=1；%训练感知机net=init(net)；linehandle=plotpc(net.IW1,net.b1)；while(sse(E)net,Y,E=adapt(net,P,T)；linehandle=plotpc(net.IW1,net.b1,linehandle)；drawnowendp=0.9；1.1；%检验感知机a=sim(net,p)；plotpv(p,a)；point=findobj(gca,type,line)；set(point,Color,red)；hold on，plotpv(P,T)；plo

19、tpc(net.IW1,net.b1)；hold off,工程应用软计算 神经网络,2.4.2 图形用户界面,可以创建一个神经网络，而且可以查看它的结构，对它进行仿真和训练，还可以输入和输出数据.,例 创建一个感知机神经网络来实现“与”的功能.,输入p=0 0 1 1；0 1 0 1，输出 t=0 0 0 1，网络名称为ANDNet.,GUI步骤：（1）设置输入和输出（输入命令nntool）（2）创建感知机神经网络ANDNet.（3）训练神经网络（Train）（4）仿真神经网络（Simulate）,工程应用软计算 神经网络,2.4.3 BP神经网络建立,例 建立一个两层的BP神经网络.输入范围

20、0 10，第一层采用正切S形神经元，第二层采用线性神经元.,样本输入P和输出T为:P=0 1 2 3 4 5 6 7 8 9 10；T=0 1 2 3 4 3 2 1 2 3 4；,创建BP神经网络：net=newff(0 10,5,1,tansig purelin)；Y=sim(net,P)；plot(P,T,P,Y,o),仿真BP网络，并且画出网络输出和目标输出的图形.网络的输出误差很大.,工程应用软计算 神经网络,将训练次数提高到50次.,=50；net=train(net,P,T)；Y=sim(net,P)；plot(P,T,P,Y,o),如图.可以看到网络的输出误差达到了要求.,工程

21、应用软计算 神经网络,例 建立一个具有两个输入的两层BP神经网络.第一层采用正切S形神经元，第二层采用线性神经元.,net=newff(-1 2；0 5,3,1,tansig purelin,traingd)；,对单个输入向量进行仿真：p=1；2；a=sim(net,p),对3个输入向量进行仿真：p=1 3 2；2 4 1；a=sim(net,p)；,工程应用软计算 神经网络,感知机神经网络的工具函数,工程应用软计算 神经网络,感知机神经网络的工具函数,工程应用软计算 神经网络,BP神经网络的工具函数,工程应用软计算 神经网络,BP神经网络的工具函数,工程应用软计算 神经网络,工程应用软计算

22、神经网络,2.4.5 利用Matlab作函数BP网络逼近的实例,BP网络逼近定理：对于任何闭区间内的连续函数，都可以用一个二层的BP网络逼近.,BP网作逼近要研究的问题：隐层神经元个数，神经元不同的传递函数及BP网络不同的训练函数对网络的性能影响.,对函数采样得到网络的输入变量P和目标变量T.P=-1:0.1:1T=-0.8642-0.5193-0.0656 0.3394 0.5765 0.5940 0.4148 0.1202-0.1812-0.3910-0.4500-0.3537-0.1482 0.0889 0.2765 0.3564 0.3104 0.1634-0.0281-0.1970-

23、0.2881,网络设为net，显然输入、输出层神经元个数为1.,工程应用软计算 神经网络,设计隐层神经元个数为1-16，实验确定最佳个数.,16个神经元隐层的BP网络Matlab程序：P=-1:0.1:1；T=-0.8642-0.5193-0.06560.33940.5765 0.59400.41480.1202-0.1812-0.3910-0.4500-0.3537-0.14820.08890.2765 0.35640.31040.1634-0.0281-0.1970-0.2881；net=newff(minmax(P)，16，1，tansig，tansig，traingdx)；%隐层神经元

24、数目为16，隐层传递函数为tansig，输出层传递函数为tansig，训练函数为traingdxnet.trainParam.epochs=10 000；%训练步数为10 000步net.trainParam.goal=0.000 001；%目标误差0.000 001net=train(net，P，T)；%对样本进行网络训练y=Sim(net，P)；%样本经训练好的网络输出实际结果err=y-T；%err为误差向量E=norm(err)；%E为逼近误差,工程应用软计算 神经网络,结论（1）在相同的条件下，输出层传递函数tansig、purelin对网络性能的影响相差不大；,（2）如果目标误差精

25、度要求不是很高，BP网络隐层神经元数目为8是最合适的，网络结构相对简单，收敛速度也较快；,（3）如果目标误差精度要求较高，隐层神经元数目为16最合适，逼近误差E小，收敛速度也快许多；,（4）traingd，traingda，traingdm是较差的训练函数，收敛时间长，且逼近误差E也很大，而训练函trainrp，traincgf，traincgp，traincgb，trainscg，trainbfg，trainoss性能一般，trainlm是较佳的训练函数，收敛时间很短，且逼近误差E很小;,（5）traingdx有机结合了自适应修改学习率算法和动量批梯度下降算法，因此网络训练速度更快.,工程应

26、用软计算 神经网络,由一系列实验：设计隐层神经元数目为16，输入、输出层神经元数目为1，隐层、输出层传递函数均为tansig，训练函数为traingdx，样本训练步数为10000，误差E为0.0044959目标误差0.000 001.,输出结果说明：,net.IW1,1表示隐层和输入层神经元间连接权值,net.LW2,1表示输出层和隐层神经元间连接权值.,net.b1表示隐层16个神经元的阈值,net.b2表示输出层1个神经元的阈值.,网络net输出向量y为：-0.8642-0.5192-0.0656 0.3392 0.5798 0.5909 0.4148 0.1202-0.1812-0.39

27、10-0.4500-0.3537-0.1482 0.0889 0.2765 0.3564 0.3104 0.1634-0.0281-0.1970-0.2881,网络net输出误差向量err为:0 0.0001 0-0.0002 0.0033-0.0031 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.,工程应用软计算 神经网络,训练过程误差变化情况,函数逼近结果,误差曲线图,工程应用软计算 神经网络,2.5 神经网络应用实例,2.5.1 利用BP网络对肺功能自动分类,问题：临床上根据肺活量计描述出受试者深呼吸时的肺容量曲线，或用呼吸速度计描绘出受试者出力呼气时的呼吸速率曲线来测定

28、肺功能.,美国北卡罗来纳州立大学的 H.Gage和T.Miller提出了采用BP网络对肺功能自动分类的方法（1988年）.,工程应用软计算 神经网络,工程应用软计算 神经网络,解：1）将深呼吸时测得的肺活量曲线数字化，在肺活量图上取80个采样点，对应BP网输入的80个节点.,2）网络输出层有3个节点，3种输出状态100，010，001表示肺功能正常、肺功能有限和肺功能有障碍.,3）网络有一个隐层，节点数13-38个，以便试验.,在137个受试者的肺活量图中，每个类型随机取5个作为训练样本（共计15个），利用BP算法训练网络.,通过改变隐层节点数，比较在训练样本相同时网络收敛速度.,当网络收敛后

29、，对训练样本之外的122个肺活量图输入网络所得到的正确判别率.,工程应用软计算 神经网络,结论：隐层节点太少时(13个)，1万次不收敛.,隐层节点太多时(38个)，学习1万次不收敛.,隐层节点为23个时，训练156次，网络的正确分类率已达72.1%.,如果输入节点增加，分类率会再提高（人的年龄、性别、身高等因素）.,工程应用软计算 神经网络,2.5.2 利用BP网络的声纳目标自动分类,美国联合信号空间技术中心的R.Gorman和约翰霍普金斯大学的T.Sejnowski于1988年发表文章，将BP网络应用于声纳探测海底目标（金属圆筒和圆筒状石块）回波的自动分类。,问题：向海底目标发射声纳信号并接

30、收回波。由于不同材料的回波频偏不同，因此，可以由人通过耳机监听回波的声调变化来判断水下目标的材料性质。,该项工作的目的是将回波信号和材料性质作为BP网络的输入与输出，训练网络，使声纳目标分类自动化。,工程应用软计算 神经网络,训练网络过程：在海水下放置一个金属圆筒和一个圆筒状石块，从不同方位向目标发射超声波。共接受208个回波，其中金属圆筒回波111个，圆筒状石块回波97个。然后，对每个回波信号进行数字化处理。,基本方法：对每个回波信号在一个较短的时间段内进行快速傅里叶变换，得到随时间分布的二维谱图。在二维谱图上设置采样窗口，并在此窗口内计算回波信号的一组功率谱密度函数。将获得的k个功率谱密度

31、函数综合起来，取其包络（如图所示），在每个谱包络上采60个点，并将其数值归一化，作为神经网络的输入矢量。,工程应用软计算 神经网络,P,f,工程应用软计算 神经网络,设置三层（一个输入层，一个隐层，一个输出层）BP网络。输入层设60个节点，分别对应谱包络上60个采点数值的归一化值。输出层有2个节点，输出状态10表示金属筒，01表示石块。隐层节点数由实验确定。,从208个回波中随机选取16个作为测试组，其余192个作为网络的训练组，通过调整隐层节点个数得到的不同网络测试性能见下表。,当隐层节点为12时，网络的平均性能达到最高，故确定网络隐层节点个数为12个。,将训练成功的BP网络作为水下声纳目标

32、自动分类器。用3个操作员根据回波声调变化来判断目标，平均正确率为91%，而BP网络的识别率接近于100%.,工程应用软计算 神经网络,工程应用软计算 神经网络,2.5.3 利用BP网络的时间序列预测,时间序列预测也称历史引伸预测，是以时间数列所能反映的社会经济现象的发展过程和规律性，进行引伸外推，预测其发展趋势的方法。,通常f 是非线性函数。如果函数能很好的拟合历史观测数据，则,时间序列预测的核心工作是利用一组按照时间顺序 观测的序列值，构造一个递推函数,就是外推预测值。,f 可能是一个高度非线性的复杂函数，任何线性模型都会产生不可接受的误差，可以利用BP网络来逼近。,工程应用软计算 神经网络

33、,通常取一个输入层，一个隐层，一个输出层的三层前馈网络来逼近这个映射.,如果时间序列均为m维矢量，则用下面的BP网络逼近。,X(k-1)X(k-2)X(k-L),X(k),x1(t)x2(t)xm(t),x1(t+1)x2(t+1)xm(t+1),工程应用软计算 神经网络,2.5.4 利用BP网络的洪水预报,洪水预报是一个具有重要意义的研究课题，冯利华给出了大渡河上下游站的洪峰水位的16组对应观测数据。将上游站水位作为输入变量X，将下游的洪峰水位作为输出变量（预报变量）Y，选择具有一个输入节点，一个输出节点的三层神经网络来逼近映射Y=f(X)。,将观测的16组数据，选取12组作为网络的训练数据

34、，剩下的4组数据作为测试样本。,将观测数据归一化，使每一个变量的最大观测值等于1，最小的观测值等于0.,利用归一化的12组输入、输出数据，按BP算法训练神经网络，网络训练误差为0.006.网络输入、输出数据和计算拟合情况见下表。,工程应用软计算 神经网络,工程应用软计算 神经网络,2.5.5 BP网在棉花病虫害诊断中的应用,为有效使用计算机技术，指导农民科学种田，冯旭东，陈方 提出一个基于神经网络的棉花虫害诊断系统。,棉花虫害原始数据由植保专家提供。在棉花生长过程中常见的可能发生的病虫害主要有：,（1）9种病害，分别是立枯病，炭疽病，红腐病，枯萎病，黄萎病，疫病，黑果病，红粉病和曲霉病。,（2

35、）10种虫害，分别是棉蚜，小地老虎，蜗牛，红蜘蛛，斜纹夜蛾，盲春象，棉铃虫，红铃虫，金刚钻和玉米螟。,对所有病虫害造成棉花症状进行分析，整理出65条症状，并将症状分别对应编号1，2，65.,工程应用软计算 神经网络,有62种症状分别发生在棉花植株的4个不同部位，其中有21条症状属于蕾花铃类，如1号症状“蕾花脱落”、2号症状“蛀食花蕾，但不蛀入子房”、21号症状“铃壳上有淡草绿色霉状物”；,有21条症状属于叶类，如22号症状“叶片萎缩下垂”、23号症状“子叶脱落”、42号症状“叶肉变厚，主脉仍绿色，有西瓜皮状花斑”；,有8条症状属于茎根种类，如43号症状“嫩茎上有虫群聚吸食汁液”、44号症状“幼

36、茎断且被拖入土中”、50号症状“烂种”；,有12条症状属于芽及苗株类，如51号症状“顶芽基部变黑枯焦，形成多头苗”、52号症状“烂芽”、62号症状“棉株顶部自上而下逐渐枯死”。,工程应用软计算 神经网络,还有3条症状属于虫类症状，分别是63号症状“幼虫淡红色”、64号症状“初孵幼虫群居一处，不久即吐丝随风飘到各处”和65号症状“卵块椭圆形，幼虫头深黑色，体背淡褐色或淡红色”。,上述65条症状农民都可以通过观察描述出来。,建立一个三层的前馈网络，其中，输入层为65个节点，对应各种标号症状的表现程度。输出层设19个节点，分别对应19种棉花病虫害的名称。隐层节点数目在网络训练中确定。,在棉花生长过程

37、中出现某种症状，即相当于对神经网络的65个输入节点上分别赋予0或1.,工程应用软计算 神经网络,通过训练，得到最佳隐层节点个数为40，训练误差为0.022.,在上述工作基础上，该文作者开发了一个棉花病虫害诊断系统。,利用专家的经验，可以给出棉花病虫害的名称（包括可能是多种病虫害同时发生），即在网络相应的输出节点上赋值“1”，其他节点赋值“0”.,有重要影响的神经网络,工程应用软计算 神经网络,工程应用软计算 神经网络,工程应用软计算 神经网络,工程应用软计算 神经网络,人工神经网络国内外研究状况,20世纪80年代，人工神经网络在世界范围复苏，国内也逐步掀起了研究热潮。,1989年10月和11月

38、分别在北京和广州召开了神经网络及其应用讨论会和第一届全国信号处理-神经网络学术会议。,1990年2月由国内8个学会，即中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物学会、生物物理学会和心理学会联合在北京召开“中国神经网络首届学术会议”。这次大会以“八学会联盟，探智能奥秘”为主题，开创了中国神经网络及神经计算机方面科学研究的新纪元。,工程应用软计算 神经网络,2004年8月在大连召开ISNN（Internationl Symposium on Neural Networks），引起了国内外神经网络研究者的广泛关注，产生了较大的影响。,国内外许多相关的学术会议都设有人工神经网络专

39、题，如国内的WCICA、CIAC、CDC、CCC、CAA及国外的ACC、CCA、IDEAC等。,经过十几年的发展，中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果，学术论文、应用成果和研究人员逐年增加。,2004年10月在合肥召开的“人工神经网络学术会议”已是第14届学术年会。,工程应用软计算 神经网络,国际上，1987年，在美国加州召开了第一届国际神经网络学术会议，此后每年召开的国际联合神经网络大会IJCNN（International Joint Conference on Neural Networks）成为神经网络研究者的重要学术交流平台。,十几种国际著名的神经网络学

40、术刊物相继问世，如IEEE Transactions on Neural Networks、IEEE Transactions on Circuit and Systems、IEEE Transactions on Systems,Man,and Cybernetics、Journal of Artificial Neural Networks、Journa of Neural Systems、Neural Networks、Neural Computation、Networks:Computation in Neural Systems、Machine Learning等。神经网络理论研究在国际学术领域获得了其应有的地位。,工程应用软计算 神经网络,神经网络的发展展望,经过半个世纪的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。关于学习、联想和记忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视。目前神经网络研究与发展主要集中在以下几个方面：,1）神经生理学、神经解剖学研究的发展 2）与之相关的数学领域的研究与发展 3）神经网络应用的研究与发展 4）神经网络硬件的研究与发展 5）新型神经网络模型的研究,再见,理学院应用数学系,