《传统BP与遗传算法简介ppt课件.pptx》由会员分享，可在线阅读，更多相关《传统BP与遗传算法简介ppt课件.pptx（16页珍藏版）》请在三一办公上搜索。
1、传统BP与遗传算法简介,汇报人：,1：单神经元模型2：传统的BP神经网络3：传统的遗传算法4：总结,1 单神经元模型 如图中 为神经元的内部状态， 为阈值， 为输入信号， ， 为表示从单元 到单元 的连接权系数， 为外部输入信号。,神经元模型可描述为：,其中 为激活函数（进行非线性化）,2 传统BP神经网络 BP算法又称为误差反向传播算法，它是一个迭代算法，其基本思想是梯度下降法。采用梯度搜索技术，使网络的实际输出值与期望输出值的误差均方值为最小。,输入层,隐含层,输出层,前向传播：将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果。,神经元h1的输入加权和：,神经元h1
2、的输出：,神经元h2的输出：,神经元h2的输入加权和：,神经元o1的输入加权和：,神经元o1的输出：,神经元o2的输入加权和：,神经元o2的输出：,这样前向传播的过程就结束了，之后计算期望值与输出值之间误差，对误差进行反向传播，更新权重与阈值，重新计算输出。,2. 反向传播：计算期望输出值与实际输出值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；同时在反向传播的过程中，根据误差调整相连神经元的权重和阈值，使得总损失函数减小。,计算损失函数：,权值与阈值更新（以w5、b2与w1、b1为例）：,w5对整体损失产生的影响：,由梯度下降法，权值的修正值 与E的梯度成正比，更新w5、
3、b1 ：,w1对整体损失产生的影响：,更新w1与b1 ：,同理可以求出其它权值与阈值，通过不断迭代上述三个步骤，更新权重与阈值（即对数据进行反复训练），直到误差满足条件后停止。,由于传统的BP网络是通过梯度下降法进行学习，随机生成权值和阈值，如果这两个初始参数选择不当，网络就会出现局部最优或收敛速度慢等问题。,3 遗传算法,遗传算法（Genetic Algorithm, GA）借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的优化方法。,GA中每一条染色体，对应着一个解决方案，一般我们用适应性函数来衡量这个解决方案的优劣。所以从一个基因组到其解的适应度形成一个映射。可以
4、把其过程看作是一个在多元函数里面求最优解的过程。,例如我们用GA算法在既定的区间找到以下函数的最大值,1. 个体编码,将x表达为基因的过程，称之为编码，常见的编码格式有二进制编码和浮点编码。此处采用9位二进制进行编码：,将x的区间-1,2进行编码：那么其精度为：,离散点-1到离散点2 ，分别对应于从000000000(0)到111111111 (512)之间的二进制编码,000000000或111111111都表示一个个体的基因型（如果有多个变量，则直接串联起来构成一个基因型），表示一个可行解,2. 初始群体的产生,遗传算法是对群体进行的进化操作，需要给其淮备一些表示起始搜索点的初始群体数据。
5、本例中，群体规模的大小取为10,3. 适应度计算,遗传算法中以个体适应度的大小来评定各个个体的优劣程度，从而决定其遗传机会的大小。本例中，由于是以求函数最大值为优化目标，故可直接利用目标函数值 作为个体的适应度,则各个个体被选中的概率（生存概率）为：,4. 选择运算,进行优胜劣汰的方法是：每次从群体中随机抽取p个人，将p个人中适应度最好的保留下来，重复N次，得到N个保留下的个体形成下一代。很明显，适应度评分越高的个体被选中的概率越大。,5. 交叉运算,交叉指的是交换染色体片段后产生两个新的后代，例如典型的单点交叉方式：随机选择两个个体组成一个父母对进行交叉，按照以下的方式产生新的子代。,6. 变异运算,变异的作用，指的是染色体的某个基因片段或者某个基因点发生突变。例如单点突变可以通过下图进行表示：,突变的作用，是希望能够摆脱局部最优点，往更好的地方去。但是效果具有很大的随机性。,7. 个体解码,将个体解码为十进制公式为：,遗传算法流程图：,效果图：,第一代适应度的平均值为2.025，最大适应度值为3.483，经过97代遗传选择后适应度平均值达到3.811，最大适应度值为3.843，可见得到了很好的收敛，并最终稳定在最右侧顶峰。,谢谢！,
