《哈工大智能仪器补充资料整理.docx》由会员分享，可在线阅读，更多相关《哈工大智能仪器补充资料整理.docx（7页珍藏版）》请在三一办公上搜索。
1、哈工大智能仪器补充资料整理知识点1：穷举法、爬山法、遗传算法特点 1穷举法：列举所有可能,然后一个个去,得到最优的结果。这种算法得到的最优解肯定是最好的，但也是效率最低的。穷举法虽然能得到最好的最优解，但效率是极其低下的。为了能提高效率，可以不要枚举所有的结果，只枚举结果集中的一部分，如果某个解在这部分解中是最优的，那么就把它当成最优解。显然这样有可能不能得到真正的最优解，但效率却比穷举法高很多。 2爬山法： 爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。 3遗传算法：优点：对可行解表示的广泛性；群体搜索特性；不需要辅助信息；内在启发式随机搜索特性；在搜索过程中
2、不容易陷入局部最优；具有固定的并行性和并行计算的能力；可扩展性强，易于同别的技术结合。缺点：编码不规范及不准确性；单一的遗传算法编码不能全面地将优化问题的约束表示出来；效率通常比其他传统的优化方法低；容易过早收敛。 知识点2：第五章 优点： 非线性映射能力： 能学习和存储大量输入输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成有n维输入空间到m维输出空间的非线性映射 泛化能力： 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力成为泛化能力 容错能力： 输入样本中带有较大的误差甚至
3、个别错误对网络的输入输出规律影响很小 自学习能力和自适应能力： BP网络在训练时，能通过学习自动提取输入、输出数据间的“合理规则”，并自适应的将学习内容记忆于网络的权值中。即BP神经网络具有高度自学习和自适应能力 缺点： 1）局部极小化问题：从数学角度看，传统的 BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。加上BP神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。 要
4、化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；BP神经网络模型中，为了使网络执行BP算法，不能使用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法也会引起算法低效。以上种种，导致了BP神经网络算法收敛速度慢的现象。 3) BP神经网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理2) BP 神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所论指导，一般只能由经验选
5、定。网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。因此，应用中如何选择合适的网络结构是一个重要的问题。 4) 应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。 5) BP神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差，并且一定程度上，随着训练能力地提高，预测能力会得到提高。
6、但这种趋势不是固定的，其有一个极限，当达到此极限时，随着训练能力的提高，预测能力反而会下降，也即出现所谓“过拟合”现象。出现该现象的原因是网络学习了过多的样本细节导致，学习出的模型已不能反映样本内含的规律，所以如何把握好学习的度，解决网络预测能力和训练能力间矛盾问题也是BP神经网络的重要研究内容。 6） BP神经网络样本依赖性问题：网络模型的逼近和推广能力与学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。 知识点3：第七章 粒子群算法PSO的构成要素： 群体大小m：m很小陷入局部最优的可能性很大，m很大PSO的优化能力很好。 粒子的速度更新主要由三部分组成：前
7、次迭代中自身的速度，自我认知部分，社会经验部分。其中惯性因子w：w=1基本粒子群算法，w=0失去对粒子本身的速度的记忆。惯性权重w描述粒子上一代速度对当前代速度的影响。w值较大，全局寻优能力强，局部寻优能力弱；反之，则局部寻优能力强。当问题空间较大时，为了在搜索速度和搜索精度之间达到平衡，通常做法是使算法在前期有较高的全局搜索能力以得到合适的种子，而在后期有较高的局部搜索能力以提高收敛精度。所以w不宜为一个固定的常数。较大的w有较好的全局收敛能力，较小的w则有较强的局部收敛能力。因此，随着迭代次数的增加，惯性权重w应不断减少，从而使得粒子群算法在初期具有较强的全局收敛能力，而晚期具有较强的局部
8、收敛能力。 学习因子c1：c1=0无私型粒子群算法，“只有社会没有自我”，迅速丧失群体多样性，易于陷入局部最优而无法跳出。 学习因子c2：c2=0自我认知型粒子群算法，“只有自我没有社会”，完全没有信息的社会共享，导致算法收敛速度缓慢。 最大速度Vm：在于维护算法的探索能力与开发能力的平衡。Vm较大时探索能力强，但粒子容易飞过最优解，较小时开发能力强，但容易陷入局部最优，一般设为每维变量变化范围的10%20%。 粒子群优化算法的特点：粒子群算法与其他现代优化方法相比的一个明显特色就是所需调整的参数很少。相对来说，惯性因子和邻域定义较为重要。这些为数不多的关键参数的设置却对算法的精度和效率有着显
9、著的影响。 PSO具体应用实例：模糊控制器设计、车间自动调度、机器人实时路径规划、自动目标检测、时频分析等。 蚁群优化算法ACO：参数的意义： 蚂蚁数目：蚂蚁数目过多，迭代的计算量大且被搜索过的路径上信息素变化比较平均，此时全局搜索能力较强，但收敛速度减慢。蚂蚁数目过少时，算法的探索能力变差，容易出现早熟现象，特别是当问题的规模很大时，算法的全局寻优能力会十分糟糕。 信息素挥发因子：信息素挥发因子较大，信息素挥发速率大，从未被蚂蚁选择过的边上信息素急剧减少接近0，降低算法的全局探索能力。信息素挥发因子较小，算法具有较高的全局搜索能力，但是由于每个路径的信息素浓度差距拉大较慢，算法收敛速度较慢。
10、 初始信息素量：初始信息素量太小，未被蚂蚁选择过的边上信息素太少，蚂蚁很快就全部集中在一条局部最优的路径上，算法易早熟。初始信息素太大，信息素对搜索方向的引导能力增长十分缓慢，算法收敛慢。 自然蚁群与人工蚁群：二者的相似之处在于都是优先选择信息素浓度大的路径。较短路径的信息素浓度高，所以能够最终被所有蚂蚁选择，也就是最终的优化结果。两者的区别在于人工蚁群有一定的记忆能力，能够记忆已经访问过的节点。同时，人工蚁群再选择下一条路径的时候是按一定算法规律有意识的寻找最短路径而不是盲目的例如在TSP问题中，可以预先知道当前城市到下一个目的地的距离。 知识点4：第九章 支持向量机：概括地说，支持向量机就
11、是首先通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，在这个空间中求最优分类面。SVM分类函数形式上类似于一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个输入样本与一个支持向量的内积，因此也被叫做支持向量网络。特点： 基于结构风险最小化原则,保证学习机器具有良好的泛化能力; 解决了算法复杂度与输入向量密切相关的问题; 引用核函数,将输入空间中的非线性问题映射到高维特征空间中在高维空间中构造线性函数判别; 它主要是针对小样本情况,且最优解是基于有限的样本信息,而不是样本数趋于无穷大时的最优解; 最终转化为凸优化问题，保证全局最优性； 有严格的理论和数学基础，避免了神经网络
12、实现的经验成分。 SVM方法的特点：1、SVM利用内积核函数代替向高维空间的非线性映射；2、对特征空间划分的最优超平面是SVM的目标，最大化分类边际的思想是SVM方法的核心；3、支持向量是SVM的训练结果，在SVM分类决策中起决定作用的是支持向量。 支持向量：所谓支持向量是指那些在间隔区边缘的训练样本点。 这里的“机”实际上是一个算法。在机器学习领域，常把一些算法看做是一个机器。支持向量机与神经网络类似，都是学习型的机制，但与神经网络不同的是SVM使用的是数学方法和优化技术。 核函数：SVM的关键在于核函数。低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是
13、计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法。 支持向量机和神经网络的差别：神经网络是个“黑匣子”，优化目标是基于经验风险最小化，易陷入局部最优，训练结果不太稳定，一般需要大样本；支持向量机有严格的理论和数学基础，基于结构风险最小化原则, 泛化能力优于前者，算法具有全局最优性, 是针对小样本统计的理论。,支持向量机具有较强的逼近能力和泛化能力。神经网络的缺陷：1) 网络结构需要事先指定或应用启发算法在训练过程中修正,这些启发算法难以保证网络结构的最优化;2) 网络权系数的调整方法存在局限性;3) 神经网络易陷入局部最优,有些甚至无法得到最优解;4) 过分依赖学习样本,即模型性能的优劣过分依赖于模型训练过程中样本数据5) 基于经验的风险最小化，不能保证泛化能力。
