应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc

上传人:laozhun 文档编号:3943069 上传时间:2023-03-28 格式:DOC 页数:56 大小:2.15MB
返回 下载 相关 举报
应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc_第1页
第1页 / 共56页
应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc_第2页
第2页 / 共56页
应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc_第3页
第3页 / 共56页
应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc_第4页
第4页 / 共56页
应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc_第5页
第5页 / 共56页
点击查看更多>>
资源描述

《应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc》由会员分享,可在线阅读,更多相关《应用改进的共轭梯度法优化暴雨强度公式参数毕业论文.doc(56页珍藏版)》请在三一办公上搜索。

1、太原科技大学毕 业 设 计(论 文)设计(论文)题目:应用改进的共轭梯度法优化暴雨强度公式参数姓 名_ _ 学院(系)应用科学学院 专 业_信息与计算科学班 级 091801 指导教师_ _2013 年 06月 01日太原科技大学毕业设计(论文)任务书(由指导教师填写发给学生)学院(直属系):应用科学学院数学系 时间: 2013年3月25日学 生 姓 名 指 导 教 师 设计(论文)题目应用改进的共轭梯度法优化暴雨强度公式参数主要研究内容1、翻译相关内容的英文科技文献;2、对常见的共轭梯度法进行学习和研究;3、构造一类改进的共轭梯度法,并证明构造算法的全局收敛性;4、应用新构造的共轭梯度法优化

2、暴雨强度公式中的参数,采用一种编程语言,来验证算法的有效性;且和以往的求解暴雨强度公式参数的进行比较。研究方法构造一种新算法,理论分析收敛性,应用新构造的共轭梯度法优化暴雨强度公式中的参数,编程进行验证且和传统方法进行比较主要技术指标(或研究目标)通过毕业设计,培养学生独立查找文献、熟练翻译数学相关英文文献的能力,通过对常见的共轭梯度法及线搜索方法的学习,能构造出一种新的共轭梯度法,并对其收敛性进行证明;应用新构造的共轭梯度法优化暴雨强度公式中的参数,采用一种编程语言,来验证算法的有效性;且和以往的求解暴雨强度公式参数的进行比较。主要参考文献1、杜守强,陈元嫒非单调共轭梯度法的全局收敛性结果J

3、洛阳大学学报,2002,17(4):l-52、张子贤:用高斯一牛顿法确定黎雨公式参数,河海大学学报,1995,23(5)3、李树平等:“用麦夺尔特法推求暴雨强度公式参数”,给水排水。1999(2) 4、李灿.修正FR共轭梯度法的全局收敛性J.西北师范大学学报(自然科学版),2011.47(5):22-25.5、张子贤.用高斯-牛顿法确定暴雨公式参数J.河海大学学报,1995.23(5):106-108.说明:一式两份,一份装订入学生毕业设计(论文)内,一份交学院(直属系)。目录摘要.ABSTRACT.第1章 绪论.11.1最优化方法.11.2无约束优化问题.3 1.2.1基本概念介绍.3 1.

4、2.2无约束优化中的常用算法.5 1.3本文的主要工作.7第2章 共轭梯度法的概述.82.1共轭梯度法的产生及其发展.82.2 共轭梯度法中常用的几种线搜索.9 2.2.1精确线搜索.10 2.2.2非精确线搜索.102.3重要的共轭梯度算法.11第3章 改进的共轭梯度法.173.1算法提出.173.2算法的描述.173.3全局收敛性分析.18第4章 应用改进的共轭梯度法求解暴雨强度公式参数.244.1城市暴雨强度公式的型式及其求参方法简介.24 4.1.1城市暴雨强度公式的型式.24 4.1.2城市暴雨强度公式的求参方法.244.2应用改进的共轭梯度法求解暴雨强度公式参数.27 4.2.1

5、改进的新算法的原理.28 4.2.2求解暴雨强度公式的算例及求得结果.29结论.32参考文献.33致谢.35附录.36附录 中文译文. .36附录 英文原文.43应用改进的共轭梯度法优化暴雨强度公式参数摘要共轭梯度法是求解无约束优化问题的一类常用算法,迭代结构简单、存储量小,且具有良好的局部及全局收敛性。对于大规模的无约束优化问题,其数值表现远远优于最速下降法、牛顿法等无约束最优化方法。本文的主要工作如下:1、介绍了最优化方法和无约束优化问题的发展概况,对共轭梯度法进行了概述,并对几种经典的共轭梯度法:FR方法、PRP方法、HS方法、CD方法、DY方法等作了综述。2、提出了一种改进的共轭梯度法

6、。迭代公式如下:,其中。首先,证明了搜索方向具有充分下降性,这不依赖于线搜索条件和目标函数凸性假设;其次,在强Wolfe线性搜索下证明了算法的全局收敛性。 3、应用改进的共轭梯度法优化暴雨强度公式中的参数。首先介绍了暴雨强度公式的相关内容;然后根据重现期-降雨历时-暴雨强度的关系表,应用改进的共轭梯度法优化暴雨强度公式中的参数;最后算例表明,该算法实用可行,相对于高斯-牛顿法和传统方法,拟合精度得到显著提高。关键词:无约束优化,共轭梯度法,全局收敛性,暴雨强度公式Application of Modified Conjugate Gradient Method to Optimize Para

7、meters of Storm FormulaABSTRACTConjugate gradient method is a kind of commonly used algorithm for solving unconstrained optimization problem, the iteration of simple structure, small storage capacity, and has good local and global convergence. For large-scale unconstrained optimization problems, the

8、 numerical performance is much better than the steepest descent method, Newton method such as unconstrained optimization method. In this paper, the main work is as follows:1. The overview of the development of optimization methods and unconstrained optimization problems are introduced. Conjugate gra

9、dient method on a concrete outline and several classic conjugate gradient methods: FR method, PRP method, HS method, CD method and DY methods were reviewed.2. An improved conjugate gradient method. Iterative formula is as follows:,where. Firstly proved with sufficient descent search direction, which

10、 does not rely on line search and the objective function convexity assumptions; Secondly, in strong Wolfe line search algorithm is proved global convergence.3. Application of improved FR conjugate gradient method is used to optimize the parameters in the rainstorm intensity formula. First of all int

11、roduces the rainstorm intensity formula of the related content; Then according to the recurrence interval, rainfall durationand rainfall intensityrelational table, applications with improved FR conjugate gradient method optimization parameters in rain intensity formula; Finally numerical examples sh

12、ow that the algorithm is practical and feasible, compared with Gauss-Newton method and traditional method, the fitting accuracy is improved significantly.Keywords:unconstrained optimization,conjugate gradient method,globally convergent,storm intensity formula第1章 绪论1.1最优化方法简介最优化理论是应用性很强的学科之一,它主要研究教学上

13、所定义问题的最优解,即对给出的实际问题,从众多方案中选择最优的方案。最优化方法又称为数学规划,它是运筹学的一个重要分支,也是应用数学中联系实际最为密切的部分,涉及的领域包括自然科学、社会科学、工程设计、工业生产和现代化管理等等。最优化的思想早在古代已产生,但作为一门独立的学科还是在1947年一般线性规划问题的单纯形法提出之后产生的,科技的飞速发展和计算机的广泛应用进一步推动了最优化理论与方法的研究。如今最优化理论与方法在经济规划、政府决策、交通运输和军事国防等方面得到了广泛的应用,成为一门十分活跃的学科。最优化问题的一般形式为:其中是决策变量,为目标函数,为约束集或可行域。约束最优化问题的形式

14、为:. 这里和分别是等式约束和不等式约束是指标集。是约束函数。当目标函数和约束函数均为线性函数时,问题称为非线性规划;当目标函数和约束函数中至少有一个是变量的非线性函数时,问题称为非线性规划。如果约束集,则最优化问题称为无约束最优化问题:最优化方法通常采用迭代法求它的最优解,其基本思想是:给定一个初始点,按照某一迭代规则产生一个点列,使得,当是有穷点列时,其最后一个点是最优化模型问题的最优解;当是无穷点列时,且存在极限时,则极限点是最优化模型问题的最优解。一个好的算法应具备的典型特征为:迭代点能稳定地接近局部极小点的邻域,然后迅速收敛于,当给定的某种收敛准则满足时,迭代即终止。一般地,我们要证

15、明迭代点列的聚点(即子序列的极限点)为一局部极小点。设为第个迭代点,为第次搜索方向,为第次步长因子,则第个迭代点为:从这个迭代格式可以看出,不同的步长因子和不同的搜索方向构成了不同的最优化方法。最优化方法的基本结构如下:给定初始点(1)确定搜索方向,即按照一定的原则,构造在点的下降方向作为搜索方向。(2)确定步长因子,使目标函数有某种意义的下降。(3)令,若满足某种终止条件,则停止迭代,得到近似最优化解。否则,重复上述步骤。迭代终止准则的选择是程序设计的内容之一,从理论上讲,任何一种迭代算法都可产生无穷序列的设计方案。在实际优化中,我们不可能也不必要做无限次迭代,只要达到给定的精度就应该终止计

16、算并认为找到了最优方案。常用的迭代终止准则有以下三种:(1)点距准则 当相邻两点之间的距离已充分小,即:或(2)函数下降准则 当目标函数的下降量已充分小,即:或(3)梯度准则 在迭代点,目标函数的梯度已充分小,即:在上式中,称为判别收敛的允许误差或精度控制量,上述准则都在一定程度上反映了逼近最优点的程度,但都有一定的局限性,在实际应用中可取其中的一种或两种甚至三种同时满足来进行判断。1.2无约束优化问题1.2.1基本概念介绍无约束优化计算方法是数值计算领域中十分活跃的研究课题。快速地求解无约束优化问题已经成为当今的焦点,除了其自身的重要性外,还由于目前求解约束优化问题的基本思想之一就是把约束问

17、题变换为一系列无约束子问题进行求解。因此,无约束优化算法的求解效率将直接影响到约束问题的求解,尤其是在大规模优化问题中。所以,对无约束优化算法的研究具有重要的理论意义和实际价值。在无约束优化问题中,目标函数的最小化取决于某些不受约束制约的变量,其中一般形式为:其中为维实变量,是连续可微函数。求解无约束优化问题时将会涉及到以下概念:(1)驻点、鞍点:若在点处可微,并且,则称为的一个驻点(或者平稳点)。既不是极小值点,也不是极大值点的临界点称为鞍点。(2)全局最优解:若,均有,则称为问题的一个全局最优解。(3)局部最优解:若且存在的某个邻域,其中为某个正数,使得,均有,则称为问题的一个局部最优解。

18、当目标函数为凸函数时,我们认为全局最优解即是局部最优解,然而,通常寻求全局最优解并不容易。因此,在非线性优化中我们认为局部最优解即为所求。(4)非极小点的充分条件:设在点处可微,若存在方向,使得,则存在,使得,有。此时,我们称为函数在点的一个下降方向。(5)无约束优化一阶必要条件:若为问题的一个局部最优解,在点的某个开邻域连续可微,则。(6)无约束优化二阶必要条件:若为问题的一个局部最优解,在点的某个开邻域连续可微,则,是半正定的。(7)无约束优化二阶充分条件:假设在点的某个开邻域连续可微,且半正定,则为问题的一个局部极小解,特别的,对于邻域内的任意一点,若是正定矩阵,则也是一个严格局部极小解

19、。(8)无约束优化的充要条件:假设函数为可微的凸函数,则为问题的全局最小点,当且仅当。(9)下降条件:线搜索方法的主要任务是在每次迭代过程中选择搜索方向并确定沿搜索方向的步长。下降搜索方向一般满足其中。 (10)共轭的定义:设是阶对称正定矩阵,是维非零向量,如果,则称向量和是关于共轭的。类似地,设是中任意一组非零向量,如果, 则称是关于共轭的一组方向。显然,如果关于共轭的方向,则它们是线性无关的。如果,则共轭性等价于正交性。1.2.2无约束优化中的常用算法无约束优化算法可以分为两大类:一类是借助目标函数的导数信息来构造下降的搜索方向;另一类是由目标函数值信息直接搜索求解的方法。导数下降方法通常

20、比直接搜索方法更为有效。由于我们的研究主要是针对流程中的优化问题,其中,大多数问题都是连续可导的,因此,我们选择同属于导数下降方法的最速下降法、共轭梯度法、牛顿法、拟牛顿法进行简单的介绍。1、最速下降法经典最速下降法是由Cauchy于1847年提出的,Forsythe和Motzkin在1951年对它做了初步的分析,1959年,Akaike对最速下降法做出了最全面的分析。负梯度方向是目标函数下降最快的方向,最速下降法就是以函数的负梯度方向为搜索方向的极小化算法,又称为梯度法,它是无约束优化中最简单的方法,计算量小,所需的存储量少;具有整体收敛性,初始点要求不高,从一个不好的初始点出发也能保证算法

21、的收敛性。最速下降法反映了目标函数的一种局部性质,从局部看,最速下降方向的确是目标函数值下降最快的方向,选择这样的分析进行搜索是有利的。但是,从全局看,由于锯齿现象的影响,即使向着极小点移动不太大的距离,也要经历不小的“弯路”,因此收敛速率大为减慢。最速下降法并不是收敛最快的方法,相反,从全局看,它的收敛是比较慢的。因此,最速下降法一般适用于计算机过程的前期迭代或者作为间插步骤,而当迭代接近极小点时再使用此法试图满足终止条件的做法并非有利。2、牛顿法牛顿法是函数逼近法中的一种,它的基本思想是:在迭代点附近利用二阶Taylor多项式近似目标函数,进而求出极小点的估计值。牛顿法的搜索方向为,故称为

22、牛顿方向,在这种意义下,牛顿法可以看成是范数下的最速下降法。牛顿法对于正定二次函数,迭代一次就可以得到极小点,收敛速度比较快。但对于非二次函数,它并不能保证经过有限次迭代就可以求得最优解。当初始点远离最优点时,不一定正定,那么牛顿方向不一定是下降方向,其收敛性不能得到保证,因此产生阻尼牛顿法。阻尼牛顿法与原始牛顿法的区别在于增加了沿牛顿方向的一维搜索:由于阻尼牛顿法含有一维搜索,因此,每次迭代目标函数值一般都有所下降。可以证明,阻尼牛顿法在适当条件下具有全局收敛性,且二次收敛。原始牛顿法和阻尼牛顿法有共同的缺点:一是可能出现Hessian矩阵为奇异矩阵的情形,因而不能确定后继点;二是即使Hes

23、sian矩阵非奇异,也未必正定,因而牛顿方向不一定是下降方向,这就可能导致算法的失效。牛顿法中,Hessian矩阵的存储量、计算量都很大,迭代过程中每一步都必须求解线性方程组,计算量也相当大。3、共轭梯度法共轭方向法是介于最速下降法和牛顿法之间的一个方法,它仅需要利用目标函数的一阶导数信息,既克服了最速下降法收敛速度慢的缺点,又避免了存储和计算牛顿法所需要的二阶导数信息。共轭方向法是从研究二次函数极小化产生的,但是它可以推广到处理非二次函数极小化问题。最经典的共轭方向法就是本文涉及到的共轭梯度法。共轭梯度法不仅是求解大规模线性系统的主要工具,而且很适合于求解非线性优化问题。线性共轭梯度法是由H

24、estenes和Stiefel在上世纪五十年代作为一种求解正定矩阵线性系统的迭代方法而提出的,它实际上是Gaussian消元法的变形,适合于求解大规模问题。非线性共轭梯度法是Fletcher和Reeves于上世纪六十年代首次提出的,该方法的提出,是对大规模非线性优化问题求解的一个新的里程碑。随后几年,以FR共轭梯度法为基础的各种共轭梯度法相继出现,并在实际中得到广泛应用。这些算法的主要特点是不需要存储矩阵并且计算速度快,节省了运算时间和空间,提高了算法本身的有效性和可靠性。共轭梯度法原是为了求解目标函数为二次函数的问题设计的,这类方法的主要特点是,根据一维搜索确定步长,不需要存储二阶导数,二次

25、函数理论上不超过次即可收敛。4、拟牛顿法十九世纪五十年代中期,著名物理学家W.C.Davidon提出拟牛顿法,成为非线性优化思想上的一次改革。之后不久,Fletcher和Powell证明了该算法比当时存在的其它算法更快速更可靠。在随后的二十年中,拟牛顿法成为众多学者们研究的焦点。七十年代是拟牛顿法应用和理论发展最快的时期,其中Broyden族是最著名的,其收敛性一直是研究的热点。但是它需要存储矩阵及通过线性方程组来计算搜索方向,因而不适用于求解大型问题。拟牛顿法,类似最速下降法,仅仅要求在每次迭代过程中提供目标函数的梯度。通过测量梯度函数的改变量,构造目标函数模型,产生超线性收敛的结果。拟牛顿

26、法仅仅需要计算一阶导数,不必计算Hessian矩阵,并且它的收敛速度很快,这些优点使之成为最有效的优化算法之一。迄今为止,拟牛顿法已广泛应用于无约束优化问题及约束优化问题中。1.3 本文的主要工作本文主要研究了求解无约束优化问题的共轭梯度法,在第一章和第二章我们对无约束优化问题和共轭梯度法进行了概述,对比较经典的共轭梯度法进行了介绍和分析。在这些算法和文献26的基础上,我们在第三章改进了文献26中的搜索方向的参数,提出了一类改进的共轭梯度法。该算法始终产生充分下降方向,并且该充分下降性的产生不依赖于任何线搜索。文章给出了改进的共轭梯度法,并证明了其搜索方向的充分下降性,然后在适当的条件下又证明

27、了该算法在强Wolfe线性搜索下求解无约束优化问题的全局收敛性。在第四章,应用改进的共轭梯度法求解暴雨强度公式中的参数。首先介绍了暴雨强度公式的相关内容;然后根据重现期-降雨历时-暴雨强度的关系表,应用改进的共轭梯度法优化暴雨强度公式中的参数;最后通过算例证明该算法的可行性,并将该算法与高斯-牛顿法和传统方法进行比较,表明拟合精度得到显著提高。第2章 共轭梯度法的概述2.1共轭梯度法的产生及其发展共轭梯度法是最优化中最常用的方法之一。在所有需要计算导数的优化方法中,最速下降法是最简单的,但是它的局部收敛速度太慢;拟牛顿方法收敛速度很快,被广泛认为是非线性规划的最有效的方法,但是拟牛顿方法需要储

28、存矩阵以及通过求解线性方程组来计算搜索方向,这对大规模问题几乎是不可能办到的。而共轭梯度法算法简便,存储需求小,收敛速度又比最速下降法快,特别适合求解大规模问题。共轭梯度算法最早是由计算数学家Hestenes和几何学家Stiefel在二十世纪五十年代初为求解线性方程组而独立提出的。1964年Fletcher和Reeves将此方法推广到非线性最优化问题当中来,得到了求解一般函数极小值的共轭梯度法。通常共轭梯度法分为线性共轭梯度法和非线性共轭梯度法。线性共轭梯度法的基本思想是,在迭代过程中利用函数在迭代点的梯度向量以及前一次搜索方向,构造一个与前面方向共轭的新方向作为当前的迭代方向。经过推广,可以

29、用来极小化一般可微函数的共轭梯度法,称之为非线性共轭梯度法。求解无约束优化问题 (2.1)的共轭梯度法具有如下形式: (2.2) (2.3)其中,是通过某种线搜索获得的步长因子,为一参数。的不同取法构成了不同的共轭梯度法算法,比较常见的的计算公式有 (2.4) (2.5) (2.6) (2.7)近年来,Dai,Yuan又提出的另一计算公式: (2.8)对于无约束优化问题(1.1),我们假定其中的目标函数满足:假设1.1:(1)的水平集有下界; (2)在的一个邻域内,连续可微且满足其导数满足Lipchitz条件,即存在常数,使得 (2.9)共轭梯度算法如下:算法1.1: 步骤1:给定,; ;步骤

30、2:如果,则停止; 利用某种线搜索方法求;步骤3:利用公式计算; ; ,转步骤2。2.2共轭梯度法中常用的几种线搜索所谓线搜索,又称一维搜索,是指单变量函数的最优化,它是多变量函数最优化的基础。在算法1.1的步骤2中,线搜索方法是用来确定步长的。线搜索可分为精确线搜索和非精确线搜索两大类。下面介绍几种确定步长的原则:2.2.1 精确线搜索(1)极小化原则:沿射线求极小,即选取使得: (2.10)(2)Curry原则:选取为 (2.11)上述原则都要求是函数的稳定点,故称为精确线搜索。2.2.2非精确线搜索在无约束优化算法的收敛性分析中,精确线搜索是非常重要的,但在计算机上实现时,即使允许有一定

31、误差,也要付出很大代价,因此通常人们采用一些较弱的步长原则,它们属于非精确线搜索。(1)Goldstein线搜索:要求满足下列条件 (2.12) (2.13)其中(2)Wolfe线搜索:给定参数,选取,使得 (2.14) (2.15)(3)强Wolfe线搜索:给定参数,选取,使得 (2.16)(4)Armijo线搜索:给定参数和,选取为其中整数等于 (2.17)2.3重要的共轭梯度算法在算法1.1的步骤3中,若分别按(2.4),(2.5),(2.6),(2.7),(2.8)取值,则相应的算法称为FR方法、PRP方法、HS方法、CD方法和DY方法。1、FR方法FR共轭梯度法是最早的非线性共轭梯度

32、法,它是由Fletcher和Reeves在1964年将求解方程组的共轭梯度法推广于求解无约束优化问题(2.1)而得来的。其迭代格式为(2.2)和(2.3),其中参数按以下公式计算:早期对FR方法的分析是基于精确线搜索的,Powell在精确线搜索下分析了FR方法可能连续产生小步长的性质,即如果FR方法在某一步产生一个很小的步长,则相继的许多步长也可能非常小。Powell也给出了FR方法最简单的全局有效性分析,他发现,当采取精确线搜索方法进入到一个为二维二次函数的区域时,搜索方向和负梯度方向的夹角始终保持不变。由于这个角度可任意接近,因此FR方法可能收敛非常慢。这些分析在很大程度上解释了为什么FR

33、方法在数值计算中并不十分理想,虽然FR方法可能收敛非常慢,但Zoutendijk证明了采取精确线性搜索的FR方法对一般非凸函数总收敛。由于精确线性搜索非常昂贵,在实际计算中,人们通常使用非精确线搜索,在非线性共轭梯度法中,第一个非精确线搜索下的全局收敛结果是由Al-Baali在1985年给出的。它证明了使用参数的强Wolfe线搜索的FR方法必满足充分下降条件,而且全局收敛。Liu,Han和Yin将A1-Baali的结果推广到了。Dai和Yuan较彻底地分析了使用一般强Wolfe线搜索的FR方法,他们通过考虑相邻两个迭代点列的技巧发现:只要FR方法的每个搜索方向下降,则任意相邻两个迭代点列中至少

34、有一个使得充分下降条件成立,从而可证明方法的全局收敛性。由于的强Wolfe线搜索能保证FR方法在每一个迭代点列产生一个下降方向,因此由他们的结果立即获得的强Wolfe线搜索下FR方法的全局收敛性。但若,Dai和Yuan给出了反例,表明FR方法可能因为产生一个上升方向而导致失败。既然使用一般参数的强Wolfe线搜索不一定能保证FR方法每一步都产生一个下降方向,Dai和Yuan提出了一种广义的线搜索。这种广义线搜索不要求搜索方向下降,Dai和Yuan证明了FR方法在广义Wolfe线搜索下的全局收敛性。许多学者以为基础构造了的一些其它计算公式,如:(1)杜学武、徐成贤、凌永祥讨论了满足式的任何共轭梯

35、度法,并在步长满足强Wolfe线搜索时()算法的全局收敛性;此外,杜学武、徐成贤进一步考虑满足或者的两类算法,在采用的推广的Wolfe线搜索时的下降性和全局收敛性。(2)Du Xuewu,Han Baoshun,Zhang Liansheng提出了包含FR方法的一类共轭梯度法:,推广了FR方法,并在下面的线搜索下证明了算法的收敛性。步长由广义Wolfe线搜索其中和,参数由()确定的共轭梯度法是全局收敛的。步长由强Wolfe线搜索 其中。如果则参数由()确定的共轭梯度法是全局收敛的。步长由其中,如果存在一个常数,满足,那么此种方法也是全局收敛的。步长由其中计算,证明了此种共轭梯度法收敛。(3)杜

36、守强、陈元媛、齐龙新、杨德馨将的取值范围拓广为,并在广义Wolfe线搜索其中,下,证明了这种类型的共轭梯度法是全局收敛的。(4)杜守强、陈元媛指出:当满足时,在GLL非单调线性搜索:其中,为正整数下的算法是全局收敛的。2、PRP方法和HS方法PRP方法中,的计算公式如下: PRP方法是目前认为数值表现最好的共轭梯度法之一。当算法产生一个小步长时,由PRP方法定义的搜索方向自动靠近负梯度方向,从而有效避免了FR方法可能连续产生小步长的缺陷。由此,Powell证明了当步长趋于零时,PRP方法全局收敛,且采用精确线搜索的PRP方法对一致凸函数全局收敛。但对一般非凸函数,Powell举出了三维情况下的

37、反例,表面即使按Curry原则选取步长因子,PRP方法可能在六点附近循环,且任意一点都不是目标函数的稳定点。当n=2时,Powell证明了采取Curry准则的PRP方法对一般非凸函数的收敛性。由于当线搜索精确且n=2时,Broyden凸簇拟牛顿法会产生和PRP方法完全相同的点列,戴彧虹利用了Powell提出的二维例子,说明了采取Wolfe非精确线搜索的Broyden凸簇拟牛顿法对一般非凸函数不必收敛。如果使用非精确线搜索如强Wolfe线搜索,戴彧虹举出例子表明,即使一致凸,而且参数充分小,PRP方法都有可能产生一个上升搜索方向。进而,如果要求每一搜索方向都下降,则采取非精确线搜索的PRP方法对凸函数收敛。对一般非凸函数,Powell建议限制PRP方法中的参数为非负。为了避免当很大

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 办公文档 > 其他范文


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号