《优化设计3-34-2梯度.ppt》由会员分享，可在线阅读，更多相关《优化设计3-34-2梯度.ppt（21页珍藏版）》请在三一办公上搜索。
1、,4.2 梯度法（最快速度下降法）,第三章 无约束最优化方法,一、特点 这是一种将n维问题转化为一维搜索的方法，在其搜索点的局部区域内，目标函数值的下降速度最快。优点：算法简单，每次迭代所需的计算量小，计算机所需的内存少。以一个不很好的点也能收敛到最优解上。,4.2 梯度法（最快速度下降法）,二、基本思想 梯度是函数值变化率最大的方向。在通常的目标函数极小化的最优化设计中，负梯度方向是一个非常诱人的方向，它是函数值下降非常快的方向。设在第k次迭代中，取得了初始点X（k）。目标函数F(X)在 X（k）处的梯度为,4.2 梯度法（最快速度下降法）,则负梯度方向的单位向量为：,第k次迭代的搜索方向就
2、取为X（k）点的负梯度方向 这样便得到普通的迭代公式：,4.2 梯度法（最快速度下降法）,为书写简便用 在迭代过程中，如果满足条件 迭代终止。,4.2 梯度法（最快速度下降法）,注意：迭代式中的（k）就是最优化因子。它可以用前面介绍的一维搜索的办法确定。然而，当目标函数的海赛矩阵能求时，也可用解析的算法求得。,4.2 梯度法（最快速度下降法）,梯度法的搜索路径:S(k)与S(k+1)垂直,三、迭代步骤 给定 X0,1，2 Xk+1-Xk 1，or g k2,否则回到,4.2 梯度法（最快速度下降法）,梯度法的程序框图,4.2 梯度法（最快速度下降法）,四、计算举例 设起始点X（0）=0，0T，
3、试用梯度法求极小。解：（1）F（X）的梯度 F（X）的海赛矩阵,4.2 梯度法（最快速度下降法）,（2）当X（0）=0，0T 时，,4.2 梯度法（最快速度下降法）,4.2 梯度法（最快速度下降法）,(3)当 时,4.2 梯度法（最快速度下降法）,4.2 梯度法（最快速度下降法）,4.2 梯度法（最快速度下降法）,（4）如此迭代下去。如果给定的收敛条件，迭代终止条件为：,当 k=7 时，与目标函数的实际极小点非常接近。,4.2 梯度法（最快速度下降法）,五、应用梯度法应注意的问题 前后两迭代的搜索方向 S（k+1）和S（k）一定垂直（正交）。因为X（k+1）=X（k）+（k）S（k）,（k）是最优化步长因子。故 X（k+1）是在 S（k）方向上的极值点。,4.2 梯度法（最快速度下降法）,梯度法（最快速下降法）容易使人们错误地认为这种方法的收敛速度是最快的，迭代次数是最少的。由于梯度具有局部的性质，因此从局部看来，梯度是最快的，但从全局看起来，速度就不一定快，特别在接近极值点时，速度越来越慢。这种方法在开始迭代时非常有效，故在组合的混合方法中，常用它做前几次运算。,等值线为椭圆的迭代过程 等值线为圆的迭代过程,4.2 梯度法（最快速度下降法）,P61 例4-1,4.2 梯度法（最快速度下降法）,4.2 梯度法（最快速度下降法）,4.2 梯度法（最快速度下降法）,
