《人工神经网络.04.2.函数、导数、最值.ppt》由会员分享，可在线阅读，更多相关《人工神经网络.04.2.函数、导数、最值.ppt（99页珍藏版）》请在三一办公上搜索。
1、1,张凯 副教授,武汉科技大学 计算机学院,人工神经网络(Artifical Neural Network),2,第四章 函数、导数、最值,1.导数和方向导数,2.导数的几何意义,3.函数的最值,4.梯度下降法,3,导数的概念,函数f(x)在x=x0处的瞬时变化率为：,我们称它为函数f(x)在x=x0处的导数,记作：,4,导数的概念,比如,y=f(x),如图,5,方向导数的概念,表示在 x0处沿 x 轴正方向的变化率.,表示在 x0处沿 x 轴负方向的变化率.,6,方向导数的概念,又比如,z=f(x,y),偏导数,分别表示函数在点(x0,y0)沿 x 轴方向,沿 y 轴方向的变化率.,7,方向
2、导数的概念,如图,x,o,y,z,x0,(x0,y0),y,8,方向导数的概念,表示在(x0,y0)处沿 y 轴正方向的变化率.,表示在(x0,y0)处沿 y 轴负方向的变化率.,9,方向导数的概念,即 f x(x0,y0)表示 y=y0 与 z=f(x,y)的交线在 M0处的切线对 x 的斜率.,把偏导数概念略加推广即可得到方向导数的概念.,10,方向导数的概念,即 f y(x0,y0)表示 x=x0 与 z=f(x,y)的交线在 M0处的切线对 y 的斜率.,11,方向导数的概念,如图,12,方向导数的概念,若 z=f(X)=f(x,y)在 X0=(x0,y0)处偏导存在.,则在 X0 处
3、沿 x 轴正向的方向导数,13,方向导数的概念,在 X0 处沿 x 轴负方向的方向导数,同样可得沿 y 轴正向的方向导数为 f y(x0,y0),而沿 y 轴负方向的方向导数为 f y(x0,y0).,14,导数的概念,设,求,例：,解：,导数的几何意义,如图,曲线C是函数y=f(x)的图象,P(x0,y0)是曲线C上的任意一点,Q(x0+x,y0+y)为P邻近一点,PQ为C的割线,PM/x轴,QM/y轴,为PQ的倾斜角.,斜率!,则,导数的几何意义,P,Q,割线,切线,T,请看当点Q沿着曲线逐渐向点P接近时,割线PQ绕着点P逐渐转动的情况.,导数的几何意义,设切线的倾斜角为,那么当x0时,割
4、线PQ的斜率,称为曲线在点P处的切线的斜率.,提供了求曲线上某点切线的斜率的一种方法;切线斜率的本质函数在x=x0处的导数.,(3)当 t=t2 时,曲线 h(t)在 t2处的切线 l2 的斜率 h(t2)0.故在 t=t2 附近曲线下降,即函数 h(t)在t=t2 附近也单调递减.,导数的几何意义,例,曲线h(t)在t0,t1,t2 附近的变化情况.,解:可用曲线 h(t)在 t0,t1,t2 处的切线刻画曲线 h(t)在上述三个时刻附近的变化情况.,(1)当 t=t0 时,曲线 h(t)在 t0 处的切线 l0 平行于 x 轴.故在 t=t0 附近曲线比较平坦,几乎没有升降.,(2)当 t
5、=t1 时,曲线 h(t)在 t1 处的切线 l1 的斜率 h(t1)0.故在t=t1 附近曲线下降,即函数 h(t)在 t=t1 附近单调递减.,从图可以看出，直线 l1 的倾斜程度小于直线 l2 的倾斜程度，这说明 h(t)曲线在 l1 附近比在 l2 附近下降得缓慢,f(x)0,f(x)0,设函数y=f(x)在某个区间内可导，,函数单调性与导数关系,为增函数,为减函数,为常数,凹,凸,曲线的凹凸性,定理:设f(x)在a,b上连续，在(a,b)内具有一阶和二阶导数，那么,例1,解,所以曲线是凸的。,曲线的凹凸性,例2,解,曲线的凹凸性,拐点定义：,曲线的凹凸性,一般地，设 y=f(x)在I
6、上连续，x0 是 I 的内点，如果曲线 y=f(x)在经过点(x0，f(x0)时，曲线的凹凸性改变了，那么称点(x0，f(x0)为这曲线的拐点。,解,凹的,凸的,凹的,拐点,拐点,曲线的凹凸性,25,下图是导函数 的图象,试找出函数 的极值点,并指出哪些是极大值点,哪些是极小值点.,函数的极值定义,设函数f(x)在点x0附近有定义，,如果对x0附近的所有点，都有f(x)f(x0),则f(x0)是函数f(x)的一个极大值，记作y 极大值=f(x0)；,如果对x0附近的所有点，都有f(x)f(x0),则f(x0)是函数f(x)的一个极小值，记作y 极小值=f(x0)；,函数的极大值与极小值统称为极
7、值,使函数取得极值的点x0称为极值点,用导数法求解函数极值的步骤,(1)求导函数f(x)；(2)求解方程f(x)=0；(3)检查f(x)在方程f(x)=0的根的左右的符号,并根据符号确定极大值与极小值.,口诀：左负右正为极小，左正右负为极大。,函数极值的判定,定理 如果函数f(x)在x0附近有连续的二阶导数f(x)，f(x0)0，f(x)0，那么若f(x0)0，则函数f(x)在点x0处取得极大值若f(x0)0，则函数f(x)在点x0处取得极小值,例：求下列函数的极值f(x)2x33x2解：f(x)6x26x，f(x)12x6令6x26x0，得驻点为x11，x20f(1)60，f(0)60把x1
8、1，x20代入原函数计算得f(1)1、f(0)0当x1时，y极小1，x0时，y极大0,函数极值的判定,例：求下列函数的极值f(x)sinxcosx，x0,2解：f(x)cosxsinx，令cosxsinx0，得驻点为x1，x2，又f(x)sinxcosx，把x1，x2 代入原函数计算得f()、f()。所以当x 时，y极大，x 时，y极小,注意 如果f(x0)0，f(x0)0或不存在，本定理无效，则需要考察点x0两边f(x0)的符号来判定是否为函数的极值点。,函数极值的判定,实例,问题的实质：,问题,：一块长方形的金属板，四个顶点的坐标是,(1,1)，(5,1)，(1,3)，(5,3)在坐标原点
9、处有一个火焰，,它使金属板受热假定板上任意一点处的温度与该点,到原点的距离成反比在(3,2)处有一个蚂蚁，,问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？,应沿由热变冷变化最骤烈的方向（即梯度方向）爬行,梯度的概念,在几何上 表示一个曲面,曲面被平面 所截得,所得曲线在xoy面上投影如图,等高线,梯度为等高线上的法向量,梯度的概念,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,等高线的画法,例如,等高线的画法,梯度与等高线的关系：,类似于二元函数，此梯度也是一个向量，,其方向与取得最大方向导数的方向一致，,其
10、模为方向导数的最大值.,梯度的概念可以推广到三元函数,梯度的概念可以推广到三元函数,在 处梯度,解,由梯度计算公式得,故,梯度的概念可以推广到三元函数,49,梯度下降法又称最速下降法。函数J(a)在某点ak的梯度 是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。,梯度下降法,梯度下降法,51,求函数J(a)极小值的问题，可以选择任意初始点a0，从a0出发沿着负梯度方向走，可使得J(a)下降最快。s(0)：点a0的搜索方向。,梯度下降法,52,对
11、于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为:从ak点出发，沿着 方向走一步，步长为,得到新点ak+1,表示为：,梯度下降法,53,梯度下降法,54,因此，在新点ak+1，函数J(a)的函数值为：所有的ak组成一个序列，该序列由迭代算法生成 a0,a1,a2,.,ak,ak+1,.该序列在一定条件下收敛于使得J(a)最小的解a*迭代算法公式：,梯度下降法,55,迭代算法公式：关键问题：如何设计步 长如果选得太小，则算法收敛慢，如果选得太大，可能会导致发散。,梯度下降法,56,梯度法的迭代过程：选取初始点a0，给定允许误差0,0,并令k=0。计算负梯度 及其单位向量。检查是否满足条件
12、，若满足则转8，否则继续。计算最佳步长。令：计算并检验另一判据：，满足转8，否则继续。令k=k+1,转2。输出结果，结束。,梯度下降法,57,目标函数曲面J(W),58,目标函数曲面J(W)-连续、可微,59,目标函数曲面J(W)-连续、可微,60,全局极小点,61,局部极小点1,62,局部极小点2,63,目标函数曲面J(W),64,目标函数曲面J(W)-连续,65,目标函数曲面J(W)-连续、可微,66,初始状态1,67,搜索寻优梯度下降,68,搜索寻优梯度下降,69,搜索寻优梯度下降,70,搜索寻优梯度下降,71,搜索寻优梯度下降,72,搜索寻优梯度下降,73,搜索寻优梯度下降,74,搜索
13、寻优梯度下降,75,搜索寻优梯度下降,76,搜索寻优梯度下降,77,搜索寻优梯度下降,78,搜索寻优梯度下降,79,搜索寻优梯度下降,80,搜索寻优梯度下降,81,搜索寻优梯度下降,82,目标函数全局极小点,83,目标函数全局极小点,84,目标函数全局极小点,85,目标函数全局极小点,86,目标函数曲面,87,初始状态2,88,初始状态2,89,搜索寻优梯度下降,90,搜索寻优梯度下降,91,搜索寻优梯度下降,92,搜索寻优梯度下降,93,搜索寻优梯度下降,94,目标函数局部极小点2,95,目标函数局部极小点2,96,目标函数局部极小点2,97,目标函数局部极小点2,98,目标函数局部极小点2,99,Thank You!,
