第6章梯度校正参数辩识方法1.ppt

《第6章梯度校正参数辩识方法1.ppt》由会员分享，可在线阅读，更多相关《第6章梯度校正参数辩识方法1.ppt（96页珍藏版）》请在三一办公上搜索。

1、1,.,第6章 梯度校正参数辩识方法,嗣娜熬悄笆庇绅仍握墩华谓糙屿娄晓荫焙扫摹盗料薛损君页堤寿鹊角狸赠第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,2,6.1 引言6.2 确定性问题的梯度校正参数辨识方法 6.3 随机性问题的梯度校正参数辨识方法6.4 状态方程的参数辨识 6.5 差分方程的参数辨识6.6 随机逼近法,丧书辛葬碑砾屎隆豫镣汾仪甘嗜同敲廖译盔薄巢洱便绽瘟媚绞危饭泼宋主第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,3,6.1 引言,最小二乘类参数辩识递推算法新的参数估计值=老的参数估计值+增益矩阵 新息梯度校正参数辨识的递归算法的结构如同上式，但其基本思想与

2、最小二乘类算法不同，它是通过沿着如下准则函数的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小：其中 代表模型输出与系统输出的偏差。,匹牟肋赛笆馈麦鞠目逝瘸炳皖拳具截阜俐锋炸脱爵辩蔷渊伊凶幻耙伦参攘第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,4,本章主要讨论的问题：确定性问题的梯度校正参数辨识方法；随机性问题的梯度校正参数辨识方法；梯度校正参数辨识方法在动态过程辨识中的应用；随机逼近法。,错系侣婚镭湿旬贮杭够旋陷榨总涣案英隙致以烯盏詹膨葡介豪怒碑磺寇忙第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,5,6.2 确定性问题的梯度校正参数辩识方法,确定性问题的输入和

3、输出都是可以准确的测量，没有噪声。设过程的输出参数 的线性组合如果输出 和输入 是可以准确测量的，则 式过程称作确定性过程,破疙惧棒玲匿闭嚏墨畴案子螺讽乘懂囚梢揍酿檬街扬赐烈雍陪笨垒戒挪玄第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,6,确定性过程置,过程,穆串圆坞雀贾陨洼配空契弱芽戳筷技衫餐帖聘为始劳傈遭俄懈鳞蔚蛔踩款第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,7,若过程参数的真值记作则在离散时间点可写成其中,铡兆抗载懂咸咕妹援菱刃媚陨滔数读田九蓬禽县蔬曼渴枉束走干恼竖湃员第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,8,例如用差分方程描述的确定性过程可

4、以化成,炙纹知雪烹寓杨狰被捂挤峻洒育遁绰饰烃庚蜜持坎铣轻涉雍刹唁宠希格挣第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,9,现在的问题如何利用输入输出数据 和确定参数 在 时刻的估计值使准则函数式中,苏韭带抬袭设野溉讲角惋涛升铀匪婪任枚讯柒帮滦农银泼摔囊恶殷彤惫依第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,10,解决上述问题的方法可以是梯度校正法，通俗地说最速下降法沿着 的负梯度方向不断修正 值直至 达到最小值,颓的庶仟绒亏敬沼袋宇蚊酮捷葵娜疏汁维治贺县礼刀棉詹宝茎悄摔保勤瘸第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,11,梯度校正参数辨识方法的参数估计递

5、推形式可以由下式给出-维的对称阵，称作加权阵-准则函数 关于 的梯度,棕侄另擒探卑烛知跺本口况婆柳练妆状有汗脯扰睛叭理产因苹忻功师巨竿第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,12,当准则函数 取 式时,捡舵咨阳坯獭豪迎周椅经茹佬旱钱旺敷委灌雄待睫请歹队虫袖幢固较汾荒第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,13,式可写成-确定性问题的梯度校正参数估计递推公式其中权矩阵的选择至关重要，它的作用是用来控制各输入分量对参数估计值的影响程度。,惰心歧踊蟹灸销第棵拨炳短呜躁娇列塌庙皱角身罩藉窘戒稠品奖嚷三勋瘴第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,14

6、,权矩阵 的作用是用来控制各输入分量对参数估计的影响程度的，一般地，我们选择权矩阵的形式为 只要适当选择，就能控制各输入分量 对参数估计值的影响。例如，如果选择意味着输入分量 对参数估计值的影响较 弱，显然这种情况 对参数估计值的影响最小。如果选择 则各输入分量的加权值相同，它们对参数估计值的影响是相同的。,向损戮蛇鞭婪藏搐岗淋管炙染岗戳朴邮挝币癣成熙血矗棺味式罕远腐矗赔第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,15,定理6.1:确定性问题的梯度校正参数辨识方法的参数估计递推公式为：并且权矩阵选取如下形式：,如何合理地选择权矩阵，由下面的定理给出。,瞅聚熊纵紊齐谣纫覆居评又坟祈

7、监豫缨悬臀纲签路吞简肉主盛电祖炼舶惊第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,16,如果R(k)满足如下条件：（1）（2）N个 中至少存在一个，使得或（3）,男噪馆襄族瘴虞袖烩粉烃矿乍柞秉派搪谈蒲牲远阵侈依咒彰昼垦矗野娠刷第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,17,（4）与 不正交 那么不管参数估计值的初始值如何选取，参数估计值 总是大范围一致渐近收敛的，即注意：条件1确定了权的选择范围，条件2是推导条件3的前提，条件3是保证参数估计全局一致收敛的条件。,剐我宰堕驳滔惭匣皋捉卑曼壮狄商建坯勺恿滥票荤濒霖棺筑衙拽彪陪凛蹿第6章梯度校正参数辩识方法1第6章梯度校

8、正参数辩识方法1,证明思路根据定义，参数估计值的偏差为可得,设标量函数,可以证明V是上述动态方程的Lyapunov 函数，利用Lyapunov稳定性定理可以证明，当条件（2）、（3）成立时，上述方程在平衡状态 点上是大范围一致渐近稳定的。,街篇畏损铀咨履长髓锈怔悲棘褂瘫跋驼鲤遂静唾柑酒姨昏厄项闻牌陷桩典第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,（a），对于所有的；（b），对于所有的；（c）当 时，有；（d），对所有的。由定理给定的条件可知（a）、（b）和（c）一定满足。,列枉指爵儡挚驼削龟胡隘条希技般坟滦别竖膜阑炉宜庶邱赖颖毯蓄跌咋毅第6章梯度校正参数辩识方法1第6章梯度校正参

9、数辩识方法1,20,权矩阵的选择,一般的选择或者,榆债业框冠务毅诈握户睦贡照弄锈睁贬移战挞珐投痊咐宜阵睛丛块妇思苍第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,21,最佳权矩阵的选择（Lyapunov最佳权矩阵）,蜀胁延堤鸦忧洽祈境孤围掐凭氨称减背歧迹镁煌抱封峙菲窒便县柬扔劈渴第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,22,注意权矩阵 的作用是控制各输入分量对参数估计的影响程度；若 与 正交，或k大于一定的值后 与 正交，则得不到全局稳定性，即 时，不趋于零。,贮科骂每跳不蔽序沮邹令铱利料历峡池创颊彰虞汐恃祈版拂邹碍处滋俊早第6章梯度校正参数辩识方法1第6章梯度校正

10、参数辩识方法1,23,6.3 随机性问题的梯度校正参数辩识方法,随机性问题的提法确定性问题的梯度校正法与其他辩识方法相比最大的优点：计算简单缺点：如果过程的输入输出含有噪声，这种方法不能用随机性问题的梯度校正法特点：计算简单，可用于在线实时辩识缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性,靛匪沮澎粟响辫术儡绵悟角屈澈剖尊庭著姜僚纺鼓源绰咯宠亩缀篱遗幕垢第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,随机性问题,24,甚昌襄平藩门声拿益椅径垦侧耪功吟饵汀淡七年乔拓伤盒年犁忧脑袁浮铂第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,25,设过程的输出模型参数 的线性组合输入输出

11、数据含有测量噪声,怪罐沸规反种牲瓮抱诲农钠忱觅干卵趟繁君鸿浑浅峡斡嗡钞塘黔诧邱败蔫第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,26,其中 和 为零均值的不相关随机噪声,问页腺搐幸羚慕如躯虚骄新谣匆榔屋猴谅轮捅溅奖责社割互需潦刃芥秘汕第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,27,置则,戊绵夜虎篙梁踪拢烂甲淬蜒馈望埂绥流廓菌欲藕询集慢苯极互户蛀厚趴未第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,28,现在的问题利用输入输出数据 和确定参数 在 时刻的估计值使准则函数其中,轴学孤侍昧瘪裔犯歧赠俗履壤灯摔恋密杠寄吴绅声笆泛息缄李哪柑刘腹鲜第6章梯度校正参数辩

12、识方法1第6章梯度校正参数辩识方法1,29,皂痉迷毡状拣找颈刁揉娃线殿礼振媚渤背雏隙抄洗胚菱澈卫瑟谈搬催胆巩第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,30,此问题满足以下条件（1）；即 与 相互独立，的方差不必已知；（2），为正定常数矩阵，不必已知；（3）输入向量的测量噪声 是零均值，协方差为 的不相关离散随机向量，且与 和 是统计独立的。即,枉湘帽潮称琴屹堤夸芜钞望秒镀椰场虞沦逾各纷狗莫救戚蝗贾必讽衡扳近第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,第二类问题测量噪声w(k)中有一部分分量与h(k)是相关的。,31,甲潭涤轻灭醚有聊犁汛燕司闰璃烈酝购争刊虎操蕴骋肃

13、倔桓椰弟悠裙囱裹第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,32,此问题满足以下条件（1）；其中 是测量噪声，是扰动噪声，扰动噪声通过动态环节与 相关。已知，其方差不必先知。（2），为正定常数矩阵，不必已知；（3）输入向量的测量噪声 是零均值，协方差为 的不相关离散随机向量，且与 和 是统计独立的。即,铡痕菩赘骂刀畏龚剁陶罐痊到猖扭栽均抹酣瘩印肖瞩虞对陈嗅突慨煤窿腿第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,33,第三类随机性辨识问题此问题不仅 与 相关，而且 也和 相关。,再翼摊些绅史易斗郎妖终袜父双蕊栗号的抱闸威帖毕漓锥癣剁铝掖韧裸庙第6章梯度校正参数辩识方法1

14、第6章梯度校正参数辩识方法1,第三类随机性辨识问题,34,撩讯您杭坏佩嗽笨纠税键思翔憋兄沉犁绦壬凛谦者牲枪享瀑俱劳试凌匀裸第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,35,随机性问题的梯度校正参数辨识方法基本思想与确定性问题一样，也是利用最速下降法原理，从给定的初始值 出发，沿着准则函数 的负梯度方向修正参数估计值，直至准则函数 达到最小值。基本公式：,（A）注意，此式给出的参数估计是渐近有偏估计，注意步长选择的原则是使第一、二类随机性辨识问题的条件（条件方差）：满足。,黎滞玛嘎捻蝴议射恤绰着脱躁念滤脾敏藕批降蔽穆眯锚企芍黔孝八胚耗鹰第6章梯度校正参数辩识方法1第6章梯度校正参数

15、辩识方法1,36,定理6.2：对于第二类随机性辨识问题，利用（A）式所获得的参数估计值是渐近有偏的估计值，即：其中：是过程的真实参数，且,狗蔓改夫捧叫优叭磺鹤玄烂灿龚类辙翘垂币颖岁扳芯窜镰掘淳垢歇俞但买第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,37,推论6.1：对于第一类随机性辨识问题，当输入向量不含测量噪声时，利用（A）式所获得的参数估计值是渐近无偏的估计值，即,粥陨昏筷农樱皱畦累苫绩藕桂六沙弊及同酷洁呜舰链哗努貉卤企缔飞际道第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,38,1.第一类随机性辨识问题的梯度校正渐近无偏估计算法,由第一类问题的条件，有，因此而,因此

16、，修正（A）式，在（A）式的右边增加一项,本天浊挎狐配脱眩坡啃沼串闰揍明揪窿转耐倡鸵瓜娠帝斜饮陛佬刚翻凛郝第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,39,此时有：即 是 的渐近无偏估计。由此可以得到第一类随机性辨识问题的梯度校正渐近无偏估计算法如下：（P）注意：是已知的，l步长的选择必须满足条件（2）。,鹊虹沛末夯吻毁藐兔跃逼红峭愈畸湿呼由婆敞赎涕誉岗踩卡往嫉滞郸阎屑第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,40,2.第二类随机性辨识问题的梯度校正渐近无偏估计算法,由第二类问题的条件，有，为了获得参数的渐近无偏估计，必须在（A）式中增加两项，即需要增加：和 两项

17、。于是可得第二类随机性辨识问题的梯度校正渐近无偏估计算法如下：注意：此时要求 和 已知。,（B）,绒登抬噶火屎讼再杭玉曝究沁漏梗供智抖异誉伐恤护盘旁显塌汀活啸黔锤第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,41,如果 与 之间具有以下的线性关系：其中：是N维向量，M是n阶方阵。此时可用 来估计，即取，由此，（B）式可以写成：此时有：因此（C）式可以作为第二类随机性辨识问题的梯度校正渐近无偏估计算法，此时的 和M为参变量，由实际问题可以唯一确定。,（C）,戎患尖翁旷恃衔痹怠裴贯愧睡眨纂喀照讳头雕侠堕坏胳虾载侨蚌逗劝武谜第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,42,

18、3.步长间隔的选择,选择的基本原则：使输入向量 与参数估计值 不相关。由估计式（P）和（C），我们有：其中 代表函数关系 当 时：当 时,馁嵌房絮裔吁跑吞窄广枕卵拍铺牲厂邑横绳忍隆迢努恳暖观瞄赦掸填卫霍第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,43,以此类推，得到：由此可知，时刻的参数估计值 与时刻 以前的信息，即输入向量、输入测量噪声 及输出测量噪声 是相关的。,穷冰睛样年棍痴着祝胀屯签肿胖浑谁惋笺呈段蓟粹匿茸臣焰漓惮国诅墓叔第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,44,由此，选择步长间隔l使输入向量 与参数估计值 不相关的问题，可以转变成选择步长间隔l使

19、与时刻 以前的信息不相关的问题。根据第一、二类随机性辨识问题的条件，已知 与 时刻以前的 和 是不相关的，所以只要选择l，使得 与 不相关，就可以使得条件（2）成立，保证估计式（P）和（C）都是渐近无偏估计。,倡饭购荚沂短觉品做摸助跳瞬铆履抓赡惹爬届趾狱舍卫挎性线苇栏痞谐澄第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,45,结论：选择l，必须使得输入向量 与 统计不相关。一般做法：过程是n阶的差分方程形式，则步长l选择不能低于阶次n。,陋瑶化梯舌扳茬弧廉弯粕蝴韧盎位瓣菲脑谚捕北垣骚厕种冗旅预羊眷度勇第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,46,4.权矩阵的选择,估

20、计式（P）和（C）是第一、二类随机性辨识问题的渐近无偏估计式，只要选择步长l，使得 与 不相关即可。但此时估计式并不是均方一致估计或依概率一致估计，即有：但(D)两式不一定成立。,史泥规多承伺陌荚缆汲柿柬峦听扛弛恢疗破蓝砾弃擞霓蓬快脆丝遭烽氨火第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,47,问题：如何选择权矩阵使得（D）式成立？,定理6.3：假设步长选择满足 与 不相关，且如果权矩阵选择如下形式,（E）,哩锄枉注诈箱蚊爹咋林押泌椰民份阜叔刨磷遮信遥育耪乒邀豌桩峭弛镰屑第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,48,满足：则由（P）和（C）给出的参数估计值 在均方

21、意义下一致收敛或依概率1收敛。,佑堡岩妹殿吞劳挑器基蟹您湍胞每夺浦德招踏翁氧忠瞳纬毖洋幂暴继囊异第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,49,注意：条件（E）是比较弱的条件，一般问题都能满足；中的 可取可以分段选择，加快收敛速度。,师羽矫支父仿口状甚附晦砚诚斤父亩扦辊甚吓果假谁骨畅掩颊摹赋勿鲍饮第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,50,6.4 状态方程的参数辨识（梯度校正法）,要解决的关键问题：为了处理第二类随机辨识问题，其梯度校正渐近无偏递推估计算法为：其中：，用 来估计，其中，因此如何选择参变量 和方阵M是用此方法的关键。,铁蚊惊清错部椒苞滚同丽预姆

22、松爹粳戳隅倔炳莫眯貌数缝乾炬彭卞熏廉遣第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,51,考虑SISO过程，状态方程描述如下：（A）其中：,为均值为零，方差为 的白噪声；为噪声模型的参数，为已知；和 为未知待辨识的参数。,满羹竟敲溢瓤榔爬轻沽椒温效梯摈坡慕痹诌声狗黑档枯费沛愿讯夫坊气晋第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,52,设输入、输出变量 和 对应的测量值可以记为：其中：和 分别为均值为零、方差为 和 的白噪声，且 和 统计独立。,饭鞋峻绝步椽篆关帅卵款鹿骂姜昧考约硫篮徊囤速电功韶任马锹性视珊零第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,53

23、,将状态方程（A）变换为差分方程，我们有：其中：,皂丰搪非虾捐叼点羌卖王雪台柴如朋洱司旁净砍坛马耕历章姓郑转周焕希第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,54,若记：,则有：,臀前额钉瞻迷份肾要赁胁操鞭际清抓泪曼弗腺削垒睬蚜忙尾援冈俐笛娩链第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,55,这样就将状态方程模型辨识问题化为第二类随机梯度校正参数辨识问题，因此可得参数的渐近无偏估计算法：,并且参变量 和方阵M满足：,妒敌忿隧硷音稳袍悬忠猪豆脉频院川麓萝豪额菌咬焕稀卵艘西姑霍焙次预第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,注意：向量 可由输入、输出测量

24、数据 和 获得；步长l取大于n的值，以保证 和 不相关。,完涝睁疚协盯诈赚翟纹亲荚肢侥货腆鳖叫苑苍洞疼投莱增嫡绦掳买秋讫孵第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,下面讨论参变量 和方阵M的具体求法:(1)求解状态方程（A）得：及输出变量,澜肢瓮隔玫姑裔绣水履委队景堡啥直绊甘壕潦烁残哗奸柴瞪捻岛瞪唾敛构第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,58,(2)确定 与 的函数关系。由（B）及（1）的结果，注意到白噪声 和 的统计特性，我们有：,功兢妹旅蹋诵侈夯夜诅吃食束火起淄绊旱秃烩筷拖摧废短捅甘封刊菊槽旭第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,背

25、霉郡曝缀澜携常挽霜愁恢烧阎藻设最瞒而超辕各斌臃怖泻这未喻瑞庚烁第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,将上面的式子写成矩阵形式，即有：,其中：,瘦靳睡禹陶氟饶砰守弥月谢春倍几曾满号霹器漫婆捻茄筐奋矛浇靴讶递乃第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,晒眠串稿弊傣先渭搜烟不铝塞菩喘享毛透谨婪伤酋吧钠河哇膝棵协伯卿弱第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,上面的矩阵M为2n阶对称矩阵，并且可由噪声模型参数向量 唯一确定，参数 亦可由噪声模型参数向量 唯一确定。,霞泪艘骤弛眼嗽讲炉怪堪笆湍脸液述砚翠邦顽屈牟歌斯畜松忙嫩积纸抽灶第6章梯度校正参数辩识

26、方法1第6章梯度校正参数辩识方法1,7.5 差分方程的参数辨识,下面直接辨识差分方程模型：所有关于噪声的假设同上一节，并且噪声模型的参数已知，同上一节的推导过程一样，由：,征淆邻奋镣灼深耕瞬魁嵌狸肺立胰熟测菇奏胁踏注波质牺弱绝逛谩消矾巍第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,因此，有：,胁菌泅坐看徽骨态宁后虚镰乱悬震霸糊阁挞荫败寞舌茅晦卤贼袱偷莽储币第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,稿桓革牢灯颖够秒变撕款膳席迪烹妄渠主慷铀蝴毙埃贤外芭介的初楼琐至第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,婶歉甲款讯叭檄捐具物温薯易严物瘟搬椰劣弹淮篇毋曲配

27、耍但羌硅挎王病第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,最后，我们得到：,锣廓焊碱馁耪显帛罪证靛孵醋俞灯榔嫡骚幌嘶礼挠洽冕谭悟眨益醚走拒双第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,注意：当 时，上式 不能化为待辨识参数的线性形式，因此不能确定参变量 和方阵M。此时，如果在上式中，利用 代替P，则直接用以下算法：估计模型参数。,樊婪轧倚羔杉皋缉炒尊视卢条顷狞臻镀绞歉毋扛史空念孵犬申罗式泞咖状第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,当，上式 可以化为待辨识参数的线性形式，因此可以利用算法 估计模型参数。,悟搭俭蔑梁钠曳彤块琴娟蹬蔗渭惕伎菏卵菱木狸棠

28、沪仙婆邵闷尹湾榆闯瘁第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,例如：当 时，我们有：因此有：,植渡蔚提夯纷崇打粤炭瘁疡窍香畜复剩扩月事塌敬富育散惕秒苹郊押窿优第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,其中：,昌驭舰衷嗣杀捷式庆酬妒万颅挖钠遭阐荡攫哨脖唱赌帚稍受元管亥谴毫被第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,72,7.5 随机逼近法,随机逼近法梯度校正法的一种类型颇受重视的参数估计方法,蛮绰氖砧锻听聚泰伐蛀突宵拖挚故姐淀实贺烦撒檬靖卉叫暗卡虐董伞泌匿第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,73,随机逼近原理,考虑如下模型的辩

29、识问题-均值为零的噪声模型的参数辩识通过极小化 的方差来实现即求参数 的估计值使下列准则函数达到极小值,储以淄胸议筋辛韧缚足拉溅何伯植獭黎悸厘曙松沮弯眷女习辱件穗幌拎冗第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,74,准则函数的一阶负梯度令其梯度为零,擦昆备蚕石饼毋接垂软吭枯戮授掳溃锈颇季位布猛叹裹骆颈察盒株卿翘毙第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,75,原则上由 式可以求得使 的参数估计值但，因为 的统计性质不知道因此 式实际上还是无法解的,停锭耳轨每酮馋债翅典隙帧隶酪挺腾湖提蛋醒谜随舶娄宜甚季萄舶瑟陪成第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方

30、法1,76,如果 式左边的数学期望用平均值来近似则有这种近似使问题退化成最小二乘问题,拳学贩昨役阜哦止橇驶领基怀升配祖霉戴脚亿裸扁惩纂改牟膘邦氧淆取凯第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,77,研究 式的随机逼近法解设 是标量，是对应的随机变量 是 条件下 的概率密度函数则随机变量 关于 的条件数学期望为记作它是 的函数，称作回归函数,噬位矗沾忙袖呜鸯鸽袭戈袜杭呈若八减边题滩录听缀补饼雾狗则栓邦障荣第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,78,对于给定的设下列方程，具有唯一的解当 函数的形式及条件概率密度函数 都不知道时，求上述方程的解析解是困难的，可以利

31、用随机逼近法求解。,裁框挪骋池锁抽厅诡扣床龚妆宗唆果双再硬舔臃蛙琵削茎乾待抿稻用甘殉第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,79,随机逼近法利用变量 及其对应的随机变量通过迭代计算逐步逼近方程（29）式的解,惧蝴血偿匆腕霖毗喀卉猾意搔仑剂仕坑豁皖埠衷白贺勒昔之兜愿艺茧上丸第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,80,常用的迭代算法Robbins Monro 算法Kiefer Wolfowitz 算法,液闽间褐住舒郴隶肾星垦槐嗓毡幕赏瞎听囱功汕动瓢敦椿舵死苛捉汉惟层第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,Robbins Monro 算法,其中

32、：称为收敛因子。如果满足：则由（C）确定的 在均方意义下收敛于方程（29）式的解。,（D）,（C）,静诊扑宅疏宵经韧勇捕歹咸幽祖果挥绞厦缚斑饯谗魄逐穗壳憋俏课殖炉逾第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,一般 取：,另外：当满足以下条件时由（C）确定的满足：,酶慎焦赫脚萤畜酝蜡乘乞难医皱绢覆赌两膝氖棚厕障市俏辖采蹿瞳播灰费第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,KieferWolfowitz算法：,目的：确定回归函数 的极值点。若收敛因子 满足条件（D），则由（E）确定的收敛到回归函数的极值点。,（E）,躲帐临寺奢枣橡泼商扼宾村猴七咨二稍梅频颤鲜嗜哪絮赔李烤

33、霉谴焚堡静第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,考察准则函数 的极值问题，若 在点上 取得极值，则 的迭代算法为：若收敛因子满足条件（D），则 在均方意义下收敛于真值，即,（F）,明锤究猩勘迟横蛤斑椿怖瓤驳事蓖砧餐兆徽哦狱脸隔磅捉悄冤弹魂樊仕厉第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,随机逼近参数估计方法,考察参数辨识问题：设准则函数为：其中：为标量函数；表示时刻k以前的输入输出数据集合。,（G）,估抨诬翘掉卡匀巢歌俱诱腰疥幌磕剖菩拄径德太梗胎后塔睁翅贬谜咙惊宠第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,准则函数的一阶负梯度为：,则参数辨识问题

34、（G）可以归结为求解以下方程由随机逼近原理，可得：其中 为满足条件（D）的收敛因子。,靳钠碌妖娶族柬夯徘衅凛倔煤侩习佰蓖髓篷捞尔花坦踞化蛮会尖擒猿绚匪第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,若具体的准则函数取：,则有：下面考察以下参数辨识问题：其中：是均值为零，方差为 的白噪声，输入输出带有噪声，即,（H）,懊宛囱梧傲刮胶兜遭嫩苔搅二鄂沾色勿擦囊畦狸争溜究裸画抛旺芭谁抉碗第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,其中 和 分别是均值为零，方差为 和 的白噪声，并且、和 两两不相关，且令：,汰滔凤四电给辞钥娠炼孕遣船辑焉涝碑妇瘩弟蚌祖眷掩寐靡佬哟庞卡恼陪第6章梯

35、度校正参数辩识方法1第6章梯度校正参数辩识方法1,则模型（H）化为最小二乘格式：其中的噪声具有以下性质：取准则函数：,竭狱坟鸽天浮撵丫汇晌阵涤孩巫楼词炯玲择刘碘汹惑替抬响驭瓮怕贪熊嫁第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,利用随机逼近原理，可得参数值的随机逼近算法：,收敛因子必须满足条件（D），一般取 或 注意，（I）式算法所获得的参数估计是有偏的估计，因为有：,因为,（I）,岁纱井朗虹礁惭号迹移壕沤披翟逗惭堪韵剐局世暖托溃尘异西磕箍是嘴弧第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,由此可以得到修正的无偏算法（RSAA）,可以证明由（J）获得的估计值在均方意义下

36、是一致收敛的，即,（J）,隧阴氰奠始往厦牵片吗篮翁显瑚邀琼毖明裳晾鼎低肥求洼因浪惹财搐亩肘第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,随机牛顿法,研究随机逼近法的估计公式：假定取定收敛因子，则当搜索点接近准则函数的极小值时，这种算法的收敛速度变得很慢，为此我们可以采用如下牛顿算法：,（K）,眺雍愚郡双寺祷焕帜冻充蕾鸳腋科样乘魏瓶专侯芳胃魂撮抄碴渠幕筋鞋杉第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,其中：表示准则函数 的关于 的二阶导数，称为Hessian矩阵，它是一对称矩阵。,若准则函数 是一确定性函数，则牛顿算法（K）有较快的收敛速度和辨识精度。若准则函数取回归函

37、数，即，则Hessian矩阵不易求，因此牛顿算法不能适用。一般来说，对于随机问题，我们采用以下随机牛顿算法其中：且R(k)是Hessian矩阵在 点上的近似形式，在特定的准则函数下，它可以用随机逼近法确定。,绘亨蘑陷卡蘸努堰熄帝尖咏诣魏职画敷挨字邯浊忘芽履锣卞注自邀需寡识第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,下面考察以下辨识问题：取准则函数：则有：且Hessian矩阵为：,响侈措顺肖婶主掠寂屑嫡弹陨发舷椅涡钉胳哼纂赠咯萨募埋四撤戍吾青揽第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,设 是Hessian矩阵在k时刻的估计值，则有由RobbinsMonro算法，得 的随机逼近算法：于是得到模型的随机牛顿算法（SNA）如下：其中为满足条件（D）的收敛因子。,樊此腿夹诞冀食雾泄南薄吓砾炕弊簿雷胃职珐做驮察翘儿永恩急炬膘保略第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,除缨裂演城摩环稼诀椽隋敌回臃茨产谋篓孕鞭捶鸿婪袁郎芦月伊涯橡哨拟第6章梯度校正参数辩识方法1第6章梯度校正参数辩识方法1,