《系统辨识第6章极大似然估计ppt课件.pptx》由会员分享，可在线阅读，更多相关《系统辨识第6章极大似然估计ppt课件.pptx（24页珍藏版）》请在三一办公上搜索。
1、第6章 极大似然法估计,1、极大似然法,德国著名数学家、物理学家、天文学家、大地测量学家被认为是最重要的数学家，是近代数学奠基者之一和牛顿、阿基米德被誉为有史以来的最伟大的3位数学家，有“数学王子”之称,卡尔.弗里德里希.高斯（17771855）,根据概率的方法能够导出由观测数据来确定系统参数的一般方法应用贝叶斯定理讨论了参数的估计法。,英国实验遗传学家兼统计学家把渐进一致性、渐进有效性等作为参数估计量应具备的基本性质在1912年提出了极大似然法,Ronald Aylmer Fisher (18901962),1、极大似然法,6.1 极大似然法,辨识准则以观测值的出现概率最大为准则思路设一随机
2、试验已知有若干个结果,，如果在一次试验中发生了，则可认为当时的条件最有利于发生，故应如此选择分布的参数，使发生的概率最大 。基本思想构造一个以数据和未知参数为自变量的似然函数，当这个函数在某个参数值上达到极大时，就得到了系统模型参数的估计值,1、极大似然法,极大似然法辨识的物理意义,根据一组确定的随机序列 yN ，设法找到参数估计值 ，它使得随机变量 y 在 条件下的概率密度函数最大可能地逼近随机变量 y 在 (真值)条件下的概率密度函数，即：,1、极大似然法,一极大似然原理,观测数据：y1,y2,yN；联合概率密度P(Y|)；待估计的参数,构造一个以数据和未知参数为自变量的似然函数，极大化这
3、个似然函数，获得模型的参数估计值,以观测值的出现概率最大作为准则,似然函数如何选择？,1、极大似然法,已知参数的条件下，观测量的概率密度为P(Y|)，观测数据y1,y2,yN,似然函数,的极大似然估计,等价于,但一般不容易得到解析解，需采用数值方法得到其近似解,似然函数的选择,各观测量y1,y2,yN由随机变量y的独立样本所组成，观测量是独立的,观察值概率分布密度函数的乘积,1、极大似然法,例1.已知独立同分布的随机过程x(k)在条件下随机变量x的概率密度为,求参数的极大似然估计,解：,1、极大似然法,例2. x(k)是独立分布随机序列，其概率密度,求a的极大似然估计,解：,1、极大似然法,说
4、明若随机变量观测值的概率密度函数已知，可以容易的求出参数的极大似然估计极大似然估计量都具有良好的渐近性质，但无偏性不是所有极大似然估计量都具有的性质适用于(k)相关情况；当系统信噪比较小时有较好的估计效果；算法稳定度好；实际工程中广泛使用。,1、极大似然法,6.2 动态系统模型参数的极大似然估计,1.白噪声情况,系统差分方程：,系统估计残差为：,2、动态系统模型参数的极大似然估计,(k)为高斯白噪声，方差为2,高斯分布概率密度函数：,似然函数L为：,2、动态系统模型参数的极大似然估计,可见在(k)为高斯白噪声序列这一特殊情况下，极大似然辨识与一般最小二乘法辨识有相同结果。,2、动态系统模型参数
5、的极大似然估计,2.有色噪声情况,式中：,系统差分方程,2、动态系统模型参数的极大似然估计,因为(k)为高斯白噪声，故而e(k)可假设为零均值的高斯白噪声。则似然函数L为：,由,记,2、动态系统模型参数的极大似然估计,讨论：y(k)出现的概率最大，亦即J达到极小值。即使对概率密度不作任何假设，使J极小也是极有意义的。因此，ML估计就变成了如何求取J极小的算法。可见，使L为最大的估计值，等价于使J为极小的估计值。,求J的极小值问题只能采用循环迭代方法。常用的迭代算法有：拉格朗日乘子法和牛顿-拉卜森法。,2、动态系统模型参数的极大似然估计,称为J的梯度矩阵,称为J的海赛矩阵,牛顿-拉卜森法的迭代公
6、式：,注意：上式中J的梯度矩阵和海赛矩阵，依不同辨识对象，需进行详细推导，推导出矩阵中每个元素的具体表达式。,2、动态系统模型参数的极大似然估计,Newton-Raphson 迭代计算步骤,(1) 初始值的选定,任意取值,用基本LS辨识获取,(2) 计算预测误差(残差)及J值,指标函数J值：,预测误差：,误差方差估计值：,2、动态系统模型参数的极大似然估计,(3)计算梯度矩阵及海赛矩阵,当估值比较接近真值时，e(k)接近于0，后一项可忽略，则海赛矩阵为：,2、动态系统模型参数的极大似然估计,(4) 按牛顿-拉卜森迭代公式计算新的估计值,(5) 计算残差方差比,则终止迭代,返回(2)进行循环迭代，若：,2、动态系统模型参数的极大似然估计,6.3 递推极大似然法,递推ML算法的特点：,按不同的估计方法，可得不同的递推极大似然算法。常用的有按牛顿-拉卜森法、二次型函数逼近法的递推ML算法,(1)其性能介于递推广义最小二乘法与离线ML法之间； (2)收敛性好，以概率1收敛于局部极小值； (3)在高噪声时，采用递推ML效果好。,递推极大似然法自学,3、递推极大似然法,
