《小二乘参数辨识方法及原理.ppt》由会员分享，可在线阅读，更多相关《小二乘参数辨识方法及原理.ppt（188页珍藏版）》请在三一办公上搜索。
1、系统辨识,第3章 最小二乘参数辨识方法,主讲教师：赵 龙办公地点：新主楼E402网 站：Email：,1、最小二乘辨识的基本概念2、一般最小二乘辨识方法3、加权最小二乘辨识方法4、递推最小二乘参数辨识方法5、处理有色噪声的最小二乘法6、多变量最小二乘辨识方法,本章内容,本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识,1、问题的提出,1、问题的提出,辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。,Process,Input,Output,a,b,1、问
2、题的提出,辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。,Process,Input,Output,例子：,是谁打中的呢？,某位同学与一位猎人一起外出打猎.一只野兔从前方窜过.,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下.,1、问题的提出,1、问题的提出,一般人会想，只发一枪便打中,猎人命中的概率一般大于该同学命中的概率.看来这一枪是猎人射中的.,1、问题的提出,极大似然：构造一个以数据和未知参数为自变量的似然函数。,Process,Input,Output,缺点：?,要求：?,1、问题的提出,极大似然：构造一个以数据和未知参数为自变量的似然函数。
3、,Process,Input,Output,要求：独立观测条件下，知道输出量的概率分布,缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解,m次独立试验的数据,1、问题的提出,m次独立试验的数据,1795年，高斯提出了最小二乘方法。,1、问题的提出,未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。,1795年，高斯提出的最小二乘的基本原理是,1、问题的提出,Gauss（1777-1855）,未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。,1795年，高斯提出的最小二乘的基本原理是,1、问题的提
4、出,Gauss（1777-1855）,2、最小二乘辨识方法的基本概念,通过试验确定热敏电阻阻值和温度间的关系,当测量没有任何误差时，仅需2个测量值。每次测量总是存在随机误差。,2.1 利用最小二乘法求模型参数,根据最小二乘的准则有,根据求极值的方法，对上式求导,2.1 利用最小二乘法求模型参数,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,若考虑被辨识系统或观测信息中含有噪声,如果定义,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,2.2 一般最小二
5、乘法原理及算法,最小二乘法的几何解释,2.2 一般最小二乘法原理及算法,最小二乘法的几何解释,2.2 一般最小二乘法原理及算法,最小,证明：,2.2 一般最小二乘法原理及算法,如果由测量噪声及模型误差等引起的误差V 的均值为0，且V与输入矢量Hm是统计独立，最小二乘的估计值是无偏的。,证明：,根据第（1）式的证明，显然有,2.2 一般最小二乘法原理及算法,证明：,2.2 一般最小二乘法原理及算法,2.2 一般最小二乘法原理及算法,解：由题意得量测方程,2.2 一般最小二乘法原理及算法,2.3 加权最小二乘法原理及算法,一般最小二乘估计精度不高的原因之一是对测量数据同等对待 各次测量数据很难在相
6、同的条件下获得的 有的测量值置信度高，有的测量值置信度低 对不同置信度的测量值采用加权的办法分别对待 置信度高的，权重取得大些；置信度低的，权重取的小些,2.3 加权最小二乘法原理及算法,2.2 加权最小二乘法原理及算法,2.3 加权最小二乘法原理及算法,2.3 加权最小二乘法原理及算法,马尔可夫估计,2.3 加权最小二乘法原理及算法,例3.2 用2台仪器对未知标量各直接测量一次，量测量分别为z1和z2，仪器的测量误差均值为0，方差分别为r和4r的随机量，求其最小二乘估计，并计算估计的均方误差。,2.3 加权最小二乘法原理及算法,解：由题意得量测方程,例3.4 考虑仿真对象,选择如下的辨识模型
7、进行一般的最小二乘参数辨识。,2.3 加权最小二乘法原理及算法,4阶M序列,输出信号,一般最小二乘参数辨识流程图,3.3 递推最小二乘法原理及算法,一般最小二乘或加权最小二乘为一次完成算法或批处理算法。,计算量大、存储大、不适合在线辨识。,采用参数递推估计递推最小二乘算法。,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,如果设,则有,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,令,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,
8、3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,例3.5 对3.4采用递推最小二乘估计辨识模型参数,选择如下的辨识模型进行递推最小二乘参数辨识。,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,数据饱和后，由于递推计算的舍入误差，不仅新的观测值对参数估计不起修正作用，反而使 失去正定性，导致估计误差增加。,3.3 递推最小二乘法原理及算法,当系统参数随时间变化时，因新数据被旧数据所淹没，递推算法无法直接使用。为适应时变参数的情况，修改算法时旧数据的权重(降低)，增加新数据的作用。,主要方
9、法有数据窗法和Kalman滤波法。,数据窗法主要有矩形窗和指数窗。,3.3 递推最小二乘法原理及算法,矩形窗,3.3 递推最小二乘法原理及算法,矩形窗,3.3 递推最小二乘法原理及算法,指数窗,3.3 递推最小二乘法原理及算法,3.3 递推最小二乘法原理及算法,指数窗,参数快时变 小,参数慢时变 大,由上述最小二乘参数辨识的统计特性可知，当在量测噪声的均值为0时，才能保其估计值是无偏的。,在实际工程和社会系统的辨识中，量测噪声Vm 是 各种系统内外扰动和结构建模误差等因素的综合 反映；Vm不一定为统计独立的白噪声。,3.4.1 处理有色噪声扰动的最小二乘类方法,3.4.1 处理有色噪声扰动的最
10、小二乘类方法,当量测噪声Vm不是统计独立的白噪声。,量测噪声Vm是有色噪声，如何获得无偏估计？,增广最小二乘法 广义最小二乘法 辅助变量法 多级最小二乘法 偏差补偿最小二乘法,不同的有色噪声特性不同的有色噪声模型不同的辨识要求,3.4.2 增广最小二乘法原理及算法,平稳相关序列,由关于有色噪声的结论和假设可知，平稳的相关扰动v(k)可被建模如下,3.4.2 增广最小二乘法原理及算法,3.4.2 增广最小二乘法原理及算法,当上述观测数据向量h(k)精确已知时，利用前面讨论的批处理最小二乘法可求得向量的最小二乘估计值。,向量h(k)中包含有不可测的噪声量v(k-1)，.，v(k-n)对自回归模型并
11、不能直接用最小二乘方法.用递推参数估计在线估计噪声v(k)以实现模型参数在 线递推估计,循环估计参数,在递推估计过程中，假设当前或前一步的在线参数估计值已相当程度可用的前提下,3.4.2 增广最小二乘法原理及算法,利用该参数估计值来在线估计白噪声v(k)的值 以替代数据向量h(k)中的白噪声v(k),噪声v(k)的具体的估计算法是如下的事后估计或事前估计算法:,3.4.2 增广最小二乘法原理及算法,3.4.2 增广最小二乘法原理及算法,渐消记忆递推增广最小二乘法,3.4.2 增广最小二乘法原理及算法,增广最小二乘参数和噪声v(k)的估计可交替进行计算,事前估计：,3.4.2 增广最小二乘法原理
12、及算法,例3.6 考虑理想数学模型为,选择如下的辨识模型进行增广递推最小二乘参数辨识。,3.4.2 增广最小二乘法原理及算法,3.4.2 增广最小二乘法原理及算法,下面给出随机线性离散系统在线辨识的伪代码,3.4.2 增广最小二乘法原理及算法,3.4.2 增广最小二乘法原理及算法,3.4.2 增广最小二乘法原理及算法,3.4.2 增广最小二乘法原理及算法,也可采用事前估计,例3.7 考虑如图下所示的仿真对象,辨识中,选择如下模型结构y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+v(k)+c1v(k-1)+c2v(k-2),v(k)是服从均值为零,方差为1的
13、正态分布的不相关随机噪声;输入信号u(k)采用伪随机二进制序列;通过控制v值来改变数据的噪信比.,3.4.2 增广最小二乘法原理及算法,计算机仿真结果(噪信比=23%,数据组数1000),3.4.2 增广最小二乘法原理及算法,递推辨识过程的辨识值如下图所示,遗忘因子=1时递推辨识结果,噪声估计误差,3.4.2 增广最小二乘法原理及算法,遗忘因子=0.98时递推辨识结果,噪声估计误差,3.4.2 增广最小二乘法原理及算法,递推辨识过程的辨识值如下图所示,增广最小二乘法是最小二乘法的一种简单推广只是扩充了参数向量和数据向量h(k)的维数辨识过程模型参数的同时辨识噪声模型就这种意义上说，可称之为增广
14、最小二乘法噪声模型参数估计的收敛过程比过程模型参数估计值的收敛速度慢从实用角度来说，噪声模型阶次不宜取太高,3.4.2 增广最小二乘法原理及算法,增广最小二乘算法的特点,3.4.2 增广最小二乘法原理及算法,课后作业,查阅相关系统辨识书籍根据递推最小二乘的工作流程图画出递推增广最小二乘的流程图,3.4.2 增广最小二乘法原理及算法,对于有色噪声v(k)，可通过对噪声建模的方式来使其估计为无偏估计。,噪声模型参数估计比过程模型参数估计的收敛速度慢 噪声模型的阶次不能太高 实际工程中存在一些系统，其噪声模型阶次很高 建模精度和应用比较困难,广义最小二乘法 引入一个白色滤波器，将相关残差过滤成白色残
15、差。,3.4.2 增广最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,形成滤波器,未知的、稳定的、有限阶的线性滤波器,3.4.3 广义最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,两边左乘线性滤波器N(z-1),记为,用最小二乘法估计A(z-1)和B(z-1),用最小二乘法估计N(z-1),修正滤波器N(z-1),3.4.3 广义最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,广义最小二乘算法的计算步骤如下:Step 1.确定模型的结构及A(z-1)、B(z-1)和N(z-1)的阶次；Step 2.选定稳定的初始滤波器N(z-1)；Step 3.采样获取新
16、的观测数据y(k)和u(k)；,3.4.3 广义最小二乘法原理及算法,Step 5.列成如下自回归方程:,Step 4.基于滤波器N(z-1),进行如下滤波计算 y(k)=N(z-1)y(k)u(k)=N(z-1)u(k),3.4.3 广义最小二乘法原理及算法,Step 7.计算模型残差的估计值,Step 6.用最小二乘法计算,Step 8.计算有色噪声v(k)和白噪声v(k)的自回归方程,3.4.3 广义最小二乘法原理及算法,Step 10.修正滤波器N(z-1),Step 9.用最小二乘法计算,Step 11.如满足精度，辨识结束，否则转入Step3.,GLS法的思想是对输入输出数据先进行
17、一次滤波预处理，然后利用普通LS法对滤波后的数据进行辨识，并反复迭代受滤波模型好坏的影响较大滤波模型的好坏也直接与系统模型辨识结果有关系.从优化理论的角度来说，GLS法其实属于非线性优化方法难以避免出现非线性优化中的局部极值点情况该方法并不能保证得到的估计值是一致无偏的这是GLS法的一个不太令人满意之处.,3.4.3 广义最小二乘法原理及算法,思考题：量测噪声Vm是有色噪声，利用递推广义最小二乘法辨识参数的步骤分哪几步？能否画出流程图？,3.4.3 广义最小二乘法原理及算法,递推广义最小二乘法,递推GLS法的基本思想是与成批型LS法大致相同，不同的是:由于是递推估计，不能像成批型那样作反复迭代
18、；解决的方法是分别对过程模型和噪声模型两个模型的辨识设计两个递推估计算法，并在每一个递推步中，让它们依顺序递推一次；随着递推过程的深入，将不断改进噪声模型N(z-1)的辨识结果，同时亦得到较佳的A(z-1)和B(z-1)的辨识结果。,3.4.3 广义最小二乘法原理及算法,递推广义最小二乘算法的计算步骤如下:Step 1.确定模型的结构及A(z-1)、B(z-1)和N(z-1)的阶次；Step 2.初始化两个辨识过程，并选定稳定的初始 滤波器N(z-1)；Step 3.采样获取新的观测数据y(k)和u(k)；,递推广义最小二乘法,3.4.3 广义最小二乘法原理及算法,Step 5.列成如下自回归
19、方程:,Step 4.基于滤波器N(z-1),进行如下滤波计算 y(k)=N(z-1)y(k)u(k)=N(z-1)u(k),3.4.3 广义最小二乘法原理及算法,Step 7.计算模型残差的估计值,Step 6.用最小二乘法计算,Step 8.计算有色噪声v(k)和白噪声v(k)的自回归方程,3.4.3 广义最小二乘法原理及算法,Step 9.用最小二乘法计算,Step 10.修正滤波器N(z-1),Step 11.如满足精度，辨识结束，否则转入Step3.,考虑如下有色噪声扰动的随机线性离散系统,3.4.3 广义最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,3.4.3 广义最
20、小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,例3.8 考虑数学模型的结构为,选择如下的辨识模型进行增广递推最小二乘参数辨识。,计算机仿真结果,3.4.3 广义最小二乘法原理及算法,递推辨识过程的辨识值如下图所示,噪信比=73%,初始白化滤波器Df=1时递推辨识结果,噪声估计误差,3.4.3 广义最小二乘法原理及算法,噪信比=73%,初始白化滤波器Df=1+0.5z-1-0.5z-2时递推辨识结果,噪声估计误差,3.4.3 广义最小二乘法原理及算法,噪信比=23%,初始
21、白化滤波器Df=1时递推辨识结果,噪声估计误差,3.4.3 广义最小二乘法原理及算法,3.4.3 广义最小二乘法原理及算法,广义最小二乘算法的特点,用于自回归输入模型，是一种迭代的算法 有色干扰下估计精度较高 基本思想是基于对数据先进行一次滤波处理，后利用 普通最小二乘法对滤波后的数据进行辨识 迭代收敛较快,但是收敛性未得到证明 能同时得到过程参数和噪声参数的估计 当过程的输出信噪比比较大或模型参数较多时，数据 白色化处理的可靠性就会下降，辨识结果可能 数据要充分多，否则辨识精度下降。模型阶次不宜过高，初始值对辨识结果有较大影响 计算量大,费机时,ELS和GLS可同时辨识系统模型和噪声模型 在
22、一些实际系统中不需要知道噪声模型，即不 需要对噪声建模(辨识),系统量测噪声为有色噪声,若采用ELS法和GLS法来辨识,需花费较多的计算 时间,而且辨识的参数越多则辨识的精度和效 果越差，广义最小二乘法尤其突出.,问题：系统噪声Vm是有色噪声，不需要对噪声 建模，还想达到无偏估计，如何做？,3.4.3 广义最小二乘法原理及算法,3.4.4 辅助变量最小二乘法原理及算法,辅助变量（Instrument Variable,IV)最小二乘算法,系统噪声Vm是有色噪声，不需要对噪声建模，引入辅助系统，只要辅助系统选择恰当，可获得高精度的无偏估计。,有偏估计,3.4.4 辅助变量最小二乘法原理及算法,（
23、非奇异矩阵）,（无偏估计）,零均值白噪声,3.4.4 辅助变量最小二乘法原理及算法,当量测噪声Vm是有色噪声,不一定成立,不一定是无偏估计,问题：在有色噪声Vm下，如何获得无偏估计？,3.4.4 辅助变量最小二乘法原理及算法,定义如下辅助观测矩阵，并使下列极限成立,（非奇异矩阵）,问题：如何构造或选择辅助变量？,3.4.4 辅助变量最小二乘法原理及算法,辅助变量的选择,3.4.4 辅助变量最小二乘法原理及算法,辅助变量的选择,。,选取,3.4.4 辅助变量最小二乘法原理及算法,辅助变量的选择,。,（无偏估计）,辅助变量的选取还有更简单的方法,辅助变量最小二乘法有递推形式，思路类同,3.4.4
24、辅助变量最小二乘法原理及算法,递推辅助变量最小二乘法,Step1：确定被辨识模型的结构及多项式A(z-1)和B(z-1)的阶次；Step2：确定或设计所采用的辅助变量系统；Step3：设定递推参数初值(0)，P(0)；Step4：采样获取新的观测数据y(k)和u(k),并组成观测数据h(k)；Step5：计算辅助变量x(k),并组成辅助变量观测数据向量h*(k)；Step6：用递推辅助变量最小二乘法计算当前参数递推估计值；Step7：循环次数k加1，然后转回到第4步继续循环。,3.4.4 辅助变量最小二乘法原理及算法,递推辅助变量最小二乘法的步骤,下面给出针对随机线性离散系统，给出辨识伪代码,
25、3.4.4 辅助变量最小二乘法原理及算法,3.4.4 辅助变量最小二乘法原理及算法,3.4.4 辅助变量最小二乘法原理及算法,3.4.4 辅助变量最小二乘法原理及算法,3.4.4 辅助变量最小二乘法原理及算法,例3.9 考虑数学模型的结构为,选择如下的辨识模型进行增广递推最小二乘参数辨识。,计算机仿真结果(噪信比=73%,C(z-1)=1-1.0z-1+0.2z-2),3.4.4 辅助变量最小二乘法原理及算法,d=3时的纯滞后法辅助变量递推辨识结果,3.4.4 辅助变量最小二乘法原理及算法,d=4时的纯滞后法辅助变量递推辨识结果,3.4.4 辅助变量最小二乘法原理及算法,d=5时的纯滞后法辅助
26、变量递推辨识结果,3.4.4 辅助变量最小二乘法原理及算法,d=3时的Tally原理辅助变量递推辨识结果,3.4.4 辅助变量最小二乘法原理及算法,d=4时的Tally原理辅助变量递推辨识结果,3.4.4 辅助变量最小二乘法原理及算法,d=5时的Tally原理辅助变量递推辨识结果,3.4.4 辅助变量最小二乘法原理及算法,3.4.4 辅助变量最小二乘法原理及算法,辅助变量最小二乘（IVLS）法的特点,IVLS的计算量比LS估计增加不多，在相关噪声情 况下估计精度确有明显改善；IVLS法与递推IVLS法思路相似，但不等价；递推IVLS法的计算量与RLS法接近，在相关噪声 情况下估计精度优于RLS
27、法；递推IVLS法对初值P(0)的选择非常敏感，为了提 高递推IV法的可靠性，在递推的前几十步最好用 RLS法过渡.,3.5.1 多变量系统的最小二乘辨识的原理,MIMO系统,3.5.1 多变量系统的最小二乘辨识的原理,MIMO系统的子系统,3.5.1 多变量系统的最小二乘辨识的原理,3.5.1 多变量系统的最小二乘辨识的原理,待辨识的参数：,3.5.1 多变量系统的最小二乘辨识的原理,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2
28、 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,3.5.2 多变量系统的最小二乘辨识的算法与设计,多变量系统的最小二乘辨识的算法的递推形式,3.5.2 多变量系统的最小二乘辨识的算法与设计,例3.8 采用多变量系统的最小二乘辨识方法辨识如下MIMO 系统的参数,3.5.2 多变量系统的最小二乘辨识的算法与设计,4、最小二乘应用惯性器件标定,陀螺仪,加速度计,4、最小二乘应用惯性器件标定,4、最小二乘应用惯性器件标定,4、最小二乘应用惯性器件标定,4、最小二乘应用景像匹配,4、最小二乘应用景像匹配,4、最小二乘应用景像匹配,4、最小二乘应用摄像机标定,4
29、、最小二乘应用摄像机标定,4、最小二乘应用摄像机标定,标定结果：,4、最小二乘应用摄像机标定,X方向误差,Y方向误差,4、最小二乘应用摄像机标定,4、最小二乘应用摄像机标定,标定原图,校正后,单级倒立摆示意图,4、最小二乘应用单级倒立摆,图中所示变量名的物理含义如表1所示。,4、最小二乘应用单级倒立摆,Step1：对小车进行受力分析，小车的受力分析如图所示。小车受力分析图图中，P表示摆杆对小车水平方向上的作用力，单位N；N 表示摆杆对小车垂直方向上的作用力，单位（N）。根据牛顿定律，小车水平方向上的力平衡方程为：,4、最小二乘应用单级倒立摆,Step2：对摆杆进行受力分析，摆杆的受力如图所示。
30、摆杆受力分析图摆杆水平方向上的力平衡方程如下，,4、最小二乘应用单级倒立摆,将上式合并可得下式,4、最小二乘应用单级倒立摆,摆杆垂直方向上的力平衡方程式如下,摆杆的转矩平衡方程式如下,进一步化简得,化简得,4、最小二乘应用单级倒立摆,Step3：单级倒立摆动力学非线性方程组,Step4：化成状态空间描述。,4、最小二乘应用单级倒立摆,4、最小二乘应用单级倒立摆,Step5：线性化处理,Step6：系统离散化，获取输入输出数据，系统参数辨识。,3.6 本章小结,输入,系统模型,输出,极值原理,测量值加权,批处理,在线,有偏估计时,有色噪声,SISO,MIMO,估值精度低,作业1,作业1答案,解：由题意得量测方程,作业2,作业2答案,解：由题意得量测方程,作业3,作业3答案,解：由题意得量测方程,作业4,高斯自己独创了一套行星轨道计算理论。高斯仅用1小时就算出了谷神星的轨道形状，并进 行了预测,1801年初，天文学家皮亚齐发现了谷神星。,因病耽误观测，失去了该小行星的轨迹。,1801年末，天文爱好者奥博斯，在高斯预言的时间 里，再次发现谷神星。1802年又成功地预测了智神星的轨道。,
