《递推最小二乘法ppt课件.pptx》由会员分享，可在线阅读，更多相关《递推最小二乘法ppt课件.pptx（31页珍藏版）》请在三一办公上搜索。
1、1,2022/11/27,2,考虑系统模型：,回顾,最小二乘法辨识,3,则可写为,N维输出向量,2n+1维参数向量,N维噪声向量,N(2n+1)维测量矩阵,最小二乘法：,4,可得 的最小二乘估计,J为极小值的充分条件是,即矩阵 为正定矩阵。,5,2022/11/27,图4.1 动态系统递推最小二乘在线辨识过程原理图,6,2022/11/27,令 ，则递推最小二乘算法,递推最小二乘法,7,2022/11/27,该递推公式有明显的物理意义：,称 为新息，表示实测值与预报值之差，而 为新息的校正增益。,8,数据饱和现象,在实际应用中，递推最小二乘法常常会出现数据饱和现象。 所谓数据饱和现象是指随着时
2、间的推移，采集的数据越来越多，新数据提供的信息被旧数据所淹没。,9,数据饱和现象,可见，随着递推次数的增加，P(N)将越来越小,最后可能趋于零。 因此根据上式，新的采样值对参数估计的改进，已不再起作用了。,为了克服数据饱和现象，可以用降低旧数据影响的办法来修改算法。,10,4.6 渐消记忆递推算法,渐消记忆法是对每个数据按指数加权，老的数据作用逐渐减弱。,由n+N个观测数据获得 的最小二乘估计为,此时，由n+N+1个观测数据获得 的最小二乘估计为,（*）,将上面的结果带入（*）式，并展开得,又因为 ，则上式变为,令 ，则得渐消记忆的递推最小二乘算法,渐消记忆递推最小二乘算法,渐消记忆递推最小二
3、乘算法,其中，称为“遗忘因子”。选择不同的就得到不同的遗忘效果。 越小，遗忘的速度越快。 =1：无遗忘； =0：全遗忘 一般来说， 必须选择接近于1的正数，对于线性系统，应选择0.951。,限定记忆法,思路：限定每次估计都用最新的n+N个数据，增加一个新数据就去掉一个老数据。,17,2022/11/27,4.7.1 最小二乘估计的特点,1） 唯一性,3）应用简单，鲁棒性好,4.7最小二乘估计的性质,2）适用范围广,18,2022/11/27,4.7.2 最小二乘估计的概率性质,如果(k)是不相关随机序列，且均值为0。,1） 无偏性,2）一致性,4） 渐进正态性,辅助变量法、广义最小二乘法、增广
4、矩阵法,如果是均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值服从正态分布。,3） 有效性,在众多无偏估计中，方差最小。,最小二乘估计法的缺陷,最小二乘估计的无偏性、一致性等概率性质，都是在(k)为零均值、不相关随机序列的前提下得到的。 但实际系统中(k)往往是相关的，有些系统即使外加干扰为不相关的随机序列，但在参数估计过程中，也变成相关的随机序列了。,最小二乘估计法的缺陷,最小二乘估计法的缺陷,可见(k)是相关序列，进而得到的最小二乘参数估计不是无偏、一致估计。 因而，LS估计方法的应用受到一定限制，下面介绍在LS基础上加以改进的方法。,22,4.8 辅助变量法,现在开始讨论如何克服
5、最小二乘法的有偏估计问题。,当 是不相关随机序列时，最小二乘法可以得到参数向量 的一致性无偏估计。但是，在实际应用中 往往是相关随机序列。,23,24,从式（4.8.5）可以看到， 与最小二乘法估值 的计算公式具有相同的形式，因此计算比较简单。,25,因此辅助变量估计是无偏估计。,26,剩下的问题是如何选择辅助变量，即如何确定辅助变量矩阵Z的各个元素。选择辅助变量的基本原则是式（4.8.2）所给出的两个条件必须得到满足。,这可以简单地理解为所选择的辅助变量应与 不相关，但与 中的 和 强烈相关。,27,Z可以有多种选择方法，下面介绍两种常用的选择方法。,1）迭代辅助变量参数估计法,28,29,迭代辅助变量参数估计法 计算步骤：,30,2）自适应滤波法,这种方法所选择的辅助变量 和辅助变量矩阵Z的形式与上一种方法完全相同，只是辅助模型中参数向量 的估计方法与上一种方法有所不同。取,式中： 取 ；d 取 ； 为k时刻所得到的参数向量估计值。当 是持续激励信号时，所选的辅助变量可以满足式（4.8.2）所给出的2个约束条件。,31,2022/11/27,本次课内容总结,递推最小二乘法带来的数据饱和问题,最小二乘估计法的缺陷,辅助变量法,渐消记忆递推最小二乘法,
