《系统辨识与滤波最小二乘法辨识.ppt》由会员分享，可在线阅读，更多相关《系统辨识与滤波最小二乘法辨识.ppt（34页珍藏版）》请在三一办公上搜索。
1、第5章 最小二乘法辨识,把待辨识的系统看作“黑箱”，只考虑系统的输入输出特性，而不强调系统的内部机理。本章主要讨论单输入单输出系统的差分方程作为模型的系统辨识问题。差分方程模型的辨识问题包括阶的确定和参数估计2个方面。本章讨论采用最小二乘法进行参数估计。,1、最小二乘法,设单输入单输出线性定常系统的差分方程为（1）式中：为输入信号；为理论上的输出值。的观测值 可表示为式中 为随机干扰，则：将 代入差分方程中，有（4）,往往把 看作白噪声设则式（4）可写成（5）假设 不仅包含了 的测量误差，而且还包含 的测量误差和系统内部噪声。假定 是不相关随机序列。现分别测出 个输入输出值，,列出个方程为：,
2、设,可得到（8）式中：为N维输出向量；为N维噪声向量；为 维参数向量；为 测量矩阵。式（8）式一个含有 个未知参数，由N个方程组成方程组。当，方程数少于未知数数目，则方程组的解是不定的。当，方程数正好与未知数相等，当噪声 时，就能准确的解出,如果噪声，则从上式可以看出噪声 对参数估计有影响，为了尽量减少噪声 对 估值的影响，应取此时，要采用数理统计的方法求 的值，以减少噪声对 估计值的影响。,最小二乘估计算法,设 表示 的最优估值，表示 的最优估值，则有式中,设 表示 与 之差，即将 称为残差。把 分别代入上式可得残差。设则有,最小二乘估计要求残差的平方和为最小，即按照目标函数为最小来确定估值
3、。求J对 的偏导数并令其等于0，可得J为极小值的充分条件是即矩阵 为正定矩阵。,这种辨识方法称为一次完成的最小二乘估计，用来辨识的数据长度是。算法表明，全部 组数据是一次计算完毕的，这种方法常用于离线辨识。优点：辨识精度高。缺点：每取到一组新数据后，都需要重新解方程组，每算一次都需要用全部数据，致使计算的存储量越来越大，计算量也逐渐增加。,2、最小二乘递推算法,令则有,考虑目标函数极小化，可求得（10）当新数据 取得时，有其中：,令则应用矩阵求逆引理，可得 和 的递推关系式矩阵求逆引理：设A为 矩阵，B和C为 矩阵，并且A，和 都是非奇异矩阵，则有矩阵恒等式,令，根据引理有由于 为标量，则而,
4、由于上式中第二项为把它代入原式，消去同类项，经整理得此式即为最小二乘的递推算式。利用此式计算，时要已知，（前次估计值），（历史数据）和新观测值。,算法所需存贮空间分析：算法中，为2n+1个存贮单元（），而 是 维矩阵，显然，将 换成 后，存贮量大为减少（因为n为模型的阶数，一般远远小于N）递推公式的直观意义：如果用 表示预报值，那么 表示预报误差，这就表明，新的参数估计值 是根据预报偏差来对原估计值 进行修正，修正的幅度大小是按最小二乘准则来确定的。,为了进行递推计算，需要给出 和 的初值 和，有两种给出初值的方法。1）设 为N的初始值，则根据公式可算出初值 2）假定 是充分大的常数，为 单位
5、矩阵,则经过若干次递推之后能得到较好的参数估计。,3、最小二乘估计量的统计特性,1、无偏性 定理1：假设模型（5）式中的 是均值为零的平稳独立随机序列，则最小二乘估计量 是具有无偏性的，即 其中 表示参数的真实值。证明：令误差向量，由式（8）可知,将它代入（10）式得对上式两边取数学期望，并应用 为独立，零均值得统计特性，可得 证毕。2、误差协方差定理2：如果 是均值为零，方差为 的白噪声序列，则最小二乘估计误差 的协方差矩阵是,证明：定义误差向量的协方差矩阵是证毕。上式可写为 当 时，上式为零，即 以概率1趋近。因此，当 为不相关随机序列时，最小二乘估计具有无偏性和一致性。如果系统的参数估计
6、具有这种特性，就称系统具有可辨识性。,现举例说明最小二乘法的估计精度例5.1：设单输入单输出系统的差分方程为设 是幅值为1的伪随机二位式序列，噪声 是一个方差 可调的正态分布 随机序列。从方程中可看到，因此真实的 为取观测数据长度，当噪声均方差 取不同值时，系统参数的最小二乘估计值如下表,表5.1 参数估值表,计算结果表明，当不存在噪声时，可以获得精确的估值。估值 的均方差随着噪声均方差 的增大而增大。,3）渐进正态性 定理3：假设 是均值为零，方差为 的正态白噪声，则最小二乘参数估计值 服从正态分布，即 4）有效性 定理4：假设 是均值为零，方差为 的正态白噪声，则最小二乘参数估计量 是有效
7、估计量，即参数估计误差的协方差达到Cramer-Rao不等式（克拉默勞下限）的下界 其中M为Fisher信息矩阵。,4、适应算法,随着更多观测数据的处理，递推最小二乘法对线性定常系统的参数估计并非越来越精确，有时会发现由此得到的参数估计量与实际参数之间的误差越来越大，即出现“数据饱和”现象。这是因为 是正定的，而 中 是非负定的，所以 都是正定的。根据递推最小二乘法中公式，可得：所以随着递推次数的增加，越来越小，这会导致新采样值对参数估计的修正不再起作用，即产生“数据饱和”现象。,另外，由于递推在有穷字长的计算机上实现时，每步都存在舍入误差。因此数据饱和后，由于这些原因致使新的采样值不仅对参数
8、估计不起改进作用，反而可能使所计算的 失去正定性，甚至失去对称性，造成参数的估计值和真实参数之间的偏差越来越大。为了克服数据饱和现象，可以用降低旧数据影响的办法来修正算法。而对于时变系统，估计k时刻的参数最好用k时刻附近的数据估计较准确。否则新数据所带来的信息将被就数据所淹没。几种算法：渐消记忆法，限定记忆法与振荡记忆法,1）渐消记忆法,该法的思想是对过去数据乘上加权因子，利用加权来人为地降低老数据的作用。考虑下列目标函数其中，当 时就是标准的最小二乘算法，可以证明其递推算法是,41a,41b,41c,证明：令则,利用矩阵求逆,令,证毕,一般情况下,比较适宜，太小了会降低,参数估计的精度。的一
9、个很好的选择是令,典型取值,4-2,2）限定记忆法,这种估计算法只用最新的N个数据，在此前的数据，全部删除掉。如考虑一个固定长度为N的矩形窗，每一时刻一个新数据点增加进来，一个老数据点剔除出去，这样就保持了每次都只取最新的N组数据。用下标 表示用第 组直到 组观测值计算到的各种变量，例如 表示第 组直到 组一共N1组观测数据计算到的参数估计值。而 表示第 组到 组一共N组观测数据计算到的参数估计值。,这样，递推方程（41）中，则可写成为了保持数据窗的长度等于N，要从上三式中剔除i时刻的观测值，即求其中：,利用矩阵求逆运算，可得,该式就是限定记忆的最小二乘递推法,3）振荡记忆算法,振荡记忆算法指整段剔除N组数据的方法，即当数据长度已经达到2N时，可剔除开始的N个数据。其有用的数据在N到2N之间变化,练习,根据递推最小二乘算法，矩阵求逆公式以及公式(4-1-b),(4-1-c)和（4-2），推导公式(4-1-a),
