《现代信号处理03-自适应信号处理.ppt》由会员分享，可在线阅读，更多相关《现代信号处理03-自适应信号处理.ppt（37页珍藏版）》请在三一办公上搜索。
1、1,第三章 自适应信号处理,周围,2,内 容,梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,自适应FIR滤波器：,定义输入向量,输入信号：,输出信号：,期望信号（参考信号或训练信号）：d(n),抽头权矢量：,输出误差信号：,最优权矢量：,均方误差性能曲面及其性质,输入信号的自相关矩阵：,互相关矩阵,与FIR维纳滤波器的最优解一致。,均方误差函数（代价函数）,几何意义,对二维实加权情况：,均方误差性能函数：,为求得等高线令,10,定义输入向量,输出信号：,复加权矢量：,输出误差信号：,定义输入向量,其中空间自相关矩阵：,最优加权矢量：,
2、互相关矩阵,13,最陡（梯度）下降算法,梯度的数学表示：,相对于 向量 的梯度算子记作，定义为,因此，一个实际量函数 相对于一列向量的梯度为,14,最陡（梯度）下降算法（续）,梯度的几何特征,梯度的每个分量给出了标量函数在该分量方向上的变化率。,梯度的重要性质,指出了当变元增大时函数的最大增大率。相反，梯度的负值（简称负梯度）指出了当变元增大时函数的最大减小率。这一性质是梯度下降算法的基础。,15,定理：令 是实向量 的实值函数。将 视为独立的变元，实目标函数 的曲率方向由梯度向量 给出。,最陡（梯度）下降算法,梯度下降算法的迭代过程：,近似解在迭代过程中的校正量与目标函数的负梯度成正比。上式
3、称为优化问题近似解的学习算法；常数 称为学习步长，它决定近似解趋向最优解的收敛速率。,梯度：,故,坐标平移,最陡（梯度）下降算法,坐标旋转去耦合,由初始权向量迭代可得：,（变量间无耦合）,或表为,因为,最陡（梯度）下降算法,若满足：,实际常用（保守的）收敛条件：,则有：,则有：,或,最陡（梯度）下降算法（续）,过渡过程,令：,则,其中权向量时间常数,（1）权向量过渡过程,（2）均方误差过渡过程,其中均方误差时间常数,最陡（梯度）下降算法（续）,（3）特征值分散对过渡过程的影响,均方误差和权矢量的分量均按M个不同时间常数 的指数函数之和的规律变化。收敛速度主要取决于最慢的指数过程，相应时间常数：
4、,为了保证收敛，步长，故有：,当特征值分散性大（条件数大）时，算法最陡下降法收敛性很差。,最陡（梯度）下降算法（续）,梯度下降算法（续）,（4）步长对过渡过程的影响,22,内 容,最优滤波理论与Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,23,自适应滤波基本原理,自适应滤波器包括两个过程：滤波过程和自适应过程。此仅考虑后者,即滤波器的自适应实现问题；且主要考虑 FIR滤波器的自适应实现，其关键是自适应算法。FIR滤波器的自适应实现指的是：M 阶FIR滤波器的抽 头权系数w1,wM-1可以根据估计误差e(n)的大小自
5、动调 节，使得误差在某个统计最优准则下最小。滤波器设计最常用的准则：MMSE准则，即是使滤波器 实际输出y(n)与期望响应d(n)之间的均方误差 最小;最终达到Wiener解。,24,自适应滤波基本原理（续）,最广泛使用的自适应算法是“下降算法”,式中w(n)为第n步迭代(亦即时刻n)的权向量，为第n步 迭代的更新步长，v(n)为第n步迭代的更新方向(向量),下降算法的两种实现方式-自适应梯度算法：LMS算法及其改进算法-自适应高斯牛顿算法：RLS算法及其改进算法 本节介绍LMS类算法，下一节介绍RLS类算法。,25,最小均方（LMS）滤波器,最陡下降法：,随机优化问题：,Wiener滤波器：
6、,真实梯度,26,LMS滤波器（续）,缺点：真实梯度含数学期望，不易求得。,梯度估计,改进：,瞬时梯度：,先验估计误差,27,LMS滤波器（续）,基本LMS算法：,瞬时梯度分析：,最陡下降法,LMS算法,搜索方向为梯度负方向，每一步更新都使目标函数值减小（“最陡下降含义”）。,搜索方向为瞬时梯度负方向，不保证每一步更新都使目标函数值减小，但总趋势使目标函数值减小。,28,LMS滤波器（续）,梯度下降法要求：不同时间的梯度向量（搜索方向）线性独立。,LMS算法的独立性要求：,要求不同时间的输入信号向量 线性独立（因为瞬时梯度向量为）。,29,LMS滤波器（续）,自适应学习速度参数及收敛性,（3）
7、“换档变速”方法：固定时变,（2）时变学习速度：（递减），模拟退火法则,30,LMS滤波器（续）,例1.（先搜索，后收敛）,例2.（先固定，后指数衰减）,（4）自适应学习速度：“学习规则的学习”,和 正的常数,31,而且可以证明LMS自适应滤波器的权向量收敛于维纳解：,(5)算法收敛性 前已指出，瞬时梯度向量是真实梯度向量的无偏估计：,条件是,LMS算法还必须兼顾收敛速度和失调,它来自梯度估计误差:,LMS滤波器（续）,32,若 自适应产生，则称为自适应步长的LMS算法,LMS算法的几种变形,若 常数，则称为基本LMS算法,若,则称为归一化LMS算法,结论：这些算法通常称为LMS类算法梯度算法
8、。,LMS算法的改进,33,LMS算法的改进（续）,从LMS算法导出牛顿法 前面已导出维纳最优解为,它由梯度 得出，其中,用 左乘上式两边,并将结果代入维纳解公式,得,写成更一般的迭代形式(即牛顿迭代公式)：,34,LMS算法的改进（续）,从LMS算法导出牛顿法（续）,上式可写成更一般的迭代形式：,这就是所谓牛顿法基本迭代式。其中,称为牛顿方向。,统一算法 LMS法与牛顿法可统一为更一般的下降算法:,取不同的 就构成不同的自适应算法。,35,内 容,正交性原理Wiener滤波器梯度下降算法横向LMS自适应滤波器横向RLS自适应滤波器Kalman滤波器自适应格型滤波器盲自适应滤波器自适应滤波器的应用,36,RLS自适应滤波器,基本思想 RLS算法 RLS滤波算法与Kalman滤波算法,系统输入,(c)预测,延 迟,自适应滤波器,随机信号,u,系统输出2,e(n),y-,+d(n),系统输出1,(d)自适应干扰（噪声）抵消,自适应滤波器,基本信号,e(n),y(n),+,系统输出,参考信号,用于预测编码和语音分析,用于噪声消除和波束形成,x(n)+N(n),-,d(n),
