数学专业外文文献翻译.docx

《数学专业外文文献翻译.docx》由会员分享，可在线阅读，更多相关《数学专业外文文献翻译.docx（52页珍藏版）》请在三一办公上搜索。

1、数学专业外文文献翻译共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第1页 第3章 最小均方算法 31 引言 最小均方(LMS,least-mean-square)算法是一种搜索算法，它通过对目标函数进行适当的调整12,简化了对梯度向量的计算。由于其计算简单性，LMS算法和其他与之相关的算法已经广泛应用于白适应滤波的各种应用中3-7。为了确定保证稳定性的收敛因子范围，本章考察了LMS算法的收敛特征。研究表明，LMS算法的收敛速度依赖于输入信号相关矩阵的特征值扩展26。在本章中，讨论了LMS算法的几个特性，包括在乎稳和非平稳环境下的失调29和跟踪性能10-12。本章通过大量仿真举例对分

2、析结果进行了证实。在附录B的B1节中，通过对LMS算法中的有限字长效应进行分析，对本章内容做了补充。 LMS算法是自适应滤波理论中应用最广泛的算法，这有多方面的原因。LMS算法的主要特征包括低计算复杂度、在乎稳环境中的收敛性、其均值无俯地收敛到维纳解以及利用有限精度算法实现时的稳定特性等。 32 LMS算法 在第2章中，我们利用线性组合器实现自适应滤波器，并导出了其参数的最优解，这对应于多个输入信号的情形。该解导致在估计参考信号以d(k)时的最小均方误差。最优(维纳)解由下式给出： Tw0=R-1p (3.1 )其中，R=Ex(k)x(k)且p=Ed(k)x(k) ，假设d(k)和x(k)联合

3、广义平稳过程。 如果可以得到矩阵R和向量p的较好估计，分别记为R(k)和p(k)，则可以利用如下最陡下降算法搜索式(31)的维纳解： wmw-kg w(k+1)=k)m(pk(-)Rkwk ( (3.2 ) =w(k其中，k0，1，2，,gw(k)表示目标函数相对于滤波器系数的梯度向量估计值。 一种可能的解是通过利用R和p的瞬时估计值来估计梯度向量，即 共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第2页 T R(k)=x(k) xk( p(k)=d(k)x(k ) (3.3 )得到的梯度估计值为 gw(k)=-2d(k)xk(+)T2xk(T)xkwk-(dk(+) =2xkxk

4、(w)k ( ) =-2e(k)xk(3.4 )注意，如果目标函数用瞬时平方误差e2(k)而不是MSE代替，则上面的梯度估计值代表了真实梯度向量，因为 e(k)e(k)e(k)=2e(k)2e(k)Lww0(k)w(k)1 2e(k)2ek0w(k)T( ) =-2e(k)xk=gw(k) (3.5 )由于得到的梯度算法使平方误差的均值最小化因此它被称为LMS算法，其更新方程为 +m2e(k)x w(k+1)=w(k) k ( (3.6 )其中，收敛因子m应该在一个范围内取值，以保证收敛性。 图31表示了对延迟线输入x(k)的LMS算法实现。典型情况是，LMS算法的每次迭代需要N+2次乘法(用

5、于滤波器系数的更新)，而且还需要N+1次乘法(用于产生误差信号)。 LMS算法的详细描述见算法31 共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第3页 图31 LMS自适应RH滤波器 算法31 LMS算法 Initialization x(0=)w(=0)0L0T0 Dofor k0 e(k)=d(k-)Tx(k)w(k+m2e(k)xk( w(k+1)=w(k) 需要指出的是，初始化并不一定要像在算法3.1小那样将白适应滤波器的系数被创始化为零：比如，如果知道最优系数的粗略值，则可以利用这些值构成w(0)，这样可以减少到达w0的邻域所需的迭代次数。 共19页 河南理工大学数学与

6、信息科学学院本科毕业资料翻译 第4页 33 LMS算法的一些特性 在本节中，描述丁在平稳环境下与LMS算法收敛特性相关的主要特性。这里给出的信息对于理解收敛因子m对LMS算法的各个收敛方面的影响是很重要的。 331 梯度特性 正如第2章中所指出的(见式(2.79)，在MSE曲面上完成搜索最优系数向量解的理想梯度方向为 gw(k)=2Exk(T)xk(w)-k(E)dk(k) =2Rw(k-p (3.7 )在LMS算法中，利用R和p的瞬时估计值确定搜索方向，即 gw(k)=2xk(T)xk(w)-kdk()k (3.8 )正如所期望的，由式(38)所确定的方向与式(3.7)所确定的方向很不同。因

7、此，当通过利用LMS算法计算更加有效的梯度方向时，收敛特性与最陡下降算法的收敛特性并不相同。 从平均的意义上讲，可以说LMS梯度方向具有接近理想梯度方向的趋势，因为对于固定购系数向量w，有 Egw(k)=2Exk(T)xk-(w)Edk(k)=gw (3.9 )因此，向量gw(k)可以解释为gw的无偏瞬时估计值。在具有遍历件的环境中，如果对于一个固定的w，利用大量的输入和参考信号来计算向量gw(k)，则平均方向趋近于gw，即 lim1MMMgi=1wk(+i)wg (3.10 )332 系数向量的收敛特性 假设一个系数向量为w。的未知FIR滤波器，被一个具备相同阶数的白适应FIR滤波器利用LM

8、S算法进行辨识。在未知系统输出令附加了测量白噪声n(k)，其均值为零，方差为sn。 2在每一次迭代中，自适应滤波器系数相对于理想系数向量w0，的误差由N+1维向量描述： 共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第5页 Dw(k)=w(k)-0w (3.11 )利用这种定义，LMS算法也可以另外描述为 Dw(k+1)=Dw(k)+m2e(k)x k(T =Dw(k)+2mxkkxw(0-)Tkxwk( )T =Dw(k)+2 mxk(0)e-xk(D)wkT =I-2mxkxk(D)wk+(m)0e2 ( ) (3.12 )k( k) x其中，e0(k)为最优输出误差它由下式给

9、出： e0(k)=d(k)-w0x(k)TTT=w0x(k)+n(k)-w0x(k) =n(k) (3.13 )于是，系数向量中的期望误差为 TEDw(k+1)=EI-2mx(k)x(k)Dw(k)+2mEe0(k)x(k) (3.14 )假设x(k)的元素与Dw(k)和e0(k)的元素统计独立，则式(314)可以简化为 T EDw(k+1)=I-m2Exkxk(E)Dw k =(I-2mR)EDw(k ) (3.15 )如果我们假设参数的偏差只依赖于以前的输入信号向量，则第一个假设成立，而在第二个假设中，我们也考虑了最优解对应的误差信号与输入信号向量的元素正交。由上述表达式可得 = EDw(

10、k+1)Tk+1I(-m2R)EDw ( 0 ) (3.16 )如果将式(315)左乘Q(其中Q为通过一个相似变换使R对角化的酉矩阵)，则可以得到 = EQDw(k+1)T(I-m2QRQ)EQDTTw (k =EDw(k+1) =(I-2mL)EDw(k )共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第6页 1- =2ml00M0M001-2ml1OLMEDw(k) (3.17 )M1-ml2N0其中，Dw(k+1)=QTDw(k+1)为旋转系数误差向量。应用旋转可以得到一个产生对角矩阵的方程，从而更加易于分析方程的动态特性。另外上述关系可以表示为 EDw(k+1)=(I-2m

11、L)k+1EDw(0) k+1(1-2ml0)0 =M00(1-ml21M0k+1L)MOM0(-1ml2NEDw(0) (3.18 )k+1)该方程说明为了保证系数在平均意义上收敛，LMS算法的收敛因子必须在如下范围内选取： 0m1lmax (3.19 )其中，lmax为R的最大持征值。在该范围内的m值保证了当k时，式(318)中对角矩阵的所有元素趋近于零这是因为对于i0，l，,N，有-1(1-2mli)1。因此，对于较大的k值，EDw(k+1)趋近于零。 按照上述方法选取的m值确保了系数向量的平均值接近于员优系数向量w0比该指出的是，如果矩阵R具有大的特征值扩展，则建议选择远小于上界m值。

12、因此，系数的收敛速度将主要取决于最小特征值，它对应于式(318)中的最慢模式。 上述分析中的关键假设是所谓的独立件理论4，它考虑了当i=0，1，k时，所有向量x(i)均为统计独立的情况。这个假设允许我们考虑在式(314)中Dw(k)独立于x(k)x(k)。尽管在x(k)由延迟线元素组成时，这个假设并不是非常有效，但是由它得到T的理论结果与实验结果能够很好地吻合。 333 系数误差向量协方差矩阵 在本节中，我们将推导得出自适应滤波器系数误差的二阶统计量表达式。由于对于大的k值，Dw(k)的平均值为零，因此系数误差向量的协方差的定义为 共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第7

13、页 covDw(k)=EDw(k)DwT(k)=Ew(k)-w0w(k)-w0T (3.20 )将式(312)代人式(3.20),可以得到 covDwk(+1=)E-Im2kxkDxT(wD)kTw-kmITTTk2 xkT +I-2mxkxk(Dw)kT +2me0(k)Txk(D)wm(e0)k22 x(k)TT)k(-)Imxkxk (+4me0(k)x(k)x(k)22T (3.21 )考虑到e0(k)独立于Dw(k)且正交于x(k)，因此上式中右边第二项和第三项可以消除。可以通过描述被消除的矩阵的每一个元素来说明这种简化的详细过程。在这种情况下， covDwk(+1=)cDwovk+

14、E(-)mk2kxD(w)kxDwk (TTTT -2mDw(kD)wkkxkx (TT +4m2xkxk(Dw)kD(w)k +4me0(k)x(k)x(k)22T (3.22 )另外，假设Dw(k)独立于x(k)，则式(322)可以重新写为 covDwk(+1=)cDwovk-(mE)k2TkxE(D)wxk(Dw)k (TTT -2mEDwk(D)wk(E)kx(k)x +4mExkxkD(w)kDwk +4mEe0(k)x(k)x(k)22T2TT =covDwk-m2RcoDwvk 222wk(R)+m4A+m4s -2mcovD R (3.23 )n计算式A=Ex(k)x(k)ED

15、w(k)Dw(k)x(k)x(k)包括了四阶矩，对于联合高斯输人信号样值，可以采用文献4，13中描述的方法。通过将算子E中的矩阵展开而得到结果。其结果是 A=2RcovDwkR+ ( RtrRcDovw k(3.24)TTT其中,tr.表示.的迹。为了计算采用LMS算法时梯度燥声估计所引起的额外MSE，式(323)是必要的。由于式(323)中最后一项为动态矩阵方程提供了激励，因此当k时，covDw(k+1)不会趋近于零。 共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第8页 式(323)的更加有用的形式可以通过对其分别左乘QT和右乘Q来得到，于是有 QTcovDwk(+Q1)=QT

16、cDwovkQ ( -2mQTRQQTcovDwk(Q) T -2mQTcovDwk(Q)QRQ TT +8m2QTRQQcovDw(k)QQ RQTT +4m2QTRQQtrRQQcoDvwk Q+4msnQRQ22T (3.25 )其中，利用了恒等式QTQ=QQT=I根据QTtrBQ=trQTBQI对于任意B成立的事实，有 covDwk(+1=)cDowvk-(mL)2DLwcokv-mcowDvk(D)w2Lkc ov2w +8mLcovDk(L)+m4Ltr222(m+)s 4 L (3.26 )n其中covDw(k)=EQTDw(k)DwT(k)Q。. 正如将要在336节中证明的，在

17、LMS算法中，只有covDw(k)对角元素对额外MSE有贡献。如果定义v(k)为其元素由covDw(k)的对角元素组成的向量，且l为R的特征值组成的向量则根据上述方程可以导出如下关系： v(k+1)=(I-m4L+m822L2+m4llv)k(2T)+m4sn22l 其中，B的元素为 =Bv(k)+4msnl2 (3.27 )222mli+m4l1-4mli+8bij=24mlilj 2ifori=jforij (3.28 )收敛因于m必须在保证v(k)收敛朗某个范围内取值。由于矩阵B是对称的，因此它只具有非负特征值。另外，由于B的所有元素也是非负值，因此，B的任意行元素之和的最大值代表了B的

18、最大特征值的上界，参见文献14第63页。其结果是，保证收敛的充分条件是迫使B的任意行元素和保持在范围0j=0bij1以内。因为 NNbij=1-4mli+8mli+4mli222lj=0N2jj=0 (3.29 )共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第9页 所以m的关键值的选取必须使上式接近于1(因为对于任意m，该表达式总是为正)。这只有在式(329)中最后三项接近于零时才会发生，也就是说 N-4mli+8ml+4mliij=0222jl0经过简单的处理可以得到如下稳定性条件： 0m12lm+ax1=1trRNljj=0Nj=0lj (3.30 )其中，最后一个比较简单的

19、表达式是在实际中应用得比较广泛的。我们将在后面的式(347)中指出，m控制厂MSE的收敛速度。 从实际的观点来看，这里得到的m的上界是很重要的，因为它给出了为实现系数收敛应该选用的m的最大值。然而，应该提醒读者的是，这里给出的上界在某种程度上讲是比较乐观的，因为在推导过程中利用了一些近似关系和假设。在大多数情况下，m值的选取不应该接近于上界。 334误差信号的特性 本节在考虑了未知系统模型为无限冲激响应且存在测量噪声的情况下，计算了自适应滤波器输出误差信号的均值。当考虑了加性测量噪声以后，误差信号出下式结出： - e(k)=d(k)Tw(k)x(k+)n(k) (3.31 )其中，d(k)为没

20、有测量噪声时的期望信号。对于给定的已知输入向量x(k)，误差信号的期望 Ee(k)=Ed(k-)EwTT(k)x+kEnk=Ed(k)-0wx(k+)En(k) (3.32 )其中，w0是最优解，即系数向量的维纳解。注意，在上式中假设输入信号向量是已知的，这是为了便于在自适应滤波器收敛到最优解时，揭示出我们所期望的内容。如果d(k)是通过一个无限冲激响应系统产生的则由于采用了不充分模型(自适应FIR滤波器采用的系数数目不充足)，因此减去前面两项后存在着残留误差，即 Ee(k)=Ehi(x)k-(i+)Enki=N+1 (3.33 )在上式中，h(i)(其中i=N+1,，)为产生没有被自适应滤波

21、器辨识出的d(k)部分的共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第10页 随机过程的系数。如果输入信号和n(k)具有零均值则Ee(k)=0。 335最小均方误差 在本节中，针对不充分模型(undermodeling)情形，在加性噪声环境下计算了最小均方误差(MSE，minimum mean-square error)。对于系统辨识问题，假设仍然考虑自适应滤波器的系数少于未知系统系数这种不充分模型情况，此时可以写出 d(k)=hxT(k+)-Tn(kT=w0x(k)h-+n(k)x(k) (3.34 )_其中，w0为包含未知系统冲激响应的前面N+1个系数的向量，h则包含了h的剩

22、余向量。具有N+1个系数的自适应滤波锯的输出信号出下式给出： y(k)=w(k)x(k) T在这种情况下，MSE具有如下表达形式： x=Ed(k)-20w-2wT2Tx(k)wTT(k)x-kh2xkx2TTk(w)kxkkxk(n)k+(w)k=Ed(k)-22wTkT-2wTTx(k)T0w0x(k)2x(k)h-x(k) -Tkxk(n)k+(w)kkx=Ed(k)-22Tw 其中 w0(k)0R+hTTw(k)Rw(k) (3.35 )Tx(k)TR=Ex(k)xkx(k) 且0是元素全部为零的无限长向量。通过计算x相对于自适应滤波器系数的导数，可以得到(参见式(2.79)和式(212

23、5)的推导过程) w0-1-1w0w0=RtruncpN+1=RtruncRhN+1 共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第11页 =RtruncRhN+1-1 (3.36 )其中，truncaN+1表示由a的前面N+1个元素产生的向量。应该注意的是，式(335)和式(336)的结果与算法无关。 当假设输入信号是与加性噪声信号无关的白噪声时，可以根据式(335)得到MSE，即 xmin=Ee(k)m=in2i=N+12h2i(E)xk-(i2+E)n2k=i=N+1h(i)sX+sn22 (3.37 )当假设自适应滤波器乘积系数固定于其最优值时，可以实现最小误差，参考式(

24、2125)中的类似讨论。在自适应滤波器具有充分阶数、可以模拟产生d(k)的过程的情况下，能够实现的最小MSE等于加性噪声的方差，即sn。读者应该注意的是，本小节中所讨论的非充分模型的影响会产生相对于sn的额外MSE。 22336额外MSE和失调 上一节的结果假设了自适应滤波器系数收敛到其最优值，但实际上并不是这样。尽管系数向量平均收敛到w0，但由噪声梯度估计引起的瞬时偏差Dw(k)=w(k)-w0会产生额外MSE。额外MSE可以利用本节巾描述的方法进行度量。在第k时刻的输出误差为 e(k)=dk(-)w0Txk(-D)wTTkx(k) 于是 =e0(k)-Dw(k)x(k) (3.38 )e(

25、k)=e0(k)Dw(k)x(k)+Dw(k)x(k)Dw(k)22TT (3.39 )所谓的独立性理论假设向量x(k)对于所有k值都是统计独立的，允许对LMS算法进行简单的数学处理。正如前面提到的，这个假设通常是不成立的，对x(k)由延迟线几素组成的情形来说尤为如此。然而，即使在这种情况下，分析和实验结果的一致也可以说明采用独立性假设是合理的。在独立性假设条件下，可以考虑Dw(k)是独立于x(k)的，因为在确定Dw(k)时只包含了以前的输入向量。利用这个假设，并对式(339)应用期望值运算，有 x(k)=Ee(k)2共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第12页 =xm=

26、xm=xmin-2EDw(k)Ee(k)xk(+)ED0TTTwTk(wxk(T)kx(k(TT)Dkx(w)k)in-2EDw(k)Ee(k)xk(+)EtDr0-2EDw(k)Ee(k)xk(+)Etr0T)xk(D)xk(w)k(in)Dxk(wD)k(w)(3.40)kT在上面的第四个等式中，利用了特性trAB=trBA。上式中最后一项可以重新写为 TT trExkxk(E)DwkDwk (因为R=Ex(k)xT(k)，且由正交原理有Ee0(k)x(k)=0，因此上式可以简化为 Dw(k)DR x(k)=xmin+EDTw( k ) (3.41 )于是额外MSE为 D Dx(k)=x(

27、k)-xmin=EDwTT(k)RDw( k) =EtrRDw(k)D =trERDw(k)Dw(k) T (3.42 )w(k) 通过利用QTQ=I的事实，可以得到如下关系： T Dx(k)=trEQTQRQDQ(wD)kT wkQQTT =trQLcovD (3.43 )w(k)Q 因此 Dx(k)=trLcovDw根据式(327)，可以证明 N (3.44 )k( ) Dx(k)=因为 lvii=0i )(k)=lv(k) (3.45TN-m4li+m8liv)k(+)m4li vi+1(k)=(1ij=0222ljvjk(+)m4s n l i (3.46 )22且对于大的k值，有vi

28、(k+1)vi(k)。可以对上式进行求和处理，以便得到 Nlj=0jvj(k)=msni=0li+2mi=0livi(k)1-mi=0liN2NN2共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第13页 msni=0li1-mi=0liN2N =N2msntrR1-mtrR2 (3.47 )其中，2mj=0livi(k)与分子的剩余部分相比是很小的。该假设不太容易证明，但它对于较小的m值是有效的。 于是，额外MSE可以表示为 xexc=limDx(k)kmsntrR1-mtrR2 (3.48 )对于小的m值，上式可以近似为 222 xexcmstnrR=m(N+1)sns x (3

29、.49 )其中sx为输人信号方差，sn为加性噪声方差。 失调M的定义为xexc和最小MSE之间的比值，该参数常常用于比较不同自适应信号处理算法。对于LMS算法，失调由下式给出： D22 M=xexcxminmtrR1-mtrR (3.50 )337 瞬态特性 LMS算法在达到稳态特性以前，已在瞬态部分耗去了很多次迭代。在这段时间里，自适应滤波器系数和输出误差从其韧始值变比到接近于对应的最优解值。 对于白适应滤波器系数，平均收敛将遵循比值为rui=(1-2mli)的N+l几何衰减曲线。每一条曲线都可以由一个时间常数为twi的指数包络近似如下，见式(318)： -1 rwi=erwi=1-1twi

30、+12!t2wi+L (3.51 )其中，对于每次迭代指数包络中的衰减等于原始几何曲线中的衰减。通常情况下，ruc比1略小，尤其是对对应于小的li和m的慢衰减模式来说。因此 ml rwi=(1-2i)-11twi (3.52 )共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第14页 于是 twi=12mli对于i=0,1,N成立。注意，为了保证抽头系数在平均意义上收敛，m必须在范围0m1/lmax(见式(319)内取值。 按照式(330)，对于MSE的收敛，m 的取值范围是0m1/trR。考虑到m2项相对于矩阵B的剩余项很小，可以根据式(327)中的矩阵B计算出对应的时问常数在这种

31、情况下，几何衰减曲线的比值为rei=(1-4mli)，它可以与具有如下时间常数的指数包络相匹配： tei=14mli (3.53 )其中，i=0,1,N，误差和系数收敛所需的时间取决于输入信号相关矩阵持特征值的比值。 回到抽头系数的情形，如果选取的m值与1/lmax接近，则对应的系数的时间常数为 twilmax2lilmaxin2lm (3.54 )由于具有最大时间常数的模式需要更长时间才能达到收敛因此收敛速率是由根据twmax=lmax/(2lmin)确定的最慢模式决定的。假设当最慢模式提供的衰减为100时，可认为实现了收敛，即 -k etmax=0.0 1这需要经过如下多次迭代以后才能达到

32、收敛： k4.6lmax2lmin因为选取的m值较高，所以上述情形是比较乐观的。正如前面所提到的，实际上我们选择的m值应该比上界小得多。对于特征值扩展近似为1的情况，按照式(330)，选择的m值应该小于1/(N+3)lmax。在这种情况下，LMS算法将至少需要 k4.6(N+3l)m2lminax2.N3(+ 3)共19页 河南理工大学数学与信息科学学院本科毕业资料翻译 第15页 次迭代才能实现系数的收敛。 本节给出的分析结果对于平稳环境是有效的。LMS算法也可以在非平稳环境下工作这将在下节个进行讨论。 34 非平稳环境下的LMS算法特性 在实际情形下，自适应滤波器所处的环境可能是非平稳的。此

33、时，输入信号白相关矩阵和(或)互相关向量，分别记为R(k)和p(k)将是随时间变化的。因此、系数向量的最优解也是一个时变向量，用w0(k)表示。 由于最优系数向量不是固定的，因此分析LMS算法是否能够跟踪w0(k)的变化是很重要的。知道由Ew(k)-w0(k)给出的系数的跟踪误差将如何影响输出也是很有意义的。后面将会指出跟踪w0(k)时引起的额外MSE可以与测量噪声引起的额外MSE分离。因此，为不失一般性，在后面的分析中将考虑加性噪声为零的情形。 在LMS算法中，系数向量的更新可以写为如下形式： w(k+1)=w(k)+m2xk(e) k(T =w(k)+2mxkdk(-) )xk(w) k (3.55因为 Tw d(k)=x(k)0(k ) (3.56 )因此系数的更新可以表示为 Txw0(k)- w(k+1)=wk(+)m2kxkT(k)wx