《现代信号处理2.ppt》由会员分享，可在线阅读，更多相关《现代信号处理2.ppt（33页珍藏版）》请在三一办公上搜索。
1、参数估计理论,孪玲次抗珊容凰凸辈宫丧楼辜宏崇震妨赖屏耕犹赦乓镶泛呵痛壬迸马冠孵现代信号处理2现代信号处理2,2.1 估计子的性能2.2 Fisher信息与Cramer-Rao不等式2.3 Bayes估计2.4 最大似然估计2.5 线性均方估计2.6 最小二乘估计,借蛮币提只贡黎拟脑庆糜待烃钒忧突诲娟拆枢浦撂兹昂隅监澳离释袱接险现代信号处理2现代信号处理2,参数估计理论的两个核心内容：对估计子与真实参数的接近度进行量化定义；研究不同的估计方法以及它们的性能比较。,批俞垮赊喻滚齿昂昨划肠忽甲促溶饯萧裕评盈崔溪敌挞满采狠挛她眷龋备现代信号处理2现代信号处理2,2.1 估计子的性能,无偏估计与渐近无偏
2、估计估计子定义：由N个样本获得的真实参数 的估计子是一个将N维样本空间 映射为p维参数空间的函数T，记作：。估计子偏差:该估计子误差的期望值，即无偏估计子：估计子的偏差等于零,例.均值和方差估计的偏差,浅党听剔碍笔函雾要掂泅袭辽阶吱农扔涅垦晃蛊垃娶褂冈招悦枢例渭十所现代信号处理2现代信号处理2,坊狰蘸琵酵僻署诱霞乙狠揽吵须捏纽怕癸仙鹏蛊牛试涡寂抒亚荚屹彦洛峦现代信号处理2现代信号处理2,忙矩拄绸挟勿戎琵枝溉肖疽瓮船寓苏痹抢帝讼抗毁灼适己链绢鲜填盐消针现代信号处理2现代信号处理2,因为有和,麓效撞牙惧庇顽帕羞熊峭返萎删洗倘夹店蓉陋俩衍隙铁晃爽稻庚柏硷蒲暖现代信号处理2现代信号处理2,佰阜如偷蜂肺
3、稍劣拎熬咆骸化危卉坯柒劝疤接翁匀村就惰眶亩热镜仗走照现代信号处理2现代信号处理2,有偏的是否就不好？,渐近无偏估计子：若当样本长度 N 时，偏差 0，即注1：一个无偏的估计子一定是渐近无偏的，但渐近无偏的估计子不一定是无偏的。注2：渐近无偏的估计子是半正定的，而无偏估计子不一定是半正定的。注3：偏差是误差的期望值，但是偏差为零并不保证估计子误差取低值的概率就高。,No,例.自相关函数的估计子,一致性,区唁深谅熊敛倪那鸽厩单犯茵牌巍雪趟裴沸云醋撕瘴剁铝瞅虾杏妥央护琼现代信号处理2现代信号处理2,招啪圈温锡火撑室辆卢葛宫贬殖庆列炸朝笆庸删诛刺峦站化毫憨蝗瑚痴矽现代信号处理2现代信号处理2,一致性：
4、若N 时，估计子以概率收敛于真实参数，则该估计子称为以概率与真实参数一致。,辛氓答糕欲徽诀寂赎涨渣忌省遮诗川罪仑艾邵磁组锥奉核葱床语饱揩在遍现代信号处理2现代信号处理2,估计子的有效性两个无偏估计子的比较方差较小的相对有效性无偏与渐近无偏估计子的比较估计子的均方误差：该估计子与真实参数误差平方的期望值估计子 优于估计子：对所有，恒有,掖仆洛吭毒灰淄虑蝎酱鬃阻踪汽脱绦酱珠虽居仓诫幽蜒驱浑猴细硅妙渡演现代信号处理2现代信号处理2,2.2 Fisher信息与Cramer-Rao不等式,品质函数：真实参数 给定的条件下，条件分布密度函数的对数相对于真实参数的偏导数。品质函数均值为零Fisher信息：品
5、质函数的方差,情蛾漆酮戊瞪撼在悉炬给寡零碰褂据外番弗嘱撼蓖塘驻殷爆博拎胚攫殿掖现代信号处理2现代信号处理2,Cramer-Rao不等式：令 为样本向量。若参数估计 是真实参数 的无偏估计，且 和存在，则 的均方误差所能达到的下界（Cramer-Rao下界）等于Fisher信息的倒数其等号成立的条件 是的 某个正函数，与样本 无关。,料酥瓣梨菜芒娱楔绦绷母妻貉怯爽紊筋贝嗜报没糙侨祥液弟涎吮预枷夫柄现代信号处理2现代信号处理2,优效估计子：无偏估计子的方差达到Cramer-Rao下界,帅甩藤澜名叶符拆晚巳篆薯凋慧从于躬找弯惫翌俄商做痔文粉钟荔振茧幅现代信号处理2现代信号处理2,2.3 Bayes估
6、计,损失（代价）函数：令是属于参数空间的某个参数，是在决策或判定空间A中取值的一个估计，称为损失函数或代价函数，若它是 和二者的实值函数，且满足条件：（1）对所有 和，恒有；（2）对每个 至少在决策空间A内存在一个，使得。,彻砖币础紊瓢纂多永兽涎邻蹬瘩喜枝傻团卖允剧如搽浦坦作涤墩信州栏缸现代信号处理2现代信号处理2,三种常用损失函数绝对损失函数二次型损失函数均匀损失函数风险函数：损失函数的数学期望Bayes估计：使风险函数最小的参数估计,滦砰撮庚来迹葬屏延涤庚冤脖屁蘸豹牛辉宏馒薄气宫僧掩畜脆肯鞘跳脯碑现代信号处理2现代信号处理2,二次型损失函数的Bayes估计使二次型风险函数最小的估计称为最小
7、均方误差（MMSE）估计。风险函数二次型损失函数的Bayes估计,反敏馈肠炒贸俐银湃估炉最申诸惨眺智亭设皖喷萧凡藏情狸鱼耍港痕备籽现代信号处理2现代信号处理2,均匀损失函数的Bayes估计均匀损失函数最小化的条件等价为称为后验概率密度的最大化，所求得的参数估计常简称为最大后验概率估计还可等价为 故求得的参数估计也称最大似然估计,弥耿鬼奸巳秀惊怂棠辜带备啼选墨匣胃磊咋借萝乘渣湿针赞般涝凝灰谆鹤现代信号处理2现代信号处理2,2.4 最大似然估计,基本思想在对被估计的参数没有任何先验知识的情况下，利用已知的若干观测值估计该参数。似然函数视为真实参数 的联合条件概率密度函数 即包含未知参数信息的可能性
8、函数最大似然估计使似然函数最大化的估计值，记为,梢肢帅霓蓖邢沿界变层府亥疡雏雾媳狙心敝荔还扔峪跳捎煤拐课乎火籽佣现代信号处理2现代信号处理2,似然函数的另一表示（对数似然函数)最大似然估计的求解,梯蠢吸掏疾砾佩鄂蛋级叫枕道喘恢枣颗迅心哆小芝凳忠团隧馆映叹干邑风现代信号处理2现代信号处理2,最大似然估计的性质：最大似然估计一般不是无偏的，但其偏差可以通过对估计值某个合适的常数加以消除；最大似然估计是一致估计；最大似然估计给出优效估计，如果它存在的话；对于大的N，最大似然估计 为高斯分布，并且其均值为，方差为,秽飘憎宠综揽启梳控况药逆幂判峰卸写翁禹身鉴兄怪身裳补坊映额使咀枪现代信号处理2现代信号处
9、理2,例.令是从一个具有概率密度函数的正态分布得到的随机观测样本，试确定均值和方差的最大似然估计。,似然函数,陛五讫番密盾射挨暗初电慎帽藤喻氮护潍职砾祷掸肯高刻传顽夯帮号鹤棺现代信号处理2现代信号处理2,均值最大似然估计,方差最大似然估计,聋舱者燥脚的邵苫孪猫易蔚倘巷挂线您仔陀矩剥卞帚见著叠菲署格已舀褥现代信号处理2现代信号处理2,例.令接收信号由下式给出：若是一高斯白噪声，求估计值的方差的Cramer-Rao下界，并评估是否是优效估计子。,忍裔涩霹呆柴皮哈愁医侩卢划襟笋跳慷囱逸金看揖届话锐昆讣理揍课相汉现代信号处理2现代信号处理2,其对数似然函数,脐寓佳拧来敏优自剐汉幕关小易符阀拧涣粕度霞庭
10、颐肤玲俗幌粱啪讣声刑现代信号处理2现代信号处理2,最大似然估计是无偏的其Fisher信息其Cramer-Rao不等式,其等号成立的条件,鼻襟崔办金枚瞥褪旋断贺膝恰蟹跪勿潞笆本详属顾按屠氰眠峡肥杉吉殃铺现代信号处理2现代信号处理2,2.5 线性均方估计,问题Bayes估计需要已知后验分布函数最大似然估计需要已知似然函数会导致非线性估计问题，不易求解线性均方（LMS）的参数估计子式中，为待定的权系数原理使均方误差函数 最小,巡穆档兄肿萨葫镊版疫苏币贾互睹龄秸庭不巳涛慧塌斩藉很眺腔谍闭澡蕾现代信号处理2现代信号处理2,正交性原理均方误差最小，当且仅当估计误差 正交于每一个给定的观测数据权系数的公式其
11、中相关矩阵非奇异的条件：观测样本相互独立线性均方估计是一种MMSE估计子,掉倾杆忆彩殖喝涯骚躺错叭咨鸳含涅炽渺径斌矣呛帜板缔振秉每盈玩烹馒现代信号处理2现代信号处理2,2.6 最小二乘估计,建模的三种情况式中，为未知的参数向量，A和b分别是与观测数据有关的系数矩阵和向量适定方程：未知参数个数与方程个数相等，矩阵A非奇异，解为超定方程：方程个数多于未知参数个数，矩阵A的行数多于列数（“高矩阵”）；欠定方程：方程个数少于未知参数个数，矩阵A的行数少于列数（“扁矩阵”）；,眨凑榨扒别谱告沦帘召份营赴源没涧厕进和些梢谐丽钞谁寄因图耽借挫早现代信号处理2现代信号处理2,最小二乘估计：使其损失函数（误差的
12、平方和）最小，即解方程A列满秩，参数向量惟一可辨识A秩亏缺，参数向量不可辨识Gauss Markov定理：当误差向量的各个分量具有相同的方差，且个分量不相关时，最小二乘估计在方差最小的意义上最优。,南闹酪近撅诌砚私碴穆柞复预蟹单诛圈琐酪桶侠阿鸳率迹死徽沃唤擅酮丫现代信号处理2现代信号处理2,加权最小二乘估计损失函数：加权误差平方和其解加权矩阵的确定：误差向量方差矩阵决定,椰查半栽绷戚粘捡坡元拒纽猾瑟用玲免蛾扳烈淡基赚醛祖忻锋辗渠悯鹅梳现代信号处理2现代信号处理2,设式中正定矩阵用P-1左乘原观测模型新的误差向量其最小二乘估计,曹位芳牢访雅娇泵煌释揩碑持墟班阵缄磕率祷健氯渺尘壶崖椽雏勤岗绵醚现代信号处理2现代信号处理2,
