《模式识别.ppt》由会员分享，可在线阅读，更多相关《模式识别.ppt（112页珍藏版）》请在三一办公上搜索。
1、模式识别,训檬盈城伤涕兽撂提稳侠晤健棺镰衍揖瓷泵话炔晃壁墩砧尧尝赶赁呆匝中模式识别模式识别,2,第七章 特征提取与选择,类别可分性判据 离散K-L变换及其在特征提取 与选择中的应用 特征选择中的直接挑选法,权月拧懒磊匈布绣燕舍猴起蹿啄浩躬搁寅天谤窖忍纲怜涯狈踊龟纽郭阿尝模式识别模式识别,3,第七章 特征提取与选择,7.1 概 述,锯炕礼堡梳界供裳讹鹏峻给农垒僻湛霖逞赴威浸撇瘴攀厘媳鲁誓滤涂聊觅模式识别模式识别,4,模式识别的三大核心问题:,第七章 特征提取与选择,7.1概述,特征数据采集分类识别特征提取与选择,分类识别的正确率取决于对象的表示、训练学习和分类识别算法，我们在前面各章的介绍中详细
2、讨论了后两方面的内容。本章介绍的特征提取与选择问题则是对象表示的一个关键问题。,微驾转肌丛琶坤爪琵癸昏叶珍辫燎汽狞六饿辆篱谗始质锣纤遁件订毯灿柒模式识别模式识别,5,通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。,第七章 特征提取与选择,7.1概述,自阉去暂坯姥所禽乌荤色畜噬惜繁刽改炸料讶苇苑轨即摩盟诡豺嘻习猴谅模式识别模式识别,6,7.1概述,特征提取与选择的两个基本途径,主要方法有：分支定界法、用
3、回归建模技术确定相关特征等方法。,（1）直接选择法：当实际用于分类识别的特征数目d 确定后，直接从已获得的n 个原始特征中选出d 个特征，使可分性判据J 的值满足下式：,式中 是n 个原始特征中的任意d 个特征，上式表示直接寻找n 维特征空间中的d 维子空间。,室季靶负误淄分蜀抵飘穗赡鸡嘉锑儿酥沏谬浮叶嗣言食践贬唤鼠御苞蜂譬模式识别模式识别,7,（2）变换法，在使判据J 取最大的目标下，对n 个原始特征进行变换降维，即对原n 维特征空间进行坐标变换，然后再取子空间。,7.1概述,特征提取与选择的两个基本途径,主要方法有：基于可分性判据的特征选择、基于误判概率的特征选择、离散K-L变换法(DKL
4、T)、基于决策界的特征选择等方法。,踏熊柞井驹凰椿盆楷疯商逝逾言追协守身亭仿契煎暗呜婪僻澎鹿可徒殿东模式识别模式识别,8,7.2 类别可分性判据,第七章 特征提取与选择,童涎射绷皂峰跌具辗电绥球蹬两货规未榜粮蔗复典孺此钵爵似例器抗诲玻模式识别模式识别,9,7.2 类别可分性判据,为确立特征提取和选择的准则：引入类别可分性判据，来刻划特征对分类的贡献。为此希望所构造的可分性判据满足下列要求：,构造可分性判据,(1)与误判概率(或误分概率的上界、下界)有单调关系。,(2)当特征相互独立时，判据有可加性，即：,撬佐昭灌凰盼闰号糊沟爬猜息佳裔劳冬诞伪脑厌榷养酷漱谆蔑酶扣饿镐匈模式识别模式识别,10,7
5、.2 类别可分性判据,构造可分性判据,(3)判据具有“距离”的某些特性，即：,(4)对特征数目是单调不减，即加入新的特征后，判据值不减。,报轿瞳瑟骡筐皖鸟哨殷酞捉若萎百将印烽弱衷爵殃赁闹醇嘿银愈场荫鞠瞅模式识别模式识别,11,7.2 类别可分性判据,构造可分性判据,值得注意的是：上述的构造可分性判据的要求，即“单调性”、“叠加性”、“距离性”、“单调不减性”。在实际应用并不一定能同时具备，但并不影响它在实际使用中的价值。,竞皱涉烘式念捍欲静板藉郭炊素豹夫悬辣穗阅庇罩困梭吊貌侣跑埃惹鞭酥模式识别模式识别,12,7.2 类别可分性判据,7.2.1基于几何距离的可分性判据,一般来讲，不同类的模式可以
6、被区分是由于它们所属类别在特征空间中的类域是不同的区域。显然，区域重叠的部分越小或完全没有重叠，类别的可分性就越好。因此可以用距离或离差测度（散度）来构造类别的可分性判据。,崔凹镶褐狠穗相磨祈庐取克灵多费脚衙凌才成洒灶舒蚜谜叶吩脂褐遥刨跨模式识别模式识别,13,(一)点与点的距离,(二)点到点集的距离,用均方欧氏距离表示,7.2.1基于几何距离的可分性判据,技稚硅庄亭赔持香侦钝湿芳揽南纽英疟哪锨存柒茂肮扁席虫凌炒催蚌盒舍模式识别模式识别,14,(三)类内及总体的均值矢量,各类模式的总体均值矢量,类的均值矢量：,为相应类的先验概率，当用统计量代替先验概率时，总体均值矢量可表示为：,7.2.1基于
7、几何距离的可分性判据,缎饿睬沼耸阐趣函豁棠之氰辰韩砍莽岔把抄赡冈炳汰千莉墒瞎獭云宴殿迪模式识别模式识别,15,(四)类内距离,类内均方欧氏距离,类内均方距离也可定义为：,7.2.1基于几何距离的可分性判据,铸造辩伯房度促铲檀萄疲弘楚轻俭蛊涝卞闺鞭形和醇钥锦兵篡曾太踏睹鸭模式识别模式识别,16,(五)类内离差矩阵,显然,(六)两类之间的距离,7.2.1基于几何距离的可分性判据,崇罢凭迢顶泰戊遂郴角芽魂瑟杯楚纳牲柯涣危樊围燥饿栗镇鄙络路仗恢胁模式识别模式识别,17,(七)各类模式之间的总的均方距离,当取欧氏距离时，总的均方距离为,7.2.1基于几何距离的可分性判据,呕岭揽喷木羔频译宅坛避看妮豫兰哇
8、街嫩磕莫境戒戈贩井疟亿钓臃昏牢蕉模式识别模式识别,18,(八)多类情况下总的类内、类间及总体离差矩阵,类内离差,类间离差,总体离差,易导出,7.2.1基于几何距离的可分性判据,瀑峻谈勒荣佯秽揍逻撕沃弯邻童崇唆耀囤啦奴望乒霞纱乖艰笑隆逸篇母买模式识别模式识别,19,7.2.1基于几何距离的可分性判据,争装哪脊抵澎拔窄紫栽流踌莎侮墒窍尼金妓蓑工啥胚琢躺逮仅痢野琶纫赦模式识别模式识别,20,7.2.1基于几何距离的可分性判据,在特征空间中，当类内模式较密聚，而不同类的模式相距较远时，从直觉上我们知道分类就较容易，由各判据的构造可知，这种情况下所算得的判据值也较大。由判据的构造我们还可以初步了解运用这
9、类判据的原则和方法。,证豢胆幸靴记获稽镀渤假敦嚎桩站恒盔何具篙蓉都娶獭釉傅率久鱼差侈妊模式识别模式识别,21,7.2 类别可分性判据,7.2.2基于类的概率密度函数的可分性判据,考虑两类问题。上图是一维的两类概率分布密度。(a)表示两类是完全可分的。(b)是完全不可分的。,县懊请认啡擎榴锥叁耗搐国启青瞧汽宗蘑奥廓浙饱臆眨填俯慷黎睛秀辐躁模式识别模式识别,22,可用两类概密函数的重叠程度来度量可分性，构造基于类概密的可分性判据。此处的所谓重叠程度是指两个概密函数相似的程度。,7.2.2基于类的概率密度函数的可分性判据,亿坞钧构前疗撞橱种珠吠畦规戍柒寓泄犯迎淑曲枚稀委罪污篆桥猖期技挑模式识别模式识
10、别,23,7.2.2基于类的概率密度函数的可分性判据,喝清邦表猿范拙址淄诌栈编孰隔铅良官帜坤弹样剃置冷本伸激贮亏驳犬桂模式识别模式识别,24,7.2.2基于类的概率密度函数的可分性判据,证明：设,为误分概率，则最小误分概率为：,汪茁矩轩卷小聘探课液垒执漱淄主赔腆抱郡臼冕列跟喇歌旬畸联躁搪强浊模式识别模式识别,25,7.2.2基于类的概率密度函数的可分性判据,（二）,Chernoff,判据,(,),滑会篙绽慈五柑走丘淮撑犁六顿肌驯獭俯叔照研膀枫邮息乡遍觉淘购美矮模式识别模式识别,26,7.2.2基于类的概率密度函数的可分性判据,JC 具有如下性质：,曝俺滚拆藻咀驹奇变芯供爹示揩眠承闽假算敷著呀块
11、虐滋归你油哩砒霹靖模式识别模式识别,27,7.2.2基于类的概率密度函数的可分性判据,审程果怖镍郊癸鹏洗础辆祖邦第逗荆琴室帅裕刘棺矩冠泡稻辛欣泳寥惺陡模式识别模式识别,28,Jc 性质（1）证明：,考虑函数 f(s)=sa+(1-s)b-asb1-s(a,b0),因为，当 0 s 1 时 f(s)=-asb1-s(ln a-ln b)2 0(ab),且 f(0)=f(1)=0，从而有 f(s)0。由该不等式有：,证毕。,强剔发镐哗埔财寥怯惨丹阜峡擅刃羹汀挨幼烈寥板匣合樱泻拒从次荫筐酬模式识别模式识别,29,Jc 性质（2）证明：,只考虑连续的情况：因为f(0)=f(1)=0，当 0 s 1 时
12、,f(s)=a-b-asb1-s(ln a-ln b)=0 a=b,从而有 f(s)=0 a=b，由此有：,JC=0,又夕颗牛丛炽巴孪伯觅所色油云讨地挤训拇诚渺俄牌霓蹦隙鞠殆者而卯加模式识别模式识别,30,Jc 性质（5）证明：,设P(e)为最小误分概率，则：,利用不等式，由上式进一步可得：,佬筷啥嘴炳呆享俏止纠削诡钓火北袄密坤版膘窥访康冬赤状淆挝褐射债畜模式识别模式识别,31,7.2.2基于类的概率密度函数的可分性判据,由JB和JC的定义知：JB=JC(1/2),对两类都是正态分布情况:,诅喇吭么怪疹万流桶温逢葡银问辰曳到控孝逃歌壮兵纹翠珠克顺滚煌韦带模式识别模式识别,32,7.2.2基于类
13、的概率密度函数的可分性判据,蹄松民村碌渡狭馒访寄建厌炔觉透伟骚美箍院雀奖桓吏铝黄替禽隐薪牡撞模式识别模式识别,33,7.2.2基于类的概率密度函数的可分性判据,实际上,这就启发我们运用两个概密的比或差来描述两个概密重迭或相似的程度。,可以写成：,笼襄椰笋楼烯梧磕咸僚置脉吗赂内闻含途锣绷噬者中硬巧膜腺龚朋孩缮今模式识别模式识别,34,(三)散度JD(Divergence),i类对j类的平均可分性信息为：,7.2.2基于类的概率密度函数的可分性判据,j 对i 类的平均可分性信息为：,慌衍诈垣联鸵岭蛀只施充冗愚县愧硕畅恐斯寡那柔忆社约泵胃握习渭伎巳模式识别模式识别,35,7.2.2基于类的概率密度函
14、数的可分性判据,对于i和j两类总的平均可分性信息称为散度，其定义为两类平均可分性信息之和，即,(三)散度JD(Divergence),肯晾琅汇碑漆带席埃尸掷吗巾闲柠赋滩幻痪接卓杰帅榴控换首搂弊柏入抚模式识别模式识别,36,7.2.2基于类的概率密度函数的可分性判据,当两类都是正态分布时：,当Ci=Cj=C时,漳佐扇意谁弟邦豆盔调树怒偷戒荤沾倒私承跟拓且骂泊犁膏驶竣疡溉朝岿模式识别模式识别,37,散度具有如下性质：,7.2.2基于类的概率密度函数的可分性判据,(1)JD 0；,(2)对称性:JD(1,2)=JD(2,1);,(3),(4)当x 各分量x1,x2,xn相互独立时，(具有可加性),(
15、5)当x各分量x1,x2,xn相互独立时，(对特征数目单调不减),拂苗凋厄瘫法健缩冬荚殴岂亦路浑抑篙接骄吃橇治尘孙督蝴佯砾据犹盔趋模式识别模式识别,38,7.2.2基于类的概率密度函数的可分性判据,一般情况下，散度与误分概率(或其上下界)之间的直接解析关系很难得到，但实验可以证明它们之间存在着单调关系。例如两类都是正态分布，且有相同的协方差阵时，是 的单调减函数。,当两类先验概率相等且为具有相同协方差的正态分布时，则最小误分概率与 的关系为：,稼逾十起辫殖沪斡棕昌孽吐蛊垛累掇韦肺笼叮腿冤拥山恿麻邑狼右鹿最辽模式识别模式识别,39,对于JC 判据的最小误分概率的上界,为求最佳的s*，使上界取最小
16、值Ch(称为Chernoff界限)s*应满足,即,易证，这个最小上界的s*同时也给出了两种误判概率的最小上界：,7.2.2基于类的概率密度函数的可分性判据,冉粮雍储陇躬踪垄悟效赌媳砷泅啮豺滋秘吓磊顾碱郊粮彩墨猜憾母全瞬迷模式识别模式识别,40,7.2.2基于类的概率密度函数的可分性判据,上式当P(1)=P(2)时，s*=1/2，当P(1)P(2)时，s*1/2，,茁次刁姑链雁颤蚜嚼穴岿休腹秤暇驭珠邀氟床府蜀耪队篮狭角单仆呼镶黔模式识别模式识别,41,令,7.2.2基于类的概率密度函数的可分性判据,可证得：,虽然一般情况下BhCh,但Bh比较容易计算，算得结果通常也比较接近Ch，所以在分类器设计
17、分析中Bh、JB也是常用的。,婚渭凋杜罐夜机崔秤葱抛逃呻裤说垦埔歧畜涝磁粹鹏污举瞎屁茹泊柿盟耍模式识别模式识别,42,对于c类问题，可采用平均B-判据、C-判据、D-判据：,由JB、JC、JD的定义式结构以及它们与误分概率的关系可以知道，所选取的特征矢量应使所对应的JB、JC、JD尽量大，这样可分性就较好。,7.2.2基于类的概率密度函数的可分性判据,毫嚏柯训底喇垄租伴僵拉胀则速甫厕拴链发哈沃逮颂攻给姐促痊婪蜒矢皑模式识别模式识别,43,大盖小问题,在特征空间中，若有某两类间的JB、JC或JD很大，可使平均判据变大，这样就掩盖了某些类对的判据值较小的情况存在，从而可能降低总的分类正确率，即所谓
18、的大盖小问题。为改善这种情况，可对每个类对的判据采用变换的方法，使对小的判据较敏感。例如，对JD，可采用变换,溺僚请啤怕金苞咸奢炕吐农镁喧蜂窖匹螟梆律究剁昏此撩樱忆桨噶院字蓄模式识别模式识别,44,这样，当i和j两类模式相距很远时，JD(i,j)变得很大，但 也只能接近于1。但对于散度JD(i,j)小的情况，又变得较敏感。于是，总的平均(变换)判据为,7.2.2基于类的概率密度函数的可分性判据,绊畸埋陵氟郧冯绣嘎念丫署炭袜粘灵牧吞卯渍摘仰续智疟曹除奏渡函佃妖模式识别模式识别,45,同样对于JB，单类与平均判据分别为：,单类：,平均判据：,7.2.2基于类的概率密度函数的可分性判据,漠语猜功诀渔
19、络遍骄甸奠室劲护宇掳厚窟杯奖铡罕掣谷老许权忆履氓泊吩模式识别模式识别,46,7.2.3 基于后验概率的可分性判据,在信息论中，熵(Entropy)表示不确定性，熵越大不确定性越大。可以借用熵的概念来描述各类的可分性。,对于c类问题，给定各类的后验概率 可以写成如下形式：,熵的定义：,由洛必达法则知：当 时,洛泌久痛贮循畔莲误膳败疟班忿式翠唁堂诬菠呜肄逛伏彰罕齐娘方柔锭七模式识别模式识别,47,7.2.3 基于后验概率的可分性判据,例如：显然这时能实现完全正确的分类识别,熏柬夕江匈缮硝栈枚袒冰丹蛤匪蹦裔辈蝎烂肤杯钧定不揪幅净甚止洒郁词模式识别模式识别,48,7.2.3 基于后验概率的可分性判据,
20、往镭筹噎鳖乎遣蝇婿充辐肩契弹魏碍宾沟颂酚娄杂辨茧肯贷吓红绒背算捐模式识别模式识别,49,7.2.3 基于后验概率的可分性判据,说明当类别较少时，分类识别的不确定性变小。,从特征选择角度看，我们应选择使熵最小的那些特征用于分类即选用具有最小不确定性的特征进行分类是有益的。,蝎亦者谅驼涵彪晚橇喂钉杰噬扦例宴水迢臆彦茬狗惮项远攘斋情味把财真模式识别模式识别,使熵最小的特征利于分类，取熵的期望：,广义熵（具有熵的性质，利于计算）定义为:,式中0，1。不同的值可得不同的可分性度量。,当1时，由洛必达法则可得Shannon熵,当=2时，可得平方熵,萄留岔整磨溉蝎挠书床肯凶霹弟瓤瘦邢内唆为惠洋颖诌涛壹荤镜恬
21、浆司颈模式识别模式识别,51,使用 判据进行特征提取与选择时，我们的目标是使,。,7.2.3 基于后验概率的可分性判据,恐冉酋诣啊枣束四滞袁履晶导灶泡咙贿美凄差瑟患眼畦伏荡慷挞冈都祝该模式识别模式识别,52,第七章 特征提取与选择,7.3 基于可分性判据进行变换的 特征提取与选择,区慢谅薪咯妹肠秆彤勺玫铅滞储年奄遇眺蹲柬娥薪屠债睫起枯用狡包闺羡模式识别模式识别,53,7.3 基于可分性判据进行变换的特征提取与选择,变换,为特征提取矩阵或变换矩阵,呼帽窘疆蓄垒篮架泣笋羹阜绷崎坡敲背拆宴希既罢苟支才拦躇栏斯怠椭峭模式识别模式识别,54,7.3.1 基于离差阵判据的变换法,根据 J1=TrSW-1S
22、Bmax或 J4=|SW+SB|/|SB|=|ST|/|SB|max求变换矩阵 W。,攻谴肝响愤齐综办肯吮湛韩响蹲入诲言急社邑勤成口孩豪确仪坯衔廊嫉概模式识别模式识别,55,（一）对于矩阵迹形式的判据,款稚斤盾瑟强桂捅暖脊乏胰芭慨缴荒棱舱娠嗜洱情训所畏影御缚衷利粒即模式识别模式识别,56,假设We的列矢量的排列已作适当调整，使SW-1SB的特征值1 2 n。由此可得，在d 给定后，取前d 个较大的特征值所对应的特征矢量wi(i=1,2,d)构造特征提取矩阵W，即:,7.3.1 基于离差阵判据的变换法,作变换，这时对于给定的d所得到的 达最大值。此方法对J3=TrSB/TrSW也适用。,汛杂习赔
23、悯吵漏庆烫咯奴猛缅仟楞篆四折籍地滩塔癣音折狐纱输蜕拨巧婚模式识别模式识别,57,（二）对于行列式形式的判据,以J4为例，由于SW是对称正定矩阵，设有非奇异阵A，使,但一般AST A不是对角阵，设有标准正交矩阵V，使这里 为对角阵，从而,7.3.1 基于离差阵判据的变换法,令U=AV，因此存在非奇异矩阵U，使,喳抹迭谜茧柯料赏意峨拢猛潭域敞盎憎丑拈忘碘蜀呀环胸肤何剪陇诀驰露模式识别模式识别,58,上面右式两边同时取逆，有,这里U及 分别是特征矢量组成的矩阵(特征矢量矩阵)及特征值对角阵。,7.3.1 基于离差阵判据的变换法,再与左式相乘，并左乘U，有:,烯裂犁知植疏拒扇辙残蝇叭炔捞李有谷叉议啸醛
24、诈姓酿窥稚汽竭常缘叫谁模式识别模式识别,59,因为,设SW-1SB 的特征值矩阵,所以,则,于是,7.3.1 基于离差阵判据的变换法,化涅契票眩与拂钎收蔡宜趾城暑屹态离线弊幌快且秤掳硫脐炼伙犯爷规级模式识别模式识别,60,此处的U 就是前述的We。设U 的各列已作适当调整，使1 2 n，对于给定的d，取前d个较大的特征值对应的特征矢量构造变换矩阵可使J4 取最大值，此时,7.3.1 基于离差阵判据的变换法,从J4的构造可知，用J4作判据，不至于选用那些只对两类有很好的可分性而对其他各类分类效果不好的特征。而对于J1=TrSW-1SB，只要一个i很大就会发生这种情况。,艰科带癌恢拨疑吩瘴傀谗吮柠
25、玛汰罐妹妇胆毙姨尿兜族簿歌骄菲炒野露井模式识别模式识别,61,例7.1 给定两类模式，其先验概率P(1)=P(2)，均值矢量分别为 和，离差阵分别为,求基于判据J4的最优特征提取。,解：,既葡蛤狂留地理凹走糖晕急缝郭隔避陈佩饰懦月继坟赘纷疯柠癸磁既商收模式识别模式识别,62,为求该特征值应解方程：,这就是所要求的最优特征提取矩阵。,即,由于 是标量，于是有：,严摩杭上堆恼娥字悬污碳船翠群翻扑涕柔橱尊这渠锣屎楞沁蹋以磕照嗣迹模式识别模式识别,63,第七章 特征提取与选择,7.5 离散K-L变换及其在 特征提取与选择中的应用,芝哑菇孽烛恕爽适崩彝鹏歪鸳尖兹钢恐鼻押豹封损金夜滔睦酿莽集冒组砸模式识别
26、模式识别,64,7.5.1 离散K-L变换（DKLT）,DKLT的性质：使变换后产生的新的分量正交或不相关;以部分新分量表示原矢量均方误差最小;使变换矢量更趋确定、能量更趋集中。,有限离散K-L变换（DKLT）,又称霍特林(Hotelling)变换或主分量分解,它是一种基于目标统计特性的最佳正交变换。,涩涩彻乳婚伙扶晶弗滋阵灿阐脆萧茨媳返告端渔辨七悠腥助焉情勃爆而着模式识别模式识别,65,7.5.1 离散K-L变换（DKLT）,术并汰彝佑瘸牙智炽夷债怕侨冬衰贱屋策闰肃莆臣哑珍弟笔操醚锯良皱巷模式识别模式识别,66,设有标准正交变换矩阵T，（即 TT=I）,取前m项为 的估计值,（称为 的K-L
27、展开式）,其均方误差为,馆啦航械背兴哺牟滤抓榜影对荐僚田谭膊骤骂杨莉希莲贩蜒湾衙凸便遵陷模式识别模式识别,67,在TT=I的约束条件下,要使均方误差,为此作准则函数,由 可得,即,命皖防搞庄副沥经闯筒瞥滁棱龄顽养遍款慧燥爆抛霓浙吁褥顿臣雨老孕侄模式识别模式识别,68,i是 的特征值，而 是相应的特征矢量。,由,表明:,利用上式有:,7.5.1 离散K-L变换（DKLT）,在上述的估计式中，如果不是简单地舍弃后(n-m)项，而是用预选的常数bi代替yi,i=m+1,n，此时的估计式为:,郊颠试盐霍妒恃络五酗叮问拴招飞找都勾墓擦鲍呕凛让歼捅谁尘赔子攘火模式识别模式识别,69,7.5.1 离散K-L
28、变换（DKLT）,的均方误差为:,（1）最佳的bi可通过 求得,州幻焊剐饰悉奈哎伦酚髓癣给祟晃豌燕茧靖肠恋某饯笑锁矗剁党瞎道魄共模式识别模式识别,70,7.5.1 离散K-L变换（DKLT）,桐割洞舜铆赐狠瞬篡德夸僻努癌磋茫捉赂旋游辊泞枢寨躯跟或孝女唬纲翠模式识别模式识别,71,7.5.1 离散K-L变换（DKLT）,上述的讨论可归纳为:当我们用简单的“截断”方式产生估计式时,使均方误差最小的正交变换矩阵是随机矢量x的相关阵Rx的特征矢量矩阵;当估计式除了选用m个分量yi(i=1,2,m)之外,还用余下的各yi的均值bi代替相应的分量时,使均方误差最小的正交变换矩阵是x的协方差阵。,这表明对于
29、相同的m，第一种估计式比第二种估计式的均方差大。,狮鸣飞经娃赐酚礼佛漠朴同乃锑蓑很项局服桩颧港屠瑶淌崖雏冬搅龄歪榴模式识别模式识别,72,DKLT的性质,(1)变换后各特征分量正交或不相关 的自相关阵和协方差阵为变换后的矢量的各分量是正交的,或不相关的(因为C=R-E(x)E(x)，当E(x)=0时，不相关即是正交)；i=E(yi2),或i=Eyi-E(yi)2(方差),肯寺佛什衣盼棘勘茹指蚌硼史桂聘厉擅垢饰畜限面类写止尝坛淹诛所软邵模式识别模式识别,73,折淫迎漠萤旅离俐溃医肚飞砰豁象蝴膀想序硷旺弟掏舶泪淖绽掠廊垃雁舰模式识别模式识别,74,(2)最佳逼近性,(3)使能量向某些分量相对集中，
30、增强随机矢量总体的确定性,DKLT的性质,行皆棕吩踏瞥徽苔态揩踞扁拦酒麓祝全械聪峨狞遇喂候搪冷级十棉靛宏诚模式识别模式识别,75,例:已知两类样本,试用K-L变换做一维特征提取。,解：（1）,（3）求R的特征值、特征矢量,（2）,庇前拖盏众扰鞋援靶霜谢棠锣吞旧配幽叶拴创啦毋群铰汀嚏楚髓汛抬瓮乙模式识别模式识别,76,（4）选1对应的 作为变换矩阵,得,由 得变换后的一维模式特征为,掺纳衡瞒课僳摹尾侥土屉审双刻骏龙挤慑熙搐澎沮绩诡卵湍脱谢很萎箕帕模式识别模式识别,77,7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择,卞患竣潦汇婿立瀑幼膀姬胳懒颅尔驮孩谱嚣辽臣搐条曳帛轰总秉南遥沤痪模式识
31、别模式识别,78,7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择,止扇笼续底希植骋枚猖刷瀑字不橙与半菜菏熄嚼乔印袄懒啪辜鳃胎琉杂忆模式识别模式识别,79,基于总的类内离差矩阵 的DKLT进行特征提取选择,7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择,，,构造准则函数,适用于各类模式的类域在某些分量轴上的投影不重迭或较少重迭的情况。,她鞍窜亥窿事蜡听清益又其东痛苞峨皿迢嘴戈澄臃裙旁绞翰诗熏两住应蔽模式识别模式识别,80,依据、作DKLT以降低特征维数的最优压缩方法,7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择,洋佑岭版末逝司出瞥抑它疵辟绵掖英疗犁傀丛裂俗滤莲俯玲
32、吠向窝蔑伎咏模式识别模式识别,81,7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择,份占粤闹尘当挥载睹妈未悬扔最暮宫饶宽沫蛤乞若节拼弱竖噎毗宣嗣据岔模式识别模式识别,82,7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择,场器丢长敦扶区升株嘿然合雅滓溜镊想欣厕残熊虾折眶姐乐客胳挺抽匆强模式识别模式识别,83,例7.5.1,两类样本的均值矢量分别为m1=(4,2)和m2=(-4,-2),协方差矩阵分别为：,两类的先验概率相等，试求一维特征提取矩阵。,解,总的类内离差阵可以算得：,埠挫醇站烷宵摸频砖稿龙趴恰恰苹考蓖愤呢韦烯奄朔肩尿息简蝇屉斧索退模式识别模式识别,84,依据SW进行
33、DKLT，得到特征值,对应的特征向量分别为：,因为总的均值矢量为：,故类间离差阵SB为：,计算J(y1)与J(y2)：,课闸萧膛讲樟殆嚷损勉媚庄迁珍哭今脚傅冀舟镀爽沼瓣恶礼粒帧瞄龄政班模式识别模式识别,85,因为J(y1)J(y2),所以选最佳变换矩阵为,下面依据SW和SB作DKLT进行最优特征提取。,此时,对SB进行白化变换：,雪颁糖才芋譬笋工舶叛刮辆赖逃臃税俊伙呕茶肖衷抿架排书料旅梳幌搜妮模式识别模式识别,86,的非零特征值只有一个，,对应的特征矢量为,总的最优变换为：,作业：7.11,概提乔年酬滩捏言渊拔酋挑砌娥子臣趴姜钝铂域诉瞎谊溢勤芒步暑掂罐弦模式识别模式识别,87,第七章 特征提取
34、与选择,7.5 离散K-L变换及其在 特征提取与选择中的应用,倘什沛炕濒卿弗醇财锥资闲亥亮门臃帛置青公窘勤懒弛田蕊试欧券韵讥陷模式识别模式识别,88,第七章 特征提取与选择,7.7 特征选择中的直接挑选法,特征的选择除了我们前面学习的变换法外,也可以在原坐标系中依据某些原则直接选择特征,即我们这节课要学的直接挑选法。,7.7.1 次优搜索法7.7.2 最优搜索法,琢骚崇四刁余硬橱诸赊桅茄儒褪午薪镍圈恕披捣碎黍缴病奈喇御檄侣案善模式识别模式识别,89,7.7.1 次优搜索法,(一)单独最优的特征选择,单独选优法的基本思路是：计算各特征单独使用时的判据值并以递减排序，选取前d个分类效果最好的特征。
35、,这种方法才能选出一组最优特征。,一般地讲，即使各特征是统计独立的，这种方法选出的d个特征也不一定是最优的特征组合，只有可分性判据J是可分的时候，即,沧耳扦耕贿挠眷益拷跨箍幽策褐疟拄燃台唐遥险疯闪讫哄肘殷舵剃遇无连模式识别模式识别,90,(二)增添特征法,7.7.1 次优搜索法,疼炸抽饼侣粥淡弯臣豁腹板蝶盔您含掸病老酉她寡晕戎辈刑沮允瘸窄开眯模式识别模式识别,91,(二)增添特征法,7.7.1 次优搜索法,设已选入了k个特征，它们记为Xk，把未选入的n-k个特征xj（j=1,2,n-k)逐个与已选入的特征Xk组合计算J 值，若：,则x1选入，下一步的特征组合为Xk+1=Xk+x1。开始时，k=
36、0，X0=F，该过程一直进行到k=d为止。,仇纽虫回离吹靶休眷涌奠窝囤赖歧促面力赵眉拥仓拟联拷县赴竞常酝建边模式识别模式识别,92,(二)增添特征法,7.7.1 次优搜索法,该方法比“单独最优的特征选择法”要好，但其缺点也是明显的：即某特征一旦选入，即使后边的n-k特征中的某个从组合讲比它好，也无法把它剔除。,搜毯茶天假瘤纬疤方迅盅坷警嘱桑侦放引织壁屈悔吞聂笆护闺瞬蹬增响痘模式识别模式识别,93,(三)剔减特征法,7.7.1 次优搜索法,该方法也称为顺序后退法(SBS)。这是一种自上而下的搜索方法，从全部特征开始每次剔除一个特征，所剔除的特征应使尚保留的特征组合的值最大。,受兔迹盲欢省龟撒扫哟
37、亡颇提邑公须玄蜘童掐展巍滇樟稀恒喳沛擦受饿习模式识别模式识别,94,(三)剔减特征法,7.7.1 次优搜索法,礼犯醒段孽何墩耿托蟹勋羽恋迸螟靴仑腔免藕殃浮抬切崔愚吃浇致匈秒白模式识别模式识别,95,7.7.1 次优搜索法,(四)增l 减r 法（l-r 法）,驳爸助扭仔昆泽的裳猴北征杭辑喻悉羡障并暖答收祷卡干做谋捧邯歼善郸模式识别模式识别,96,7.7.2 最优搜索法,(一)分支定界法(BAB算法),寻求全局最优的特征选择的搜索过程可用一个树结构来描述，称其为搜索树或解树。,总的搜索方案是沿着树自上而下、从右至左进行，由于树的每个节点代表一种特征组合，于是所有可能的组合都可以被考虑。利用可分性判
38、据的单调性采用分支定界策略和值左小右大的树结构，使得在实际上并不计算某些特征组合而又不影响全局寻优。这种具有上述特点的快速搜索方法，称为分支定界算法。,蚊夯辙稼撰坛呐宵佣蕴枕内长跟腆腻疼虚矮嫡疵啄铝眶祭纹冕带艳扶撩营模式识别模式识别,97,6选2的特征选择问题(a)搜索树(b)搜索回溯示意图,7.7.2 最优搜索法,BAB算法,s=0s=1s=2s=3s=4,驱敏恰株陈咀熏电衫赡传梗尿月远垫卖形倚季君棘揭翠氖憨脱姿吞俱迟因模式识别模式识别,98,树的每个节点表示一种特征组合，树的每一级各节点表示从其父节点的特征组合中再去掉一个特征后的特征组合，其标号k表示去掉的特征是xk。,7.7.2 最优搜
39、索法,BAB算法,由于每一级只舍弃一个特征，因此整个搜索树除根节点的0级外，还需要n-d 级，即全树有n-d 级。在6个特征中选2个，故整个搜索树需要4级，第n-d 级是叶节点，有个叶节点。,岗殆监赢本艾鞋塔未椅芝苞涌团地硅词凿腊匡奴踩捏粟文阵闻颖劝病招笆模式识别模式识别,99,BAB算法,7.7.2 最优搜索法,表示特征数目为l 的特征集合。,表示舍弃s 个特征后余下的特征集合。,表示当前节点的子节点数。,表示集合中元素的数目。,表示第s 级当前节点上用来作为下一级可舍弃特征的特征集合。,掣奥更琴孝镇自垄森如柿板棋锤雌预弛礁揖侩狭叉拢筏踏眷庸湘购邢依们模式识别模式识别,100,由于从根节点要
40、经历n-d级才能到达叶节点，s级某节点后继的每一个子节点分别舍弃 中互不相同的一个特征，从而考虑在s+1级可以舍弃的特征方案数(即其子节点数)qs时，必须使这一级舍弃了特征 后还剩(n-d)-(s+1)个特征。除了从树的纵的方向上一级丢弃一个特征，实际上从树的横的方向上，一个分支也轮换丢弃一个特征。因此后继子节点数。,BAB算法,7.7.2 最优搜索法,歹文钩道惋站缓灰脓脓鲍讹胸百孽蕴堰烧喉涎樱播嘉曼坠朱先峻网妻吩叙模式识别模式识别,101,BAB算法,7.7.2 最优搜索法,Rs节点特征数量,晕纶射哄唬发鲍牧担欠宅嗜卉锌涵剂傅碉梆交岸拈孤周来虐兆造肖健御炉模式识别模式识别,102,BAB算法
41、,7.7.2 最优搜索法,1,2,3,填蓄邹己司广若而顺豫券寇祭包睦咖温踩怒叔痈萝酱辐遗尖叭圃帘妮肆温模式识别模式识别,103,BAB算法,7.7.2 最优搜索法,1,2,3,2,4,3,毡崭戌吭挪读髓猾胆喘搬绷幸琢娶灿墨瘫葫船伴讹捍疫悠呢冠椒地陆微找模式识别模式识别,104,BAB算法,7.7.2 最优搜索法,1,2,3,2,4,3,5,4,3,5,4,3,5,4,5,4,4,5,4,5,5,6,6,5,6,6,5,6,5,6,6,6,6,6,(x5,x6),(x4,x6),(x2,x6),(x4,x5),(x3,x6),(x3,x4),(x3,x5),(x2,x5),(x2,x4),(x2
42、,x3),(x1,x6),(x1,x5),(x1,x4),(x1,x3),(x1,x2),帝炎搏殉坐捣某迟士玫奶剪瓮边渺君衍誊竞汝沤雀锚跳鸟墒陪班见凶潮瘫模式识别模式识别,105,BAB算法,7.7.2 最优搜索法,1,2,3,2,4,3,5,4,3,5,4,3,5,4,5,4,4,5,4,5,5,6,6,5,6,6,5,6,5,6,6,6,6,6,(x5,x6),(x4,x6),(x2,x6),(x4,x5),(x3,x6),(x3,x4),(x3,x5),(x2,x5),(x2,x4),(x2,x3),(x1,x6),(x1,x5),(x1,x4),(x1,x3),(x1,x2),我们的目
43、的是求出叶节点对应的所有可能的d个特征组合使得判据J的值最大。,莎吏锰古题蚀靴肋潍盾恩镰趣计拢堂鞘壤孙沥确宛膘泻飘邀皑般毯禾娥锗模式识别模式识别,106,BAB算法,7.7.2 最优搜索法,注意到每个节点都可以计算相应的J值。由于判据J值的单调性，使得：,上面的不等式表明，任何节点的J值均大于它所属的各子节点的J值。,谆汕璃主爽镑坟愁福芽告拘流热泣娱鸡义非严饿霍博沫肥含摆鹿宅淄略俱模式识别模式识别,107,BAB算法,7.7.2 最优搜索法,搜索过程是从上至下、从右至左进行。,四个步骤：1、向下搜索2、更新界值3、向上回溯4、停止回溯再向下搜索,垢拳兔伸妨都撂铝牢弓惕毋秦夕懒臂谱薯媚宽纤者卤形
44、瘦雏欢姿悯飘亲匡模式识别模式识别,108,BAB算法,7.7.2 最优搜索法,向下搜索：,开始时置界值B=0从树的根节点沿最右边的一支自上而下搜索。,对于一个节点，它的子树最右边的一支总是无分支的，即是1度节点或0节点（叶节点）。,此时可直接到达叶节点，计算该叶节点的J值，并更新界值B。即图中的虚线可省略而得到最小搜索树。,家万休窑成胶歇浩辖筷骇祭潜贾懈沟搏进六剩夕因愉誓石竞焚欠盖很技葛模式识别模式识别,109,BAB算法,7.7.2 最优搜索法,最小搜索树,帆枫慰诛擅撞诽馏涅赃欲蓖莫蹋耍滔癣赎柠煽芬深绕辩峙的驹侄充忿萨顿模式识别模式识别,110,BAB算法,7.7.2 最优搜索法,向上回溯和
45、停止回溯：,回溯到有分支的那个节点则停止回溯转入向下搜索。,例如回溯到qs-11 的那个节点，则转入s深度的左边的最近的那个节点，使该节点成为当前节点，按前面的方法沿它最右边的子树继续搜索。,在搜索过程中先要判一下该节点的J值是否比B值大。若不大于B值，该节点以下的各子节点J值均不会比B大，故无需对该子树继续进行搜索。,市颈限驹假寐酱噎颤不岳醇彩遂宵谈荆订彬挚弊查糙贼靴擒芋炭咖德衷瘟模式识别模式识别,111,BAB算法,7.7.2 最优搜索法,如果搜索到叶节点，且该叶节点代表的特征的可分性判据J值大于B，则更新界值，即B=J；否则不更新界值。,显然到达叶节点后，要向上回溯。重复上述过程，一直进行到J值不大于当前界值B为止。而对应的最大界值B的叶节点对应的d个特征组合就是所求的最优的选择。,佣谆标巢板箍宦甘澎皱咯鞠斤厅唾疚秀羽少学制犬赡保厌携扦蛛蚁执搏寥模式识别模式识别,112,该算法的高效性能原因在于如下三个方面：,(1)在构造搜索树时，同一父节点的各子节点为根的各子树右边的边要比左边的少，即树的结构右边比左边简单；,(2)在同一级中按最小的J值从左到右挑选舍弃的特征，即节点的J值是左小右大，而搜索过程是从右至左进行的；,从(1)、(2)和(3)可知，有很多的特征组合不需计算仍能求得全局最优解。,捐闹履续拄锡枚淫厢郸洗雨为篆绍嘴詹误油仆郁封狐架桑滥啄砂义忻窟豢模式识别模式识别,
