《第四章 统计判别ppt课件.ppt》由会员分享，可在线阅读，更多相关《第四章 统计判别ppt课件.ppt（41页珍藏版）》请在三一办公上搜索。
1、第四章 统计判别,随机模式分类识别，通常称为Bayes(贝叶斯)判决。,（基础复习）,第四章 统计判决,主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。,本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。,Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,Bn为S的一个划分，且P(A)0，P(Bi)0，(i=1,2,n)，则:,“概率论”有关概念复习,条件概率,“概率论”有关概念复习,先验概率：P(i)表示类i出现的先验概率，简称类i的概率。,后验概率：
2、P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。,类概密： p(x|i)表示在类i条件下的概率密度，即类i模式x 的概率分布密度，简称为类概密。,对于两类1， 2问题，直观地，可以根据后验概率做判决：,式中，p(x|i)又称似然函数(likelihood function of class i)，可由已知样本求得。,Bayes法则最大后验概率准则,根据Bayes公式，后验概率 可由类i的先验概率P(i)和条件概率密度 来表示，即,将P(i|x)代入判别式，判别规则可表示为,或改写为,l12称为似然比（likelihood ratio）
3、，12称为似然比的判决阀值。,原则：要确定x是属于1类还是2类，要看x是来自于1类的概率大还是来自2类的概率大。,已知：（统计结果）先验概率：P(1)=1/3（鲈鱼出现的概率） P(2)=1-P(1)=2/3 （鲑鱼出现的概率）条件概率：p(x|1) 见图示（鲈鱼的长度特征分布概率）p(x|2)见图示（鲑鱼的长度特征分布概率）,求：后验概率：P(|x=10)=?（如果一条鱼x10，是什么类别？）,解法1：,利用Bayes公式,写成似然比形式,解法2：,例题1图示,鲈鱼,鲑鱼,10,0.05,0.5,5.5,8.5,例题1图示,10,最小误判概率准则判决 最小损失准则判决 最小最大损失准则 N-
4、P(NeymanPearson)判决,第四章 统计判决,41 最小误判概率准则判决,第四章 统计判决,图例：最小误判概率准则,最小误判概率准则下的判决规则： 如果， 则判,或等价地， 如果， 则判,另一个等价形式是： 如果 则判,由贝叶斯定理,4.2 最小损失准则判决,第四章 统计判决,最小错误率,最小损失率,合格药品与不合格药品分类,4.2.1 损失概念、损失函数与平均损失,设模式空间中存在c个类别:,决策空间由a个决策:,决策j常指将模式x指判为某一类wj或者是拒判。,对一个实属i 类的模式采用了决策j 所造成的损失记为：,于是就有 空间中的二元函数，称其为损失函数。,决策-损失表,决策j
5、指将模式x指判为wj或者是拒判。,0-1损失函数,令决策的数目a等于类数c，如果决策j 定义为判 属于j 类，那么对于给定的模式 在采取决策j 的条件下损失的期望为,条件平均风险,条件期望损失 刻划了在模式为 、决策为 j条件下的平均损失，故也称 为条件平均损失或条件平均风险（Risk）。由贝叶斯公式，上式可以写为,求上式Rj(x)关于x的数学期望:,平均损失,可以将最小条件平均损失判决规则表示为如果 则判,4.2.2 最小损失准则判决,定理：使条件平均损失最小的判决也必然使总的平均损失最小。 所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为最小损失准则。,对于两类问题
6、，,经整理可得：,两类问题的最小损失准则的似然比形式的判决规则为：,如果,则判,若记似然比阈值,如果,则判：,取0-1损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。,4.2.3 含拒绝判决的最小损失判决,拒绝判决可以作为最小损失判决中的一个可能判决，,“拒绝判决”。,如果,j=1,2,c,则作出拒绝判决。,则,且通常有 cre,如果,，(j=1,2,c)，则对,做拒绝判决。,= 1-t,因为cre，故0 t 1。,对于两类问题，存在拒判决策的条件是：,当t1-1/c时,1-t1/c,上式恒成立,不存在拒判问题,即存在拒判决策的条件应该是:t1-1/c,判决规则如下：,如果,则判,如果,则判,最小误判概率准则,最小损失准则,
