最小风险的Bayes决策课件.ppt

《最小风险的Bayes决策课件.ppt》由会员分享，可在线阅读，更多相关《最小风险的Bayes决策课件.ppt（47页珍藏版）》请在三一办公上搜索。

1、1,最小风险的Bayes决策,让错误率最小的Bayes决策是重要的但，错误率最小的Bayes决策是否最佳？正常细胞误判为癌细胞癌细胞误判为正常细胞不同性质的错误会引起不同程度的损失（后果）评价决策的优劣：总损失比总错误率更恰当,最小风险的Bayes决策就是把各种分类错误而引起的损失考虑进去的Bayes决策法则,2,风险的表示,例：病理切片X，要确定其中有没有癌细胞(用1表示正常，2表示异常)P(1|X)与P(2|X)分别表示了两种可能性的大小若X为正常细胞，判断为2，损失为21若X为癌细胞，判断为1，损失为12X判断为1，其风险 R1(X)=12 P(2|X)X判断为2，其风险 R2(X)=2

2、1 P(1|X),损失和误判概率的加权和可以有效的表示决策风险,3,决策空间的相关符号,观察向量,状态空间,决策空间,损失函数,期望损失（条件风险）,（A）,4,最小风险的Bayes决策规则,最小风险的Bayes决策规则：使期望损失 最小的决策状态 即为最小风险的Bayes决策,定义期望风险：,最小风险的Bayes决策使平均风险最小！,期望风险R反映对整个特征空间上所有的X的取值采用相应的决策(x)所带来的平均风险,5,最小风险的Bayes决策规则步骤,（1）在已知P(j)，P(X|j)，j=1,，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率：,（2）利用计算出的后验概率及决策表，

3、计算出采取i,i=1,，a的条件风险,（3）对(2)中得到的a个条件风险值R(i|X),i=1,，a进行比较，找出使条件风险最小的决策k，则k就是最小风险贝叶斯决策,6,例,在例1条件的基础上，并且已知11=0,(11表示(1,1)的简写)，12=6,21=1，22=0，按最小风险贝叶斯决策进行分类。,P(1)0.9,P(2)0.1 p(X|1)0.2,p(X|2)0.4,7,计算后验概率：P(1|X)0.818,P(2|X)0.182,计算条件风险：,找最小的条件风险：,最小风险的Bayes决策为2！,8,决策规则的进一步探讨,二类问题的决策规则：,另一种决策规则：,先验概率的决策规则：,似

4、然比,9,最小错误决策和最小风险决策,二类问题中，若，则两种判决方式等价,多类问题中，若,则有,所有错误代价相同！,两种判决方式等价！,0-1损失函数,10,3.3 Bayes分类器和判别函数,决策面：划分决策域的边界面决策面方程：决策面的数学解析形式判别函数：表达决策规则的函数,维特征空间,个决策域,分类器设计：利用决策规则对观察向量 X 进行分类,决策面方程和判别函数由相应的决策规则所决定！,11,判别函数和决策面方程,类的情况下，对应的判别函数为,若,则 属于第 类,分割它们的决策面方程应满足：,对于多类：通常定义一组判别函数,12,最小错误概率决策,判别函数的不同形式：,13,最小风险

5、决策,判别函数,判别函数不唯一，更一般地，（其中 为 单调增函数）均可作为判别函数,14,Bayes分类器,15,决策界,同一决策规则下判别函数形式可以不同，但决策界相同！,16,决策界,同一决策规则下判别函数形式可以不同，但决策界相同！,17,二类分类器,18,例,有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给每人打了试验针，然后进行统计，得到统计数字：（1）这批人中，每1000人有5个癌症病人；（2）这批人中，每100个正常人有1人对试验的反应为阳性；（3）这批人中，每100个癌症病人有95人对试验的反应为阳性。,假如正常人用 表示，癌症病人用 表示。以试验结果作为特征，特征值为

6、阳或阴。根据统计数字，得到如下概率：,现在有一某甲，试验结果为阳性，按最小错误率贝叶斯决策规则，问诊断结果是什么？,19,后验概率：,判决比较,判断正常概率,20,风险评估,假设11=0，12=3,21=1，22=0，按最小风险贝叶斯决策为某甲诊断：,由于R1(X)R2(X)即决策为2的条件风险小于决策为1的条件风险，因此诊断某甲为癌症病人。,采用最小风险贝叶斯决策，各种损失的确定是关键,问题：11=0，12=2,21=1，22=0，按最小风险贝叶斯决策的诊断又如何呢？,21,分别写出两种情况的决策面方程,1.2.,决策面方程 g(x)=0,22,前面介绍了在一般的概率统计分布情况下的统计决策

7、理论，这一节我们要讨论最常用的正态分布情况在模式识别中，正态分布假设是对各种随机变量使用得最普遍的假设这主要有两方面的原因：1）正态分布在数学上比较简便2）正态分布在物理上的合理性,正态分布的Bayes决策法则,23,数学上简便性 正态分布是数学上最简单的一种分布。它的一些特殊情况揭示了统计判别方法中许多重要的性质在模式识别技术的研究中，需要用训练样本集来设计分类器，还需用测试样本集来检验分类器的分类效果，并对不同的分类器的性能进行比较用正态分布模型描述训练样本集与测试样本集在数学上实现起来也比较方便,24,物理上的合理性 如果同一类样本在特征空间内的确较集中地分布在其类均值的附近，远离均值处

8、分布较少，那么一般情况下以正态分布模型近似往往是比较合理的人们也往往因数学分析复杂程度考虑而不得不采用这种模型，当然使用时应注意结果是否合理或关注其可接受的程度,25,单变量正态分布,单变量正态分布概率密度函数定义为：,单变量正态分布概率密度函数p(x)完全可由与2两个参数确定，记作 N(，2),26,正态分布描述了一个随机实变量在整个实数域上的分布规律因此它属于概率密度函数类，不是我们所讨论的先验概率P(j)，也不是后验概率P(j|X)，而是p(x|j),正态分布的样本主要集中分布在其均值附近，其分散程度可用标准差来衡量，愈大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在

9、区间 内，而且其峰值为,27,多元是指样本以多个变量来描述，或具有多个属性，一般用d维特征向量表示，Xx1，xdT。d维特征向量的正态分布用下式表示,多维（元）正态分布：,其中是X的均值向量，也是d维，EX1，2，dT 是dd维协方差矩阵，而1是的逆矩阵，|是的行列式,因为参数与对分布具有决定性，记作p(X)N(，),28,一个向量或矩阵的期望是由其元素的期望组成的,协方差矩阵有两个特性：是一个对称矩阵：多维正态密度由 个参数决定是正定的：主对角元素都是各分量的方差，一般情况下都是大于零的值,如果协方差矩阵中的所有非对角线元素均为零，则P(X)就变成X的各分量的单变量正态密度的乘积,29,图示

10、为一个二维正态密度的示意图，如果把等概率密度点画出来，它们就是一族同心的椭圆,30,参数 和 对分布具有决定性：从正态总体中抽取的样本落在一个密集区域里这个区域的中心由均值向量决定区域的形状由协方差矩阵决定等密度点的轨迹为一超椭球面（可证明）且超椭球面的主轴方向由 的特征向量决定，主轴的长度与相应的特征值成正比,多元正态分布性质,31,把这个超椭球的中心平移到坐标原点，超椭球的方程变为 设X在超椭球上，X到超椭球中心的距离为 求超椭球主轴的问题是一个求条件极值的问题，构造Lagrange函数：可得超椭球主轴的必要条件：,多元正态分布性质,32,为向量X到均值向量 的Mahalanobis 距离

11、(马哈诺比斯，马氏距）的平方等概率密度点的轨迹是一个到均值向量 的Mahalanobis距离为常数的超椭球,记,33,3.不相关 独立,34,多元正态分布下的最小错误率贝叶斯决策及其判别函数和决策面,对于最小错误率的贝叶斯决策，其 类的判别函数为：,由于对数函数是单值单调递增函数，并根据正态分布密度函数的特点，显然式中取自然对数更便于分析，于是 类的判别函数可以表示为：,由于判决是比较 和 的大小，去掉与类别无关的项不 会影响分类判别的结果，故可简化为,35,三种不同情况的探讨：,1.第一种情况：,各类分布的协方差矩阵相同，而且各特征统计独立且有相同的方差，这时，协方差矩阵是对角阵，对角线元素

12、均为,代入判别函数,得新判别函数为：为欧氏距离：,36,如果c个类的先验概率 都相同，式中 项可忽略这时最小错误概率的Bayes决策法则可叙述为：若要对模式X分类，只要测量出从待分类模式向量X到每一类均值向量 的欧氏距离，然后把X归到距离最近的那个均值向量所属的类别即可如果c个类的先验概率不相等，则表明距离的平方 必须用方差 规范化后减去 再用以分类 在实际应用时，可以不计算欧氏距离：把 展开后，可得判别函数：,37,决策面由线性方程 决定，即 式中：,该方程式确定了通过并正交于向量W的超平面。如图所示是一个二维二类模式的例子。如果，则点 就离开先验概率大的那个类的均值向量而朝先验概率较小的那

13、类方向移动,决策规则为,38,此时判别函数变为：1）若各类的先验概率相等，则 也可以忽略，这时决策法则可以这样描述：对一个模式分类，计算它与每一类均值向量间的Mahalanobis距离平方，而后把它分到与之最近的均值向量所属的类别中去即可 2）如果各类的先验概率不同，则决策应有利于先验概率较大的那一类 把 展开，忽略无关项，判别函数变成：,2.第二种情况：,式中：,39,1）如果各类的先验概率相等，则这个决策面同均值向量连线的交点在连线的中点2）若各类的先验概率不相等，则决策界面就离开先验概率较大的那个类的均值向量而朝先验概率较小的那类方向移动,因为线性判别函数，所以决策面仍是一个超平面，决策

14、面仍然满足方程,式中：,40,这是一般的情况，各类的协方差矩阵是不相同的，判别函 数有如下形式：式中这时决策面是超二次曲面,如果两类 和 相邻，则决策面 为,3.第三种情况：任意,41,决策面式超二次曲面，随着 变化呈现不同的超二次曲面：超球面、超抛物面、超双曲面等,42,离散情况的贝叶斯决策,以上几节所讨论的特征向量 可以是d维特征空间中的任一点，即为连续的随机向量。但在许多的模式识别问题中，特征向量 是一个离散型随机向量，仅可取 个离散值 中的一个。此时，我们仍可以利用贝叶斯公式计算,式中,43,1）最小错误率的贝叶斯决策法则仍为：如果 对于一切 成立，则决策,2）最小风险的Bayes决策

15、法则仍是：如果，则对应的决策,可以看出，贝叶斯决策规则仍然不变：,44,对于二类分类问题，通常采用下述形式的判别函数：,下面考虑一个两类模式的分类问题。设特征向量，它的各个分量是0或者1的二值特征，并且各特征相互独立，并令：,以一种特别分类模型来说明。这类模型中，对模式的每一维特征需要给出一个“是”与“否”的答案，“是”表示该模式具有对应特征，其值就为1，否则不具有对应特征，其值就为0,45,因为模式中各特征相互独立，所以可以把条件概率 写成 的分量的概率之积的形式：,因此似然比为：,如果采用对数形式的判别函数，则有：,上式关于 是线性的，因此可以改写得到线性判别函数的形式：,46,是 的分量

16、的线性组合，它们的系数是权重，它表示在作分类决策时对特征 作“是”回答的关联程度,在判别中，先验概率仅对阈值权 起作用：1）如果，则，说明 不能给出有关类别的信息2）如果，则，从而 这种情况下，特征 对于 类给出的“是”的频率要高于 类3）同样如果，则，此时特征 对于 类给出的“是”的频率要低于 类,1、这世上，没有谁活得比谁容易，只是有人在呼天抢地，有人在默默努力。2、当热诚变成习惯，恐惧和忧虑即无处容身。缺乏热诚的人也没有明确的目标。热诚使想象的轮子转动。一个人缺乏热诚就象汽车没有汽油。善于安排玩乐和工作，两者保持热诚，就是最快乐的人。热诚使平凡的话题变得生动。3、起点低怕什么，大不了加倍

17、努力。人生就像一场马拉松比赛，拼的不是起点，而是坚持的耐力和成长的速度。只要努力不止，进步也会不止。4、如果你不相信努力和时光，那么时光第一个就会辜负你。不要去否定你的过去，也不要用你的过去牵扯你的未来。不是因为有希望才去努力，而是努力了，才能看到希望。5、人生每天都要笑，生活的下一秒发生什么，我们谁也不知道。所以，放下心里的纠结，放下脑中的烦恼，放下生活的不愉快，活在当下。人生喜怒哀乐，百般形态，不如在心里全部淡然处之，轻轻一笑，让心更自在，生命更恒久。积极者相信只有推动自己才能推动世界，只要推动自己就能推动世界。6、人性本善，纯如清溪流水凝露莹烁。欲望与情绪如风沙袭扰，把原本如天空旷蔚蓝的

18、心蒙蔽。但我知道，每个人的心灵深处，不管乌云密布还是阴淤苍茫，但依然有一道彩虹，亮丽于心中某处。7、每个人的心里，都藏着一个了不起的自己，只要你不颓废，不消极，一直悄悄酝酿着乐观，培养着豁达，坚持着善良，只要在路上，就没有到达不了的远方！8、不要活在别人眼中，更不要活在别人嘴中。世界不会因为你的抱怨不满而为你改变，你能做到的只有改变你自己！9、欲戴王冠，必承其重。哪有什么好命天赐，不都是一路披荆斩棘才换来的。10、放手如拔牙。牙被拔掉的那一刻，你会觉得解脱。但舌头总会不由自主地往那个空空的牙洞里舔，一天数次。不痛了不代表你能完全无视，留下的那个空缺永远都在，偶尔甚至会异常挂念。适应是需要时间的

19、，但牙总是要拔，因为太痛，所以终归还是要放手，随它去。11、这个世界其实很公平，你想要比别人强，你就必须去做别人不想做的事，你想要过更好的生活，你就必须去承受更多的困难，承受别人不能承受的压力。12、逆境给人宝贵的磨炼机会。只有经得起环境考验的人，才能算是真正的强者。自古以来的伟人，大多是抱着不屈不挠的精神，从逆境中挣扎奋斗过来的。13、不同的人生，有不同的幸福。去发现你所拥有幸运，少抱怨上苍的不公，把握属于自己的幸福。你，我，我们大家都可以经历幸福的人生。14、给自己一份坚强，擦干眼泪；给自己一份自信，不卑不亢；给自己一份洒脱，悠然前行。轻轻品，静静藏。为了看阳光，我来到这世上；为了与阳光同

20、行，我笑对忧伤。15、总不能流血就喊痛，怕黑就开灯，想念就联系，疲惫就放空，被孤立就讨好，脆弱就想家，不要被现在而蒙蔽双眼，终究是要长大，最漆黑的那段路终要自己走完。16、在路上，我们生命得到了肯定，一路上，我们有失败也有成功，有泪水也有感动，有曲折也有坦途，有机遇也有梦想。一路走来，我们熟悉了陌生的世界，我们熟悉了陌生的面孔，遇人无数，匆匆又匆匆，有些成了我们忘不掉的背影，有些成了我们一生的风景。我笑，便面如春花，定是能感动人的，任他是谁。17、努力是一种生活态度，与年龄无关。所以，无论什么时候，千万不可放纵自己，给自己找懒散和拖延的借口，对自己严格一点儿，时间长了，努力便成为一种心理习惯，

21、一种生活方式！18、自己想要的东西，要么奋力直追，要么干脆放弃。别总是逢人就喋喋不休的表决心或者哀怨不断，做别人茶余饭后的笑点。19、即使不能像依米花那样画上完美的感叹号，但我们可以歌咏最感人的诗篇；即使不能阻挡暴风雨的肆虐，但我们可以左右自己的心情；即使无法预料失败的打击，但我们可以把它当作成功的一个个驿站。20、能力配不上野心，是所有烦扰的根源。这个世界是公平的，你要想得到，就得学会付出和坚持。每个人都是通过自己的努力，去决定生活的样子。1、许多人企求着生活的完美结局，殊不知美根本不在结局，而在于追求的过程。2、慢慢的才知道：坚持未必就是胜利，放弃未必就是认输，。给自己一个迂回的空间，学会

22、思索，学会等待，学会调整。人生没有假设，当下即是全部。背不动的，放下了；伤不起的，看淡了；想不通的，不想了；恨不过的，抚平了。3、在比夜更深的地方，一定有比夜更黑的眼睛。4、一切伟大的行动和思想，都有一个微不足道的开始。5、从来不跌倒不算光彩，每次跌倒后能再站起来，才是最大的荣耀。6、这个世界到处充满着不公平，我们能做的不仅仅是接受，还要试着做一些反抗。7、一个最困苦、最卑贱、最为命运所屈辱的人，只要还抱有希望，便无所怨惧。8、有些人，因为陪你走的时间长了，你便淡然了，其实是他们给你撑起了生命的天空；有些人，分开了，就忘了吧，残缺是一种大美。9、照自己的意思去理解自己，不要小看自己，被别人的意

23、见引入歧途。10、没人能让我输，除非我不想赢！11、花开不是为了花落，而是为了开的更加灿烂。12、随随便便浪费的时间，再也不能赢回来。13、不管从什么时候开始，重要的是开始以后不要停止；不管在什么时候结束，重要的是结束以后不要后悔。14、当你决定坚持一件事情，全世界都会为你让路。15、只有在开水里，茶叶才能展开生命浓郁的香气。16、别想一下造出大海，必须先由小河川开始。17、不要让未来的你，讨厌现在的自己，困惑谁都有，但成功只配得上勇敢的行动派。18、人生最大的喜悦是每个人都说你做不到，你却完成它了！19、如果你真的愿意为自己的梦想去努力，最差的结果，不过是大器晚成。20、不忘初心，方得始终。

24、21、每个人都有潜在的能量，只是很容易：被习惯所掩盖，被时间所迷离，被惰性所消磨。22、不论你在什么时候开始，重要的是开始之后就不要轻言放弃。23、恨别人，痛苦的却是自己。24、每天醒来，敲醒自己的不是钟声，而是梦想。25、你不能拼爹的时候，你就只能去拼命！26、如果人生的旅程上没有障碍，人还有什么可做的呢。27、我们无法选择自己的出身，可是我们的未来是自己去改变的。励志名言：比别人多一点执着，你就会创造奇迹28、伟人之所以伟大，是因为他与别人共处逆境时，别人失去了信心，他却下决心实现自己的目标。29、人生就像一道漫长的阶梯，任何人也无法逆向而行，只能在急促而繁忙的进程中，偶尔转过头来，回望自己留下的蹒跚脚印。30、时间，带不走真正的朋友；岁月，留不住虚幻的拥有。时光转换，体会到缘分善变；平淡无语，感受了人情冷暖。有心的人，不管你在与不在，都会惦念；无心的情，无论你好与不好，只是漠然。走过一段路，总能有一次领悟；经历一些事，才能看清一些人。31、我们无法选择自己的出身，可是我们的未来是自己去改变的。32、命好不如习惯好。养成好习惯，一辈子受用不尽。33、比别人多一点执着，你就会创造奇迹。,