高级人工智能课件.ppt

《高级人工智能课件.ppt》由会员分享，可在线阅读，更多相关《高级人工智能课件.ppt（22页珍藏版）》请在三一办公上搜索。

1、2.3 Bayes 决策规则,2.3.1 最小错误率的Bayes决策 利用Bayes公式，可以在模式分类中尽量减少分类的错误；称之为最小错误率的Bayes决策 考虑对正常人和病人的识别问题。 假设每个要识别的人有d个基本特性的特征，如身高、体重、温度、脉搏等，从而组成一个d维空间的向量，识别的目的就是要将分类成正常人或病人。,如果用 表示人的健康状态，则 表示健康状态 表示患病状态 对人个体的识别就是 把归类于 、 这两种可能状态。 类别状态是一个随机变量，但其概率分布是已知的，则有健康状态概率 和患病状态概率 是已知的。即 、 是先验概率。 在两类问题中，显然存在： + =1 (2.3-1)

2、,为简单起见，只用一个特征即温度进行分类，有d=1。 在自然条件下，观察到的类别条件概率分布为已知，并且有:(分布如图2,1所示) 是健康状态下观察 的类条件概率密度 是患病状态下观察 的类条件概率密度 1.由于已知：状态先验概率 类条件概率密度 2.利用Bayes公式，则有状态的后验概率： (2.3-2),图2.1 类条件概率密度,图2.2 后验概率,0.2,0.4,0.6,0.8,1,3.最小错误率的 Bayes决策规则如果 ，则把 归类于 ；反亦反之。则决策规则可简写为： (2.3-3),4.最小错误率分析 （1）错误率 错误率是指平均错误率，以 表示,有定义： = (2.3-4) 其中

3、， 表示在整个 d维空间上积分（2）条件错误概率 在 条件下的错误概率为 。根据Bayes决策规则： 则决策结果； 则决策结果 显然，在作出决策 时， 的条件错误概率为； 在作出决策 时， 的条件错误概率为 从而有条件错误概率： =,（3）Bayes决策的本质 实际上是对每个 都使取小者，从而积分： (2.3-6) 也必然达到最小。也即 达到最小 这说明最小错误率Bayes决策规则确实使错误率最小。 这种方法可以推广到多类的分类决策之中。,2.3.2 最小风险的Bayes决策 在决策中有时需要考虑一个比错误率更广泛的概念风险。 对事物的分类，第一考虑的是尽可能正确的分类。第二要考虑错误判断分类

4、带来的后果。例如，把健康人归类为病人，或把病人归类为健康人。这会带来精神压力或延误病情，即会引起损失。 最小风险的Bayes决策是考虑各种错误造成损失不同而提出的决策。 在最小风险决策中，需要考虑损失函数。,1.基本概念（1）观察对象 是 维随机向量： (2.3-7)其中： 为一维随机变量（2）状态空间 状态空间由C个自然状态（C类）组成： = (2.3-8) ( 3)决策空间A 决策空间A由 个决策 组成 (2.3-9) 按一般理解，C个状态，有C个决策即够了，但实际上，对于C个类别有C种不同决策之外，还允许有其他决策，例如“拒绝”决策，则这时就有 =C+1。,（4）损失函数 损失函数 表示

5、为： （2.3-10） 表示为状态为 ，而所采用的决策为 时所带来的损失。 根据状态，损失和决策则可得一般决策表 表2.3-1 一般决策表,2.最小风险Bayes决策（1）已知先验概率 以及类条件概率密度（2）求后验概率 从ayes公式有： 其中 (2.3-11）,（3）条件期望损失（条件风险） 由于考虑错判造成的损失，故不能以后验概率大小作决策，而必须考虑决策是否使损失最小。 对于给定的观察对象 ，如果采用决策 ，从决策表可知，损失函数 可以在C个 中任取一个值，其相应概率为 ，从而有在决策 情况下的条件期望损失为： =E = (2.3-12) 条件期望损失 也称条件风险。 条件期望损失反映

6、了对 的某一取值采用决策 所带来的风险。,（4） 期望风险 由于 是随机向量，对于 的不同观察值，采取决策 时，其条件风险的大小是不同的。所以，究竟采取哪种决策将随 的值而定。这样，决策 可以看成随机向量 的函数，并记为 ，它也是一个随机变量。 期望风险 可定义为： （2.3-13） 其中： 是 d维特征空间的体积元，积分在整个特征空间进行。 期望风险及反映对整个特征向量空间所有 的取值采取相应决策 所带来的平均风险。 在Bayes决策中，应要求采取一系列决策行动 使期望风险R最小。,（5）最小风险Bayes决策规则 如果，在采取每一个决策或行动时，都使其条件风险最小，则对所有的 作出决策时，

7、其期望风险也必定最小最小风险Bayes决策。 最小风险Bayes决策规则表示为： 如果 则 （2.3-14） 在求实际问题决策时，最小风险Bayes决策步骤如下： )已知 在给出待识别的 的情况下，以Bayes公式求取后验概率 （2.3-15）,）利用后验概率及决策表，按条件期望损失 的式子： = （2.3-16） 求取条件风险。）对求出的 个条件风险值 ， 进行比较，找出使条件风险最小的决策 ，即 （2.3-17） 则 就是最小风险Bayes决策。,2.3.3最小风险Bayes决策的例子 例：假设在某个地区人们的健康状态 和患病状态 的先验概率分别为： 健康状态： =0.9 患病状态： =0

8、.1 现有一个待识别的个体，其观察值为 ，从类条件概率密度分布曲线上查得： 试按最小风险Bayes决策进行分类。,解：（1）已知条件有 =0.9 , =0.1 决策表为： 有： =0； =6； =1； =0,（2）用Bayes公式，分别求 、 的后验概率,（3）根据 求出条件风险 = =60.182=1.092 = =10.818=0.818 （4）最小风险决策 由于 ，则说明决策 的风险小于决策 ，故取 为决策。 在决策表中可以看出，当取 为决策时，损失最小的是 =0 ，显然，对应的状态是 ，故而最后识别的结果为：个体属于患病状态 类。,2.3.4 最小错误率与最小风险Bayes决策的关系

9、1. 0-1 损失函数 定义：如果损失函数取下面形式 = i , j =1,，c （2.3-18） 则称其为0-1 损失函数。 在0-1 损失函数中，假定对C类只有C个决策，并且，对于正确决策（i=j时）没有损失，而对任何错误决策其损失为1。,2采用0-1 损失函数时的条件风险 条件风险这时为： = （2.3-19） 很明显，根据前面的条件错误概率的含义，则 是对x采用决策i的条件错误概率。,3用0-1 损失函数时的最小风险Bayes决策 = （2.3-20） 同理有： （2.3-21） 对于最小风险Bayes决策： （2.3-22）,则可写成： = （2.3-23） 上式中右边给出的是最小错误率，则决策可根据上式确定。 从而可知：最小错误率的Bayes决策是在0-1 损失函数下的最小风险的Bayes决策。 最小风险Bayes决策要求： a.有符合实际情况的先验概率 b.有符合实际情况的类条件概率密度 c.有合适的损失函数,