不确定知识表示和推理.ppt

上传人:小飞机 文档编号:5048187 上传时间:2023-05-31 格式:PPT 页数:76 大小:330.50KB
返回 下载 相关 举报
不确定知识表示和推理.ppt_第1页
第1页 / 共76页
不确定知识表示和推理.ppt_第2页
第2页 / 共76页
不确定知识表示和推理.ppt_第3页
第3页 / 共76页
不确定知识表示和推理.ppt_第4页
第4页 / 共76页
不确定知识表示和推理.ppt_第5页
第5页 / 共76页
点击查看更多>>
资源描述

《不确定知识表示和推理.ppt》由会员分享,可在线阅读,更多相关《不确定知识表示和推理.ppt(76页珍藏版)》请在三一办公上搜索。

1、1,第四章不确定知识表示和推理,李伟生信科大厦19楼Tel:62471342,2,第4章 不确定知识表示和推理,4.1 不确定推理概述 4.2 确定型理论CF模型 4.3 主观Bayes方法 4.4 D-S证据理论,3,在现实世界中,包含有大量的柔性信息,表征出模糊性、复杂性和不精确性,因而不精确推理、非单调推理和模糊推理就变得十分重要了。著名的逻辑学家Russell所说的“所有的传统逻辑都习惯地假设所使用的符号是精确的,所以它就不能适用于我们这个人间的世界,而只能适应于一个理想中的天堂,逻辑研究比别的任何研究都使我们更接近上帝。,4.1 不确定推理概述,4,不确定性问题的代数模型对于不确定性

2、推理来说,不确定性的描述和不确定性的传播是两个主要问题。不确定性问题模型需要涉及下面的三个问题。不确定性知识的表示不确定性知识的推理不确定推理的语义,不确定推理概述,5,不确定性知识的表示 不确定性知识的表示主要解决用什么方法来描述知识的不确定性问题。常用的方法有数值法和非数值法。数值法以概率方法、确定因子法、DS证据理论和可能性理论为代表;非数值法则以批注理论和非单调逻辑为代表。数值法表示便于计算、比较,非数值法表示便于定性分析,两种方法的结合是描述不确定性知识的好办法。,不确定推理概述,6,不确定性知识的推理 不确定性知识的推理是指知识不确定性的传播和更新,即新的不确定性知识的获取过程。这

3、个过程是在“公理”(比如领域专家给出的规则强度和用户给出的原始证据的不确定性度)的基础上,定义一组函数,计算出“定理”(非原始数据的命题)的不确定性度量。也就是说,根据原始证据的不确定性和知识的不确定性,求出结论的不确定性。算法1:根据规则前提E的不确定性C(E)和规则强度f(H,E),求出假设H的不确定性C(H),即定义函数g1,使得 C(H)g1C(E),f(H,E),不确定推理概述,7,算法2:根据分别由独立的证据E1和E2所求得的假设H的不确定性C1(H)和C2(H),求出证据E1和E2的组合所导致的假设H的不确定性C(H),即定义函数g2,使得 C(H)g2C1(H),C2(H)算法

4、3:根据两个证据E1和E2的不确定性C(E1)和C(E2),求出证据E1和E2的合取的不确定性,即定义函数g3,使得 C(E1E2)g3C(E1),C(E2)算法4:根据两个证据E1和E2的不确定性C(E1)和C(E2),求出证据E1和E2的析取的不确定性,即定义函数g4,使得 C(E1E2)g4C(E1),C(E2),不确定推理概述,8,观察图所示的推理网络。设A1、A2、A3和A4为原始证据,即已知证据A1、A2、A3和A4的不确定性分别为C(A1)、C(A2)、C(A3)和C(A4)。求A5、A6和A7的不确定性。1由证据A1和A2的不确定性C(A1)和C(A2),根据算法4求出A1和A

5、2析取的不确定性C(AlA2)。2由A1和A2析取的不确定性C(AlA2)和规则R1的规则强度f1,根据算法1求出A5的不确定性C(A5)。,A7,A5,A6,A3,A1,A2,A4,OR,AND,f3,f4,f1,f2,R3,R4,R1,R2,不确定推理概述,9,3由证据A3和A4的不确定性C(A3)和C(A4),根据算法3求出A3和A4合取的不确定性C(A3A4)。4由A3和A4合取的不确定性C(A3A4)和规则R2的规则强度f2,根据算法1求出A6的不确定性C(A6)。5由A5的不确定性C(A5)和规则R3的规则强度f3,根据算法1求出A7的其中的一个不确定性C(A7)。6.由A6的不确

6、定性C(A6)和规则R4的规则强度f4,根据算法1求出A7的另外一个不确定性C(A7)。7由A7的两个根据独立证据分别求出的不确定性C(A7)和C(A7),根据算法2求出A7最后的不确定性C(A7)。,不确定推理概述,10,不确定推理的语义对于一个不确定推理问题应指出不确定性表示和推理的含义。基于概率论的方法能较好地解决这个问题。如规则强度f(B,A)可理解为当证据A为真时,对假设B为真的一种影响程度;而C(A)可理解为A为真的程度,即对于f(B,A)和C(A),应给出:对于f(B,A)而言:(1)A为真则B为真,这时f(B,A)?(2)A为真则B为假,这时f(B,A)?(3)A对B没有影响时

7、,这时f(B,A)?对于C(A)而言:(1)A为真时,C(A)?(2)A为假时,C(A)?(3)对A一无所知时,C(A)?,不确定推理概述,11,几种主要的不确定性推理方法确定性理论 确定因子法是MYCIN专家系统中使用的不确定性推理方法。该方法以确定性理论为基础,采用可信度来刻画不确定性。其优点是简单、实用,在许多专家系统中得到了应用,取得了较好的效果。主观贝叶斯方法 主观贝叶斯方法是PROSPECTOR专家系统中使用的不确定性推理方法。它是基于贝叶斯(Bayes)公式修正后而形成的一种不确定性推理方法。该方法的优点是具有较强的数学基础,计算工作量也较为适中。,不确定推理概述,12,D-S证

8、据理论 D-S证据理论是由Dempster提出,由他的学生Shafer发展起来的。该理论引进了信任函数,这些函数可以满足比概率函数的公理还要弱的公理,因而可以用来处理由“不知道”所引起的不确定性。可能性理论 可能性理论的基础是Zadeh本人的模糊集合理论。正如概率论处理的是由随机性引起的不确定性一样,可能性理论处理的是由模糊性引起的不确定性。,不确定推理概述,13,批注理论 批注理论(Endorsement)是一种非数值方法。它将系统所使用的推理规则和议程中的任务都加以批注。规则的批注提出前提条件与规则结论的关系,任务的批注指出该任务的结论与议程中另一任务的结论之间的协同、冲突、潜在冲突及冗余

9、情况。这些批注与数据源、数据类型和数据的精度有关。该理论的优点是可以表示出用数值难以表达的较复杂的关系。缺点是系统每步规则推理都要将前提的批注转移到结论中,从而使得结论中的批注迅速增长,对于结论的选择变得困难。,不确定推理概述,14,知识的不确定性 在MYCIN中的知识表示:IF El AND E2 ANDAND En THEN H(x)其中Ei(i1,2,.,n)是证据,H可以是一个或多个结论。具有此规则形式的解释为当证据E1、E2、En都存在时,结论H具有x大小的确定性因子CF(Certainty Factor)。即 x=CF(H,E1 AND E2 AND.AND En)x的具体值由领域

10、专家主观地给出,x的取值范围为-1,1内。x0表示证据存在,增加结论为真的确定性程度,x越大结论越真,x1表示证据存在结论为真。相反,x0表示证据存在,增加结论为假的确定性程度,x越小结论越假,x-1表示证据存在结论为假。x0时,则表示证据与结论无关。,4.2 确定性理论CF模型,15,证据的不确定性 在MYCIN系统中,证据的不确定性是用证据的确定性因子CF(E)表示的。原始证据的确定性因子由用户主观地给出,非原始证据的确定性因子由不确定性推理获得。值域当证据E以某种程度为真时,有0CF(E)l。当证据E以某种程度为假时,有-1CF(E)0。当证据E一无所知时,有CF(E)0。典型值 当证据

11、E肯定为真时,有CF(E)l。当证据E肯定为假时,有CF(E)-1。当证据E一无所知时,有CF(E)0。,确定性理论CF模型,16,不确定性推理算法E肯定存在 在证据E肯定存在时有CF(E)1,那么结论H的确定性因子为规则的确定性因子,即 CF(H)CF(H,E)E不是肯定存在 在客观的现实世界中,对证据的观察往往也是不确定的。除此之外,证据E可能还是另一条规则的结论,这时也常常是不确定的。在这种情况下,结论H的确定性因子CF(H)不仅取决于规则的确定性因子CF(H,E),而且还取决于证据E的确定性因子CF(E)。计算公式为 CF(H)CF(H,E)max0,CF(E),确定性理论CF模型,1

12、7,证据是多个条件的逻辑组合证据是合取连接 若系统有规则形如 IF E1 AND E2 ANDAND En THEN H(x),那么,有 CF(E)CF(E1 AND E2 AND.AND En)minCF(E1),CF(E2),.,CF(En)证据是析取连接 这时,EE1 OR E2 OR.OR En,有 CF(E)CF(E1 OR E2 0R.OR En)maxCF(E1),CF(E2),.,CF(En),确定性理论CF模型,18,两条规则具有相同结论 若有两条规则分别是 IF E1 THEN H(CF(H,E1)IF E2 THEN H(CF(H,E2)那末首先分别计算出CF1(H)和C

13、F2(H):CF1(H)CF(H,E1)max0,CF(E1)CF2(H)CF(H,E2)max0,CF(E2),确定性理论CF模型,19,然后用公式 CF1(H)十CF2(H)-CF1(H)CF2(H);若CFl(H)0且CF2(H)0CF12(H)CF1(H)十CF2(H)十CF1(H)CF2(H);若CF1(H)0且CF2(H)0(CF1(H)十CF2(H)/(1-min|CF1(H)|,|CF2(H)|);其他计算出由E1和E2组合而导出的确定性因子CF12(H)。可以证明该叠加算法:1.拒绝接受一个假设既肯定成立又肯定不成立的情况,除此情况外,若有证据能确定一个假设肯定成立(或肯定不

14、成立)则不必考虑其它证据对该假设的影响。2.两个证据对同一假设的支持作用是相互加强的,但叠加后的可信度不会大于1。,确定性理论CF模型,20,3.两个证据对同一假设的反对作用也是相互加强的,但叠加后的可信度不会小于-1。4.两个证据对同一假设的支持和反对作用是相互削弱的,假设成立的可信度的符号取决于作用较强的一个。5.推理所得的结果与证据提供的顺序无关。6.在对某一假设的成立有起反对作用的证据存在时,对该假设起支持作用的证据的积累可以抵消反对作用,直至可以使假设成立的可信度接近或达到1。反之亦然。,确定性理论CF模型,21,举例有如下的推理规则:Rule l:IF E1 THEN H(0.9)

15、Rule 2:IF E2 THEN H(0.7)Rule 3:IF E3 THEN H(-0.8)Rule 4:IF E4 AND E5 THEN E1(0.7)Rule 5:IF E6 AND(E7 0R E8)THEN E2(1.0),H,E1,E2,E6,E4,E5,OR,AND,0.9,-0.8,0.7,1.0,R1,R3,R4,R5,E3,E7,E8,0.7,R2,AND,确定性理论CF模型,22,在图中,E3、E4、E5、E6、E7和E8为原始证据,其确定性因子由用户给出,假定它们的值为:CF(E3)0.3,CF(E4)0.9,CF(E5)0.6,CF(E6)0.7,CF(E7)-

16、0.3,CF(E8)0.8。求CF(H)=?解:先求出CF(E1)、CF(E2)和CF(E3)。CF(E1)07max0,CF(E4 AND E5)07max0,minCF(E4),CF(E5)07max0,min09,06 07max0,06 o706 0.42,确定性理论CF模型,23,CF(E2)1max0,CF(E6 AND(E7 OR E8)1max(0,minCF(E6),maxCF(E7),CF(E8)1max0,minCF(E6),max-0.3,0.8 1max0,min0.7,0.8 1max0,0.7 10.7 0.7CF(E3)0.3CF1(H)09max0,CF(E1

17、)09max0,042 09042 038,确定性理论CF模型,24,CF2(H)07max0,CF(E2)07max0,07 0707 049CF3(H)08CF(E3)0803 024CF12(H)CF1(H)十CF2(H)-CF1(H)CF2(H)038十0490380.4906838CF(H)CF123(H)(CF12(H)十CF3(H)/(1min|CF12(H)|,|CF3(H)|)(06838024)/(1 0.24)05839,确定性理论CF模型,25,CF模型的优点是:简单、直观。主要表现在组合假设和证据的不确定性的计算十分简单,而且不需要把信任和不信任的判断知识表示成概率的

18、形式。我们知道,把某个值指派给一个假设的确定性因子要比把一个概率直接指派给一个假设要容易得多。计算仅有线性的信息和时间的复杂度,而且推理的近似效果也比较理想。可以证明,推理的结果与证据提供的顺序无关。推理过程中的阈值推理所得到的结论中有的可信度很低,可以设定一个阈值,在推理过程中去掉那些可信度低于阈值的结论。一般阈值定为0.2,当CF0.2时,置CF0,当CF0.2时,CF有意义。,确定性理论CF模型,26,练习设有一组知识:R1:If E1 Then H CF(H,E1)=0.8R2:If E2 Then H CF(H,E2)=0.6R3:If E3 Then H CF(H,E3)=-0.5

19、R4:If E4(E5E6)Then E1 CF(E1,E4(E5E6)=0.7R5:If E7 E8 Then E3 CF(E3,E7 E8)=0.9已知CF(E2)=0.8,CF(E4)=0.5,CF(E5)=0.6,CF(E6)=0.7,CF(E7)=0.6,CF(E8)=0.9,求CF(H),确定性理论CF模型,27,Bayes定理条件概率设A与B是某个随机试验中的两个事件,如果在事件B发生的条件下考虑事件A发生的概率,就称它为事件A的条件概率,记为P(A|B)。例 设样本空间D是扑克牌中的54张牌,即 D=红桃A,方块A,黑桃A,梅花A,红桃2,方块2,小王,大王 且有以下两个事件

20、A=取花脸牌,B=取红桃牌,4.3 主观Bayes方法,28,求在事件B发生的条件下事件A发生的概率P(A|B)。解:由于事件B已经发生,因此以下事件 取到红桃A;取到红桃2;取到红桃3;取到红桃K中必有一个出现。而对事件A,在事件B发生的前提下,只有以下事件 取到红桃J;取到红桃Q;取到红桃K中的一个发生时事件A才发生。因此,在事件B发生的条件下事件A发生的概率为3/13。,主观Bayes方法,29,条件概率的计算 由上例可以看出,在事件B发生的条件下事件A的条件概率,是把B的样本点作为新的样本空间D1,然后在D1上求出事件AB的概率。,P(取花脸牌|取红桃牌)=P(取红桃花脸牌)/P(取红

21、桃牌)=(3/54)(13/54)=3/13,主观Bayes方法,30,全概率公式设事件A1,A2,An满足:(1)任意两个事件都互不相容,即当ij时,有AiAj=(i=1,2,n;j=1,2,n);(2)P(Ai)0(i=1,2,n);n(3)D=U Ai。i=1则对任何事件B有:n P(B)=(P(Ai)P(B|Ai)i=1,主观Bayes方法,31,例:A1=取红桃牌 A2=取方块牌 A3=取黑桃牌 A4=取梅花牌 A5=取王牌 B=取花脸牌 解:P(B)=P(A1)P(B|A1)+P(A2)P(B|A2)+P(A3)P(B|A3)+P(A4)P(B|A4)+P(A5)P(B|A5)=(

22、13/54 3/13)4+2/54 0=12/54,主观Bayes方法,32,Bayes公式设事件A1,A2,An两两互不相容,且它们构成全部样本空间,则对任何事件B有:,我们称这个公式为Bayes公式,同时称P(Ai),P(B|Ai)的值为先验概率;P(Ai|B)的值为后验概率。Bayes公式就是从先验概率推导出后验概率的公式。,主观Bayes方法,33,例:Ai,B同上例,求P(A1|B),即在取到花脸牌的前提下,取到红桃牌的概率。解:P(A1|B)=(P(A1)P(B|A1)/(P(A1)P(B|A1)+P(A2)P(B|A2)+P(A3)P(B|A3)+P(A4)P(B|A4)+P(A

23、5)P(B|A5)=(13/54 3/13)/(13/54 3/13)4+0)=1/4,主观Bayes方法,34,规则不确定性的描述在基于规则的专家系统中,Bayes公式可以写成为 P(H|E)=P(E|H)P(H)/P(E)在直接使Bayes公式描述不确定性时,计算后验概率P(H|E)需要知道先验概率P(E|H),如要计算咳嗽的病人患有肺炎的概率,先要要知道肺炎病人有咳嗽症状的概率。而因为先验概率又是难以给出的量,为了克服这一困难,所以就提出了主观Bayes方法。下面我们介绍主观Bayes方法对规则不确定性的描述。,主观Bayes方法,35,几率函数O(x)几率函数定义为O(x)P(x)/(

24、1-P(x)。它表示x出现的概率与不出现概率之比,从定义可知,随着P(x)的增大,O(x)也增大,而且 当P(x)0时,有O(x)0 当P(x)1时,有O(x)这样,取值为0,1的P(x)被放大为取值为0,的O(x)。充分性度量LS充分性度量定义为LSP(E|H)/P(E|H)必要性度量LN必要性度量定义为LNP(E|H)/P(E|H),主观Bayes方法,36,规则不确定性描述根据Bayes公式有 P(H|E)P(E|H)P(H)/P(E)(1)P(H|E)P(E|H)P(H)/P(E)(2)将上述两式相除,得P(H|E)/P(H|E)=P(E|H)/P(E|H)P(H)/P(H)再利用几率

25、函数和LS,上式可表示为 O(H|E)LSO(H)可以看出,当LS1时,O(H|E)O(H),说明E(发热)支持H(肺炎),LS越大,O(H|E)就越大,即P(H|E)越大,说明E对H的支持越强。当LS时,O(H|E),从而有P(H|E)1,说明E的存在导致H为真。因此,我们说E对H是充分的,且称LS为充分性度量。,主观Bayes方法,37,同理,将前面(1)(2)中的E换为E,可以得到 O(H|E)=LNO(H)LN反映了E(发热)不出现对H(肺炎)的反对程度。LN越小,说明E不出现,H的确定性越小。当LN0时,将导致O(H|E)0,说明E不存在导致H为假。因此,我们说E对H是必要的,且称L

26、N为必要性度量。在主观Bayes方法中,一条规则变成了如下的形式:IF E THEN(LS,LN)H 其中参数LS,LN和先验几率O(H)要由领域专家主观给出,先计算出后验几率,再计算出后验概率。LS1&LN1,LS1&LN1,LS=LN=1?,E与E不应同时支持或同时排斥H,主观Bayes方法,38,证据不确定性的描述当证据E确定时(P(E)1)可直接使用公式 O(H|E)LSO(H)和 O(H|E)LNO(H)以求得使用规则EH后,O(H)的更新值O(H|E),O(H|E)。若需要以概率的形式表示,再由公式 P(x)=O(x)/(1+O(x)计算出P(H|E)和P(H|E)。,由O(X)=

27、P(X)/(1-P(X),主观Bayes方法,39,当证据E不确定时(P(E)1)设E是与E有关的所有观察,对规则EH来说有公式(1976年由Duda给出)P(H|E)P(H|E)P(E|E)十P(H|E)P(E|E)当P(E|E)1时,证据E必然出现,有 P(H|E)P(H|E)LSP(H)/(LS-1)P(H)+1)证明:P(H|E)=O(H|E)/(1+O(H|E)=LSO(H)/(1+LSO(H)=LS(P(H)/(1-P(H)/(1+LS(P(H)/(1-P(H)=LSP(H)/(1-P(H)+LSP(H)=LSP(H)/(LS-1)P(H)+1),主观Bayes方法,40,当P(E

28、|E)0时,证据E必然不出现类似有 P(H|E)=P(H|E)=LNP(H)/(LN-1)P(H)+1)当P(E|E)P(E)时,即观察E对E无影响有 P(H|E)=P(H|E)P(E)+P(H|E)P(E)=P(H)当P(E|E)为其他值时可以从P(E|E)分别为0,P(E)和1这3个特殊点采用分段线性插值的方法,确定与其相应的P(H|E)值。,主观Bayes方法,41,P(H|E)+(P(H)-P(H|E)/P(E)XP(E|E)P(H|E)=若0P(E|E)P(E)P(H)+(P(H|E)-P(H)/(1-P(E)X(P(E|E)-P(E)若P(E)P(E|E)1,P(H|E),P(H|

29、E),P(H),P(H|E),P(E),P(E|E),0,1,主观Bayes方法,42,证据合取情况 设在观察E之下,证据E1,E2,En的概率为P(E1|E)、P(E2|E)、P(En|E),那么有 P(E1 AND E2 ANDAND En|E)minP(E1|E),P(E2|E),.,P(En|E)证据析取情况 设在观察E之下,证据E1,E2,.,En的概率为P(E1|E)、P(E2|E)、.、P(En|E),那么有P(E1 OR E2 0ROR En|E)maxP(E1|E),P(E2|E),P(En|E),主观Bayes方法,43,相互独立的证据导出同一假设情况 例 设一组相互独立的

30、证据E1、E2、En的观察分别为E1、E2、En,并且有规则E1H,E2H,EnH。假定由这些规则得到的假设H的后验几率分别是O(H|E1)、O(H|E2)、O(H|En),那么由这些独立证据的组合相应得到的假设H的后验几率为O(H|E1&E2&En)=O(H|E1).O(H|E2).O(H|En).O(H)O(H)O(H),O(H),主观Bayes方法,44,例 PROSPECTOR专家系统中的部分推理网络如图所示。图中各结点的先验概率标在结点的右上方,规则的LS和LN值标在该规则连线的一侧。用户给出的各原始证据在各自的观察之下概率为:P(E1|S1)0.7,P(E2|S2)0.6,P(E3

31、|S3)0.02。现要求计算假设H2的后验概率 P(H2|S1S2S3)。,H2,H1,E3,E1,E2,65,0.01,300,0.0001,2,0.000001,100,0.000001,0.01,0.03,0.1,0.4,0.2,主观Bayes方法,45,即有如下规则:R1:IF E1 THEN(2,0.000001)H1R2:IF E2 THEN(100,0.000001)H1R3:IF H1 THEN(65,0.01)H2R4:IF E3 THEN(300,0.0001)H2和专家给出的先验概率:P(E1)=0.2,P(E2)=0.4,P(E3)=0.03,P(H1)=0.1,P(H

32、2)=0.01用户给出的在观察S下证据E的概率:P(E1|S1)=0.7,P(E2|S2)=0.6,P(E3|S3)=0.02,主观Bayes方法,46,解 1根据P(E1|Sl)计算P(H1|Sl)由于P(E1|S1)0.70.2P(E1),所以 P(H1|E1)LSP(H1)(LS一1)P(H1)十1 20.1 0.1818(21)0.1十1 P(H1|S1)P(H1)十P(H1|E1)-P(H1)1-P(E1)P(E1|S1)-P(E1)0.1十(0.70.2)1-0.2 0.151125,主观Bayes方法,47,P(H|E),P(H|E),P(H),P(H|E),P(E),P(E|E

33、),0,1,P(E1|S1),P(H1|S1),主观Bayes方法,48,2根据P(E2|S2)计算P(H1|S2)。由于P(E2|S2)0.60.4P(E2),所以 P(H1|E2)LSP(H1)(LS-1)P(H1)+1 1000.1 0.9174311 990.1+1 P(H1|S2)P(H1)+P(H1|E2)-P(H1)P(E2|S2)-P(E2)1-P(E2)0.1+(0.6-0.4)1-0.4 0.372477,主观Bayes方法,49,3.根据独立证据E1和E2计算P(H1|S1S2)。先计算后验几率O(H1|S1S2),由于 O(H1)P(H1)0.1 0.1111111 1

34、-P(H1)1-0.1 O(H1|S1)P(H1|S1)0.151125 1-P(H1|S1)1-0.151125 0.1780297 O(H1|S2)P(H1|S2)0.372477 1-P(H1|S2)1-0.372477 0.593567 由此得:O(H1|S1S2)O(H1|S1)O(H1|S2)O(H1)O(H1)O(H1)0.17802970.593567 0.111111 0.9510532 0.111111 0.111111,主观Bayes方法,50,然后计算后验概率P(H1|SlS2),得 P(H1|S1S2)O(H1|S1S2)0.9520532 1+O(H1|S1S2)1

35、.9510532 0.4874563 4根据P(H1|SlS2)计算P(H2|S1S2)由于P(H1|S1S2)0.48745630.1P(H1),所以 P(H2|H1)LSP(H2)65 0.01(LS-1)P(H2)+1 640.01+1 0.3963414P(H2|S1S2)P(H2)P(H2|H1)-P(H2)1-P(H1)P(H1|SlS2)-P(H1)0.01十(0.4874563-0.1)1-0.1 0.1763226,主观Bayes方法,51,5根据P(E3|S3)计算P(H2|S3)。由于P(E3|S3)0.020.03,所以 P(H2|E3)LNP(H2)(LN-1)P(H

36、2)+1 0.00010.01 0.000001-0.99990.1+1P(H2|S3)P(H2|E3)+P(H2)-P(H2|E3)P(E3|S3)P(E3)0.000001十0.02 0.03 0.006667 P(H2),主观Bayes方法,52,P(H|E),P(H|E),P(H),P(H|E),P(E),P(E|E),0,1,P(E3|S3),P(H2|S3),主观Bayes方法,53,6根据独立证据H1和E3计算P(H2|S1S2S3)先计算后验几率O(H2|SlS2S3),由于 O(H2)P(H2)0.01 0.010l0l 1-P(H2)1-0.01 O(H2|S1S2)P(H

37、2|S1S2)1-P(H2|S1S2)0.1763226 0.2140675 0.8236774 O(H2|S3)P(H2|S3)1-P(H2|S3)0.006667 0.00671174 0.993333,主观Bayes方法,54,因此得O(H2|S1S2S3)O(H2|S1S2)O(H2|S3)O(H2)O(H2)O(H2)0.21406750.006711740.010101 0.010101 0.010101 0.142239最后得到后验概率 P(H2|S1S2S3)O(H2|S1S2S3)1+O(H2|S1S2S3)0.142239 0.1245264 1+0.142239以上计算表

38、明,经推理后假设H2的概率已从先验概率0.01增大到后验概率0.1245264。,主观Bayes方法,55,练习设有如下知识:R1:IF A THEN(20,0.1)H1R2:IF H1 THEN(300,0.0001)H2已知结论H1的先验概率P(H1)=0.03,H2的先验概率P(H2)=0.01,当证据A必然发生时,求P(H2|A).0.279,主观Bayes方法,56,练习设有如下知识:R1:IF E1 THEN(20,1)HR2:IF E2 THEN(300,1)H已知结论H的先验概率P(H)=0.03,若证据E1和E2依次出现,按主观贝叶斯方法推理,求H在此条件下的概率P(H|E1

39、,E2).0.9946,主观Bayes方法,57,主观Bayes方法的优点是:1基于Bayes规则的计算方法具有理论基础和易于理解的数学性质,它提供了两个规则强度,恰当地处理了证据存在和不存在两种情况对假设的影响,以及分段线性插值方法较好地处理了主观概率的数学不一致性2该方法的计算工作量适中。,主观Bayes方法,58,主观Bayes方法的缺点是:1要求大量的先验概率(各种假设和推理过程中各级的证据的概率),专家不易给出。另外,由于概率的分派具有主观性,所以在一个系统中很难保证由领域专家给出的概率具有前后的一致性。2要求所有假设的概率都是独立的,这在一个大型的专家系统中,要求把解空间分解为相互

40、排斥的子集可能是不实际的。3在系统中增加或删除一个假设时,要对事件的概率进行修改。为了保证系统的相关性和一致性,还必须重新计算所有的概率。4系统中的先验概率高度地依赖于上下文。例如,某种疾病的发生概率要依赖于地域位置和时间的变化,这给系统的处理带来困难。,主观Bayes方法,59,证据理论又称为Dempster-Shafer理论,其核心是Dempster合成规则。证据理论是经典概率论的一种扩充形式,与贝叶斯概率理论相比,它不但能够处理由于知识不确定引起的不确定性,而且能够处理由不知道引起的不确定性,它能满足比概率论更弱的公理系统,在区分不确定和不知道及精确反映证据收集过程等方面显示了很大的灵活

41、性,因而在人工智能中得到了广泛的应用。在证据理论中,一个样本空间称为一个辨识框架,常用表示,它是关于命题独立的可能答案或假设的一个有限集合,集合中的元素互不相容且构成完备的,即,其中元素 称为 的一个单子(singleton)。的幂集可以表示为,它是的所有子集的集合。证据理论的基本问题就是已知辨识框架,判明中的一个先验的未定元素属于中某一个子集的程度。,4.4 D-S证据理论,60,例如下面的集合都是辨识框架:1=晴天,多云,刮风,下雨 2=感冒,支气管炎,鼻炎 3=红,蓝,黄 4=80,90,100 辨识框架的子集就构成求解问题的各种解答。这些子集也都可以表示为命题。证据理论就是通过定义在这

42、些子集上的几种信度函数,来计算辨识框架中诸子集为真的可信度。例如,在医疗诊断中,病人的所有可能的疾病集合构成辨识框架。证据理论就从该病人的种种症状出发,计算病人患某类疾病(含多种病症并发)的可信程度。,D-S证据理论,61,几个基本定义定义1 设为辨识框架,的幂集构成了命题集合,如果集函数m:20,1满足 和,则称m为上的基本概率赋值函数(Function of Basic Probability Assignment);,m(A)称为A的基本概率赋值数。例4.1 设=a,b,c,其基本概率分配函数为 m(a)=0.4,m(a,b)=0,m(a,c)=0.4,m(a,b,c)=0.2,m(b)

43、=0,m(b,c)=0,m(c)=0可以看出,基本概率分配函数之值并非概率,如 m(a)+m(b)+m(c)=0.41基本概率分配函数值一般由主观给出,一般是某种可信度。所以,概率分配函数也被称为可信度分配函数。,D-S证据理论,62,定义2 设函数,且满足Bel函数称为信任函数(Function of Belief)或下限函数,表示对A的全部信任。由定义可知,。信任函数具有如下性质:(1)信任函数为递增函数,即若,则;(2)。例4.2 由例4.1可得Bel(a,b)=m(a)+m(b)+m(a,b)=0.4,D-S证据理论,63,定义3 设函数,且满足Pl函数称为上限函数或似然函数(Plau

44、sible function),表示不否定A的信任度,即对A非假的信任程度。例4.3 由例4.1和例4.2可知Pl(a,b)=1-Bel(a,b)=1-Bel(c)=1-0=1定义4 设Bel(A)和Pl(A)分别表示A的信任度和似然度,称Bel(A),Pl(A)为关于A的一个信任区间。,D-S证据理论,64,信任区间刻画了对A的所持信任程度的上下限。如:(1)1,1表示A为真(Bel(A)=Pl(A)=1)。(2)0,0表示A为假(Bel(A)=Pl(A)=0)。(3)0,1表示对A完全无知。因为Bel(A)=0,说明对A不信任;而Bel(A)=1-Pl(A)=0,说明对A也不信任。(4)1

45、/2,1/2表示A是否为真是完全不确定的。(5)0.25,0.85表示对A为真信任的程度为0.25;由Bel(A)=1-0.85=0.15表示对A也有一定程度的信任。由上面的讨论,Pl(A)-Bel(A)表示对A不知道的程度,即既非对A不信任又非不信任的那部分。,D-S证据理论,65,定义5 m为基本概率赋值函数:如果m(A)0,则称A为Bel的焦元;信任函数Bel的所有焦元联合称为核;如果Bel的所有焦元皆为原子命题,则Bel就为贝叶斯的。Dempster组合规则定义6 设Bel1和Bel2是同一辨识框架上的两个信任函数,具有基本概率分配函数m1和m2以及核 和,且设那么对于所有基本概率分配

46、的非空集A,由下式定义的 可以计算这两个证据共同作用产生的基本概率分配函数。合成后的信任函数称作Bel1和Bel2的正交和,记为 Bel2。,D-S证据理论,66,对于多个信任函数的合成,设Bel1,Bel2,Beln是同一辨识框架上的信任函数,m1,m2,mn分别是其对应的基本概率分配函数,如果 存在且基本概率分配函数为m,则其中,。k-1可作为各数据源矛盾程度的测度,k-1越大,证据间矛盾越激烈。从上式可以看出,多个证据的结合与次序无关,多个证据的计算可以用两个证据结合的计算递推得到。,D-S证据理论,67,多个证据的组合,D-S证据理论,68,例 设辨识框架=a,b,c,若基于两组不同证

47、据而导出的基本概率分配函数分别为:m1(a)=0.4,m1(a,c)=0.4,m1(a,b,c)=0.2 m2(a)=0.6,m2(a,b,c)=0.4 计算k=1-0=1将m1和m2合并,m(a)=m1(a)m2(a)+m1(a)m2(a,b,c)+m1(a,c)m2(a)+m1(a,b,c)m2(a)=0.76 m(a,c)=m1(a,c)m2(a,b,c)=0.16 m(a,b,c)=m1(a,b,c)m2(a,b,c)=0.08,D-S证据理论,69,练习设样本空间=a,b,c,m1,m2为定义在上的概率分配函数。已知:m1(a)=0.4,m1(b,c)=0.4,m1(a,b,c)=0

48、.2 m2(a)=0.6,m2(a,b,c)=0.4求它们的正交和m1m2,D-S证据理论,70,例:设有规则:(1)如果 流鼻涕 则 感冒但非过敏性鼻炎(0.9)或 过敏性鼻炎但非感冒(0.l)(2)如果 眼发炎 则 感冒但非过敏性鼻炎(0.8)或 过敏性鼻炎但非感冒(0.05)括号中的数字表示规则前提对结论的支持程度。又有事实:(1)小王流鼻涕(0.9)(2)小王眼发炎(0.4)括号中的数字表示事实的可信程度问:小王患什么病?用证据理论求解这一医疗诊断问题。,D-S证据理论,71,解:首先,取辨识框架=h1,h2,h3其中,h1表示“感冒但非过敏性鼻炎”,h2表示“过敏性鼻炎但非感冒”,h

49、3表示“同时得了两种病”。再取下面的基本概率分配函数:m1(h1)=规则前提事实可信度*规则结论可信度=0.9*0.9=0.81m1(h2)=0.9*0.1=0.09m1(h1,h2,h3)=1-m1(h1)-m1(h2)=1-0.81-0.09=0.1m1(A)=0(A为的其他子集)m2(h1)=0.4*0.8=0.32m2(h2)=0.4*0.05=0.02m2(h1,h2,h3)=1-m2(h1)-m2(h2)=1-0.32-0.02=0.66m2(A)=0(A为的其他子集),D-S证据理论,72,将两个概率分配函数合并:k=1/1-m1(h1)m2(h2)+m1(h2)m2(h1)=1

50、.05 m(h1)=km1(h1)m2(h1)+m1(h1)m2(h1,h2,h3)+m1(h1,h2,h3)m2(h1)=0.87 m(h2)=km1(h2)m2(h2)+m1(h2)m2(h1,h2,h3)+m1(h1,h2,h3)m2(h2)=0.066 m(h1,h2,h3)=1-m(h1)-m(h2)=0.064,D-S证据理论,73,由信任函数求信任度:Bel(h1)=m(h1)=0.87 Bel(h2)=m(h2)=0.066由似然函数求似然度:Pl(h1)=1-Bel(h1)=1-Bel(h2,h3)=1-m(h2)+m(h3)=1-0.066+0=0.934 Pl(h2)=1

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号