第53 54节贝叶斯网络和主观贝叶斯方法课件.ppt

资源描述

《第53 54节贝叶斯网络和主观贝叶斯方法课件.ppt》由会员分享，可在线阅读，更多相关《第53 54节贝叶斯网络和主观贝叶斯方法课件.ppt（76页珍藏版）》请在三一办公上搜索。

1、第5.3节贝叶斯网络,王庆江计算机科学与技术系,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,勘误,P173页关于图5.4的CPT有误。P175页倒数第3行，“对于S、L和E”应为“对于S，L和E”。P178页第1行，“具有以上3个属性之一”应为“同时具有以上3个属性”。P178页14行，“结点E阻塞了结点C和”应为“结点S阻塞了结点C和”。P178页16行，“而对于给定结点E、S和L之间”应为“而对于给定结点E，S和L之间” 。P180页15行，“P(S|C)”应为“P(S|C)”。,注：新印刷的可能已纠正。,2008-2009学年第1学期,第5.1-5.

2、2节贝叶斯网络和主观贝叶斯方法,贝叶斯网络（Bayesian Network）有坚实的数学理论基础；采用概率形式的不确定性表示和推理；20世纪80年代，成功应用于专家系统。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,5.3.1 贝叶斯网络的基本概念,有向无环图Directed Acyclic Graph，缩写DAG；可用于表示因果关系网。结点代表证据或结论，权代表证据或结论的不确定度；弧代表规则（即因果关系），权代表规则的不确定度。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,Condition Probability

3、 Table，缩写CPT；对于所有父结点的每种指派，确定子结点的发生概率。例：CPT包括P(C|A,B), P(C|A, B), P(C|A,B), P(C|A, B)P(A), P(B),条件概率表,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,贝叶斯网络的构造方法确定包含哪些结点；建立反映条件独立的有向无环图；指派局部概率分布，即CPT。如果CPT包含了足够的条件概率，可以计算出任何联合概率，则称此网络是可计算的（即可推理的）。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,因果关系网的示例,结点及其解释S (Smoker

4、)：该患者为吸烟者C (Coal miner)：该患者是煤矿工人L (Lung cancer)：他患了肺癌E (Emphysema)：他患了肺气肿因果关系S可能导致L和EC可能导致E 。,因果关系从哪里得来呢？,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,贝叶斯网络,是结点间增加连接强度的因果关系网。连接强度用条件概率表示；例：P(B|A)为A到B的连接强度；例：P(B|AC)表示A、C对B的联合作用。CPT除了包含上述条件概率，还包括顶点（即无父结点的结点）的无条件概率（即先验概率）。贝叶斯网络 = 网络结构 + CPT,注：贝叶斯网络不允许包含循环因果关

5、系！,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,一般，父结点发生或不发生的所有组合都要给出。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,条件独立,有结点A、B和C，若 P(A|BC) = P(A|B)，则称A和C在B条件下独立、A在B条件下独立于C，或A和C关于B独立。所谓“关于B”，有时是给定B的不确定度，有时是完全不知道B的不确定度。“条件独立” 是贝叶斯网络中隐含的断言（assertion）、假设（assumption），贝叶斯网络就

6、是一个表示条件独立关系的图模型。实际中，若已知A在B条件下独立于C，则P(A|BC) = P(A|B)。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,事件独立与贝叶斯网络中的条件独立,事件独立若P(AB)=P(A)P(B)，则A与B相互独立。性质2：若A与B独立，且P(B)0，则P(A|B)=P(A)。 P(A|B)=P(AB)/P(B)=P(A)P(B)/P(B)独立和互斥不一会儿事！若AB=，则A与B互斥，有P(AB) = P(A) + P(B)P(A)0，P(B)0，若AB=，则P(AB)=0，A与B互斥但不相互独立；与任何事件独立，但与任何事件不互斥

8、08-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,贝叶斯网络隐含着哪些条件独立断言？,串行连接A通过B影响C；C通过B影响A；如果给定B，则A和C互不影响，这时称A和C关于B条件独立。,注：所谓“影响”与箭头方向无关。,条件独立断言是合理的,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,分叉连接如果给定A，没有信息可经由A传递给A的子结点，即给定A时，A的子结点之间相互独立，称子结点B、C、F关于A条件独立。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,汇集连接多个原因（causes）有一个共同结果

9、（effect）。对结果一无所知时，原因之间条件独立。当结果或其某个子孙已知，父结点之间就不再独立了。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,汇集连接的解释,A和B有共同的结果C；在有向图中，结点C称为冲突子（collider）；不给定C时，A和B之间是相互独立的；给定C时， A和B之间就不再独立了。,David Papineau于1985年发现了给定冲突子时父结点之间的因果联系。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,摘自http:/www.cs.mcgill.ca/mgendr12/COMP526/docs

10、/lecture3.pdf,Head-to-tailTail-to-tailHead-to-head,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,定义：Vi 和Vj被Vb 阻塞,给定结点集，Vi 和Vj 的每个无向路经都有结点Vb，如果 Vb ，且路径上两条弧都以Vb为尾； Vb，且路径上一条弧以Vb 为尾，一条以Vb为头； Vb及其后继都不属于，且路径上两条弧都以Vb为头。称Vi 和Vj 被Vb 阻塞。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,定义：一条路径的阻塞,给定证据集，当上述任一条件满足时，Vb 阻塞相应的那

20、2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,方法二：P(R|G)= P(G|S,R)P(S|R) + P(G|S,R)P(S|R)P(R)/P(G)= 0.990.01 + 0.80.99 0.2 / P(G)= 0.16038 / P(G)P(R|G)= P(G|S,R)P(S|R) + P(G|S,R)P(S|R)P(R)/P(G)= 0.90.4 + 0.00.6 0.8 / P(G)= 0.288 / P(G)由P(R|G) + P(R|G) = 1，得P(G) = 0.44838 P(R|G) = 0.16038 / 0.44838 = 0.357

21、69,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,作业,5.15,第5.4节主观贝叶斯方法,王庆江计算机科学与技术系,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,勘误,P182页15行，LS表达式中缺少一个等号。P188页第2行，“(300*0.02+1)”应为“(3001)*0.02+1)”。P203页图5.15，E1和E2，应分别为T1和T2。,注：新印刷的可能已纠正。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,主观贝叶斯方法1976年，R. O. Duda等提出;用于地矿勘测系

22、统PROSPECTOR;仍断言因果关系网络蕴含条件独立；引入LS、LN两个因子，分别表示规则成立的充分性和必要性程度。而不是用P(xi|pai)表示连接强度，pai表示xi的父结点集。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,规则的不确定性,规则：AB由贝叶斯定理，A发生后B发生的概率为B不发生的概率为两式相除得,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,充分性因子LS, 先验几率、后验几率分别定义为由定义LS，使得,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,LS的含义,LS表

23、示A真对B的影响程度。LS = 时，P(B|A)=0，P(B|A)=1。说明A对于B是逻辑充分的，即规则成立是充分的。 LS称作充分似然率因子。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,LS的含义（续）,LS = 1，O(B|A) = O(B)，A对B无影响可推得P(B) = P(B|A)，即B独立于A。LS 1，O(B|A) O(B)，A支持B可推得P(B) P(B|A)，即A发生降低了B发生的概率。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,必要性因子LN,规则：AB由贝叶斯定理，A不发生时B发生的概率为B不发生

24、的概率为两式相除得,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法, 先验几率、后验几率分别为且得,必要似然率因子LN,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,LN的含义,LN表示A假（即不存在）对B的影响程度。LN = 0时，P(B|A)=0。说明A对于B是逻辑必要的，即规则成立的必要性。 LN称作必要似然率因子。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,LN的含义（续）,LN表示A不存在对B发生的影响度LN = 1，O(B|A) = O(B)，A对B无影响可推得P(B) = P

25、(B|A)，即B独立于 A。LN 1，O(B|A) O(B)，A支持B可推得P(B) P(B|A),2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,LS、LN的关系,LN0，LS0，且LN和LS彼此不独立。证明：理论上LS1, LN1;LS = LN = 1,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,LS和LN的取值与证据的关系,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,专家给出的LS和LN,专家对证据的观察是重要的，而缺少证据是不重要的。 LS1且LN=1是合理的。这时，只能说贝叶斯

26、定理是不适合的。LS、LN表明了先验几率到后验几率有多大的变化（这正好适合专家意见的表达）。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,指定LS、LN的示例,例：“如果有石英矿，则必有钾矿带”。LS=300,LN=0.2。这意味着：发现石英矿，对判断发现钾矿带非常有利。而没有发现石英矿，并不暗示一定没有钾矿带。如果 LN 1，则没有发现石英矿时，强烈暗示钾矿带不存在。例：“如果有玻璃褐铁矿，则有最佳矿产结构”。这里，LS=1000000，LN=0.01。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,5.4.2 证据的不

27、确定性,LS和LN可描述规则成立的充分性和必要性；证据或中间结论的不确定度仍用几率表示；由几率也可计算概率。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,证据A必然出现或不出现，结论的后验几率怎么计算?根据规则的充分性或必然性因子求B的后验几率；O(B|A) = LS O(B)O(B|A) = LN O(B)还可以进一步求得后验概率。,5.4.3 主观贝叶斯的推理计算,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,P(A) 1或0找出对A产生影响的肯定发生或肯定不发生的所有证据，组成集合A。计算O(B|A)。,A不确定，怎样

28、计算B的后验几率呢？,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,1976年Duda给出的计算方法,P(B|A) = P(B|A)P(A|A) + P(B|A)P(A|A)怎么解释呢？合理吗？,给定A时，B独立于A,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,P(B|A) = P(B|A)P(A|A) + P(B| A)P( A|A),P(A|A) = 1时，则P(B|A)=P(B|A)。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,P(B|A) = P(B|A)P(A|A) + P(B

29、| A)P( A|A),P(A|A) = 0时，则P(B|A)=P(B|A)。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,P(B|A) = P(B|A)P(A|A) + P(B| A)P( A|A),P(A|A)=P(A)时，则P(B|A)=P(B)。A对A无影响，对B也无影响。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,A与A存在上述特殊关系时，P(B|A)的计算方法,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,A与A存在其他不确定关系时，P(B|A)该怎样计算呢？,线性插值,20

30、08-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,Duda公式的使用,当不知道证据A的不确定度时，从A向前看，找出BAA中的A；如果A的不确定度未知，继续向前找。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,证据的合成,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,证据组合,聪明(A1)而且努力(A2)，则考上大学(B)。已知O(A1)和O(A2)，可计算O(B|A1)和O(B|A2)，但怎样计算O(B|A1A2)？,两个规则同时激活，怎样计算结果的后验几率,2008-2009学年第1学期,第5.1

31、-5.2节贝叶斯网络和主观贝叶斯方法,假设A1和A2相互独立，,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,主观贝叶斯推理需要知道什么？,初始证据都是必然发生或必然不发生的；所有中间结论或最后结论的先验概率都是已知的；所有规则的LS和LN都是已知的。对于发生的初始证据，只需知道LS；对于没发生的初始证据，只需知道LN。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,例5.1：已知P(A)=1，P(B1)=0.04，P(B2)=0.02，R1:AB1，LS1=20, LN1=1；R2:B1B2，LS2=300, LN2=0.

33、08-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,例5.2：已知A1和A2必然发生，且P(B)=0.03，R1: A1B，LS1=20，LN1=1，R2:A2B，LS2=300，LN2=1，计算B的更新值。,解法一：P(B) = 0.03O(B) = P(B) / (1 P(B) = 0.0309O(B|A1)=LS1 O(B) =20 0.0309=0.619P(B|A1) = O(B|A1) / (1 + O(B|A1) = 0.382O(B|A1A2) = LS2 O(B|A1) =185.565P(B|A1A2) = 185.565 / (1 + 185.56

34、5)=0.99464B 的概率由 0.03 更新为 0.99464。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,解法二：P(B) = 0.03O(B) = P(B) / (1 P(B) = 0.0309O(B|A1A2) = LS1 LS2 O(B|A1) =20 300 0.0309 = 185.4P(B|A1A2) = 185.4 / (1 + 185.4)=0.99464B 的概率由 0.03 更新为 0.99464。,这里内在地假设：A1、A2相互独立。,例5.2：已知A1和A2必然发生，且P(B)=0.03，R1: A1B，LS1=20，LN1=

35、1，R2:A2B，LS2=300，LN2=1，计算B的更新值。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,例5.3：已知A必然发生，且P(B1)=0.03，P(B2)=0.01, R1:AB1，LS1=20，LN1=1；R2:B1B2，LS2=300，LN2=0.0001，计算B2的更新值,解：P(B1) = 0.03；O(B1) = P(B1) / (1 P(B1) = 0.0309O(B1|A) = LS1 O(B1) = 20 0.0309 = 0.619P(B1|A) = O(B1|A) / (1 + O(B1|A) = 0.382 P(B1|A)

37、和LN，但概率往往难以准确获得，故一般由专家给出。,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,思考题,5.15.25.4作业5.9（图5.15中的E1和E2，应分别为T1和T2）,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,习题5.9,S1、S2、S3都必然发生；P(F1|S1) = 0.7P(F2|S2) = 0.6P(T2|S3) = 0.02P(F1) = 0.2P(F2) = 0.4P(T1) = 0.1P(T2) = 0.03P(H) = 0.01求P(H|S1S2S3),2008-2009学年第1学期,第5.

39、,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,根据证据合成（见P187），及O(T1) = P(T1) / (1 P(T1) = 0.1 / (1 0.1)= 0.1111,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法, P(T1| S1, S2) P(T1) 假设P(T1|S1, S2)=1，计算根据插值法，有,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法, P(T2|S3) P(T2) 假设P(T2|S3)=0，计算根据插值法，有,2008-2009学年第1学期,第5.1-5.2节贝叶斯网络和主观贝叶斯方法,根据证据合成（见P187）,

展开阅读全文

第53 54节 贝叶斯网络和主观贝叶斯方法课件.ppt

第53 54节贝叶斯网络和主观贝叶斯方法课件.ppt