《贝叶斯决策理论方法研究论文.doc》由会员分享，可在线阅读，更多相关《贝叶斯决策理论方法研究论文.doc（42页珍藏版）》请在三一办公上搜索。
1、论文题目：贝叶斯决策理论方法的研究作者姓名：高 汝 召专业名称：应用数学入学时间： 2003 年 9 月研究方向： 现代统计与随机分析指导教师：刘 福 昇职称： 教授论文提交日期：2006 年月论文答辩日期：2006 年月授予学位日期：STUDY ON BAYESIAN DECISION MAKING THEORYAND METHODSA Dissertation submitted in fulfillment of the requirements of the degree ofMASTER OF SCIENCEfromShandong University of Science and
2、 TechnologybyGao RuzhaoSupervisor: Professor Liu FushengCollege of Information Science and EngineeringMay, 2006声明本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学术机关作鉴定。硕士生签名：日期：AFFIRMATIONI declare that this dissertation, submitted in fulfillment of the requirementsfor the aw
3、ard of Master of Science in Shandong University of Science andTechnology, is wholly my own work unless referenced of acknowledge. Thedocument has not been submitted for qualification at any other academicinstitute.Signature:Date:山东科技大学硕士学位论文摘要摘要本文主要讨论了三个问题：首先是相对于传统的贝叶斯决策理论仅考虑的是单方面的风险，将贝叶斯决策理论应用到需要考虑
4、多个风险的问题中，结合多目标决策理论来处理多风险的问题，提出一种我们称之为贝叶斯多目标决策的理论方法，并且给出最终解的选取方法。其次是相对于传统的贝叶斯决策理论未考虑多人多目标决策的问题，将贝叶斯决策理论应用到多个人参与的多目标决策的问题中，在贝叶斯多目标决策的基础上，提出一种我们称之为贝叶斯多人多目标决策的理论方法，并给出最终解的选取方法。通过这两部分，可以使贝叶斯理论的应用范围更广。最后，将贝叶斯决策理论应用到非线性贝叶斯动态模型中去。一方面这可以使非线性贝叶斯动态模型处理起来简化些，另一方面可以将传统的贝叶斯动态预测模型改造成一个贝叶斯动态决策模型，通过这种模型可以实现预测之后，再实践检
5、验，再决策，再预测，再实践检验，再决策，反复进行，这更加符合人们的实际决策过程。关键词：贝叶斯决策，多目标决策，贝叶斯多目标决策，多人多目标决策，贝叶斯多人多目标决策，非线性贝叶斯动态模型。山东科技大学硕士学位论文摘要AbstractIn this paper,three questions are mainly discussed.First,I developed anew decision making method ,named Bayesian multiple objective decision makingwhich can be applied in the problems
6、 with many risks.The traditional Bayesiandecision making method only takes one risk into account,so it deals with theproblemsthathavemanyrisksinconveniently.Thetraditionalmultipleobjective decision making method can not use the prior information.The newmethod that I developed avoids the shortcomings
7、 which we talk about.Second,anew method named Bayesian many persons multiple objective decision makingmethod was developed by me.Using it, we can deal with the decision makingproblem with many risks and in which many persons take part during theprocess of the decision making.Like the traditional mul
8、tiple objectivedecision making method, the traditional many persons multiple objectivedecision making method also can not use the prior information.Using themethod that I propose can fully utilize the prior information.In the twomethods which we just talk about,I also give several principles about h
9、ow toget the last solution.By using the two methods,the scale where Bayesiandecision making application is expanded.The third is how to use Bayesiandecision making theory to deal with no-linear Bayesian dynamic models.In thissection I make the calculation about the no-linear Bayesian dynamic modelss
10、imple and simultaneously I turn the no-linear Bayesian dynamic forecastingmodels into a no-linear Bayesian dynamic decision making models. With the aidof the models,we can realize that forecasting and decision making carry onalternately.In fact the process of the decision making in my models is more
11、similar to the process that people make decision in practice.Keywords:Bayesian decision making ,multiple objective decision making ,Bayesian multiple objective decision making, many persons multiple objectivedecision making, Bayesian many persons multiple objective decision making,no-linear Bayesian
12、 dynamic models.山东科技大学硕士学位论文摘要山东科技大学硕士学位论文目录目录1绪论 11.11.1贝叶斯理论发展概述 1主要内容 32贝叶斯决策原理和方法42.12.2决策的基本概念及思想 4决策的基本原理62.3 贝叶斯决策方法简介83贝叶斯多目标决策 113.13.2贝叶斯多目标决策方法 11从非劣解集或弱非劣解集中选一个决策的几种准则 134贝叶斯多人多目标决策 174.14.2贝叶斯多人多目标决策方法 17从非劣解集 A1中获得一个最终决策 195用贝叶斯决策理论处理非线性动态模型问题215.15.25.3贝叶斯动态模型的概念 21贝叶斯决策理论在非线性动态模型中的应用
13、 22应用举例 25致谢 31参考文献 32山东科技大学硕士学位论文Contents目录1Introduction 11.11.2The summary of Bayesian theory development1Major content32The Bayesian decision making theory and methods42.12.22.3The basic concept and ideas 4The basic theory of decision making6The introduction of Bayesian decision making 83Bayesian
14、 multiple objective decision making 113.1The method of Bayesian multiple objective decision making 113.2 Rules about decision choice in the noninferior solution set or weak noninferior solution set134Bayesian many persons multiple objective decision making174.1 The method of Bayesian many persons mu
15、ltiple objective decision making174.2Getting a last decision from noninferior solution set A1 195Using Bayesian decision making theory to deal with nolinear dynamicmodels215.1 The concept of nolinear Bayesian dynamic models 215.2 Utilization of Bayesian decision making in nolinear dynamics models225
16、.3 Example 25Acknowledgement 31Reference 32山东科技大学硕士学位论文1 绪论绪论1. 1 贝叶斯理论发展概述贝叶斯统计学是现代统计学的一个重要分支（另一个重要分支是古典统计学，又称频率学派统计学），它根源于十八世纪英国学者托马斯贝叶斯（Thomas Bayes,17021761）在其一篇名为论有关机遇问题的求解1中所提出的著名的贝叶斯公式和一种推理方法。不过,当时它的理论成果并没有引起人们的足够重视，直到他的论文被后人公开发表，并经过拉普拉斯（Laplace）等人的进一步发展，才逐渐形成了统计学中的贝叶斯学派。时至今日，贝叶斯统计学与古典统计学已并驾齐
17、驱，成为当今统计学的两大主流学派。贝叶斯学派的基本观点是：任一未知参数都应当看作随机变量，可以用一个概率分布来描述，并称这个分布为先验分布，它可以代表人们在进行抽样调查前对事件的认识，或说是一种先验信息，这也是它与古典统计学派最初的区别所在。古典统计学派最初不承认先验信息，主张只利用样本信息进行统计推断。如今古典统计学派已承认先验信息，现在争论的焦点是：如何利用各种先验信息来合理的确定先验分布。总体上来说，贝叶斯统计学的发展大体经历了以下几个阶段：1736 年托马斯贝叶斯（Thomas Bayes）提出了重要的贝叶斯定理，1763 年其著作论有关机遇问题的求解被他的朋友 Richard Pri
18、ce 整理发表，贝叶斯理论开始引起人们的重视，这一阶段可以说是贝叶斯理论的奠基阶段。随后，拉普拉斯（Laplace）对它进行了进一步研究，目前以他命名的定理的现代形式实际上归功于拉普拉斯（Laplace）2，拉普拉斯（Laplace）本人不仅重新发现了贝叶斯定理，而且阐述的远比托马斯贝叶斯（Thomas Bayes）清晰。他全心全意的赞成利用贝叶斯公式来进行统计推断，并且用它来解决天体力学，医学统计，甚至法律问题。这一阶段可以说是贝叶斯理论的初步发展阶段。进入上个世纪五十年代，贝叶斯理论得到了充分发展，六、七十年代以来，贝叶斯理论的发展达到了鼎盛时期。许多专家学者致力于贝叶斯理论的研究和应用，
19、力图从不1山东科技大学硕士学位论文绪论同角度对贝叶斯理论进行进一步的探讨和研究，形成了具有多分支的理论系统。目前被承认的现代统计工具应归功于 Jeffreys3、ald4、Savage5、RaiffaSchlaifer6、Lindly7及 Definetti8。他们都做了大量有意义的工作，为建立统一的理论体系和方法论奠定了基础。这一阶段是贝叶斯理论的迅速发展、逐步成熟阶段。贝叶斯动态模型预测理论是贝叶斯统计学理论体系中的一个重要分支，它是英国统计学家 PJHarrison 教授和 CFStevens 教授在英国帝国化学工业公司工作的时候，由于预测突发事件的需要而提出、发展起来的一种有名的预测方
20、法。1976 年，他们在英国皇家统计学会上宣读了论文贝叶斯预测，引起了人们的重视，此后在英、美等国，这个方法的理论研究和应用迅速开展起来了。1989 年，est 和 PJHarrison合著出版了一本贝叶斯预测和动态模型（Bayesian Forecasting and DynamicModels），全面系统地论述了这个理论方法。贝叶斯动态模型及其预测理论具有很广泛的实用性，在通信、控制、经济管理、人工智能、气象等领域获得了广泛应用。我国对贝叶斯理论的研究比较晚，上个世纪八十年代以后开始出现贝叶斯理论的研究群体。我院张孝令教授曾于上个世纪八十年代向 PJHarrison 教授学习这个理论方法，
21、回国后，与我的导师刘福昇教授在这个领域继续研究，做了一些开创性的工作，取得了丰硕的成果9、10，对其在国内的发展产生了积极影响。对于贝叶斯动态模型及其预测理论的研究，主要是针对一个动态线性模型（简称 DLM 模型），研究单变量 DLM 模型、多变量 DLM 模型以及矩阵变量 DLM 模型的预测理论知识，并对贝叶斯决策理论进行研究。贝叶斯决策理论是贝叶斯统计学理论体系中的另一个重要分支。统计决策理论是统计学家ald（19021950）在上个世纪四十年代建立起来的，他在其文章统计决策函数11中系统、详细地论述了统计决策理论。该理论与古典统计学的差别在于是否涉及后果。传统的统计学着重于推断，而不考虑
22、用在何处和效益如何，统计决策理论引入损失函数，用来度量效益大小，评价统计推断结果的优劣。贝叶斯统计推断是统计决策方法的基础之一，通过采样，修正先验概率分布，减少事件的不确定性，进行统计最优决策，因此称这类决策为贝叶斯决策。贝叶斯统计理论与最优决策理论的结合，首先在商业和社会科学中得到了很大的成功，其次是在物理、化学、生物等学科领域得到了广泛的应用，如今其概念和方法在社会许多领域都获得了广泛应用，如在工程技术、管理科学、系统运筹、医疗诊断等领域。贝叶斯决策理论与“控制论”、“信息论”一样成为现代信息控制和系统科学中的一个重2山东科技大学硕士学位论文绪论要分支，并在实际中发挥着不可替代的作用。文献
23、1216给出了许多贝叶斯理论应用的例子。统计学家们将贝叶斯理论与统计决策理论相结合，形成了系统的贝叶斯决策理论。在对贝叶斯决策理论的研究方面，Definetti、Raiffa、Lindly 等都曾经做过大量有意义的、卓有成效的工作，取得了巨大的成就，堪称现代贝叶斯决策分析之父；而在当今，Smith17、Berger18是贝叶斯决策理论的领军人物，对贝叶斯决策理论的完善与发展做出了巨大贡献。我的这篇论文就是在导师的直接指导下，参阅了大量中外文献后，在前人研究的基础上，对贝叶斯决策理论的进一步探讨和研究，将贝叶斯决策理论和多目标决策理论、多人多目标决策理论19、20、21、22相结合（文中分别称之
24、为贝叶斯多目标决策、贝叶斯多人多目标决策），利用贝叶斯决策理论来处理非线性贝叶斯动态模型，进而可以将贝叶斯动态预测模型改造成贝叶斯动态决策模型。1. 2 主要内容为了使读者对本论文的内容有个大致的了解，这里大体介绍一下本文的主要内容。第二章主要介绍了有关贝叶斯决策理论的基本原理、基本概念。并简要回顾了贝叶斯决策的一些基本方法。第三章将贝叶斯理论与多目标决策理论相结合，提出一种贝叶斯多目标决策的基本理论方法，并且给出一些有关贝叶斯决策解的基本的选取原则。第四章将贝叶斯理论与多人多目标决策理论相结合，提出一种贝叶斯多人多目标决策方法的基本理论方法，并且给出一些有关贝叶斯决策解的基本的选取原则。第五
25、章将贝叶斯决策理论应用到非线性贝叶斯动态模型中，主要是引入两个损失函数。这一章的内容，也可以看作贝叶斯动态决策模型理论。其中第三章、第四章在实际中经常遇到这类决策问题；第五章所提到的处理方式很符合人们的实际的预测、决策过程，它采取了一种先预测，然后根据获得信息进行决策，决策完了之后，再试验，再预测，再决策，如此反复进行的方法、步骤。3山东科技大学硕士学位论文贝叶斯决策原理和方法2 贝叶斯决策原理和方法决策问题与人的生活密不可分，可以说生活中处处有决策，处处要决策，小到一个行动方案的决定，大至国家大政方针的制定，都属于决策问题。生活中决策问题如此之多，这就需要我们对其进行一定的探讨。对于一些具有
26、确定性的决策问题，像“货郎担问题”23这类问题，利用数学规划的知识可以很好地解决，但对于具有不确定性的问题，比如根据某产品以前几个月的销售情况，来决定下一个月的生产数量问题，就需要用到统计决策方法，这时贝叶斯决策是一种很好的决策方法。2.1 决策的基本概念及思想决策问题的一般特点是： 1）决策人面临多种行动方案可供选择，即可采取的行动方案不唯一。（2）自然状态具有不确定性，由此导致的行动后果具有不确定性。（3）行动所造成的后果的价值待定。决策问题的基本要素：（1）行动（或策略）集 A，表示决策人可能采取的所有可能行动的集合。用 a 表示其中的任一元素。（2）自然状态集（或称状态空间，参数空间）
27、Q ，表示所有可能的自然状态，影响决策的全过程。q 表示其中任一元素。（3）后果集C（或 U、L），表示决策问题的所有可能后果， C (q , a) 表示在自然状态为 q 时，采取行动 a 所造成的后果。（4）信息集 X，表示我们在进行决策时所掌握的信息，可以包括我们已有的知识、经验等，也可以是我们进行试验或抽样调查的结果。对于后果集，不同的问题有不同的表示方式：定义 2.1.1，报酬：报酬为某个自然状态下采用某个决策后所产生的利润结果。所有报酬的集合称为报酬集，记为 R。由于结果具有不确定性，所以行动的结果通常以 R上某一概率分布的形式出现。令 P 表示所有这些概率分布的集合。定义 2.1.
28、2，效用函数：效用函数是定义在报酬集 R 上的一个实值函数 U (r) ，其中r R 。定义 2.1.3，损失：损失表示在某一自然状态下，采取某一行动的不良后果。4（山东科技大学硕士学位论文贝叶斯决策原理和方法上述关于后果的几种不同表示方式之间具有一定的联系：一旦我们知道了报酬r或效用函数U (r) 。我们可以用 L(q , a) = -U (r )或L(q , a) = -r 来表示损失函数。但是要注意，定义 1 和定义 2 是不同的，详细区别可见24。不过，这几种不同的定义方式不会改变决策论的基本方法、原理。一般，常用的损失函数主要有：（1） 平方误差损失函数： L(q , a) = (q
29、 - a)2 。（2） 线性损失函数：k (q - a)k1 (a - q )若q - a 0若q - a 0k0 , k1为常数它们的选择反映了高估与低估的相对重要性。当 k0 = k 1时，即为：L(q , a) = q - a称为绝对误差损失，当 k0 , k1是q 的函数时，称为加权线性损失。（3）“01”损失：若q Q 0 ， a0 是“正确的”，若q Q 0 ， a1是“正确的”（这对应假设检验： H 0:q Q 0 , H1 :q Q1 ），损失函数为：0 若q QiL(q , ai ) = 1在实践中，更现实的损失是：0 若q Qi若q Q或0 若q QiL(q , ai )
30、= ki j（ i j ）（ i j ）（ i j ）其中， ki或ki (q ) 可以表示决策失误的重要性。定义 2.1.4，贝叶斯期望损失（又称后验风险，见25）：贝叶斯期望损失是指：* *Q其中， p * (q ) 为在进行决策时，基于信息集 X，所得到的关于q 的概率分布（一般称为5L(q,a)=0若qQjL(q,ai)=kij(q)若qQr(p*,a)=EpL(q,a)=L(q,a)dFp(q)山东科技大学硕士学位论文贝叶斯决策原理和方法*定义 2.1.5，决策规则：决策规则 d ( x) 为一个从信息集 X 到行动集 A 的函数，表示根据信息 x 所做的决策。两个决策 d 0 (
31、x) 和 d1 ( x) 认为是相等的 ,若对所有的 q 有P(d 0 ( x) = d1 ( x) = 1。定义 2.1.6，风险函数：决策规则 d ( x ) 的风险函数定义为：R (q ,d ( x) = Eq L(q ,d ( x) = x L(q ,d ( x)dF * (x |q )表示在状态为q ，基于信息 x 采取行动 d ( x ) 所遭受的平均损失。其中， F * ( x | q ) 表示信息 x 在状态为q 时的条件概率分布函数。定义 2.1.7，贝叶斯风险：一个决策规则 d ( x ) 的贝叶斯风险是指：B(p , d ( x) = E p ( R(q ,d ( x)
32、= Q R(q d ( x)dF p (q )这里 F p (q ) 表示关于自然状态q 的最初信息的概率分布函数，故又称为自然状态 q 的先验概率分布。在这里，先验信息的选取对于我们的决策也非常重要，其选取方法主要有：（1） 根据历史资料或相似事件的信息。（2） 理论分析或通过计算机进行模拟。（3） 主观经验。具体方法可见26、27。2.2 决策的基本原理贝叶斯决策迄今为止有两种准则，我们分别对其介绍一下。准则一，贝叶斯期望损失原则（又称后验风险最小化原则）：该原则是指选择一个行动 d 0 ( x) 使定义 2.1.4 中的贝叶斯期望损失达到最小，也就是使后验风险达到最小，若无最小值，可选择
33、使其达到下确界。用数学的语言表示就是选择一个 d 0 ( x) 使得满足：d ( x )A6后验分布，通常可由贝叶斯公式算得），Fp(q)表示与之相对应的分布函数。r(p*,d0(x)=infr(p*,d(x)x,山东科技大学硕士学位论文贝叶斯决策原理和方法文献25主张采用此准则。准则二，贝叶斯风险最小化准则：贝叶斯风险最小化准则是指选择一个行动 d 0 ( x)使定义 2.1.7 中的贝叶斯风险达到最小，若无最小值，可选择其下确界即选择一个 d 0 ( x)使得满足；d ( x)A文献27中采用此准则。实际上，这两种准则所得到的决策问题的解是相等的，即依据这两种准则，我们所做出的决策是一样的
34、。详细讨论可见18、27。在本论文中，我们一直采用准则一。这样，决策的过程就可以分为下面两步；*用图表示即为：初始信息所得信息 xp(q)通常是样本观测值利用贝叶斯公式*根据准则一找出所求 d 0 ( x)图 2.21：贝叶斯决策过程图Figure 2.21, Precess of Bayesian decision making7B(p,d0(x)=infEpR(q,d(x)（1）计算基于信息x的后验分布Fp(q)。（2）将Fp(q)代入准则一中，寻找其最小值或下确界。先验分布F获得后验分布Fp(q)山东科技大学硕士学位论文贝叶斯决策原理和方法2.3 贝叶斯决策方法简介2.3.1，经验贝叶斯
35、（Empirical Bayes，简称 EB）决策经验贝叶斯决策的主要工具是经验贝叶斯方法，该方法由 VonMises 提出28，被Robbins 所广泛发展29、30、31。其基本思想是在已知状态参数向量q = (q1,q2 ,q3 ,L,q p )/ ，各分量之间结构关系的前提下，使用当前抽样数据及有关历史数据对先验分布的一些数字特征进行统计推断。它在未知q 是低维还是高维时，处理问题特别有效。这种方法一般又分为两种：一种是假设 q 的先验分布属于某一含有未知超参数的分布族，通过利用观测数据来估计其中的未知参数，这种方法称为参数经验贝叶斯方法，简称 PEB 方法。另一种方法是典型地假设各q
36、i (i = 1, 2L p) 是相互独立的，直接利用有关数据来估计有关分布，这种方法称为非参数经验贝叶斯方法，简称 NPEB 方法。PEB 方法又可分为可交换意义下的 PEB 方法和一般意义下的 PEB 方法。此外，在文献26中，作者还提出一种加权线性经验贝叶斯方法（WLEB ）。这些方法的具体讨论可见参考文献25、26、32、33。2.3.2，两阶段贝叶斯决策两阶段贝叶斯决策是以先验两阶段确定理论为基础的。在第一阶段，记p1 (q | l )为参数的未知先验分布，其中 l 为一超参数，这儿我们不直接对参数 l 作估计，而是代之以 l 有第二阶段的先验分布 p 2 (l ) ，它可以是一个合
37、适的正常先验，但常常是选择一个合适的无信息先验。类似于经验贝叶斯决策，这种方法也可以分为“可交换”和“一般意义下的”两种情况。当然我们还可以有三阶段、四阶段、贝叶斯决策，但实际上多于两阶段的多阶段贝叶斯决策很少用。这可能是一方面阶段数多了，其误差可能反而会增大，另一方面阶段数越多，计算量越大，处理起来越不方便，会增大成本。详细讨论可见文献26。2.3.3，序贯贝叶斯决策序贯决策是一种多级决策的方法。该决策过程是序贯进行的，类似于序贯概率比检验。它是在每次试验（或抽样观测）之后，进行一次统计推断，看能否决定采取某种行动，若能，则做出决策，否则，则再进行一次试验。因此，序贯决策的目的是在试验次8山东科技大学硕士学位论文贝叶斯决策原理和方法数随机的情况下，尽可能利用较小的样本进行统计推断。序贯贝叶斯决策根据不同情况又分为三种：（1）最佳固定容量的序贯贝叶斯决策实际问题中，增大样本容量可以减少决策损失，但会增大试验费用。这种决策方法就是平衡这两种损失的一种方法，该方法是先引入一个固定样本容量时采取行动 d ( x)的损失函数，同时引入一个相应的贝叶斯风险。这样贝叶斯风险就是行动 d ( x) 和样本容量 n 的函数。若该函数与样本无
