第6章统计决策与贝叶斯推断课件.pptx

上传人:牧羊曲112 文档编号:4095859 上传时间:2023-04-04 格式:PPTX 页数:45 大小:788.62KB
返回 下载 相关 举报
第6章统计决策与贝叶斯推断课件.pptx_第1页
第1页 / 共45页
第6章统计决策与贝叶斯推断课件.pptx_第2页
第2页 / 共45页
第6章统计决策与贝叶斯推断课件.pptx_第3页
第3页 / 共45页
第6章统计决策与贝叶斯推断课件.pptx_第4页
第4页 / 共45页
第6章统计决策与贝叶斯推断课件.pptx_第5页
第5页 / 共45页
点击查看更多>>
资源描述

《第6章统计决策与贝叶斯推断课件.pptx》由会员分享,可在线阅读,更多相关《第6章统计决策与贝叶斯推断课件.pptx(45页珍藏版)》请在三一办公上搜索。

1、统计学家瓦尔德(A.Wald)把关于假设检验和参数估计的经典统计理论加以概括,将不确定意义下的决策科学也包括在统计学范围之内,于1939年创立了统计决策理论,该理论弥补了过去统计理论的缺陷。,统计决策的显著特点是:统计决策建立在统计分析和统计预测的基础 上,是一种定量决策。统计决策是在不确定情况下,应用概率来进行决策的计算和分析,是一种概率决策。,6.1 统计决策,决策问题的三个基本要素,状态集,行动集行动空间,损失函数,依统计决策论的观点,对决策有用的信息,先验信息,样本信息,决策问题的分类,无数据(无样本信息)决策问题,统计决策问题,贝叶斯决策问题,一、基本概念,1、损失函数,描述当未知量

2、处于状态 而采取行动 时所引起的损失,记为,线性损失函数,一、基本概念,2、决策函数,由样本空间 到行动空间 的可测映射 称为决策函数。,3、风险函数,称为决策函数 的风险函数。,设 是一个决策函数,则损失函数 关于样本分布 的数学期望,平均损失愈小,决策函数愈好。,风险函数 描述在未知量处于状态 而采取决策 时所蒙受的平均损失。,二、常用的决策准则,1、一致最优决策准则,则称 为决策函数类 的一致最小风险决策函数,或称为一致最优决策函数。,定义 设 表示定义在样本空间 上取值于行 动空间 的某一决策函数类,若存在一个决 策函数,使得对任意,都有,2、最小最大(Minimax)决策准则,则称

3、为该统计决策问题的最小最大决策函数,相应的风险称为最小最大风险。,定义 对于一个统计决策问题,设 表示定义 在样本空间 上取值于行动空间 的某一决策 函数类。若有决策函数,使得,3、贝叶斯决策准则,先验信息与先验分布,无论是在统计决策问题还是在统计推断问题中总会包含未知量。为了对 作统计决策或者作统计推断,样本信息是必不可少的,因为它包含 的最新信息。除此之外,一些非样本信息也可用于统计决策和统计推断。这些非样本信息主要来源于经验或历史资料。由于此类经验或历史资料大多存在于(获取样本的)试验之前,故称这些非样本信息为先验信息。,统计学中有两个主要学派:经典(频率)学派与贝叶斯学派。经典学派认为

4、 是未知参数;贝叶斯学派认为 是随机变量,应该用一个概率分布去描述 的未知状况。这个概率分布在抽样之前就已存在,它是关于 的先验信息的概率陈述。这个概率分布就称为先验分布,用 来表示。,贝叶斯公式与后验分布,称 为 的后验分布。,先验风险准则与后验风险准则,定义1:在给定的统计决策问题中,设 为决策函数 的风险函数,为 的先验分布,则平均风险,称为决策 的贝叶斯风险。若在决策函数类 中存在,使得,则称 为决策函数类 在贝叶斯(先验)风险准则下的最优决策函数,简称贝叶斯决策函数或贝叶斯解。,定义2:在给定的统计决策问题中,设 为决策函数 的损失函数,为 的后验分布,则条件期望风险,称为决策函数

5、的贝叶斯后验风险。若在决策函数类 中存在,使得,则称 为决策函数类 在贝叶斯后验风险准则下的最优决策函数,或称其为贝叶斯后验型决策函数。,例6.1 一位收藏家拟收购一幅名画,这幅画标价为5000元。若这幅画是真品,则值10000元;若是赝品,则一文不值。此外,买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉,其收益情况如下表,现在,这位收藏家需要决定是买还是不买这幅画?,(1)如果收藏家有以下三种决策可供选择:以概率0.5买下这幅画;:请一位鉴赏家进行鉴定(已知该鉴赏家以概率0.95 识别一幅真画,以概率0.7识别一幅假画),如果鉴赏家鉴定为真品就买下这幅画;:肯定不买那么,什么是这位

6、收藏家的最小最大决策?,(2)如果根据卖画者以往的资料得知,发生的概率为0.75,发生的概率为0.25,那么这位收藏家是否应买下这幅画呢?,(3)在(2)的条件下,这位收藏家为稳妥起见,聘请一位鉴赏家做鉴定。已知鉴赏家以概率0.95识别一幅真画,以概率0.7识别一幅假画。如果鉴赏家说这幅画是真品,那么这位收藏家是否应买下这幅画呢?,这是一个决策问题,状态集,为真品,为赝品,行动集 表示“买”,表示“不买”,损失函数 用矩阵可表示为,统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”,“不该亏而亏损的钱”或者“不该支付而支付的钱”。,解:(1)对,,对,,对,,计算结果表明,收藏家的最小最大

7、决策为,即如果鉴赏家鉴定为真品就买下这幅画,这一决策的最小最大风险为1800元。,(2)由题意知,的先验分布 为:,(3)引入随机变量,由题意知:,的先验分布 为,由贝叶斯公式可得 的后验分布,这样样本空间,行动空间,所以决策函数只有以下4个,这样本值 时,这些决策函数的贝叶斯后验风险分别是:,在 时,这些决策函数的贝叶斯后风险分别是:,可见在贝叶斯风险准则下,是最优决策函数,换言之,当鉴定家说这幅画是真品时,这位收藏家应买下这幅画。下面计算(3)中那些决策函数的贝叶斯风险,先算 的边缘分布:,从而,,由此可见,在贝叶斯风险准则下的最优决策函数仍是,在两种不同风险准则下得出相同的最优决策函数,

8、其理论依据是定理6.1.1.,定理6.1.1 对给定的统计决策问题(含给定的先验分布)和决策函数类,若贝叶斯风险满足条件,则贝叶斯决策函数 与贝叶斯后验型决策函数 等价。,6.2 贝叶斯推断,在经典统计学中,总体 的分布函数用 表示,,其中 表示未知参数,表示参数空间。,改写为,定义6.1 若函数 和 相比仅差一个常数因子,则称 为 的核,记为,例如,贝叶斯学派认为,的后验分布 集先验信息和样本信息于一身,包含了 的所有可供利用的信息,所以有关 的点估计,区间估计和假设检验等统计推断都要基于后验分布来进行。,样本分布 其中 为总体 的条件概率密度。,一、贝叶斯估计,1、点估计,贝叶斯估计量就是

9、贝叶斯决策函数(贝叶斯解),则称 为 的贝叶斯估计量,定理 若损失函数为,且,则 的贝叶斯估计为,其中 为 的后验概率密度。,注:由定理可知,当使用平方损失函数 时,的贝叶斯估计为(或),即 的后验分布的期望,故称这种估计为后验期望 估计。,例1 设总体 的分布为,其中未知量 为随机变量,且,为来自 总体 的样本值,求 的贝叶斯估计。,解:因为 的后验概率密度的核是,所以,的贝叶斯估计为,可见,在样本 的条件下,的条件分布为,条件(1)、(2)表明,D集中了后验概率密度取值尽可能大的点,因此 的最大后验密度可信区间就是在同一可信概率下长度最短的区间。,2、区间估计,定义 设参数 的后验分布为,

10、对给定的样本 和概率,若存在区域D满足下列条件:,(1),例2 设 为来自正态分布 的样本,其中 已知。又设 的先验分布为正态分布,其中 为已知,求 的 可信区间。,解:因为 的后验概率密度,其中,可见 是正态分布,因此对给定的,查得标准正态分布 的上侧分位数,使,于是,的 最大后验可信区间是。,利用后验分布,分别计算假设 与 的后验概率。,3、贝叶斯假设检验,当后验概率比 时接受;当 时拒绝;当 时,则不宜匆忙做判断,需进一步抽样或搜集更多的先验信息。,例3 设从正态总体 中随机地抽取了一个容量为10的样本,算得样本均值,又设 的先验分布为正态分布,现在检验如下假设,解 由例2可知,的后验分

11、布仍为正态分布,且,其中,因而假设 与 的后验概率分别为,两后验概率之比,故拒绝,即认为正态均值大于1。,贝叶斯检验的特点:,(1)简单易行,无需选择检验统计量,确定抽样分布;(2)无需事先给定显著水平,确定检验问题的拒绝域;(3)容易推广到多重假设检验场合。,二、先验分布的选取,从前面的介绍可以看到,贝叶斯推断是基于后验分布的推断,而根据贝叶斯公式,后验分布又有赖于先验分布的选取,选择不同的分布作为 的先验分布将会影响 的后验分布,从而将影响到贝叶斯推断的结果,所以先验分布的选取对于贝叶斯推断是至关重要的。,1、贝叶斯假设,贝叶斯学派认为,如果没有以往的任何信息来确定未知量 的先验分布,那么

12、就用均匀分布作为它的先验分布,这种确定先验分布的原则称为贝叶斯假设。按此原则选取的先验分布也称为无信息先验分布。,2、共轭先验分布,后验分布在贝叶斯推断中起着重要作用,但有时计算后验分布是一件比较复杂的事情。为了能够简便地计算未知量 的后验分布,引入共轭先验分布的概念。,定义 设总体 的分布函数为,样本 对 的条件分布为,即样本分布,的先验分布为,若由 和 决定的后验分布 与 是同一个类型,则称先验分布 为 的共轭先验分布。,寻找共轭先验分布的步骤:,(1)先写出样本分布 似然,,(2)选取与 具有相同核的分布作为先验分布,这个分布往往就是共轭先验分布。,Thanks!,9、有时候读书是一种巧

13、妙地避开思考的方法。23.4.423.4.4Tuesday,April 4,202310、阅读一切好书如同和过去最杰出的人谈话。00:05:5600:05:5600:054/4/2023 12:05:56 AM11、越是没有本领的就越加自命不凡。23.4.400:05:5600:05Apr-234-Apr-2312、越是无能的人,越喜欢挑剔别人的错儿。00:05:5600:05:5600:05Tuesday,April 4,202313、知人者智,自知者明。胜人者有力,自胜者强。23.4.423.4.400:05:5600:05:56April 4,202314、意志坚强的人能把世界放在手中像泥块一样任意揉捏。2023年4月4日星期二上午12时5分56秒00:05:5623.4.415、最具挑战性的挑战莫过于提升自我。2023年4月上午12时5分23.4.400:05April 4,202316、业余生活要有意义,不要越轨。2023年4月4日星期二12时5分56秒00:05:564 April 202317、一个人即使已登上顶峰,也仍要自强不息。上午12时5分56秒上午12时5分00:05:5623.4.4,谢谢观赏 You made my day!,我们,还在路上,

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号