《先验分布和后验分布.PPT》由会员分享，可在线阅读，更多相关《先验分布和后验分布.PPT（64页珍藏版）》请在三一办公上搜索。
1、一、先验分布和后验分布,二、共轭先验分布,三、贝叶斯风险,第3.2节贝叶斯估计,四、贝叶斯估计,一、先验分布与后验分布,上一章提出用风险函数衡量决策函数的好坏，但是由于风险函数为二元函数，很难进行全面比较。贝叶斯通过引入先验分布，给出了整体比较 的指标.,1、先验信息,在抽取样本之前，人们对所要估计的未知参数所了解的信息，通常称为先验信息.,例1(p84例3.6),某学生通过物理试验来确定当地,的重力加速度，测得的数据为(m/s):,9.80,9.79,9.78,6.81,6.80,试求当地的重力加速度.,解,用样本均值估计其重力加速度应该是合理的，即,由经验可知，此结果是不符合事实的。在估计
2、之前我们知道，重力加速度应该在9.80附近，即,这个信息就是重力加速度的先验信息.,在统计学中，先验信息可以更好的帮助人们解决统计决策问题.贝叶斯将此思想应用于统计决策中，形成了完整的贝叶斯统计方法.,2、先验分布,对未知参数的先验信息用一个分布形式()来表示，此分布()称为未知参数的先验分布.,例如,例1中重力加速度的先验分布为,3、后验分布,在抽取样本之前，人们对未知参数有个了解，即先验分布。抽取样本之后，由于样本中包含未知参数的信息，而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。,而样本值是在知道的先验分布的前提下得到的，因而上述分布可以改写为,由此可以得到,例2(p86
3、例3.7),为了提高某产品的质量，公司经理,考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果来看，顾问们提出两种不同的意见：,经理根据以往的经验，两个顾问建议可信度分别为,这两个概率是经理的主观判断（也就是先验概率），为了得到更准确的信息，经理决定进行小规模的试验，实验结果如下：,A：试制5个产品，全是正品，,由此可以得到条件分布：,由全概率公式可以得到：,其后验概率为：,显然经理对二位顾问的看法已经做了修改，为了得到更准确的信息，经理又做了一次试验，结果为,B：试制10个产品，9个是正品，,由此可见后验分布更能准确描述事情真相.,二、共轭先验分布,为了使得后验分布计算简单，为此引
4、入共轭先验分布.,定义3.5,注,共轭分布族总是针对分布中的某个参数而言的.,1、共轭分布族,2、后验分布核,由上一小节内容可知，后验分布为,可以看出，m(x)不依赖于参数,因而参数的后验分布可以写为如下等价形式：,3、共轭先验分布族的构造方法,共轭先验分布族共有两种构造方法.,第一种方法,首先计算似然函数q(x|),根据似然,函数所含的因式情况，选取与似然函数具有相同核的分布作为先验分布.,例3(p88例3.8),哪一个分布具有上述核？结论是倒分布，这是因为分布的密度函数为,此分布密度为倒分布的密度函数,设 的先验分布为倒分布，即,则 的后验分布为,显然此分布仍为倒分布，即先验分布与后验分布
5、都为倒分布，因而倒分布是 的共轭先验分布族.,例3(p88例4.9),哪一个分布具有上述核？结论是分布，这是因为分布的密度函数为,设的先验分布为分布，即,则的后验分布为,显然此分布是分布的核，因而分布是的共轭先验分布族.经计算可知,第二种方法,设总体X的分布密度为p(x|),统计量,定理3.1,则,是共轭先验分布族，其中,例4(p89例3.10),解,其似然函数为,显然此共轭分布族为分布的子族，因而，两点分布的共轭先验分布族为分布.,常见共轭先验分布,三、贝叶斯风险,由第一小节内容可知，给定损失函数以后，风险函数定义为,此积分仍为的函数，在给定的先验分布()时，定义,为决策函数d在给定先验分布
6、()下的贝叶斯风险，简称为d的贝叶斯风险.,1、贝叶斯风险的定义,2、贝叶斯风险的计算,当X与都是连续性随机变量时，贝叶斯风险为,当X与都是离散型随机变量时，贝叶斯风险为,注,由上述计算可以看出，贝叶斯风险为计算两次期望值得到,即,此风险大小只与决策函数d有关，而不再依赖参数.因此以此来衡量决策函数优良性更合理,四、贝叶斯估计,1、贝叶斯点估计,定义3.6,若总体X的分布函数F(x,)中参数为随机,变量，()为的先验分布，若决策函数类D中存在,一个决策函数使得对决策函数类中的任一决策函数,均有,注,1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数.,2、不同的先验分布，对应不同的贝叶斯估计,2
7、、贝叶斯点估计的计算,平方损失下的贝叶斯估计,定理3.2,设的先验分布为()和损失函数为,则的贝叶斯估计为,证,首先对贝叶斯风险做变换,又因为,又因为,则,因而,定理3.3,设的先验分布为()和损失函数为加权平方损失,则的贝叶斯估计为,证明略，此证明定理3.2的证明类似.,定理3.4,设参数为随机向量，先验分布为()和损失函数为二次损失函数,注,其中Q为正定矩阵，则的贝叶斯估计为后验分布h(|x)的均值向量，即,定理表明，正定二次损失下，的贝叶斯估计不受正定矩阵Q的选取干扰，表现出其稳健性.,证,在二次损失下，任一个决策函数向量d(x)=,其中第二项为常数，而第一项非负，因而只需当,定义3.7
8、,设d=d(x)为决策函数类D中任一决策函数，,损失函数为L(,d(x),则L(,d(x),对后验分布h(|x)的,数学期望称为后验风险，记为,注,如果存在一个决策函数，使得,则称此决策为后验风险准则下的最优决策函数，或称为贝叶斯（后验型）决策函数。,定理3.5,对给定的统计决策问题(包含先验分布给,定的情形）和决策函数类D,当贝叶斯风险满足如下条,件：,定理表明：如果决策函数使得贝叶斯风险最小，此决策函数也使得后验风险最小，反之，也成立.,证明从略,定理3.6,设的先验分布为()和损失函数为,证,则的贝叶斯估计为,设m为h(|x)的中位数，又设d=d(x)为的另一,估计，为确定期间，先设dm
9、,由绝对损失函数的定义可得,又由于,则,由于m是中位数，因而,则有,于是，当dm时,同理可证，当dm时,因而,定理3.7,设的先验分布为()和损失函数为,则的贝叶斯估计为,证,首先计算任一决策函数d(x)的后验风险,为了得到R(d|x)的极小值，关于等式两边求导：,即,则,例5(p94 例3.11),设总体X服从两点分布B(1,p),其中参数p未知，而p在0,1上服从均匀分布，样本,试求参数p的贝叶斯估计与贝叶斯风险?,解,平方损失下的贝叶斯估计为：,而,其贝叶斯风险为,又因为,则,所以,例6(p96 例3.12),设总体X服从正态分布N(,1),其中参数未知，而服从标准正态布在N(0,1)，
10、样本,试求参数的贝叶斯估计?,解,平方损失下的贝叶斯估计为：,而,化简得,例7(p97 例3.13),设总体X服从均匀分布U(0,),其中参数未知，而服从pareto分布，其分布函数与密度函数分别为,试求参数的贝叶斯估计?,解,根据定理3.6可知，绝对值损失对应的贝叶斯估计为后验分布的中位数,即,则,根据定理3.4可知，平方损失对应的贝叶斯估计为后验分布的均值,即,例8(p97 例3.14),设总体X服从伽玛分布(r,),试求参数的贝叶斯估计?,解,3、贝叶斯估计的误差,在计算的估计时，用到了的后验分布，因此考察估计值与真实值之间的误差时，也应考虑的后验分布，误差定义如下：,定义3.8,参数的
11、后验分布为h(|x),其贝叶斯估计,后验均方差与后验方差的关系,后验均方差与后验方差的优点,1、二者只依赖与样本，不依赖参数.,2、二者的计算不依赖与统计量的分布，即抽样分布,3、贝叶斯估计不考虑无偏性，因为贝叶斯估计只考虑出现的样本，不考虑没出现的样本.,4、贝叶斯区间估计,定义,定义,定义3.9,设参数的后验分布为h(|x)，对给定的,注,贝叶斯置信区间依赖于先验分布，不需要抽样分布，计算相对简单.,正态分布均值的贝叶斯置信区间,例9(p100例3.15),解,首先计算参数的后验分布,由此可见,于是可得,置信区间为,例10(p101例3.16),对某儿童进行智力测验，设测验,结果服从N(,100),其中为心理学中儿童的智商，的,先验分布为N(100,225),试求的置信为0.95的贝叶斯,置信区间.,解,将相关数据代入上述置信区间公式可得：的,置信度为0.95的置信区间为,94.07,126.69,而用表3.2（不用先验分布）可得的置信度为0.95的,置信区间为,95.4,134.6,再 见,
