《作业二贝叶斯估计.docx》由会员分享，可在线阅读，更多相关《作业二贝叶斯估计.docx（5页珍藏版）》请在三一办公上搜索。
1、作业二贝叶斯估计抛掷一枚硬币，假设出现正面的概率为P，出现反面的概率为1-P，参数P是未知的，为了估计参数P的取值，进行10次随机试验，出现了3次正面，7次反面。根据现在获取的试验数据，如何才能估计出参数P？ 1、 极大似然估计的想法和统计物理中导出最概然分布想法是相同，这个想法就是我们所看 到的，就是最可能发生的。以这个想法为基础就能够建立极大似然估计的方法。极大似然估 计包括两个步骤，第一步写出实验数据x发生的概率P(X|q)，概率表示中含有待估的未知参数q；第二步极大化目标函数P(X|q)，使得目标函数P(X|q)取极值的q ，就是参数q的极大似然估计。下面以硬币的问题例具体说明这两个步
2、骤。 第一步写出实验数据x 发生的概率P(X|q)。参数q在硬币问题中指的是出现正面的概率P，实验数据x指的是10次实验中出现了3 次正面和 7 次反面。如果实验中出现 h次正面，t次反面，那么出现该实验结果出现的概率为: P(X|q)=Ph(1-P)t 第二步极大化P(X|q)，得到参数q的极大似然估计q 。由于极大化P(X|q)等价于极大化LogP(X|q)，可以通过求解LogP(X|q)的最大值来简化求解过程。 极值条件为： Logp(x|q)=0 p将Logp(x|q)=hLogp+tLog1-p代入极值条件中得 Logp(x|q)ht=-=0 pp1-p由等式ht-=0可以求解出使得
3、Logp(x|q)最大的参数P p1-pp=h h+t这就是硬币正面出现概率的极大似然估计。将结果代入以上公式，可计算出这枚硬币出现正面的概率为P=3/10。 2、 我们通过极大似然估计得到硬币出现正面的概率是 3/10，但是生活经验告诉我们硬币正反面出现的概率相等都是1/2。到底我们应该相信那个结果呢？一种好的方法就是将生活经验和实验数据两个因素综合在一起考虑，贝叶斯估计很好的做到了这一点。 贝叶斯估计可以分为三个步骤来实现。第一步确定先验，第二步写出似然函数并计算后验，第三步根据后验计算贝叶斯估计。下面通过硬币的例子来说明贝叶斯估计的实现步骤。 第一步 确定先验，我们使用的先验分布是pBe
4、taa,b,Betaa,b具体是这个样子 f(p)=Ga+ba-1p(1-p)b-1 GaGb其中Betaa,b相当于之前已经进行了a+b次抛掷硬币实验，出现了a次正面和b次反面。 第二步 写出似然函数并计算后验， p(q|x)p(q|x)p(q) p(x|q)p(q)=ph(1-p)t添加归一化系数之后就能得到后验分布 Ga+ba-1p(1-p)b-1 GaGbp(q|x)=第三步 根据后验计算贝叶斯估计 Ga+b+h+ta+h-1p(1-p)b+t-1 Ga+hGb+tq=qp(q|x)dq 将后验的具体表达式代入得 p=pGa+b+h+ta+h-1p(1-p)b+t-1dq Ga+hGb
5、+t p=a+ha+b+h+t代入具体数据，a=200，b=200，h=3，t=7。 p=a+h203=0.495 a+b+h+t410我们的先验知识对结果产生了很大的影响，不添加先验时极大似然估计的结果是 p=3/10，添加先验之后，较少的实验数据只对先验做出微小的调整，贝叶斯估计的结果是p = 0.495。可以看出样本较少时先验对结果产生重要的影响，但随着样本量的增加先验的影响逐渐减弱，并且贝叶斯估计的结果趋近极大似然估计的结果。这个结论不仅仅对于硬币问题成立，对于所有的贝叶斯估计，随着样本量的增加先验的影响逐渐减弱，贝叶斯估计趋近极大似然估计。 对以上的讨论做一下总结： 1如果样本量小，先验知识又是可获得的，贝叶斯估计能够将先验知识和样本信息整合起来获得更好的效果。 l 2如果样本量较大，先验产生的作用很小，可以忽略。贝叶斯估计趋近极大似然估计，只反应样本信息。
