《正态分布均值的贝叶斯估计公式的详细推导.docx》由会员分享，可在线阅读，更多相关《正态分布均值的贝叶斯估计公式的详细推导.docx（11页珍藏版）》请在三一办公上搜索。
1、正态分布均值的贝叶斯估计公式的详细推导正态分布均值的贝叶斯估计： 假设概率密度函数满足正态分布： p(xm):N(m,s2) 2其中方差s已知，均值m未知。假设m的先验概率满足正态分布，即： 2p(m):N(m0,s0) 现有训练样本集合D=x1,L,xn，用贝叶斯估计推导待识别样本x的概率密度。 根据贝叶斯估计理论，在已有训练样本集合D的条件下，x发生的概率密度为： p(xD)=p(xm)p(mD)dm (1) 首先计算pmD，根据贝叶斯公式： ()p(mD)=p(Dm)p(m)p(D)=p(Dm)p(m)p(Dm)p(m)dm其中p(D)= p(Dm)p(m)dm与m及x无关，为常数，令：
2、 11 =p(D)p(Dm)p(m)dma=另外D=x1,L,xn为独立同分布样本，因此： p(mD)=ap(Dm)p(m) =ap(xim)p(m) i=1n=ai=1n111221exp-2(xi-m)exp-2(m-m0) 2ps2ps02s2s0=a(2ps)n1n122exp-2(xi-m)-2(m-m0) 2s02si=12ps0x-2mxi+2m+2m-2m0m+2m sss0s0s0i=1i=1n2i11=aexp-22s2nn212212011=aexp-22s1121nx+mexp-+m-22222s2ssi=100sn2i120m0xi+2m s0i=1n1nm0121n
3、=aexp-2+2m-22xi+2m s0s0si=12s (2) 其中： a=a(2ps)n11，a=aexp-22s2ps0x+2m s0i=1n2i120由(2)式可以看出，pmD是m的二次函数的指数函数，因此pmD满足正态分布，令： ()()p(mD):N(m,s2nn) p(mD)=1 1m-m2psexp-n2n2s n=12psexp-11-m222nmn2m n2sns2m+2 nsn比较(2)式和(3)式，有： 11s2=nns2+s20mns2=1n2xi+m02 nsi=1s0因此： s2n=s2s20ns2+s2 0n 1mn2 m=0s2s20s20sm0ns2xi+
4、 i=1s222=22xi+220ns0+sns0+si=1ns0+s简化符号，令：m1nn=nxi，则有： i=1p(mD):Nns2s222 0ns2+s2mss0n+ns2+s2m0,ns2+2 000s由(4)式可以看出： limns20s2nmn=limnns2mn+22m0=limmn 0+s2ns0+sn lims2nn=limns2s20ns2+s2=0 0因此，当n时最大似然估计与贝叶斯估计相同。 (3) (4) 将(4)式代入(1)式： p(xD)=p(xm)p(mD)dm =1m-m21x-m211nexp-exp-dm 2sn2ps2s2psn1x-m21m-m2n=e
5、xp-dm -2pssn2s2sn121x22xmm2m22mmnmn=exp-+-+dm 2222222pssnsssnsnsn2s1=1222222222exp-s+sm-2sx+smm+sx+smn)()()(nnnn222pssn2ssn1()dm 2222(s2x+s2m)222s2+s2snx+s2mn()sx+sm1nnnnn=exp-exp-m-dm 22222222222ssn(sn+s)2pssn2ssn2ssnsn+ss4x2+2s2xs2m+s4m2-s4x2-s2s2x2-s2s2m2-s4m2nnnnnnnn =f(s,sn)expn22222pssn2ssn(sn+s)1+2s2xs2m-s2s2x2-s2s2m2nnnnn =f(s,sn)exp22222pssn2ssn(sn+s)121x2-2xmn+mn=f(s,sn)exp- 222pssnsn+s211(x-mn)2=f(s,sn)exp- 222pssn2s+sn1222s2+s2sx-smnnnf(s,sn)=exp-m-dm 22222ssnsn+s其中： 为高斯积分，其值得大小只与s,sn有关，与m，x和mn无关。因此pxD为正态分布： 2p(xD):N(mn,sn+s2) ()
