《点估计的常用方法.ppt》由会员分享，可在线阅读，更多相关《点估计的常用方法.ppt（14页珍藏版）》请在三一办公上搜索。
1、第二节 点估计的常用方法,矩估计法最大似然估计法,一.矩估计法,矩估计法是英国统计学家K.皮尔逊最早提出来的.,由大数定律,若总体 X 的数学期望 E(X)=有限,则有:,这表明,当样本容量很大时,在统计上,可以用样本k阶原点矩去估计总体k阶原点矩(替换原理).这一事实是矩估计法的理论基础.,1)定义:用样本原点矩估计相应的总体原点矩,又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为矩估计法.,例1:设总体 X 的概率分布律为,解:,求 的矩估计值.,其中 为未知参数。现抽取一组样本,的矩估计值为,例2:设总体 X 在 a,b 上服从均匀分布,a,b未知.,解:,X
2、1,X2,Xn 是来自 X 的样本,试求 a,b的矩估计量.,即:,解得:,总体矩,于是 a,b 的矩估计量为:,样本矩,一般都是这 k 个参数的函数,记为:,从这 k 个方程中解出:,j=1,2,k,那么用诸 i 的估计量 Ai 分别代替上式中的诸i,即可得诸 j 的矩估计量：,矩估计量的观察值称为矩估计值.,2)矩估计法的具体做法如下:,设总体的分布函数中含有 k个未知参数:1,2,k,那么它的前 k 阶矩:1,2,k,i=i(1,2,k),i=1,2,k,j=j(1,2,k),j=1,2,k,I.参数用总体矩来表示,II.样本矩代替总体矩,二.极(最)大似然估计法,它是在总体类型已知条件
3、下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的.,Gauss,Fisher,然而,这个方法常归功于英国统计学家费歇.,费歇在1922年重新发现了该方法,并首先研究了该方法的一些性质.,先看一个简单例子：,一只野兔从前方窜过,只听一声枪响,野兔应声倒下.,某位同学与一位猎人一起外出打猎.,如果要你推测,是谁打中的呢?你会如何想呢?,你就会想,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,这个例子所作的推断已经体现了极大似然法的基本思想.,再如,一袋中有红、白球10个和5个,但不知其中每种颜色的球具体为多少.今从袋中任取一球,结果为白球,由此我们有理由
4、认为袋中有10个白球,5个红球。,1)似然函数(likelihood function)：,定义似然函数为:,设 X1,X2,Xn 是取自总体X 的一个样本,样本的联合密度(连续型)或联合分布律(离散型)为:,这里 x1,x2,xn 是样本的观察值.,L()看作参数 的函数,它可作为 将以多大可能产生样本值 x1,x2,xn 的一种度量.,f(x1,x2,xn;),2)极大似然估计法:就是用使 L()达到最大值的 去估计,称 为 的极大似然估计值.,相应的统计量:,称为 的极大似然估计量.(maximum likelihood estimator),两点说明：,a.求似然函数 L()的最大值点
5、,可以应用微积分中的技巧.ln L()与 L()在 的同一值处达到它的最大值,假定 是一实数,且 ln L()是 的一个可微函数,通过求解方程:,可以得到 的 MLE.,若 是向量,上述方程必须用方程组(求偏导为0)代替.,b.用上述求导方法求参数的 MLE 有时行不通,这时要用极大似然原则来求.,L(p)=f(x1,x2,xn;p),例4:设X1,X2,Xn是取自总体 Xb(1,p)的一个样本,求参数 p的极大似然估计量.,解:似然函数为:,对数似然函数为：,对 p求导并令其为0:,得:,即为 p 的极大似然估计值.,从而 p 的极大似然估计量为:,d.在极大值点的表达式中,用样本值代入就得参数的极大似然估计值.,3)求极大似然估计(MLE)的一般步骤是：,a.由总体分布导出样本的联合分布律(或联合密度);,b.把样本联合分布律(或联合密度)中自变量看成已知常数,而把参数 看作自变量,得到似然函数 L();,c.求似然函数 L()的极大值点(常常转化为求 ln L()的极大值点),即 的MLE;,例5:设总体 XN(,2),2 未知.x1,x2,xn 是来自 X 的样本值,试求,2的极大似然估计量.,似然函数为:,解:,X的概率密度为:,于是:,解得:,2的极大似然估计量为:,令:,作业,习题6-2 1(2);5,
