《概率论与数理统计第十七讲.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计第十七讲.ppt（37页珍藏版）》请在三一办公上搜索。
1、概率论与数理统计,基于截尾样本的最大似然估计估计量的评选标准,2,矩法估计的优点是简单易行,并不需要事先知道总体是什么分布.,缺点是，当总体类型已知时，没有 充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.,其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.,3,一、最大似然法,最大似然法是在总体类型已知条件下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的,Gauss,Fisher,然而，这个方法常归功于英国统计学家费歇.,费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质.,最大似然法的基本思想,4,例1 设XB
2、(1,p),p未知.设想我们事先知道p只有两种可能:,问:应如何估计p?,p=0.7 或 p=0.3,如今重复试验3次,得结果:0,0,0.,由概率论的知识,3次试验中出现“1”的次数,k=0,1,2,3,5,将计算结果列表如下：,应如何估计p?,p=0.7 或 p=0.3,p值P(Y=0)P(Y=1)P(Y=2)P(Y=3)0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027,出现,估计,出现,出现,出现,估计,估计,估计,0.343,0.441,0.441,0.343,k=0,1,2,3,6,最大似然估计原理：,当给定样本X1,X2,X
3、n时，定义似然函数为：,设X1,X2,Xn是取自总体X的一个样本，样本的联合密度（连续型）或联合分布律(离散型)为 f(X1,X2,Xn;).,7,似然函数：,最大似然估计法就是用使 达到最 大值的 去估计.,称 为 的最大似然估计（MLE）.,看作参数 的函数，它可作为 将以多大可能产生样本值X1,X2,Xn的一种度量.,8,(4)在最大值点的表达式中,用样本值代入 就得参数的最大似然估计值.,求最大似然估计(MLE)的一般步骤是：,由总体分布导出样本的联合分布律（或 联合密度）;,(2)把样本联合分布律(或联合密度)中自变 量看成已知常数,而把参数 看作变量,得到似然函数L();,(3)求
4、似然函数L()的最大值点(常常转化 为求ln L()的最大值点)，即 的MLE;,9,两点说明：,1、求似然函数L()的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL()与L()在 的同一值处达到它的最大值，假定 是一实数，且lnL()是 的一个可微函数。通过求解所谓“似然方程”：,可以得到 的MLE.,2、用上述求导方法求参数的MLE有时行不通，这时要用最大似然原则来求.,10,L(p)=,例1 设X1,X2,Xn是取自总体 Xb(1,p)的一个样本，求参数p的最大似然估计量.,解：似然函数为:,11,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE
5、.,12,解：似然函数为,对数似然函数为,例2 设X1,X2,Xn是取自总体X的一个样本,求 的最大似然估计.,其中 0,13,求导并令其为0,=0,解得,即为 的MLE.,对数似然函数为,14,解：似然函数为,i=1,2,n,15,对数似然函数为,解：似然函数为,i=1,2,n,16,=0(2),由(1)得,=0(1),对 分别求偏导并令其为0,对数似然函数为,17,即,对,使 达到最大的 即 的MLE，,于是,取其它值时，,且是 的增函数,由于,18,第二次捕出的有记号的鱼数X是r.v,X具有超几何分布：,为了估计湖中的鱼数N，第一次捕上r条鱼，做上记号后放回.隔一段时间后,再捕出S条鱼,
6、结果发现这S条鱼中有k条标有记号.根据这个信息，如何估计湖中的鱼数呢？,我们用最大似然法估计湖中的鱼数.,19,应取使L(N;k)达到最大的N，作为N的最大似然估计.但用对N求导的方法相当困难,我们考虑比值：,把上式右端看作N的函数，记作L(N;k).,经过简单的计算知，这个比值大于或小于1，,20,经过简单的计算知，这个比值大于或小于1，,这就是说，当N增大时，序列P(X=k;N)先是上升而后下降;当N为小于 的最大整数时,达到最大值.故N的最大似然估计为,捕鱼问题,21,二、基于截尾样本的最大似然估计,研究产品可靠性时，需对寿命分布进行统计推断.,完全试验完全样本,非完全试验截尾寿命试验,
7、定数截尾试验,定时截尾试验,22,对定数截尾样本，取似然函数为,设产品的寿命分布是指数分布，概率密度为,其中,23,对定时截尾样本，取似然函数为,其中,24,三、估计量的优良性准则,评价一个估计量的好坏，不能仅仅依 据一次试验的结果，而必须由多次试验结 果来衡量.,因为估计量是样本的函数，是随机变量.,不同的观测结果，会求得不同的参数估计值.,一个好的估计，应在多次试验中体现出优良性.,25,估计量是随机变量，对于不同的样本值会得到不同的估计值.我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值.这就导致无偏性这个标准.,1无偏性,则称 为 的无偏估计量.,常用的标准：,1无
8、偏性,2有效性,3相合性,26,是总体X 的样本,证明:不论 X 服从什么分布,证,因而,由于,27,特别地,是总体期望 E(X)的,样本均值,无偏估计量,28,例3 设总体 X 的密度函数为,为常数,为 X 的一个样本,证,故,是 的无偏估计量.,29,令,即,故 n Z 是 的无偏估计量.,30,都是总体参数 的无偏估计量,且,则称 比 更有效.,2.有效性,无偏性的实际意义是指没有系统性的偏差.,无偏性是对估计量的一个常见而重要的要求.,31,是 的无偏估计量,问哪个估计量更有效？,由例4可知,与 都,为常数,例4 设总体 X 的密度函数为,解，,32,例5 设总体 X，且 E(X)=,D(X)=2,为总体 X 的一个样本,证(1),(1)设常数,33,(2),而,34,例如 X N(,2),(X 1,X 2)是一样本.,都是 的无偏估计量,35,定义 设 是总体参数,的估计量.若对于任意的,当n 时,3.一致性,依概率收敛于,即,一致性估计量仅在样本容量 n 足够大时,才显示其优越性.,36,关于一致性的两个常用结论,1.样本 k 阶矩是总体 k 阶矩的一致估计量.,是 的一致估计量.,矩法得到的估计量一般为一致估计量,在一定条件下,极大似然估计具有一致性,2.设 是 的无偏估计 量,且,则,37,课间休息,
