《概率论与数理统计第七章-参数估计.doc》由会员分享，可在线阅读，更多相关《概率论与数理统计第七章-参数估计.doc（16页珍藏版）》请在三一办公上搜索。
1、第七章 参数估计参数估计是数理统计研究的主要问题之一.假设总体XN（，2），2是未知参数，X1，X2，Xn是来自X的样本，样本值是x1，x2，xn，我们要由样本值来确定和2的估计值，这就是参数估计问题，参数估计分为点估计（Point estimation）和区间估计(Interval estimation).第一节 点估计所谓点估计是指把总体的未知参数估计为某个确定的值或在某个确定的点上，故点估计又称为定值估计.定义7.1 设总体X的分布函数为F（x，），是未知参数，X1，X2，Xn是X的一样本，样本值为x1，x2，xn，构造一个统计量（X1，X2，Xn），用它的观察值（x1，x2，xn）作为
2、的估计值，这种问题称为点估计问题.习惯上称随机变量（X1，X2，Xn）为的估计量,称（x1，x2，xn）为的估计值.构造估计量（X1，X2，Xn）的方法很多，下面仅介绍矩法和极大似然估计法.1.矩法矩法（Moment method of estimation）是一种古老的估计方法.它是由英国统计学家皮尔逊（K.Pearson）于1894年首创的.它虽然古老，但目前仍常用.矩法估计的一般原则是：用样本矩作为总体矩的估计，若不够良好，再作适当调整.矩法的一般作法：设总体XF（X；1,2，l）其中1,2,l均未知.（1） 如果总体X的k阶矩k=E(Xk) (1kl)均存在，则k=k(1,2,l)，（
3、1kl）.(2) 令其中Ak（1kl）为样本k阶矩.求出方程组的解我们称为参数k(1kl)的矩估计量, 为参数k的矩估计值.例7.1 设总体X的密度函数为：f（x）=其中未知，样本为（X1，X2，Xn），求参数的矩法估计.解 A1=.由1=A1及1=E（X）=，有，得.例7.2 设XN（，2），2未知，试用矩法对，2进行估计.解又 E(X)=, E(X2)=D(X)+(EX)2=2+2,那么 .例7.3 在某班期末数学考试成绩中随机抽取9人的成绩.结果如下：序号1 2 3 4 5 6 7 8 9分数94 89 85 78 75 71 65 63 55试求该班数学成绩的平均分数、标准差的矩估计值
4、.解 设X为该班数学成绩，=E（X）,2=D（X）=75;=12.14.由于E（X2）=D（X）+（EX）2=2+2，那么，所以，该班数学成绩的平均分数的矩估计值=75分，标准差的矩估计值=12.14.作矩法估计时无需知道总体的概率分布，只要知道总体矩即可.但矩法估计量有时不惟一，如总体X服从参数为的泊松分布时，和B2都是参数的矩法估计.2.极（最）大似然估计法极大似然估计法(Maximum likelihood estimation)只能在已知总体分布的前提下进行，为了对它的思想有所了解，我们先看一个例子.例7.4 假定一个盒子里装有许多大小相同的黑球和白球，并且假定它们的数目之比为31，但
5、不知是白球多还是黑球多，现在有放回地从盒中抽了3个球，试根据所抽3个球中黑球的数目确定是白球多还是黑球多.解 设所抽3个球中黑球数为X，摸到黑球的概率为p，则X服从二项分布PX=k=pk（1-p）3-k， k=0，1，2，3.问题是p=1/4还是p=3/4？现根据样本中黑球数，对未知参数p进行估计.抽样后，共有4种可能结果，其概率如表7-1所示.表7-1X0123p=1/4时，PX=k27/6427/649/641/64p=3/4时，PX=k1/649/6427/6427/64假如某次抽样中，只出现一个黑球，即X=1，p=1/4时，PX=1=27/64；p=3/4时，PX=1=9/64，这时我
6、们就会选择p=1/4，即黑球数比白球数为13.因为在一次试验中，事件“1个黑球”发生了.我们认为它应有较大的概率27/64（27/649/64），而27/64对应着参数p=1/4，同样可以考虑X=0，2，3的情形，最后可得p=（1） 似然函数在极大似然估计法中，最关键的问题是如何求得似然函数（定义下文给出），有了似然函数，问题就简单了，下面分两种情形来介绍似然函数.（a） 离散型总体设总体X为离散型，PX=x=p（x，），其中为待估计的未知参数，假定x1，x2，xn为样本X1，X2，Xn的一组观测值.PX1=x1，X2=x2，Xn=xn=PX1=x1PX2=x2PXn=xn=p（x1，）p（x
7、2，）p（xn，）=.将看作是参数的函数，记为L（），即L（）=. （7.1）（b） 连续型总体设总体X为连续型，已知其分布密度函数为f（x，），为待估计的未知参数，则样本（X1，X2，Xn）的联合密度为：f（x1，）f（x2，）f（xn，）=.将它也看作是关于参数的函数，记为L（），即L（）=. （7.2）由此可见：不管是离散型总体，还是连续型总体，只要知道它的概率分布或密度函数，我们总可以得到一个关于参数的函数L（），称L（）为似然函数.(2) 极大似然估计极大似然估计法的主要思想是：如果随机抽样得到的样本观测值为x1，x2，xn，则我们应当这样来选取未知参数的值，使得出现该样本值的可能性
8、最大，即使得似然函数L()取最大值，从而求参数的极大似然估计的问题，就转化为求似然函数L（）的极值点的问题，一般来说，这个问题可以通过求解下面的方程来解决. （7.3）然而，L（）是n个函数的连乘积，求导数比较复杂，由于ln L（）是L（）的单调增函数，所以L（）与ln L（）在的同一点处取得极大值.于是求解（7.3）可转化为求解.（7.4）称ln L（）为对数似然函数，方程（7.4）为对数似然方程，求解此方程就可得到参数的估计值.如果总体X的分布中含有k个未知参数：1，2，k，则极大似然估计法也适用.此时，所得的似然函数是关于1，2，k的多元函数L（1，2，k），解下列方程组，就可得到1，2
9、，k的估计值, （7.5）例7.5 在泊松总体中抽取样本，其样本值为：x1，x2，xn，试对泊松分布的未知参数作极大似然估计.解 因泊松总体是离散型的，其概率分布为：PX=x=,故似然函数为：L（）=.ln L()=,.令=0，得： =0.所以，的极大似然估计量为（为了和的矩法估计区别起见，我们将的极大似然估计记为）.例7.6 设一批产品含有次品，今从中随机抽出100件，发现其中有8件次品，试求次品率的极大似然估计值.解 用极大似然法时必须明确总体的分布，现在题目没有说明这一点，故应先来确定总体的分布.设 Xi=则Xi服从两点分布：表7-2Xi10P1-设x1，x2，x100为样本观测值，则：
10、p（xi，）=PXi=xi= xi（1-）1-xi，xi=0，1，故似然函数为：L（）=由题知： =8，所以 L（）=8（1-）92.两边取对数得：ln L（）=8ln+92ln（1-）.对数似然方程为：=0.解之得=8/100=0.08.所以=0.08.例7.7 设x1，x2，xn为来自正态总体N（，2）的观测值，试求总体未知参数，2的极大似然估计.解 因正态总体为连续型，其密度函数为f（x）=，所以似然函数为：L（，2）=lnL（，2）=.故似然方程组为：解以上方程组得:所以 例7.8 设总体X服从0,上的均匀分布,X1,X2,Xn是来自X的样本，求的矩法估计和极大似然估计.解 因为E（X
11、）=/2，令=E（X），得又 f（x）=所以L（）=，0xi.要L（）最大，必须尽可能小，又xi，i=1，2，,n，所以.第二节 估计量的评价标准设总体X服从0，上的均匀分布，由上节例7可知，都是的估计，这两个估计哪一个好？下面我们首先讨论衡量估计量好坏的标准问题.1.无偏性定义7.2 若估计量（X1，X2，Xn）的数学期望等于未知参数，即：， （7.6）则称为的无偏估计量（Non-deviation estimator）.估计量的值不一定就是的真值，因为它是一个随机变量，若是的无偏估计，则尽管的值随样本值的不同而变化，但平均来说它会等于的真值.例7.9 设X1，X2，Xn为总体X的一个样本，
12、E（X）=，则样本平均数是的无偏估计量.证 因为E（X）=，所以E（Xi）=，i=1，2，n，于是=.所以是的无偏估计量.例7.10 设有总体X，E（X）=，D（X）=2，（X1，X2，Xn）为从该总体中抽得的一个样本，样本方差S2及二阶样本中心矩B2=是否为总体方差2的无偏估计？解 因为E（S2）=2，所以S2是2的一个无偏估计，这也是我们称S2为样本方差的理由.由于B2=，那么 E（B2）=,所以B2不是2的一个无偏估计.还需指出：一般说来无偏估计量的函数并不是未知参数相应函数的无偏估计量.例如，当XN（，2）时，是的无偏估计量，但不是2的无偏估计量，事实上：2.有效性对于未知参数，如果有
13、两个无偏估计量与，即E（）=E（）=，那么在，中谁更好呢？此时我们自然希望对的平均偏差E（-）2越小越好，即一个好的估计量应该有尽可能小的方差，这就是有效性.定义7.3 设和都是未知参数的无偏估计，若对任意的参数，有D（）D（）， （7.7）则称比有效.如果比有效，则虽然还不是的真值，但在附近取值的密集程度较高，即用估计精度要高些.例如，对正态总体N（，2），Xi和都是E（X）=的无偏估计量，但D（X）=D（Xi）=2，故较个别观测值Xi有效.实际当中也是如此，比如要估计某个班学生的平均成绩，可用两种方法进行估计，一种是在该班任意抽一个同学，就以该同学的成绩作为全班的平均成绩；另一种方法是在该
14、班抽取n位同学，以这n个同学的平均成绩作为全班的平均成绩，显然第二种方法比第一种方法好.3.一致性无偏性、有效性都是在样本容量n一定的条件下进行讨论的，然而（X1，X2，Xn）不仅与样本值有关，而且与样本容量n有关，不妨记为n，很自然，我们希望n越大时，n对的估计应该越精确.定义7.4 如果n依概率收敛于，即0，有，（7.8）则称是的一致估计量（Uniform estimator）.由辛钦大数定律可以证明：样本平均数是总体均值的一致估计量，样本的方差S2及二阶样本中心矩B2都是总体方差2的一致估计量.第三节 区间估计1.区间估计的概念上节我们介绍了参数的点估计，假设总体XN（，2），对于样本（
15、X1，X2，Xn），是参数的矩法估计和极大似然估计，并且满足无偏性和一致性.但实际上=的可能性有多大呢？由于是一连续型随机变量，PX=0，即=的可能性为0，为此，我们希望给出的一个大致范围，使得有较高的概率在这个范围内，这就是区间估计问题.定义7.5 设（X1，X2,Xn）及 (X1,X2,Xn)是两个统计量，如果对于给定的概率1-（01），有：P=1-, （7.9）则称随机区间（，）为参数的置信区间（Confidence interval），称为置信下限，称为置信上限，1-叫置信概率或置信度(Confidence level).定义中的随机区间（，）的大小依赖于随机抽取的样本观测值，它可能包
16、含，也可能不包含，（7.9）式的意义是指（，）以1-的概率包含.例如，若取=0.05，那么置信概率为1-=0.95，这时，置信区间（，）的意义是指：在100次重复抽样中所得到的100个置信区间中，大约有95个区间包含参数真值，有5个区间不包含真值，亦即随机区间（，）包含参数真值的频率近似为0.95.例7.11 设XN（，2），未知，2已知，样本X1，X2，Xn来自总体X，求的置信区间，置信概率为1-.解 因为X1，X2，,Xn为来自X的样本，而XN(,2)，所以u= N（0，1），对于给定的，查附录中表2可得上分位点，使得=1-,即=1-.所以的置信概率为1-的置信区间为. （7.10）由（7
17、.10）式可知置信区间的长度为，若n越大，置信区间就越短；若置信概率1-越大，就越小，就越大，从而置信区间就越长.2.正态总体参数的区间估计由于在大多数情况下，我们所遇到的总体是服从正态分布的（有的是近似正态分布），故我们现在来重点讨论正态总体参数的区间估计问题.在下面的讨论中，总假定XN（，2），X1，X2，Xn为其样本.（1） 对的估计分两种情况进行讨论.（a） 2已知此时就是例7.11的情形，结论是：的置信区间为，置信概率为1-.（b） 2未知当2未知时，不能使用（7.10）式作为置信区间，因为（7.10）式中区间的端点与有关，考虑到S2=是2的无偏估计，将中的换成S得T= t（n-1）
18、.对于给定的，查附录中t分布表4可得上分位点t/2（n-1），使得=1-，即=1-.所以的置信概率为1-的置信区间为. （7.11）由于，S0=，所以的置信区间也可写成.（7.12）例7.12 某车间生产滚珠,已知其直径XN(,2)，现从某一天生产的产品中随机地抽出6个，测得直径如下（单位：毫米）14.6 15.1 14.9 14.8 15.2 15.1试求滚珠直径X的均值的置信概率为95%的置信区间.解 =14.95，s0=0.2062，t/2(n-1)=t0.025(5)=2.571，所以 =2.571=0.24，置信区间为（14.95-0.24,14.95+0.24)，即（14.71,1
19、5.19)，置信概率为95%.2的置信区间我们只考虑未知的情形.此时由于S2=是2的无偏估计，我们考虑，由于，所以，对于给定的，=1-.即=1-.所以2的置信区间为 （7.13）或，其中 S02=.例7.13 某种钢丝的折断力服从正态分布，今从一批钢丝中任取10根，试验其折断力，得数据如下：572 570 578 568 596576 584 572 580 566试求方差的置信概率为0.9的置信区间.解 因为=576.2，s02=71.56，=0.10,n-1=9，查附表得：=16.919，=3.325，=42.30，=215.22.所以，2的置信概率为0.9的置信区间为（42.30,215
20、.22).以上仅介绍了正态总体的均值和方差两个参数的区间估计方法.在有些问题中并不知道总体X服从什么分布，要对E（X）=作区间估计，在这种情况下只要X的方差2已知，并且样本容量n很大，由中心极限定理，近似地服从标准正态分布N（0，1），因而的置信概率为1-的近似置信区间为.小 结参数估计问题分为点估计和区间估计.设是总体X的待估计参数.用统计量=（X1，X2，Xn）来估计称是的估计量，点估计只给出未知参数的单一估计.本章介绍了两种点估计的方法：矩估计法和极大似然估计法.矩法的做法：设总体XF（X；1，2,l)其中k(1kl)为未知参数.（1） 求总体X的k(1kl)阶矩E（xk）；（2） 求方
21、程组的一组解, ，那么= (X1,X2,Xn)(1kl)为k的矩估计量.（x1，x2,xn）为k的矩估计值.极大似然估计法的思想是若已观察到样本值为（x1，x2,xn），而取到这一样本值的概率为P=P(1,2,l),我们就取k(1kl)的估计值使概率P达到最大，其一般做法如下：（1） 写出似然函数L=L（1,2,l）当总体X是离散型随机变量时,L=,当总体X是连续型随机变量时L=,(2) 对L取对数lnL=,(3) 求出方程组=0, k=1,2,l.的一组解= (x1,xn) (1kl)即k为未知参数的极大似然估计值，=(X1,X2,Xn)为k的极大似然估计量.在统计问题中往往先使用极大似然估
22、计法，在此法使用不方便时，再用矩估计法进行未知参数的点估计.对于一个未知参数可以提出不同的估计量，那么就需要给出评定估计量好坏的标准.本章介绍了三个标准：无偏性、有效性、一致性.重点是无偏性.点估计不能反映估计的精度，我们就引人区间估计.设是总体X的未知参数，,均是样本X1，X2，Xn的统计量，若对给定值(01)满足P（0)为未知参数，又设x1,x2,xn是总体X的一组样本观察值，求的极大似然估计值. （2000研考）14.设总体X的概率分布为X0 1 2 3P2 2(1-) 2 1-2其中(01,0，设X1,X2,Xn为来自总体X的样本（1） 当=1时，求的矩估计量；（2） 当=1时，求的极大似然估计量；（3） 当=2时，求的极大似然估计量. (2004研考)16.从正态总体XN（3.4，62）中抽取容量为n的样本，如果其样本均值位于区间（1.4，5.4）内的概率不小于0.95，问n至少应取多大？z1.281.6451.962.33j(z)0.90.950.9750.99 (1998研考)17. 设总体X的概率密度为f(x，)=其中是未知参数（01）,X1,X2,Xn为来自总体X的简单随机样本，记N的样本值x1,x2,xn中小于1的个数.求：（1） 的矩估计；（2） 的最大似然估计. (2006研考)
