《第七章参数估计.docx》由会员分享，可在线阅读，更多相关《第七章参数估计.docx（15页珍藏版）》请在三一办公上搜索。
1、第七章参数估计第01讲替换原理和矩法估计对于本章中“参数”的说明本章所指的“参数”包括以下三类未知参数：(1)分布中所含的未知参数0,例如OT分布B(1,P)中的概率P；正态分布N(,O2)中的LI和。2.(2)分布中所含的未知参数的函数.(3)分布的各种特征数也都是未知参数，如数学期望、方差等等.一般用表示参数，参数的所有可能取值组成的集合称为参数空间,用表示.参数估计的两种形式：点估计与区间估计设心，X2,，Xn是来自总体的样本，我们用一个统计量=XvX.Xn)的取值作为的估计值，Q称为的点估计(量)，简称估计(量).通过给出未知参数的某个区间来分析点估计精度的方法，被称为区间估计.第一节
2、点估计的几种方法1.1 替换原理和矩法估计1.2 极大似然估计直接用来估计未知参数。的统计量-XvX.X)称为参数的点估计量，简称为点估计.1.l替换原理和矩法估计1.矩法估计替换原理常指如下两句话：用样本矩替换总体矩，这里的矩可以是原点矩也可以是中心矩；用样本矩的函数去替换相应的总体矩的函数.根据替换原理，在总体分布形式未知场合也可对各种参数作出估计.例如：用样本均值充估计总体的数学期望E(X),即=X；用样本二阶中心矩估计总体方差D(X),即力(X)=S：；用事件A出现的频率估计事件A发生的概率.这些都是在矩法估计中常见的，其中的s”.(xfnI矩法估计(替换原理)的实质：使用经验分布函数
3、替换总体分布.2.概率函数p(x；O)已知时未知参数的矩法估计设总体具有已知的概率密度函数p(x;0，0J,(%w是未知参数或参数向量，X1，X”是样本，假定总体的k阶原点矩Hk存在，则对所有的j,Hj都存在，Oj(7.1.2)当k=l时，我们通常可以由样本均值出发对未知参数进行估计；如果k=2,我们可以由一阶、二阶原点矩(或二阶中心矩)出发估计未知参数.【例题计算题】设总体X服从指数分布，其概率密度为p(x;A)=ex9x0.X、.X.7.X是样本，求参数人的矩法估计.正确答案因为11E(X)=7则X=G21解得人的矩法估计量为=.X当然，也可以用样本二阶矩估计方差.所以未知参数的矩估计不唯
4、一.但是通常应该尽量采用低阶矩给出未知参数的估计.【例题计算题】设X“X2,，X是来自总体X服从a,b上的均匀分布，a与b均是未知参数，求参数a,b的矩法估计.正确答案a + b E(X) =亍,D(X) =12解得=E(X)-y3D(X),b=E(X),3D(X).则a,b的矩估计分别为O=Mr3s=M+Js.【例题计算题】设有一批同型号灯管，其寿命(单位：h)服从参数为的泊松分布，今随机抽取其中的11只，测得其寿命数据如下：110,184,145,122,165,143,78,129,62,130,168用矩估计法估计人的值.正确答案设X为灯管寿命，则E(X)=X=X4 = 13055_1
5、X=-Yx.=130.5511/-1【例题填空题】总体X服从区间0，的均匀分布，XHX2,，Xn是来自总体的一组样本，则参数0的矩法估计值为正确答案.X-U(Q,O),.E(X)=-,2令E(X)=-=，=第02讲极大似然估计1.2极大似然估计引例：设有外形完全相同的两个箱子，甲箱中有99个白球和1个黑球，乙箱中有99个黑球和1个白球.现随机地抽取一箱，并从中随机抽取一个球，结果取得白球，问这球是从哪一个箱子中取出的？人们的第一印象就是：“此白球最像从甲箱取出的”，或者说，应该认为试验条件对取出白球最有利，从而可以推断这球是从甲箱中取出的.这个推断很符合人们的经验事实，这里“最像”就是“极大似
6、然”之意.极大似然原理：概率大的事件在一次观测中更容易发生；在一次观测中发生了的事件其概率应该大.【例题计算题】设产品分为合格品与不合格品两类，我们用一个随机变量X来表示某个产品是否合格，X=O表示合格品，X=I表示不合格品，则X服从OT分布B(l,P),其中P是未知的不合格品率.求P的极大似然估计值.正确答案现抽取n个产品看其是否合格，得到样本值,p,2Xw,这批观测值发生的概率为a居为=芍,H=玉；0=必。一4三#Q-P；P2所A2J*2X令L3)=。(l-p)TInL(P)=In。T+111(I-Mljx,rt-Xdpp1-p1一)=欣0天,%)=一2%=X极大似然估计的基本思路：对离散
7、型总体，设有样本观测值X，X2,，x,这观测值发生的概率，它一般依赖于某个或某些参数，用0表示，将该概率看成0的函数，用L(B)表示，即上二口禹=.%/=40.求极大似然估计就是找。的估计值=(p2.,j,使得上式的L(O)达到最大.对连续型总体，样本观测值X“X2,，X“出现的概率总是为0,但我们可用联合概率密度函数来表示随机变量在观测值附近出现的可能性大小，也将之称为似然函数.定义1设总体的概率密度为p(x;),Oc。，其中。是一个未知参数或几个未知参数组成的参数向量，。是参数可能取值的参数空间，X”，Xn是来自该总体的样本，X，Xn是样本值,将样本的联合概率函数看成。的函数，用L(0,X
8、n)表示，简记为L(),有1.()=L(；xb,n)=p(1;)p(x2;)p(xn;)(7.1.6)称L()为样本的似然函数，如果某统计量G=。满足(。)=InaXl(6),a17),则称是0的极大似然估计量，其观察值称为极大似然估计值.求极大似然估计值的一般步骤：(1)构造似然函数：%=阳,内,用)=n(2)求对数似然方程W-In工(夕)。的驻点，使得AA=优M，巧,Xj)=(；,X,XlI)【例题计算题】设一个试验有三种可能结果，其发生概率分别为p,P=20(1-P3=(1-4现做了n次试验，观测到三种结果发生的次数分别为n”龟，n3,其中m+1+n3=n,求。的极大似然估正确答案似然函
9、数为=(。2户2/1-0(1-。尸r=2匕卢F(I-4电F,InL(G)=(2+2)1d+(23+3)ln(l-)+Jn2.其对数似然函数为对。求导，并令其为0,即得似然方程2ll,ls016留得小+？In进一步地，由于一过(8)=_2%+n2_2%+巧02-故可知6是极大值点，是的极大似然估计.【例题计算题】设总体XN,b)覆,电，不为其中一个样本，求未知参数H和。2的极大似然估计.正确答案似然函数为AaJ)=11=，T2,19/(x) = 1.试分别求出的矩估计Gl和极大似然估计I正确答案总体的数学期望为E(X)=X外9)公=.O由矩估计法，令X=,得的矩估计8-1&=X-I似然函数为-C
10、D即）=n（而产）=/（n）1M其对数似然函数为In=IIi。一(0+1)Z1七,i-lIdx=0.dJ解得的极大似然估计为第03讲点估计的评价标准第二节点估计的评价标准2.1相合性2.2无偏性2.3有效性2.1相合性点估计作为随机变量，根据格里汶科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性,相合性是对估计的最基左的要求,其严格定义如下：定义2设。W为未知参数，,XJ是。的一个估计量，n是样本容量，若对于任给0,都有：Ump4-ea=0则称Oft为参数的相合估计.性质设X】，X2,，X”是来自正态总体N(,。
11、2)的样本，则由大数定律及相合性定义知：(1) 又是U的相合估计；(2) 和S?都是。2的相合估计.定理设瓦“(X黑,乂)是的一个估计量，若IinI 伙4)= OgUmEa)=仇则是的相合估计.2.2 无偏性相合性是大样本下估计量的评价标准.对小样本而言，需要一些其他的评价标准，无偏性便是一个常用的评价标准.定义3设。二，(X,K,KI)是0的一个估计，的参数空间为,若对任意的Oee有E()=e,则称G是的无偏估计，否则称为有偏估计.无偏性的要求可以改写为E()一0,这表小无偏估计没有系统偏差.注意:对任一总体而言，样本均值是总体数学期望的无偏估计；而二阶样本中心矩S：就不是总体方差。的无偏估
12、计，因为针对前述情况的说明：(1)当样本量趋于无穷时，有风幻”，我们称S：为。2的渐近无偏估计.(2)如果对S：做出以下修正：6Vt(X-(724)则S?是总体方差的无偏估计，在小样本的情况下需要使用S2估计。2.无偏性不具有不变性:如果。是的无偏估计.一般而言，K(O)不是g()的无偏估计，除非g(。)是9的线性函数.【例题计算题】设&都是未知参数()的无偏估计,且&相互独立,试确定常数ClyC2,使4自.,众仍是的无偏估计.正确答案q,。是的无偏估计EQ=E=0(q4+)=q()+c2E()=qd+M=(q+c2)可知，当g+C2=1时，+c仍是。的无偏估计.2.3 有效性参数往往有多个无
13、偏估计，如何进行选择？一般希望这个估计围绕参数的真值波动幅度尽可能地小,而波动大小可用方差衡量，所以我们常用无偏估计的方差大小作为度量无偏估计优劣的标准，这就是有效性.定义4设&,4是。的两个无偏估计，如果对任意金。有W)l(x且至少有一个06)使得上述不等号严格成立，则称凡比”有效.【例题计算题】设X1,X1是来自正态总体N（u,1）的样本容量为2的样本，下面三个无偏估计量:&=；玉+*2；（Xl+*J33442中哪一个最有效？正确答案研*研汰Jxj=：Z）（XMaXJ=：。，WiI）;QC禺扛）白。PG4巩勺）44416IOZZ442V。）最小八最有效.第04讲参数的区间估计第三节参数的区
14、间估计3.1 置信区间概念AA定义5设。为总体的未知参数.a（Xi,x”,rx）,二4（*1,&，.，”1）是由样本1,2,1定出的两个统计量，若对于给定的概率l-,0l有PRe4=l-,则随机区间R,京称为参数。的置信度为l-的置信区间，自称为置信下限,A称为置信上限置信区间的意义：包含在随机区间R,囱中的概率为IOo（I-）%.粗略地说，当a=0.05时，在100次抽样中，。大致有95次包含在同Ml中常取的数值为O.为,O.O1,此时置信度1-a分别为0.95,0.99.置信区间的长度可视为区间估计的精度，置信度与精度有如下关系:（1）当置信度La增大，又样本容量n固定时，置信区间长度增大
15、，即区间估计精度降低；当置信度1-a减小，又样本容量n固定，置信区间长度减小，即区间估计精度提高.（2）设置信度1-a固定.当样本容量n增大时，置信区间长度减小，即区间估计精度提高.3.2 单个正态总体参数的置信区间1 .。已知时，U的置信区间设总体X服从正态分布N（H,。2）,其中。2已知，而U未知，求U的置信度为Ia的置信区间.（可参照教材P196例18）U=（X一色GN（OEIUl=(X-MX-LAT尸UaPXL0151=4S516,4.866yj12从而平均寿命的置信度为0.95的置信区间为4.5516,4.8668.3 .。2的置信区间只讨论U未知的条件下，。2的置信区间设总体N(4
16、,。2),其中。2未知，求。2的置信度为1-a的置信区间/(-i(7.3.1)PQMET-0所以，。2的置信度为La的置信区间为(I)S2(_1)$-5，54Q将(7.3.1)式的两端开方即得到标准差。的l-置信区间.【例题计算题】某厂生产的零件质量服从正态分布N(,。2).现从该厂生产的零件中抽取9个，测得其质量(单位：g)为45.3,45.4,45.1,45.3,45.5,45.7,45.4,45.3,45.6.试求总体标准差。的置信度为0.95的置信区间.正确答案计算得？=00325(),(-1)?=80,0325=026()其中，n38)71797,丁”(8尸17.5345总体方差的置
17、信度为0.95的置信区间为(-i)S,3 Q-DS0.260,2617.5345 11797!=0.0148,0.1193.从而O的置信度为0.95的置信区间为0.1218,0.3454.3.3 两个正态总体下的置信区间3.4 -非正态总体参数的区间估计这两个部分不属于自考内容正态总体参数的区间估计表所估参数条件估计函数置信区间。2已知U=医团4rrIyJny%。2未知了心新S_132U未知六中CT(w-l)S3(W-I)S2本章小结本章的基本要求如下：一、理解并掌握矩估计的方法.矩估计的特点是在未知总体分布的任何信息的场合，仍然可求出其数学期望U的矩估计，如方差的矩估计2=S对任何二阶矩存在
18、的总体皆成立.二、理解并掌握极大似然估计，特别是似然思想及似然函数的构造，要认识到似然函数的本质是样本.Xw的联合概率密度Jp（X；6）在样本值取定后化为了只是未知参数0的函数LM（0）,其定义是。e,称为参数空间，而的极大似然估计0恰是L（）的极大值点（最大值点）.三、对参数估计量的优劣的评价，主要从无偏性、有效性和相合性三方面去衡量，会简单应用即可.但这一过程中往往遇到求数学期望、求方差以及求依概率收敛的问题，这对一些同学可能是一个难点（但非重点）.四、参数的区间估计主要是紧密结合第六章与正态分布相关的诸统计量在某区域上取值的概率为置信度，从而该统计量中的参数也就确定了其取值的“范围”，这“范围”就是它的区间估计.
