概率论与数理统计第七章.ppt

《概率论与数理统计第七章.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计第七章.ppt（100页珍藏版）》请在三一办公上搜索。

1、,第 七 章 参 数 估 计,湖南商学院信息系 数学教研室,第 七 章 参 数 估 计,第一节 矩 估 计第二节 极大似然估计第三节 估计量的优良性准则第四节 正态总体的区间估计（一）第五节 正态总体的区间估计（二）,总体是由总体分布来刻画的.总体分布类型的判断在实际问题中,我们根据问题本身的专业知识或以往的经验或适当的统计方法,有时可以判断总体分布的类型.总体分布的未知参数的估计总体分布的参数往往是未知的,需要通过样本来估计.通过样本来估计总体的参数,称为参数估计,它是统计推断的一种重要形式.,本章讨论:参数估计的常用方法.估计的优良性准则.若干重要总体的参数估计问题.,例如(1)为了研究人

2、们的市场消费行为,我们要先搞清楚人们的收入状况.假设某城市人均年收入XN(,2).但参数 和 2 的具体值并不知道,需要通过样本来估计.(2)假定某城市在单位时间(譬如一个月)内交通事故发生次数 X P().参数未知,需要从样本来估计.,这类问题称为参数估计.,参数估计问题的一般提法,X1,X2,Xn,参数估计,点估计,区间估计,（假定身高服从正态分布）,设这5个数是:,1.65 1.67 1.68 1.78 1.69,估计 为1.68，,这是点估计.,这是区间估计.,假如我们要估计某队男生的平均身高.,现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计.

3、而全部信息就由这5个数组成.,一、点估计概念及讨论的问题,例1 已知某地区新生婴儿的体重X,随机抽查100个婴儿,得100个体重数据,9,7,6,6.5,5,5.2,而全部信息就由这100个数组成.,把样本值代入T(X1,X2,Xn)中，得到,的一个点估计值.,二、寻求估计量的方法,1.矩估计法,2.极大似然法,3.最小二乘法,4.贝叶斯方法,这里我们主要介绍前面两种方法.,第 七 章第一节 矩 估 计,其基本思想是用样本矩估计总体矩.,理论依据:,矩是基于一种简单的“替换”思想建立起来的一种估计方法.,是英国统计学家K.皮尔逊最早提出的.,大数定律,记总体k阶矩为,样本k阶矩为,用相应的样本

4、矩去估计总体矩的估计方法就称为矩估计法.,记总体k阶中心矩为,样本k阶中心矩为,设总体X的分布函数中含有k个未知参数,步骤一、我们把总体X的m阶原点矩E(Xm)记为 am,m=1,2,k,am(1,2,k)(m=1,2,k),方法,步骤二、算出m阶样本原点矩:,步骤三、令 am(1,2,k)=Am(m=1,2,k)得关于 1,2,k的 方程组,步骤四、解这个方程组,其解记为,它们就可以做为1,2,k的估计.这样求出的估计叫做矩估计.,X1,X2,Xn是独立同分布的.X1m,X2m,Xnm也是独立同分布的.于是有:E(X1m)=E(X2m)=E(Xnm)=E(Xm)=am.根据大数定律,样本原点

5、矩Am作为 X1m,X2m,Xnm的算术平均值依概率收敛到均值am=E(Xm).即:,原理解释,解:,由矩法,样本矩,总体矩,从中解得,数学期望是一阶原点矩,解:由密度函数知,具有均值为 的指数分布,故 E(X-)=,Var(X-)=,用样本矩估计总体矩,设总体的均值为,方差为2,于是,由此列出方程组:,例3 均值,方差2的矩估计,均值,方差2的矩估计是:,例如 求正态总体 N(,2)两个未知参数和2的矩估计为,总体均匀分布 X U(a,b).求:两个参数a,b的矩估计,解:,又如,但是,由方程组求解出a,b的矩估计:,矩法的优点是简单易行,并不需要事先知道总体是什么分布.,缺点是，当总体类型

6、已知时，没有 充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.,其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.,稍事休息,第七章第二节 极大似然估计,极大似然法,是在总体类型已知条件下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的,Gauss,Fisher,然而，这个方法常归功于英国统计学家费歇.,费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质.,极大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过.,是谁打中的呢？,某位同学与一位猎人一起外出打猎.,如果要你推测，,你会如何想呢?,只听一声枪响，野

7、兔应声倒下.,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,这个例子所作的推断已经体现了极大似然法的基本思想.,极大似然估计原理：,当给定样本X1,X2,Xn时，定义似然函数为：,设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f(X1,X2,Xn;).,似然函数：,极大似然估计法就是用使 达到最 大值的 去估计.,称 为 的极大似然估计（MLE）.,看作参数 的函数，它可作为 将以多大可能产生样本值X1,X2,Xn的一种度量.,(4)在最大值点的表达式中,用样本值代入 就得参数的极大似然估计值.,求

8、极大似然估计(MLE)的一般步骤是：,(1)由总体分布导出样本的联合概率函数(或联合密度);,(2)把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量,得到似然函数L();,(3)求似然函数L()的最大值点(常常转化 为求ln L()的最大值点)，即 的MLE;,两点说明：,1、求似然函数L()的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL()与L()在 的同一值处达到它的最大值，假定 是一实数，且lnL()是 的一个可微函数。通过求解所谓“似然方程”：,可以得到 的MLE.,若 是向量，上述方程必须用似然方程组代替.,2、用上述求导方法求参数

9、的MLE有时行不通，这时要用极大似然原则来求.,两点说明：,下面举例说明如何求极大似然估计,L(p)=f(X1,X2,Xn;p),例1 设X1,X2,Xn是取自总体 XB(1,p)的一个样本，求参数p的极大似然估计.,解：似然函数为:,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE.,正态总体 N(,2)两个未知参数和2的极大似然估计.(注:我们把2看作一个参数),解:,例2,似然方程组为,根据第一式,就得到:,代入第二式,就得到:,由上,似然方程组的解唯一.下面验证它是极大值点.,是L(,2)的最大值点.和2的极大似然估计量是,总体 泊松分布 X P().求:参数的极大

10、似然估计.,解:,例3,似然方程为,是logL()的最大值点.的极大似然估计量是,总体均匀分布 X U(a,b).求:两个参数a,b的极大似然估计,解:,例 4,我们由上看到,L(a,b)作为a和b的二元函数是不连续的.所以我们不能用似然方程组来求极大似然估计,而必须从极大似然估计的定义出发,求L(a,b)的最大值.,为使L(a,b)达到最大,ba应该尽量地小.但 b 又不能小于maxx1,x2,xn.否则,L(a,b)=0.类似地a不能大过minx1,x2,xn.因此,a和b的极大似然估计为,解：似然函数为,对数似然函数为,例5设X1,X2,Xn是取自总体X的一个样本,求 的极大似然估计.,

11、其中 0,求导并令其为0,=0,从中解得,即为 的MLE.,对数似然函数为,解：似然函数为,i=1,2,n,对数似然函数为,解：似然函数为,i=1,2,n,=0(2),由(1)得,=0(1),对 分别求偏导并令其为0,对数似然函数为,是,对,故使 达到最大的 即 的MLE，,于是,取其它值时，,即 为 的MLE.,且是 的增函数,由于,第七章第三节估计量的优良性准则,从前面两节的讨论中我们看到:有时候同一个参数可以有几种不同的估计方法,这时就存在采用哪一个估计的问题.另一方面,对一个参数,用矩法和极大似然法这两种方法即使得到的是同一种估计,也存在一个衡量这个估计优劣的问题.估计量的优良性准则讨

12、论的就是:评价一个估计的标准问题.,假设总体分布的参数为.,对 一切可能的成立,则称,一、无偏性,是的一个估计.注意!它是一个统计量.从而是随机变量.对于样本X1,X2,Xn不同的取值,它也会取不同的值.如果,的均值等于未知参数,即,为的无偏估计.,去估计未知参数,有时候可能偏高,有时候可能偏低,但是平均来说它等于.“一切可能的”是指该参数估计问题中,参数取值范围内的一切可能的值.我们之所以要求对一切可能的都成立,是因为在该参数估计问题中,我们并不知道参数的真值.自然要求它在参数的一切可能取值范围内都成立:,无偏性的意义是,用一个估计量,说明,设X1,X2,Xn为抽自均值为的总体X的样本,考虑

13、的估计量:,我们举例体会怎样把握“一切可能的”.例如:若指的是正态总体N(,2)的均值,那么,它的一切可能取值范围是(-,).若指的是方差2,则它的一切可能取值范围是(0,).,例1,设总体X的均值为,方差为2,X1,X2,Xn为来自该总体的样本,依第六章所讲取其样本均值和样本方差:,即样本均值和样本方差是和2的无偏估计.,定理,证明:,求证:样本标准差S不是总体标准差的无偏估计.,证明:,注意,例 7.3.2,E(S2)=2 就是Var(S)+E(S)2=2Var(S)0 E(S)2=2-Var(S)2 E(S).即:一般说S不是的无偏估计.,用估计量,去估计,其误差为:,它随样本X1,X2

14、,Xn的值而定,也是随机的,即:,二、均方误差准则,是随机变量 由于它是随机变量,我们通常是通过对它求均值来看看误差有多大.我们要注意:为了防止求均值时正误差和负误差相互抵消,我们先将其平方再求均值,并将其称为均方误差,记为MSE(),即,这时两个估计中哪一个估计的均方误差小,我们就把哪一个估计看作比较优,这种判定估计量的准则叫均方误差准则.,均方误差能够分解成两部分:,均方误差准则,证明:,说明,上式表明,均方误差由两部分构成:第一部分是估计量的方差.,注意:如果一个估计量是无偏的,则第二部分是零.即有:,方差准则,如果限定在无偏估计里考虑问题,这时两个估计中哪一个估计的方差小,我们就把哪一

15、个估计看作比较优,这种判定估计量的准则叫方差准则.,设X1,X2,Xn为抽自均值为的总体,考虑的如下两个估计:,我们看到:显然两个估计都是的无偏估计.再计算其方差:,例3,表示去掉第个样本式后,对其余n-1个样本所求的样本均值.,这表明,当我们用样本均值去估计总体均值时,使用全体样本总比不使用全体样本要好.,第七章第四节正态总体的区间估计（一）,引言,前面，我们讨论了参数点估计.它是用样本算得的一个值去估计未知参数.但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大.区间估计正好弥补了点估计的这个缺陷.,譬如，在估计湖中鱼数的问题中，若我们根据一个实际

16、样本，得到鱼数N的极大似然估计为1000条.,若我们能给出一个区间，在此区间内我们合理地相信 N 的真值位于其中.这样对鱼数的估计就有把握多了.,实际上，N的真值可能大于1000条，也可能小于1000条.,也就是说，我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真参数值.,湖中鱼数的真值,这里所说的“可靠程度”是用概率来度量的，称为置信概率，置信度或置信水平.,置信水平的大小是根据实际需要选定的.,例如，通常可取置信水平=0.95或0.9等.,寻找置信区间的方法,一般是从确定误差限入手.,使得,称 为 与 之间的误差限.,我们选取未知参数的某个估计量，根据置信水平，可以找到一个正数

17、，,只要知道 的概率分布，确定误差限并不难.,下面我们就来正式给出置信区间的定义,并通过例子说明求置信区间的方法.,这个不等式就是我们所求的置信区间.,前面已经给出了概率分布的上侧分位数（分位点）的定义，为便于应用，这里我们再简要复习一下.,在求置信区间时，要查表求分位数.,例如:,例如:,书末附有 分布、t 分布、F分布的上侧分位数表，供使用.需要注意的事项在教材上有说明.,至于如何由标准正态分布函数表查表求得分位数，若你对分布函数定义熟悉的话，这个问题不难解决.,现在回到置信区间题目上来.,一、置信区间定义：,则称区间 是 的置信水平（置信度、置信概率）为 的置信区间.,可见，,即要求估计

18、尽量可靠.,可靠度与精度是一对矛盾，一般是在保证可靠度的条件下尽可能提高精度.,N(0,1),选 的点估计为,二、置信区间的求法,解：,寻找一个待估参数和估计量的函数，要求其分布为已知.,有了分布，就可以求出U取值于任意区间的概率.,对于给定的置信水平(大概率),根据U的分布，确定一个区间,使得U取值于该区间的概率为置信水平.,使,对给定的置信水平,查正态分布表得,使,从中解得,也可简记为,于是所求 的 置信区间为,从解题的过程，我们归纳出求置信区间的一般步骤如下:,1.明确问题,是求什么参数的置信区间?,置信水平 是多少?,2.寻找参数 的一个良好的点估计T(X1,X2,Xn),3.寻找一个

19、待估参数 和估计量T的函数 S(T,),且其分布为已知.,5.对“aS(T,)b”作等价变形,得到如下形式:,则 就是 的100()的置信区间.,这里，我们主要讨论总体分布为正态的情形.若样本容量很大，即使总体分布未知，应用中心极限定理，可得总体的近似分布，于是也可以近似求得参数的区间估计.,某工厂生产的零件长度X被认为服从N(,0.04),现从该产品中随机抽取6个,其长度的测量值如下(单位毫米):14.6,15.l,14.9,14.8,15.2,15.1.求:该零件长度的置信系数为0.95的区间估计.,n=6,=0.05,Z/2=Z0.025=1.96 2=0.22.,解:,例1,(2)已知

20、,因方差未知，取,对给定的置信度,确定分位数,使,即,从中解得,由于,从中解得,2 求方差 的置信水平为 的区间估计.,于是 即为所求.,为了估计一件物体的重量,将其称了1O次,得到的重量(单位：千克)为:10.l,10,9.8,10.5,9.7,l0.l,9.9,10.2,1O.3,9.9 设所称出的物体重量X服从N(,2).求:该物体重量的置信系数为0.95的置信区间,解:,例2,n=10,=0.05,t10-1(/2)=t9(0.025)=2.2622,求:2的置信系数为0.95的置信区间.,解:,例3(续例2),n=10,=0.05,S2=0.0583,查附表得:,三、单侧置信区间,上述置信区间中置信限都是双侧的，但对于有些实际问题，人们关心的只是参数在一个方向的界限.,例如对于设备、元件的使用寿命来说，平均寿命过长没什么问题，过短就有问题了.,这时，可将置信上限取为+，而只着眼于置信下限，这样求得的置信区间叫单侧置信区间.,于是引入单侧置信区间和置信限的定义：,又若统计量 满足,由于方差 未知，取枢轴量,解：的点估计取为样本均值,对给定的置信水平，确定分位数,使,即,于是得到 的置信水平为 的单侧置信区间为,将样本值代入得,的置信水平为0.95的单侧置信下限是,1065小时,同学们可通过练习，掌握各种求未知参数的 置信区间的具体方法.,这一讲，我们介绍了区间估计.,