《数理统计与随机过程ch7.ppt》由会员分享，可在线阅读，更多相关《数理统计与随机过程ch7.ppt（104页珍藏版）》请在三一办公上搜索。
1、,数理统计与随机过程第七章,主讲教师：李学京,北京工业大学应用数理学院,第七章:参数估计,数理统计的任务：总体分布类型的判断；总体分布中未知参数的推断(参数估计与 假设检验)。,参数估计问题的一般提法,设总体 X 的分布函数为 F(x,)，其中为未知参数或参数向量，现从该总体中抽样,得到样本,X1,X2,Xn.,依样本对参数做出估计，或估计参数的某个已知函数 g()。,这类问题称为参数估计。,参数估计包括：点估计和区间估计。,称该计算值为 的一个点估计。,为估计参数，需要构造适当的统计量 T(X1,X2,Xn)，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为 的估计，,寻求估计量的
2、方法,1.矩估计法,2.极大似然法,3.最小二乘法,4.贝叶斯方法,我们仅介绍前面的两种参数估计法。,其思想是:用同阶、同类的样本矩来估计总体矩。,矩估计是基于“替换”思想建立起来的一种参数估计方法。,最早由英国统计学家 K.皮尔逊 提出。,7.1 矩估计,矩估计就是用相应的样本矩去估计总体矩。,设总体 X 的分布函数中含 k 个未知参数,步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am,m=1,2,k.,am(1,2,k),m=1,2,k.,一般地,am(m=1,2,K)是总体分布中参数或参数向量(1,2,k)的函数。,故,am(m=1,2,k)应记成:,步骤二：算出样本的 m 阶原
3、点矩,步骤三：令,得到关于 1,2,k 的方程组(Lk)。一般要求方程组(1)中有 k 个独立方程。,步骤四：解方程组(1),并记其解为,这种参数估计法称为参数的矩估计法，简称矩法。,解：先求总体的期望,例1：设总体 X 的概率密度为,由矩法，令,样本矩,总体矩,解得,为 的矩估计。,注意：要在参数上边加上“”，表示参数的估计。它是统计量。,解:先求总体的均值和 2 阶原点矩。,例2：设 X1,X2,Xn 是取自总体 X 的简单样本,X 有概率密度函数,用样本矩估计总体矩,得,列出方程组:,例3：设总体X的均值为，方差为2，求 和2 的矩估计。,解：由,故，均值,方差2的矩估计为,求解，得,如
4、：正态总体N(,2)中 和2的矩估计为,又如：若总体 X U(a,b)，求a,b的矩估计。,解：列出方程组,因,解上述方程组，得到 a,b 的矩估计:,矩估计的优点是：简单易行,不需要事先知道总体是什么分布。,缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性。,7.2 极大似然估计,极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。,该方法首先由德国数学家高斯于 1821年提出，其后英国统计学家费歇于 1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法极大似然估计原理。,I.极大似然估计原理,设总体
5、 X 的分布(连续型时为概率密度，离散型时为概率分布)为 f(x,),X1,X2,Xn 是抽自总体 X 的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为,被看作固定，但未知的参数,视为变量,将上式简记为 L()，即,称 L()为的似然函数。,视为变量,视为固定值,假定我们观测到一组样本X1,X2,Xn，要去估计未知参数。,称 为的极大似然估计(MLE)。,一种直观的想法是：哪个参数(多个参数时是哪组参数)使得这组样本出现的可能性(概率)最大，就用那个参数(或哪组参数)作为参数的估计。,这就是极大似然估计原理。,即，如果,可能变化空间,称为参数空间。,(4
6、).在最大值点的表达式中，代入样本值，就得参数的极大似然估计。,II.求极大似然估计(MLE)的一般步骤,.由总体分布导出样本的联合概率函数(连 续型时为联合概率密度,离散型时为联合 概率分布)；,(2).把样本的联合概率函数中的自变量看成 已知常数,参数看成自变量,得到似然 函数 L()；,(3).求似然函数 L()的最大值点(常常转化 为求ln L()的最大值点)，即的MLE;,两点说明：,求似然函数 L()的最大值点，可应用微积分中的技巧。由于 ln(x)是 x 的增函数，所以 ln L()与 L()在的同一点处达到各自的最大值。假定是一实数,ln L()是的一个可微函数。通过求解似然方
7、程,可以得到的MLE。,用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求。,若是向量，上述似然方程需用似然方程组,代替。,III.下面举例说明如何求参数的MLE,例1:设X1,X2,Xn是取自总体 XB(1,p)的一个样本，求参数 p 的极大似然估计。,解：似然函数为,对数似然函数为：,对 p 求导，并令其等于零，得,上式等价于,解上述方程，得,换成,换成,例2：求正态总体 N(,2)参数 和 2 的极大似然估计(注:我们把 2 看作一个参数)。,解：似然函数为,对数似然函数为,似然方程组为,由第一个方程，得到,代入第二方程，得到,是L(,2)的最大值点，即 和 2 的极大似
8、然估计。,下面验证：似然方程组的唯一解是似然函数的最大值点。,例3：设总体 X 服从泊松分布 P()，求参数 的极大似然估计。,解：由 X 的概率分布函数为,得 的似然函数,似然方程为,对数似然函数为,其解为,换成,换成,得 的极大似然估计,例 4：设 X U(a,b)，求 a,b 的极大似然估计。,解：因,所以,由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。,为使 L(a,b)达到最大，b-a 应该尽量地小。但 b不能小于 maxx1,x2,xn。否则，L(a,b)=0。类似地，a 不
9、能大于minx1,x2,xn。因此，a 和 b 的极大似然估计为,解：似然函数为,例5：设 X1,X2,Xn 是抽自总体 X 的一个样本，X 有如下概率密度函数,其中 0为未知常数。求的极大似然估计。,也可写成,求导并令其导数等于零，得,解上述方程，得,从前面两节的讨论中可以看到:同一参数可以有几种不同的估计，这时就需 要判断采用哪一种估计为好的问题。另一方面，对于同一个参数，用矩法和极大 似然法即使得到的是同一个估计,也存在衡 量这个估计优劣的问题。估计量的优良性准则就是：评价一个估计量“好”与“坏”的标准。,7.3 估计量的优良性准则,设总体的分布参数为，,对一切可能的成立,则称 为 的无
10、偏估计。,7.3.1 无偏性,对于样本 X1,X2,Xn的不同取值，取不同的值)。,如果 的均值等于，即,简记为 是 的一个估计(注意!它是一个统计量，是随机变量。,参数，有时可能估计偏高，有时可能偏低，但是平均来说它等于。“一切可能的”是指：在参数估计问题中，参数 一切可能的取值。我们之所以要求对一切可能的 都成立，是因为在参数估计问题中,我们并不知道参数 的真实取值。自然要求它在参数 的一切可能取值的范围内都成立,说明：无偏性的意义是：用估计量 估计,例1：设 X1,X2,Xn 为抽自均值为 的总体X的随机样本，考虑 的如下几个估计量：,例如：若 指的是正态总体N(,2)的均值,则其一切可
11、能取值范围是(-,)。若 指的是方差2，则其一切可能取值范围是(0,)。,定理1：设总体 X 的均值为,方差为2,X1,X2,Xn 为来自总体 X 的随机样本，记 与 分别为样本均值与样本方差，即,即样本均值和样本方差分别是 总体均值 和总体方差 的无偏估计。,证明：因为 X1,X2,Xn 独立同分布，且E(Xi)=,所以,另一方面，因,于是，有,注意到,前面两节中，我们曾用矩法和极大似然法分别求得了正态总体 N(,2)中参数 2 的估计,均为,很显然，它不是 2 的无偏估计。这正是我们为什么要将其分母修正为 n-1，获得样本方差 S2来估计 2 的理由。,例2：求证：样本标准差 S 不是总体
12、标准差 的无偏估计。,证明：因 E(S2)=2，所以，D(S)+E(S)2=2，由 D(S)0，知 E(S)2=2-D(S)2.所以，E(S).故，S 不是 的无偏估计。,例3：设总体 X的 k阶原点距为 ak=E(Xk)，X1,X2,Xn是X 的随机样本，样本 k 阶原点距为Ak,则Ak是 ak的无偏估计，k=1,2,。,证明：因X1,X2,Xn独立，且与 X 同分布，故,即，Ak是 ak的无偏估计。,这就是人们为什么常用样本 k 阶矩估计总体 k 阶矩的主要原因之一。,例4：设总体 X 服从参数为 的指数分布，即其概率密度函数为,证明：设Z的分布函数为 FZ(z,)，先求分布函数，然后导出
13、 Z 的概率密度函数及 E(nZ)。,若 X1,X2,Xn 是 X 的随机样本，记,则 nZ 为 的无偏估计。,因X1,X2,Xn独立，且与 X 同分布，所以，对任意给定的 Z0,有,于是，,E(Z)=/n，E(nZ)=，即 nZ 为 的无偏估计。,用估计量 估计，估计误差,7.3.2 均方误差准则,是随机变量，通常用其均值衡量估计误差的大小。要注意:为了防止求均值时正、负误差相互抵消，我们先将其平方后再求均值，并称其为均方误差，记成，即,哪个估计的均方误差小，就称哪个估计比较优，这种判定估计优劣的准则为“均方误差准则”。,注意：均方误差可分解成两部分:,证明：,上式表明，均方误差由两部分构成
14、：第一部分是估计量的方差，第二部分是估计量的偏差的平方和。,注意：如果一个估计量是无偏的，则第二部分是零，则有:,如果两个估计都是无偏估计，这时哪个估计的方差小，哪个估计就较优。这种判定估计量优劣的准则称为方差准则。,例5：设 X1,X2,Xn 为抽自均值为 的总体,考虑 的如下两个估计的优劣：,我们看到:显然两个估计都是 的无偏估计。计算二者的方差：,这表明：当用样本均值去估计总体均值时，使用全样本总比不使用全样本要好。,前面讨论了参数的点估计。点估计就是利用样本计算出的值(即实轴上点)来估计未知参数。,7.4 区间估计,其优点是：可直地告诉人们“未知参数大致是多少”；,缺点是：并未反映出估
15、计的误差范围(精度)。故，在使用上还有不尽如人意之处。,而区间估计正好弥补了点估计的这一不足之处。,例如：在估计正态总体均值 的问题中,若根据一组实际样本，得到 的极大似然估计为 10.12。,一个可以想到的估计办法是：给出一个区间，并告诉人们该区间包含未知参数 的可靠度(也称置信系数)。,实际上，的真值可能大于10.12，也可能小于10.12。,也就是说，给出一个区间，使我们能以一定的可靠度相信区间包含参数。,这里的“可靠度”是用概率来度量的，称为置信系数，常用 表示,置信系数的大小常根据实际需要来确定，通常取0.95或0.99，即,根据实际样本，由给定的置信系数，可求出一个尽可能短的区间，
16、使,为确定置信区间，我们先回顾前面给出的随机变量的上 分位点的概念。,书末附有2分布、t 分布、F分布的上侧分位数表可供使用。需要注意的地方在教材上均有说明。,现在回到寻找置信区间问题上来。,区间估计的定义,定义1：,实际应用上，一般取=0.05 或 0.01。,7.5 正态总体参数的区间估计,根据基本定理(见定理6.4.1)，知,7.5.1 单正态总体参数的区间估计,也可简记为,于是，的置信区间为,例1:某厂生产的零件长度 X 服从 N(,0.04),现从该厂生产的零件中随机抽取6个，长度测量值如下(单位:毫米):14.6,15.l,14.9,14.8,15.2,15.1.求:的置信系数为0
17、.95的区间估计。,解：n=6，=0.05，z/2=z0.025=1.96，2=0.22.,所求置信区间为,当方差未知时，取,的区间估计,于是，的置信系数为1-的区间估计为,也可简记为,2 的区间估计,例2：为估计一物体的重量，将其称量10次,得到重量的测量值(单位:千克)如下:10.l,10.0,9.8,10.5,9.7,l0.l,9.9,10.2,10.3,9.9.设它们服从正态分布 N(,2)。求 的置信系数为0.95的置信区间。,解:n=10,=0.05,t9(0.025)=2.2622,例3(续例2):求2的置信系数为0.95的置信区间。,解：n=10,=0.05,S2=0.0583
18、,查附表得，,于是，,7.5.2 两个正态总体的情况,在实际应用中，我们经常会遇到两个正态总体均值差和方差之比的区间估计问题。,于是,评价新技术的效果问题，就归结为研究两个正态总体均值之差 1-2 与与方差之比12/22的问题。,例如:考察一项新技术对提高产品某项质量指标的作用,将实施新技术前产品质量指标看成正态总体 N(1,12)，实施新技术后产品质量指标看成正态总体 N(2,22)。,定理1：设 X1,X2,Xm是抽自正态总体X 的简单样本，XN(1,12)，样本均值与样本方差分别为,Y1,Y2,Yn 是抽自正态总体 Y 的简单样本，Y N(2,22)，样本均值与样本方差分别为,I.两个正
19、态总体均值差的区间估计,当两样本相互独立时，有,证明:,1).由基本定理(见定理6.4.1)，知,故，(4)式成立；,且二者相互独立。,且(6)式与(7)式中的随机变量相互独立。由 t 分布的定义，有,N(0,1),2m+n-2,换形式,t m+n-2.,分母互换,利用该定理，我们可以得到 1-2 的置信系数为 1-的置信区间。,例4(比较棉花品种的优劣)：假设用甲、乙两种棉花纺出的棉纱强度分别为 XN(1,2.182)和Y N(2,1.762)。试验者从这两种棉纱中分别抽取样本 X1,X2,X200 和 Y1,Y2,Y100，样本均值分别为:,求 1-2 的置信系数为 0.95 的区间估计。
20、,解:1=2.18,2=1.76,m=200,n=100,=0.05,由(8)式，得 1-2 的置信系数为 1-的置信区间为,例5：某公司利用两条自动化流水线灌装矿泉水。设这两条流水线所装矿泉水的体积(单位:毫升)XN(1,2)和 YN(2,2)。现从生产线上分别抽取 X1,X2,X12 和 Y1,Y2,Y17，样本均值与样本方差分别为:,求 1-2 的置信系数为0.95的区间估计。,解：m=12,n=17,=0.05，再由其他已知条件及(10)式，可算出,查 t 分布表，得 tm+n-2(/2)=t27(0.025)=2.05.,再由(9)式，得 1-2 的置信系数为 1-的置信区间,在这两
21、个例子中，1-2 的置信区间都包含了零，也就是说：1可能大于 2，也可能小于 2。这时我们认为二者没有显著差异。,II.两个正态总体方差比的区间估计,定理2：设 X1,X2,Xm是抽自正态总体X 的简单样本，XN(1,12)，样本均值与样本方差分别为,Y1,Y2,Yn 是抽自正态总体 Y 的简单样本，Y N(2,22)，样本均值与样本方差为,由定理2，易得到两个正态总体方差之比的置信系数为1-置信区间为：,例5：研究机器A和机器B生产的钢管的内径,随机抽取A生产的钢管18根,测得样本方差0.34(mm2);随机抽取B生产的钢管13根,测得样本方差为0.29(mm2)。设两样本相互独立,且机器A
22、和机器B生产的钢管的内径分别服从正态分布N(1,2)与 N(2,2)。求 的置信水平为0.90的置信区间。,解:由 m=18,n=13,S12=0.34,S22=0.29,=0.10 及(11)式，得 的置信系数为 0.90 的置信区间为,7.6 非正态总体的区间估计,前面两节讨论了正态总体分布参数的区间估计。但是在实际应用中，我们有时不能判断手中的数据是否服从正态分布，或者有足够理由认为它们不服从正态分布。这时，只要样本大小 n 比较大，总体均值 的置信区间仍可用正态总体情形的公式,或,2已知时,2未知时,所不同的是：这时的置信区间是近似的。,这是求一般总体均值的一种简单有效的方法，其理论依
23、据是中心极限定理，它要求样本大小 n 比较大。因此，这个方法称为大样本方法。,设总体均值为,方差为2,X1,X2,Xn 为来自总体的样本。因为这些样本独立同分布的，根据中心极限定理，对充分大的 n,下式近似成立,因而，近似地有,于是，的置信系数约为1-的置信区间为,当2未知时，用2的某个估计，如 S2 来代替，得到,只要 n 很大，(2)式所提供的置信区间在应用上是令人满意的。,那么，n 究竟多大才算很大呢？,显然，对于相同的 n,(2)式所给出的置信区间的近似程度随总体分布与正态分布的接近程度而变化，因此，理论上很难给出 n 很大的一个界限。,但许多应用实践表明：当 n30时，近似程度是可以
24、接受的；当 n50时，近似程度是很好的。,例1：某公司欲估计自己生产的电池寿命。现从其产品中随机抽取 50 只电池做寿命试验。这些电池寿命的平均值为 2.261(单位：100小时)，标准差 S=1.935。求该公司生产的电池平均寿命的置信系数为 95%的置信区间。,解：查正态分布表，得 z/2=z0.025=1.96，由公式(2)，得电池平均寿命的置信系数为 95%的置信区间为,设事件 A 在一次试验中发生的概率为 p，现在做 n 次试验，以Yn记事件 A 发生的次数,则 Yn B(n,p)。依中心极限定理，对充分大的 n，近似地有,7.6.1 二项分布,(3)式是(1)式的特殊情形。,(4)
25、式就是二项分布参数 p 的置信系数约为1-的置信区间。,例2：商品检验部门随机抽查了某公司生产的产品100件，发现其中合格产品为84件，试求该产品合格率的置信系数为0.95的置信区间。,解：n=100,Yn=84,=0.05,z/2=1.96,将这些结果代入到(4)式，得 p 的置信系数为0.95的近似置信区间为 0.77,0.91。,例3：在环境保护问题中,饮水质量研究占有重要地位，其中一项工作是检查饮用水中是否存在某种类型的微生物。假设在随机抽取的100份一定容积的水样品中有20份含有这种类型的微生物。试求同样容积的这种水含有这种微生物的概率 p 的置信系数为0.90的置信区间。,解：n=
26、100,Yn=20,=0.10,z/2=1.645,将这些结果代入到(4)式，得 p 的置信系数为0.90的近似置信区间为 0.134,0.226。,7.6.2 泊松分布,设 X1,X2,Xn 为抽自具有泊松分布P()的总体的样本，因为 E(X)=D(X)=，应用(2)式，并用,例4：公共汽车站在一单位时间内(如半小时,或1小时,或一天等)到达的乘客数服从泊松分布 P(),对不同的车站,不同的仅是参数 的取值不同。现对某城市某公共汽车站进行100个单位时间的调查。这里单位时间是20分钟。计算得到每 20 分钟内来到该车站的乘客数平均值为 15.2 人。试求参数 的置信系数为95%的置信区间。,解:n=100,=0.05,z/2=1.96,将这些结果代入到(5)式,得 的置信系数为0.95的近似置信区间为 14.44,15.96。,
