《概率论与数理统计第17讲课件.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计第17讲课件.ppt（44页珍藏版）》请在三一办公上搜索。
1、,概率论与数理统计第十七讲,主讲教师：柴中林副教授,中国计量学院理学院,概率论与数理统计主讲教师：柴中林副教授中国计量学院理学院,第七章: 参数估计,数理统计的任务： 总体分布类型的判断； 总体分布中未知参数的推断(参数估计与 假设检验)。,第七章: 参数估计数理统计的任务：,参数估计问题的一般提法,设总体 X 的分布函数为 F( x, )，其中 为未知参数或参数向量，现从该总体中抽样,得到样本,X1, X2 , , Xn .,依样本对参数 做出估计，或估计参数 的某个已知函数 g( ) 。,这类问题称为参数估计。,参数估计包括：点估计和区间估计。,参数估计问题的一般提法 设总体 X 的分布函
2、数为 F(,称该计算值为 的一个点估计。,为估计参数 ，需要构造适当的统计量 T( X1, X2 , , Xn )，一旦当有了样本，就将样本值代入到该统计量中，算出一个值作为 的估计，,寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法 ,我们仅介绍前面的两种参数估计法 。,寻求估计量的方法1. 矩估计法2. 极大似然法3. 最小二乘,其思想是: 用同阶、同类的样本矩来估计总体矩。,矩估计是基于“替换”思想建立起来的一种参数估计方法 。,最早由英国统计学家 K. 皮尔逊 提出。,7.1 矩估计,其思想是: 用同阶、同类 矩估计是基于“替换”,矩估计就是用相应
3、的样本矩去估计总体矩。,矩估计就是用相应的样本矩去估计总体矩。,设总体 X 的分布函数中含 k 个未知参数,步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m = 1,2,k.,am(1,2,k), m =1, 2, , k.,一般地, am (m = 1, 2, , K) 是总体分布中参数或参数向量 (1, 2, , k) 的函数。,故, am (m=1, 2, , k) 应记成:,设总体 X 的分布函数中含 k 个未知参数 步骤一：记总体,步骤二：算出样本的 m 阶原点矩,步骤三：令,得到关于 1,2,k 的方程组(Lk)。一般要求方程组(1)中有 k 个独立方程。,步骤二：
4、算出样本的 m 阶原点矩步骤三：令 得到关于,步骤四：解方程组(1), 并记其解为,这种参数估计法称为参数的矩估计法，简称矩法。,步骤四：解方程组(1), 并记其解为 这种参数,解：先求总体的期望,例1：设总体 X 的概率密度为,解：先求总体的期望例1：设总体 X 的概率密度为,由矩法，令,样本矩,总体矩,解得,为 的矩估计。,注意：要在参数上边加上“”，表示参数的估计。它是统计量。,由矩法，令样本矩总体矩解得为 的矩估计。注意：要在参数上边,解: 先求总体的均值和 2 阶原点矩。,例2：设 X1,X2,Xn 是取自总体 X 的简单样本, X 有概率密度函数,令y=(x- )/,解: 先求总体
5、的均值和 2 阶原点矩。例2：设 X1,X2,令y=(x- )/,令y=(x- )/,用样本矩估计总体矩,得,用样本矩得,列出方程组:,例3：设总体X的均值为，方差为2，求 和2 的矩估计。,解：由,列出方程组:例3：设总体X的均值为，方差为2，求 和,故，均值,方差2的矩估计为,求解，得,故，均值,方差2的矩估计为求解，得,如：正态总体N( , 2) 中 和2的矩估计为,如：正态总体N( , 2) 中 和2的矩估计为,又如：若总体 X U(a, b)，求a, b的矩估计。,解：列出方程组,因,又如：若总体 X U(a, b)，求a, b的矩估计。 解,解上述方程组，得到 a,b 的矩估计:,
6、解上述方程组，得到 a,b 的矩估计:,矩估计的优点是：简单易行, 不需要事先知道总体是什么分布。,缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性 。,矩估计的优点是：简单易行, 不需要事先知道总体,7.2 极大似然估计,极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法 。,该方法首先由德国数学家高斯于 1821年提出，其后英国统计学家费歇于 1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大似然估计一般方法极大似然估计原理 。,7.2 极大似然估计 极大似然估计法是在,I. 极大似然估计原理,设总体 X 的分布
7、 (连续型时为概率密度，离散型时为概率分布) 为 f(x, ) , X1,X2,Xn 是抽自总体 X 的简单样本。于是，样本的联合概率函数 (连续型时为联合概率密度，离散型时为联合概率分布) 为,被看作固定，但未知的参数。,视为变量,I. 极大似然估计原理 设总体 X 的分布,将上式简记为 L( )，即,称 L( )为 的似然函数。,视为变量,视为固定值,将上式简记为 L( )，即称 L( )为 的似然函数。,假定现在我们观测到一组样本 X1, X2, , Xn，要去估计未知参数 。,称 为 的极大似然估计 (MLE)。,一种直观的想法是：哪个参数(多个参数时是哪组参数) 使得现在的出现的可能
8、性 (概率) 最大，哪个参数(或哪组参数)就作为参数的估计。,这就是 极大似然估计原理。,如果, 可能变化空间,称为参数空间。,假定现在我们观测到一组样本 X1, X2,(4). 在最大值点的表达式中，代入样本值， 就得参数 的极大似然估计。,II. 求极大似然估计(MLE)的一般步骤,. 由总体分布导出样本的联合概率函数(连 续型时为联合概率密度, 离散型时为联合 概率分布)；,(2). 把样本的联合概率函数中的自变量看成 已知常数, 参数 看成自变量, 得到似然 函数 L( )；,(3). 求似然函数 L( ) 的最大值点 (常常转化 为求ln L( )的最大值点) ，即 的MLE;,(4
9、). 在最大值点的表达式中，代入样本值， II.,两点说明：, 求似然函数 L( ) 的最大值点，可应用微积分中的技巧。由于 ln(x) 是 x 的增函数，所以 ln L( ) 与 L( ) 在 的同一点处达到各自的最大值。假定 是一实数, ln L( )是 的一个可微函数。通过求解似然方程,可以得到 的MLE。,两点说明： 求似然函数 L( ) 的最大值点，可应用微, 用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求 。,若 是向量，上述似然方程需用似然方程组,代替 。, 用上述方法求参数的极大似然估计有时行不通，这时要用极大,III. 下面举例说明如何求参数的MLE,例1
10、: 设X1, X2, , Xn是取自总体 XB(1, p) 的一个样本，求参数 p 的极大似然估计。,解：似然函数为,III. 下面举例说明如何求参数的MLE例1: 设X1, X,对数似然函数为：,对 p 求导，并令其等于零，得,上式等价于,对数似然函数为：对 p 求导，并令其等于零，得上式等价于,解上述方程，得,换成,换成,解上述方程，得换成换成,例2：求正态总体 N(, 2) 参数 和 2 的极大似然估计(注: 我们把 2 看作一个参数)。,解：似然函数为,对数似然函数为,例2：求正态总体 N(, 2) 参数 和 2 的,似然方程组为,由第一个方程，得到,代入第二方程，得到,似然方程组为由
11、第一个方程，得到代入第二方程，得到,是L(,2)的最大值点，即 和 2 的极大似然估计。,下面验证：似然方程组的唯一解是似然函数的最大值点。,是L(,例3：设总体 X 服从泊松分布 P( )，求参数 的极大似然估计。,解：由 X 的概率分布函数为,得 的似然函数,例3：设总体 X 服从泊松分布 P( )，求参数 的极大,似然方程为,对数似然函数为,其解为,似然方程为对数似然函数为其解为,换成,换成,得 的极大似然估计,换成换成得 的极大似然估计,例 4：设 X U(a, b)，求 a, b 的极大似然估计。,解：因,所以,例 4：设 X U(a, b)，求 a, b 的极大似然估,概率论与数理
12、统计第17讲课件,由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。,由上式看到：L(a,b)作为a和b的二元函数是不连续,为使 L(a, b) 达到最大，b-a 应该尽量地小。但 b不能小于 maxx1,x2,xn。否则，L(a,b) = 0。类似地，a 不能大于minx1,x2,xn。因此，a 和 b 的极大似然估计为,为使 L(a, b) 达到最大，b-a 应该尽量地小,解：似然函数为,例5：设 X1, X2,Xn 是抽自总体 X 的一个样本，X 有如下概率密度函数,其中 0为未知常数。求 的极大似然估计。,也可写成,解：似然函数为例5：设 X1, X2,Xn 是抽自总体,求导并令其导数等于零，得,解上述方程，得,求导并令其导数等于零，得解上述方程，得,小结,本讲首先介绍参数矩估计的基本思想以及求矩估计的步骤，给出多个求参数矩估计的例子；然后介绍参数极大似然估计的基本原理，求极大似然估计的基本方法，给出多个求参数极大似然矩估计的例子。,小结 本讲首先介绍参数矩估计的基本思想以及求矩,
