《参数估计-矩法和极大似然法.ppt》由会员分享，可在线阅读，更多相关《参数估计-矩法和极大似然法.ppt（30页珍藏版）》请在三一办公上搜索。
1、参数估计,参数估计,点估计,区间估计,参数的点估计,点估计概念求估计量的方法小结,总体,样本,统计量,描述,作出推断,研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.,随机抽样,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,参数估计,估计IC废品率,估计电子产品的重量,估计湖中鱼数,估计降雨量,在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.,Chip,这类问题称为参数估计.,参数估计问题的一般提法,X1,X2,Xn,现从该总体抽样，得样本,（假定平均面积服从正态分布）,设这5个
2、数是:,1.65 1.67 1.68 1.78 1.69 单位mm2,估计 为1.68，,这是点估计.,这是区间估计.,例如我们要估计某批芯片的平均面积.,现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计.而全部信息就由这5个数组成.,一、点估计概念,随机抽查100笔记本电脑,得100个数据,10,7,6,6.5,5,5.2,（磅）,而全部信息就由这100个数组成.,例1 已知某批笔记本电脑的重量,未知,为估计:,我们需要构造出适当的样本的函数 T(X1,X2,Xn)，每当有了样本，就代入该函数中算出一个值，用来作为 的估计值.,把样本值代入T(X1,X
3、2,Xn)中，,估计值.,得到 的一个点,我们知道,若,由大数定律,自然想到把样本重量的平均值作为总体平均重量的一个估计.,样本重量的平均值,则.,用样本重量的均值 估计.,类似地，用样本重量的方差 估计.,使用什么样的统计量去估计？,可以用样本均值;,也可以用样本中位数;,还可以用别的统计量.,问题是:,二、寻求估计量的方法,1.矩估计法,2.极大似然法,3.最小二乘法,4.贝叶斯方法,这里我们主要介绍前面两种方法.,最大似然法,它是在总体类型已知条件下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的.,Gauss,Fisher,然而,这个方法常归功于英国统计学家费歇.,
4、费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.,最大似然法的基本思想,先看一个简单例子：,一只野兔从前方窜过.,是谁打中的呢？,某位同学与一位猎人一起外出打猎.,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下.,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,这个例子所作的推断已经体现了极大似然法的基本思想.,最大似然估计原理：,当给定样本X1,X2,Xn时，定义似然函数为：,设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合分布律(离散型)为 f(x1,x2,xn;).,这里 x1,x2,x
5、n 是样本的观察值.,似然函数：,最大似然估计法就是用使 达到最大值的 去估计.,称 为 的最大似然估计值.,看作参数 的函数，它可作为 将以多大可能产生样本值 x1,x2,xn 的一种度量.,而相应的统计量,称为 的最大似然估计量.,两点说明：,1、求似然函数L()的最大值点，可以应用微积分中的技巧。由于ln(x)是 x 的增函数,lnL()与L()在 的同一值处达到它的最大值，假定 是一实数，且lnL()是 的一个可微函数。通过求解方程：,可以得到 的MLE.,若 是向量，上述方程必须用方程组代替.,2、用上述求导方法求参数的MLE有时行不通，这时要用最大似然原则来求.,下面举例说明如何求
6、最大似然估计,L(p)=f(x1,x2,xn;p),例5 设X1,X2,Xn是取自总体 XB(1,p)的一个样本，求参数p的最大似然估计量.,解：似然函数为:,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的最大似然估计值.,从而 p 的最大似然估计量为,(4)在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.,求最大似然估计(MLE)的一般步骤是：,(1)由总体分布导出样本的联合分布率(或联合密度);,(2)把样本联合分布率(或联合密度)中自变 量看成已知常数,而把参数 看作自变量,得到似然 函数L();,(3)求似然函数L()的最大值点(常常转化为求ln L()的最
7、大值点)，即 的MLE;,例 设总体 X N(),未知.是来自 X 的样本值,试求 的最大似然估计量.,似然函数为,解,X 的概率密度为,于是,令,解得,的最大似然估计量为,解：似然函数为,例 设X1,X2,Xn是取自总体X的一个样本,其中 0,求 的最大似然估计.,i=1,2,n,对数似然函数为,解：似然函数为,i=1,2,n,=0(2),由(1)得,=0(1),对 分别求偏导并令其为0,对数似然函数为,对,于是,取其它值时，,即 为 的MLE.,且是 的增函数,我们介绍了参数点估计,给出了寻求估计量最常用的矩法和极大似然法.,参数点估计是用一个确定的值去估计未知的参数.看来似乎精确，实际上把握不大.,小结,
