《第三讲参数估计.ppt》由会员分享，可在线阅读，更多相关《第三讲参数估计.ppt（26页珍藏版）》请在三一办公上搜索。
1、第三讲 参数估计,一、参数及其估计,二、替换原理,三、极大似然估计法,一、参数及其估计,在解决实际问题中，当构造了统计模型，,我们首先关心的是分布族中的那一个分布产,生了我们所抽取的数据，即就是要从样本来,推断总体的分布或所感兴趣的总体特征数,（如总体均值、方差等）。,统计推断分为参,数估计和假设检验，我们先来讨论参数估计。,通常我们也称其为参数。,如,废品率。,但上述有关参数的概念并不局限于,参数统计模型，,在非参数统计模型中亦存在，,特征数也都是参数。一般地，有关参数和估,计量，我们有如下定义。,定义3,参数（Parameter）,估计量,（Estimate），简称估计。,二、替换原理,1
2、.频率替换法,考虑n次独立重复试验，每次试验有k中,可能的结果,父辈从事第3,种职业的708个丹麦男性的职业数据如下：,例5,考虑男性总体。设男性的职业类型分为,五类，,根据频率替换,原理，最自然的方法就是用样本频率,例如在例5中已知第4和第5种职业相于蓝领，,第2和第3种职业相于白领，我们感兴趣的是,蓝领工人和白领工人比率的差，即,使用频率替换原理，有,在实际问题中，常见的情形是：每次试验,函数，,上有定义和连续，则由频率替换原理可得,需要注意的是在上述估计过程中可能得到,的估计是不唯一的，举例说明如下。,例6,考虑具有两个等位基因的单个基因的遗,传平衡问题。,如果三种不同的基因型是可辨,识
3、的，,这就导致假设个体三种基因型发生的,频率为,即著名的Hardy-Weinberg模型。,由替换原理可得 的三个不同的估计,关于这三个估计优劣留以后讨论。,2.矩估计法,矩估计法的主要思想是基于替换原理。,相应的样本的前r个原点矩为,由替换原理可得 的估计为,这种方法称为矩估计法，所得的估计量称为,矩估计量（Moment Estimate）。,例7,例8,解,因为均匀分布的均值和方差为,令,求解可得,注意：,1.总体存在适当阶的矩。,反例，考虑Cauchy分布，其密度函数为,其各阶矩均不存在。,2.对相同的参数，存在多个矩估计。,例如，考虑总体是参数为 的Poisson分布，,三、极大似然法
4、,例9,已知甲、乙量射手命中靶心的概率为0.9,极大似然法是另一种常用的估计法，先举,例说明其思想。,和0.4，观察一张靶纸知10枪6中，且这张,靶纸肯定是射手甲乙之一所射，问究竟,是谁所射？,式。,比较这两个值，,这张靶纸是乙所射的，,从这个例子可以看出，极大似然法是基,于这样一个统计原理：在一次试验中，某一,事件已经发生，则必认为发生该事件的概率,最大（小概率事件原理）。,分布为,简记,简记为MLE。,注意：,当总体X为离散随机变量时，,为分布率（分布列）；,连续随机变量时，,函数。,而当总体X为,从以上分析可知，,求极大似然估计的具体过程可归如下：,1.当参数空间仅函有限个元时，可以用穷,举法求,2.,时，,求解似然方程可,例10,设总体X的分布函数为,简单随机样本，,例11,考虑n次独立重复试验，每次试验有k种,可能的结果,例12,解,的小。,故有,注：,常常可以证明矩估计或MLE存在，但,无法获得解的解析表达式（显式解），,这时可用迭代法等求数值解。,
