《应用数理统计Cha.ppt》由会员分享，可在线阅读，更多相关《应用数理统计Cha.ppt（25页珍藏版）》请在三一办公上搜索。
1、1,第三章 点估计（三）,3.1 预备 3.2 矩估计 3.3 极大似然估计 3.5 Cramer-Rao不等式,2,3.3 极大似然估计,思想方法：一次试验就出现的事件有较大的概率,例如:有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球,现从两箱中任取一箱,并从箱中任取一球,结果所取得的球是白球.,问:所取的球来自哪一箱?,答:第一箱.,极大似然估计就是通过样本观察值 求得总体的分布参数,使得 取值为 的概率最大.,3,似然函数,似然函数的定义,4,(Likelihood function).,5,似然函数的定义,6,XP(),即,当样本X 为(
2、x1,x2,xn)时，求样本的似然函数.,例,解：,7,似然函数和概率函数是同一表达式,但含义不同.,注:,概率函数:,将 固定,将其看成定义在样本空间 上的函数；,似然函数:,将 x 固定,将其看成定义在参数空间上的函数；,称 lnL()为对数似然函数,记为 l(;x).,对数似然函数:,8,引例,设罐子里装有黑球和红球，它们的比例是 1:3,但不知道是黑球多还是红球多，则从中抽出一球为黑球的概率为 或.,现从罐子里有放回地抽出 n 个球，试根据样本数据，估计 的值为，还是？,解：,令Xi 表示第i 次抽球的结果，即,9,任务：,10,结论：,11,问题,结论：,若,这正是“极大似然”一词的
3、由来.,12,如果某统计量 满足 则称 是 的极大似然估计(Maximum Likelihood Estimate)，简记为MLE。,称 lnL()为对数似然函数,记为 l(;x).由于很多分布族的.中含有x的指数形式,人们通常习惯于由对数似然函数lnL()出发寻找 的极大似然估计.,极大似然估计,定义,注:,13,当L()是可微函数时，求导是求极大似然估计最常用的方法.因为L()与lnL()有相同的极值点，一般对lnL()求导更加简单些.,极大似然估计的求法,微分法；,定义法.,微分法,的解.,14,定义法,当似然函数L()有不连续点时，似然方程没有意义，须从定义出发求极大似然估计.,如果
4、是 的极大似然估计，则对任一函数g()，其极大似然估计为.,性质,该性质称为极大似然估计的不变性.,15,例,解：,(1)似然函数为,对数似然方程为,16,(2)根据极大似然估计的不变性，有,例,解：,(1)似然函数为,对数似然函数为,17,对数似然方程为,(2)根据极大似然估计的不变性，有,18,对正态总体N(,2),=(,2)是二维参数，设有样本x1,x2,xn，求 的MLE.,例,解：,似然函数与对数似然函数分别为,19,将 l(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组,解此方程组，可得 与 2的MLE为,20,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合
5、求导都是有效的。,设x1,x2,xn是来自均匀总体U(0,)的样本,试求 的极大似然估计.,例,解：,似然函数为,要使L()达到最大，要满足两个条件:,(1)示性函数取值为1;,(2)1/n 取到最大.,21,取到最小.,设x1,x2,xn是来自均匀总体U(0,)的样本,试求 的极大似然估计.,例,解：,似然函数为,要使L()达到最大，要满足两个条件:,(1)示性函数取值为1;,(2)1/n 取到最大.,22,(1)标准差；(2)概率,设x1,x2,xn是来自正态总体N(,2)的样本，求如下参数的MLE:,例,解：,已知 和 2 的极大似然估计为,由不变性可得如下参数的极大似然估计,(1),(2),23,练习,24,3.3 作业,25,
