《参数估计与假设检验课件.ppt》由会员分享，可在线阅读，更多相关《参数估计与假设检验课件.ppt（73页珍藏版）》请在三一办公上搜索。
1、第一章 参数估计与统计检验,测绘与遥感科学系中南大学,提纲,1.1 概述1.2 点估计与区间估计1.3 多维正态分布1.4 参数估计方法1.5 假设检验,函数模型随机模型平差：对模型中的 做出最优估计，就是参数估计的问题进行观测，建立观测与待估值之间的数学关系，即函数模型,1.1 概述,当观测方程 待求参数，即存在多余观测时，方程超定。要根据观测值的统计特性提出估计准则，得到某种最优性质的解极大似然准则最小二乘准则极大验后准则最小方差准则线性最小方差准则总体最小二乘准则除了估计待估参数的最优解，即点（定值）估计，还需要知道估值的范围，即区间估计检核参数估计的有效性，即统计检验,1.1 概述,总
2、体,样本,统计量,描述,作出推断,随机抽样,（观测值）,（分布）,（估计准则）,参数估计：利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数。,1.1 点估计与区间估计,点估计：通过一次具体抽样值，估计参数 取值的方法称为参数的点估计问题。,估计量：设 为总体X的一个未知参数，统计量 称为 的估计量。估计值：称为 的估计值,1.1 点估计与区间估计-点估计,一个待估参数，可以有几个不同的估计量。,例如，在估计总体方差时，和 都可以作为估计量。,1.1 点估计与区间估计-点估计,这就引出了如何衡量估计量好坏的标准。,无偏性：估计量的数学期望与总体待估参数的真值相等：,1.1 点估计与
3、区间估计-点估计,有效性：在两个无偏估计量中方差较小的估计量较为有效。,1.1 点估计与区间估计-点估计,一致性：指随着样本容量的增大，估计量越来越接近被估计的总体参数。,1.1 点估计与区间估计-点估计,根据事先确定的置信水平1-，给出总体参数的一个估计范围。置信水平1-的含义是：对总体进行取样，落入置信区间的概率是(1-）。,1.1 点估计与区间估计-区间估计,落在总体均值某一区间内的样本,1.1 点估计与区间估计-区间估计,1.2 多维正态分布,一维正态分布服从正态分布的一维随机变量X的概率密度为：或常写成：,1）多维正态随机向量：设有个互相独立的标准正态随机变量构成的随机向量它们的有限
4、个线性函数 则称X为维正态随机向量。,1.2 多维正态分布,2）多维正态分布定义：n维正态随机变量X的数学期望、方差阵为X的分布函数、概率密度都称为维正态分布。3）多维正态分布性质：正态随机向量的线性函数还是正态的.,1.2 多维正态分布,对多维正态随机变量X：,1.2 多维正态分布,4）多维正态分布联合概率密度 n维正态随机向量X的联合概率密度设有维正态随机向量：则它的概率密度为：,1.2 多维正态分布,特别地，对二维正态随机向量X YT，若设其数学期望和方差阵为，则其联合概率密度为：,当X与Y是互不相关的两个正态随机变量时：,1.2 多维正态分布,5）多维正态分布条件概率密度对n+t维正态
5、随机向量X，且设，则其联合概率密度为：,1.2 多维正态分布,5）多维正态分布条件概率密度边界概率密度由条件概率密度公式,1.2 多维正态分布,5）多维正态分布条件概率密度条件概率密度其中,1.2 多维正态分布,例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的这个例子所作的推断就体现了极大似然法的基本思想。,1.3 参数估计方法-极大似然估计,设有参数向量 X（可以是非随机量，也可以是随机向量），为了估计 X，进行了次观测，得到
6、观测向量 L 的观测值，又假定对X的所有可能取值为，在 的条件下得到的观测向量L的条件概率密度为。如果 是 中的最大值，那么 是X的准确值的可能性最大,因此,极大验后准则:,1.3 参数估计方法-极大似然估计,此时把 叫做X的极大似然估值，并记作。,极大似然解法：称为似然函数，称为对数似然函数。怎么获取条件概率密度？全概率与边际概率密度估计：观测条件或假设决定,或,1.3 参数估计方法-极大似然估计,假设 f(l/x)是正态条件概率密度时,有,似然方程等价于,1.3 参数估计方法-极大似然估计,1.3 参数估计方法-极大似然估计,例,1.3 参数估计方法-极大似然估计,1.3 参数估计方法-极
7、大似然估计,基本思想：使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。这有助于揭示更接近真实的状况。具体方法：是为使误差平方和为最小，可通过求误差平方和对待估参数的偏导数，并令其等于0，以求得参数估计量。,1.3 参数估计方法-最小二乘估计,设被估计量（未知的参数向量）为X，观测向量为L，观测误差为，观测方程为：设X的估值为，并记：所谓的最小二乘估计，就是要求所求得的估值使下列二次型达到最小值，即：则称 为X的最小二乘估值记为。,1.3 参数估计方法-最小二乘估计,最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学科领域中也有广泛的应用，
8、主要原因：数理统计观点-需要观测向量的验前统计信息最少；数学观点-提供了最优的解一组多余观测的线性代数方程的方法；数值计算角度-最小二乘导出法方程组是一线性代数方程组，其系数矩阵是对称的。,1.3 参数估计方法-最小二乘估计,但要保证最小二乘估计求出估值是最优估值，要求：,即：1、表示L中不含系统误差和粗差；2、权阵P应由L或的协方差确定(这时，X必需是非随机参数！）。,1.3 参数估计方法-最小二乘估计,极大似然法与最小二乘估计两种常用方法的比较：极大似然估计：极大似然法要求已知总体的分布，才能获得估计量；参数可以是随机的，也可是非随机的。最小二乘估计：最小二乘估计方法对分布没有严格的要求，
9、无论哪种统计分布，均可进行估计；参数是非随机的。,1.3 参数估计方法,是随机参数向量X在 的条件下的条件概率密度。如果 是 中的最大值，那么 是X的准确值的可能性最大。极大验后准则:一般用 表示，并称之为极大验后估值。极大验后估计的解法：称之为验后方程。,或,1.3 参数估计方法-极大验后估计,假设X和L均为正态随机向量，此时条件概率密度为：,其中：,则极大验后准则等价于,1.3 参数估计方法-极大验后估计,求一阶偏导数，并令其等于零，得：故，极大验后估值为：,1.3 参数估计方法-极大验后估计,最小方差估计：是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求参数X的估值，如
10、果它的误差方差比任何其它估值的方差小，就认为这个估值是最优估值。估计误差：，误差方差：最小方差准则：一般用 表示最小方差估值,1.3 参数估计方法-最小方差估计,误差方差阵为参数的最小方差估值为：,1.3 参数估计方法-最小方差估计,线性最小方差估计是放宽对概率密度的要求，只要求已知L和X的数学期望、方差、协方差，以及限定所求的估计量是所求观测向量L的线性函数，再以估计量的均方误差达到极小为最优估计量的准则：一般用 表示线性最小方差估计,1.3 参数估计方法-线性最小方差估计,线性最小方差估计解法,1.3 参数估计方法-线性最小方差估计,各种估计方法的关系,1.3 参数估计方法,极大似然估计、
11、极大验后估计、最小方差估计，均要知道观测向量或未知参数向量的条件概率密度（或联合概率密度），所得到的估计量可以是L的任意函数；,最小二乘估计不需要知道任何统计性质，所得到的估计量是L的线性函数。,极大验后估计考虑了参数的X的先验统计特性，改善了最小二乘估计。当X是不具有先验统计特性的非随机量时,极大验后估计退化为极大似然估计或最小二乘估计。,各种估计方法的关系 对正态分布，极大验后估计、最小方差估计、线性最小方差估计得到的结果相同；对正态分布，可由极大似然估计导出最小二乘估计。,1.3 参数估计方法,在最小二乘中，一般认为系数矩阵A不存在误差。整体最小二乘是当A和L都存在误差时的估计方法,1.
12、3 参数估计方法-总体最小二乘估计,导数计算,1.3 参数估计方法-总体最小二乘估计,参数估计,1.3 参数估计方法-总体最小二乘估计,迭代计算,1.3 参数估计方法-总体最小二乘估计,算例,1.3 参数估计方法-总体最小二乘估计,LS=4.5;-0.5TLS=6.6977;-0.9884,迭代计算,1.4 假设检验,为什么要做假设检验？,苹果的故事爷爷让孙子去买苹果，并说：“你买的每个苹果都要是甜的，不酸”；过了一会，孙子回来了，高兴地告诉爷爷：“我买的每个苹果都很甜”；爷爷一看，孙子在每个苹果上都咬了一口，孙子没撒谎,1.4 假设检验,什么是假设检验？,概念事先对总体参数或分布形式作出某种
13、假设然后利用样本信息来判断原假设是否成立类型参数假设检验非参数假设检验特点采用逻辑上的反证法依据统计上的小概率原理,1.4 假设检验,小概率原理小概率原理是假设检验的基本依据，即认为小概率事件在一次试验中几乎是不可能发生的。当进行假设检验时，先假设H0正确，在此假设下，事件A出现的概率很小。经过取样试验后，A出现了，则违反了上述原理，我们认为这是一个不合理的结果。这时，我们只能怀疑作为小概率事件A的前提假设H0的正确性，于是否定H0。反之，如果试验中A没有出现，我们就没有理由否定假设H0，从而做出接受H0的结论。,1.4 假设检验,原假设和备选假设原假设 是关于总体而非样本统计量的假设 假设原
14、假设是正确的原假设可能被接受也可能被拒绝备选假设 是原假设的对立备选假设可能被接受也可能被拒绝,1.4 假设检验,显著性水平：原假设为真时，拒绝原假设的概率，一般用表示，也称为置信度。常用的 值有0.01,0.05等置信水平：1-检验统计量：用来决策（拒绝或不能拒绝零假设）时依据的样本统计量。接受域与拒绝域：以双侧检验为例，若，则认为 是接受域，其外则是拒绝域,1.4 假设检验,双侧检验显著性水平、置信水平、接受域、拒绝域,1.4 假设检验,左侧检验显著性水平、置信水平、接受域、拒绝域,1.4 假设检验,右侧检验显著性水平、置信水平、接受域、拒绝域,H0值,临界值,a,样本统计量,拒绝域,接受
15、域,抽样分布,1-,置信水平,1.4 假设检验,归纳：假设检验的步骤提出原假设和备选假设确定适当的检验统计量规定显著性水平计算检验统计量的值作出统计决策根据给定的显著性水平，查表得出相应的临界值Z或Z/2将检验统计量的值与 水平的临界值进行比较得出接受或拒绝原假设的结论,1.4 假设检验,双侧检验,1.4 假设检验,双侧检验,1.4 假设检验,双侧检验,1.4 假设检验,左侧检验,1.4 假设检验,左侧检验,1.4 假设检验,右侧检验,1.4 假设检验,右侧检验,1.4 假设检验,两类错误分析,两类错误：（1）弃真：原假设H0实际是正确的，但却错误地拒绝了H0，这样就犯了“弃真”的错误，通常称
16、为第一类错误。（2）纳伪：原假设H0实际是不正确的，但是却错误地接受了H0，这样就犯了“纳伪”的错误，通常称为第二类错误。,1.4 假设检验,1.4 假设检验,图解a和b不可能同时变小通过扩大样本容量，使第二类错误的概率减小。,1.4 假设检验,2,0,1.4 假设检验,t,0,1.4 假设检验,1.4 假设检验,常用于当2已知时，关于=0的检验问题。,1.4 假设检验,U检验的决策准则如下（1）双侧检验：当 时，拒绝原假设H0；否则接受原假设H0。（2）左侧检验：当 时，拒绝原假设H0；否则接受原假设H0。（3）右侧检验：当 时，拒绝原假设H0；否则接受原假设H0。,U,0,-1.65,拒绝 H0,0.05,U,0,1.65,0.05,拒绝 H0,1.4 假设检验,
