几种创新大地测量数据处理理论与方法概述.docx

《几种创新大地测量数据处理理论与方法概述.docx》由会员分享，可在线阅读，更多相关《几种创新大地测量数据处理理论与方法概述.docx（17页珍藏版）》请在三一办公上搜索。

1、现代大地测量学论文几种创新大地测量数据处理理论与方法概述现代测量平差与数据处理理论发展概述经典的测量平差与数据处理是以高斯-马尔柯夫模型为核心： (1a), (1b), (1c)这里为观测向量,为误差向量,为未知参数向量,为的系数矩阵,为数学期望,为单位权方差,为观测权矩阵,为协因素矩阵,为观测个数。现代测量平差与数据处理理论仍然是以高斯-马尔柯夫模型为核心,通过该模型在不同层面上的扩充、发展形成了若干新理论、新方法。各种现代平差理论与方法与经典平差模型的关系可以描述如图1所示【1】 图1 各种现代平差理论与方法与经典平差模型的关系图1测量平差主要发展状况概述测量平差估计准则的发展：高斯最小二

2、乘理论的发展，相关平差理论的发展，极大验后估计准则，稳健估计的准则，统计决策的基本概念，容许性的概念。测量平差数据质量评估及质量控制理论的发展：经典的数据质量评估与质量控制理论，现代的方差协方差估计理论的发展，赫尔黙特方差估计理论，二次无偏估计法，方差分量的Bayes 理论，方差估计的精度评定。稳健估计主要介绍：稳健估计理论的发展，污染误差模型构成，污染误差模型在测量数据处理中的具体形式，稳健性度量的概念，各种稳健性度量准则，影响函数的定义，影响函数的确定。稳健估计的种类，稳健的M估计的原理，选权迭代法的基本原理，测量中常用的几种选权迭代法，均方误差最小的稳健估计，污染误差模型下的测量数据处理

3、理论。一次范数最小的估计，一范最小估计的性质，一范最小估计的算法（线性规划法，迭代法），P范最小的原理，算法。粗差探测的理论，data-snooping的原理和方法，可靠性理论（内可靠性，外可靠性），稳健估计理论在测量中的应用及发展现状。时间序列数据处理的理论发展：实时动态数据的处理概况，动态数据的卡尔曼滤波（动态模型的建立，滤波），动态数据的预报，动态数据的平滑，随机过程与时间序列的概念，平稳随机过程和平稳时间序列，时间序列的随机线性模型平稳自回归模型，平稳自回归可逆滑动平均混合模型，线性模型的自相关函数和偏相关函数，模型的初步识别，模型参数的矩估计，模型参数的最小二乘估计，模型的检验和改进

4、时间序列的预报。多源数据的融合：多源数据的融合的基本概念，多源数据的融合的基本方法，先验信息的描述，Bayes估计的原理，Bayes准则，无信息先验，共扼分布，损失函数的概念，经验Bayes估计，Bayes假设检验，Bayes预测，Bayes估计在测量中的应用，方差分量的Bayes估计，Bayes估计的广义可容许性。有偏估计：容许性的概念，病态方程问题，均方误差的概念，stein估计，岭估计，岭参数的确定，主成分估计，有偏估计在测量中的应用。【0208】本文根据上述扩展，将作重介绍几种现代新发展起来的几种处理方法。2.几种创新方法介绍2.1关于粗差抗差估计抗差估计的提出是与粗差(Gross e

5、rror)相联系的,粗差指离群的误差,由失误、观测模式差、分布模式差而来,它实际不可避免,观测模式差是指局部对全局性的系统差,没有有效的估计方法,就结果而言,观测模式比估计方法更重要。所谓抗差估计,实际是在粗差不可避免的情况下,选择估计方法使未知量估值尽可能减免粗差的影响,得出正常模式下的最佳估值。抗差估计也包括方差估计和假设检验。最小二乘估计为粗差所吸引,使未知量估值偏离,但在正常分布模式下,此法具有优越的数学和统计性能。因此一个有效估计方法必须具有保留最小二乘法的优越性同时增加其抗差性。设有观测子样其相互独立,观测权为,i由1至n。M估计是由观测求参量的估值j由1至m,余差为vi。求的条件

6、是就极小,即 （1）其中是挑选的极值函数。（1）式是估值方程,直接计算往往很困难,但它可改写为 （2）其中,，记为A 称为权因子。(2)式可以看作最小二乘解的法方程,相应观测方程 等价权 (3)计算要知道,它可取适当的近似值,权的精度要求不高。我们称为等价权,因为取它作为观测方程(3)的权所得出的法方程,正是估值方程(1)。这样利用等价权可将M估计化为最小二乘估计,这无论在计算、估算方案制定上都带来很大的便利,我们就充分利用它。通过权因子,可以对不同的极值函数进行对比,反之,若规定了权因子,也可以找出相应的极值函数。下面列举几种通常有效的估计方案,这里作了适当的改化。在时,权因子均为1, 为观

7、测权中误差, 为倍数。(1)经典的最小二乘估计(LS)极值函数: (4)权因子:1,权与无关等价权: (2)绝对和极小(LAS)或称一次范数最小极值函数: (5)权因子: 等价权: (3)Huber估计极值函数: (6)权因子: 等价权: (4)丹麦法极值函数: (7)权因子: 等价权: (5)IGGI方案极值函数: (8)权因子: 等价权: 抗差方案的选择IGGI方案：从上节列举的几种估计方案看,一个有效的抗差方案应作如下考虑:有一界限,在限内采用最小二乘法,权因子为1;限外权因子随的增大由1逐渐减小。绝对和极小的最简单情形联系于中位数,正负余差权之和相等。观测变动只须保持余差符号不变,解不

8、受影响,因此具有优越的抗差性。抗差理论证明,它的影响函数(Influence function)绝对值不变(不因粗差而异);其崩溃污染率(Breakdown point)为权大值1/2(污染率在此限内,估值在界内)。这和最小二乘解(平均值)相比,具有明显的优越性。但由界限现代测量平差与数据处理理论的进展向内,权因子由1无限增大,这与观测权大大不符。从测量误差理论来看,界限之可取1.5(按正态分布,误差在1.5以外的概率仅为0.13),限外之观测既不能完全否定,又要限制其有害作用,采用抗差权因子 （9）以除低观测权是可取的。式中取正值。当余差超出2.5时,(正常模式下,概率为0.01),在观测模

9、式可用的情况下,不应作为观测信息,即取 (从抗差估计看,粗差也不能过大)。如按绝对和方案(5),当=2.5时,仅达3/5,权因子缩小嫌慢。丹麦法权因子采用,且在叠代计算中累乘因子,没有抗差上的论证,它实质上是淘汰法。综上所述,余差在1.5以内,采用原观测权,即此段用最小二乘法; 2.5以外,观测不用,即淘汰法;在1.52.5之间(包括2.5),按绝对和极小取权因子作为抗差方案,这个方案就是IGGI方案。【09】2.2关于数据融合大地测量观测数据类型越来越多,有距离观测、方向(或角度)观测以及点的位置观测等,由于观测仪器、观测时间、观测方案不同,即使是同类型观测,也可能造成观测量间不相容。综合处

10、理各类大地测量观测信息有多种模式,如序贯平差法1、整体平差法等。无论采用哪种平差方法,都涉及观测信息的函数模型和随机模型的构造与选择问题,同时还涉及数据融合的方式问题,即基于观测信息的融合或基于导出观测量(伪观测量)的融合。一般情况下,基于独立观测信息的融合是一种较为严密的融合。在实践中,大地测量数据融合经常需要虑函数模型误差和随机模型误差,如在2000中国GPS大地控制网数据融合中,不同等级的GPS观测函数模型顾及了函数模型误差(如基准差、地壳形变误差、轨道误差等),在多时段、多等级的GPS观测信息的融合中,采用了顾及各类随机模型误差的方差分量估计【10,11】。2.2.1观测信息的融合2.

11、2.1.1基于观测信息的融合在进行观测信息的融合时,可以分别考虑函数模型和随机模型误差。现考虑两类观测信息和,相应的权阵为,., 为相应的协方差矩阵,其误差方程分别为: (1) (2)式中,为t1待估参数向量;、分别为、的设计矩阵;、为、的残差向量;、的维数分别为、。式(1)和式(2)的参数解为: (3) 验后协方差矩阵为: (4) (5)2.2.1.2具有函数模型误差的观测信息融合解若考虑L1有系统误差,则可以对其函数模型进行改进,即 (6)式中,为模型系统误差;为相应的系数矩阵。对式(2)和式(6)求解,则待估参数向量解为: (7)2.2.1.3具有随机模型误差的观测信息融合解若考虑观测向

12、量、的随机模型误差,则 (8)式中,;。解得和后,重新调整、的权:, (9)若考虑观测函数模型误差,在估计正常模型参数的基础上,同时解算模型系统参数,采用方差分量估计调节、的权阵,此时,方差分量估计式与式(8)相同,只是其法方程矩阵不同,即 , 2.2.2各类观测信息平差结果的融合2.2.2.1最小二乘融合解假设由观测方程(1)和(2)单独求解,其参数估值及相应的验后协方差矩阵分别为: (10) (11) (12) (13)基于、的单独平差结果的观测方程为: , (14) , (15)其融合解为: (16)当忽略和的差异时,基于观测信息的融合解式(3)与基于观测信息的单独平差结果的融合解式(1

13、6)是等价的。若考虑有系统误差,其误差方程仍为式(6),则系统误差对的影响为: (17)对残差的影响为: (18)当忽略对的影响,系统误差对最小二乘融合解的影响为: (19)若考虑有随机模型误差其误差方程可采用方差分量估计重新标定、的方差因子及其相应的权阵。关于联合平差的方差分量估计已有现成的结果2-6。这里仅给出常用的Helmert方差分量估计公式仍为式(1),则随机模型误差对的平差结果的影响为: (20)对的协因数的影响为: (21)式中,;。对最小二乘融合解的影响为: (22)式中,为对虚拟观测量的权阵的影响量。如果同时考虑、对参数估值及其协方差的影响,将给实际计算带来极大困难。因为当含

14、有系统误差时,会对平差结果有影响,虽对其协因数无影响,但对方差因子有影响,从而对验后协方差矩阵有影响。当有随机模型误差时,对平差结果及其协方差都有影响,而且它们的影响是交叉的、不可分离的。2.2.2.2具有函数模型误差的平差结果的融合假使的平差结果含有模型误差,则相应的观测方程为: (23)式中,为模型系统误差;为相应的系数矩阵。基于式(23)和式(15)的最小二乘融合解为: (24)比较式(7)和式(24)不难发现,这两种顾及函数模型误差的融合解一般是不等价的。当观测信息含有系统误差时,基于观测信息的融合解比基于平差结果的融合解更合理,因为基于平差结果的融合模式中无法分别考虑各观测信息的系统

15、误差,即观测信息的系统误差已混叠到最后的平差参数中,即使在平差参数的观测方程中可以估计系统误差,但此时的系统误差已是各种误差的结合,其估计及控制效果都不如直接基于观测信息的融合。2.2.2.3具有随机模型误差的平差结果的融合一般情况下,各类观测信息的内符合精度较高,因而导致各类观测平差结果的协方差矩阵过于理想,于是基于平差结果)及其 （25）式中,比较式(8)和式(25)不难发现:尽管二者都是Helmert严密方差分量估计解,但由于二者基于不同的随机变量,则解一般不等价;基于观测信息的残差二次型一般远大于基于参数平差值的残差二次型;基于参数平差值融合的方差分量估计解容易造成式(25)的法方程矩

16、阵的对角线元素为负,甚至造成负方差现象。【12】2.3关于非线性问题非线性模型的参数估计 测量平差与数据处理所涉及到的误差模型基本上是两种:函数误差模型和随机误差统计模型。随机误差模型主要用于观测值权的估计,这方面的内容将在专门的文献中论述。对于函数误差模型,测量学上大致有两种情形:1)结构关系模型即函数关系明确,模型误差由参数测量的不准确引起。例如,平面上三角形的三内角和为180,这一函数关系明确,模型误差由实际测量角误差产生。2)相关关系模型即函数关系不明确,模型误差由函数关系、参数的数量及参数的测量误差引起。例如,在确定GPS水准高程时,高程异常的拟合函数的选择带有主观性,函数关系不十分

17、明确。对上述两类模型而言,只要二者的模型性质相同,参数的估计方法是基本一致的。在测绘领域内,人们习惯于在线性空间内研究一些问题,因此绝大多数的非线性问题都是通过转化为线性问题来解决的,究其原因:测量平差与数据处理中多数非线性模型的线性性较强,模型中未知参数多有充分的近似值。基于这类模型的间接数据处理方法能够基本满足过去乃至现在一些实际工作对数据处理精度的要求;理论上尚未提供成熟而又适用的非线性测量数据处理方法。测量平差与数据处理所涉及到的数学模型大多是非线性模型,对非线性模型作线性化处理必然导致信息的损失和特征的改变1。随着测绘技术的进步和生产实践的发展,既有的间接数据处理方法可能成为制约测量

18、数据精度进一步提高的主导因素。因此研究非线性模型空间内的测量平差与数据处理方法已成为当今测绘学科发展的迫切需要。2.3.1 非线性误差模型2.3.1.1 误差模型上节已经提到测量学上所涉及的函数误差模型有两种情形。对于结构关系模型下的参数点计,其数学模型如下: (1a) (1b) (1c)式中, 表示非线性函数关系,是观测量,可能含有随机误差,小粗差及可变系统误差,考虑到粗差的随机特性及系统误差的二象性【13】,因此认为是由Li引起的随机误差分量;对没有贡献。模型(1a)(1c)用于估计非随机参数的或然值。对于相关关系模型下的参数点估计,测量数据处理上称为回归拟合或数字逼近。其数学模型如下:

19、(2a) (2b) (2c)式中,是非线性映射关系;,是直接观测量;是模型误差效应,主要由引起;随机误差主要由贡献,主要由产生,可根据实际情况决定是否考虑其影响。模型(2a)(2c)用于估计误差模型中未知参数,。2.3.1.2 随机误差模型假设式(1c)、(2c)中是由方差协方差构成的线性或非线性正定对称矩阵,是含在中的未知参数。当退化为时,随机误差模型呈线性形式。从测量误差统计的观点来看,大致有如下几种情形:(1) 表示单位矩阵,式中子样观测值是相互独立的,且观测误差服从相同的概率分布,即等精度独立观测。(2)或式中子样观测值是相互独立的,观测误差或组间观测误差不服从同一母体分布,即观测精度

20、不等,组内观测精度相同。(3)上式表明子样观测值是相关观测值,观测精度不等。此时(1a)、(2a)中的应写成: (3)为相关部分,是独立的随机部分。对于,其部分延流模式为:,为延流比。(1)、(2)两种情形属经典意义下的随机误差模型,(3)属广义意义下的随机误差模型。误差假设的合理性可能通过对现有的数据进行残差分析和诊断分析作出评价。2.3.2 相关抗差估计准则迄今,最小二乘法在参数(包括随机参数和非随机参数)估计中使用频率最高。其目标函数为:RSS() (5)式中是大于0的权数,如果-是相互独立的,则是的极大似然估计。对于(5)式,如果是线性函数或可线性近似的非线性函数时,参数估计量(不是估

21、计值)具有无偏性、一致性和有效性;为强非线性函数时,参数估计必须经过迭代求解,参数的估计量具有有偏性。但最小二乘法存在两个明显缺陷:(1)的影响函数是个无界函数,崩溃点即LSE对观测数据中哪怕是唯一的粗差十分敏感,并导致结果不可靠。(2)观测量或参数之间存在相关关系,即出现共线性时,设计矩阵的列向量线性相关,奇异或接近奇异,此时LSE的精度很不稳定。实践中:模型误差是普遍存在的;均值漂移模型或方差扩大模型下的粗差处理都有其局限性;测量数据多是时序样本值。因此,为克服最小二乘法的两个缺陷,相应地找到了两种处理途径:稳健估计和有偏估计。2.3.2.1 稳健估计稳健估计被设计为基本假设有误差或基本数

22、据受扰动时,估计工作仍然良好。七十年代,P.J.Huber提出了一类极有影响的Robust估计方法M估计。其核心思想是: (6)式中,是连续的凸函数,是标量因子,有选权迭代和P-范数最小法两种不同的形式,对应着两种不同估计准则。针对(1)、(2)两类参数估计模型,按P-范数最小法求解较为实用。， (7)取即为I-范和最小准则或估计准则,对方差估计和非随机未知参数估计均适用。如果给定的约束条件为线性方程,则通用的算法是单纯形法【14】;如果给出的约束条件为非线性方程,则通常采用迭代求解。结合(1)、(2)和(7)式并令有 （8）式中表示观测值的权,由(1c),(2c)确定;其它参数的意义同前。理

23、论上, 估计值不唯一,且缺乏验后统计特性,而实际上只要算法适当,可保证估计的唯一性及估计量的无偏性。2.3.2.2 有偏估计有偏估计设计为当观测值之间或模型参数之间存在相关关系时,参数的估计量仍有较高的准确度。参数估计的准确度用均方误差表示如下: (9)适当增加偏差,换取方差更多的减少,从而使偏差和方差的总影响减小。这里反映系统误差;反应随机误差。此时均方误差体现准确度的函义。1970年A.E.Hoerl &R.W.Kennard提出了一种著名的有偏估计方法Ridge Estimation(岭估计)。其基本思想是:设有非线性模型 , 依据均方误差和最小准则 (10)用迭代法求得参数的估值。(1

24、0)式中为参数的有偏估计, 为参数的真值,一般未知。实际计算时,一般认为是比更接近真值的准真值。2.3.2.3 相关抗差有偏估计测量数据中往往是既存在样本粗差或残余样本粗差,又存在样本之间或模型参数之间的相关性。如果单以范数和最小或者SMSE和最小准则为依据估计参数,势必不能同时克服最小二乘法的两个弱点。对于线性模型,文献【15】提出相关抗差主特征根估计法,对于非线性模型,本文提出以SMSE,LAS为非线性多目标优化极小为准则,即在(8)式的基础上加上目标条件: (11)式中参数意义与(10)式同。由于(8)式中的约束函数不作线性化,目标函数必须通过迭代求解。2.3.3 非线性目标函数的迭代解

25、在数学领域迭代算法有比较成熟的理论,提的算法较多。针对具体的测量问题,应根据非线模型(随机非线性误差模型在此不作讨论)的不特点采取相应的迭代方法并加以改造。对于测量差中的多参数关系型函数模型,由于模型中未知数多有充分的近似值,这种近似值可以是历史据,也可以是粗略的观测值,采用Gauss-Newto迭代法效果好,收敛快。对于测量数据回归分析的少数相关关系模型,因缺乏初值的先验信息,用最速下降迭代法较为有利。不失一般性,将(8)式变化为 (12)(12)式中是函数向量,是权向量,是测值向量,最速下降法要求函数在迭代点的负梯度方向获得最快下降,因此沿直线搜索第+ 1次迭代点即: (13)(13)式中

26、k为步长因子,应使它满足 (14)于是构成自由极值函数: (15)(13)、(15)式为最速下降法的基本解式。对于(12)式,在处的梯度为: (16)将(16)式代入(15)得: (17)(17)式对求导并令其为零,化简得: (18)由(18)式可解得。最速下降法的算法步骤如下:设= 0,首先由外部提供一初值;生成方向,确定向量 作为当前这一步的方向;直线搜索,确定正比例步长因子;判断是否满足迭代终止目标,如果满足,则将作为(12)式的解,否则将加1回到步,继续迭代。算法的特点如下:对初值的依赖性较弱;不需要任何高于一阶的偏导数,无需矩阵求逆;参数值直接代入非线性模型求解。【1617】3结束语

27、大地测量函数模型与随机模型是大地测量数据处理必须要涉及的模型。经过众多学者不懈努力，中国学者根据大地测量应用实际，构建和改进了许多函数模型，如广义测量平差模型、等价观测方程、非线性平差模型等；在方差分量估计和误差检验方面做了大量创新性工作，如基于Bayes估计的方差分量估计、拟准误差检验等，丰富了测量平差理论与方法。本文只是重点介绍其中几个中国学者在大地测量数据处理函数模型、随机模型和误差检验方面所取得的成就。当然，以上只是众多学者研究成果中的很少一部分，还有很多学者的重要成果未被介绍. 但可以肯定的说，中国学者在大地测量数据处理这方面的研究取得了令人瞩目的成就。由于大地测量技术的发展,观测种

28、类越来越多,观测模型越来越复杂,测量平差与数据处理的理论和方法必将得到进一步的发展,在各种新技术中的应用将越来越重要。参考文献【01】 朱建军，宋迎春. 现代测量平差与数据处理理论的进展J.工程勘察.2009.12【02】 杨元喜，秦显平.近五年中国大地测量数据处理理论与方法进展.测绘技术装备.2004.1【03】 岑敏仪，卓健成，李志林，丁晓利（2003）.判断观测值粗差能否发现和定位的一种验前方法.测绘学报,32(2):134-138.【04】 归庆明,张建军,郭建锋(2000).压缩型抗差估计.测绘学报,29(3):224-228.【05】 欧吉坤(1999a).粗差的拟准检定法(QUA

29、D法).测绘学报,28(1):15-20.【06】 陶本藻(2001).形变反演模型的非线性平差.武汉测绘科技大学学报,26(6):504-508.【07】 杨元喜,宋力杰,徐天河(2002).大地测量相关观测抗差估计理论.测绘学报,31(2):95-99.【08】 张正禄，张松林，罗年学，冯琰(2003).多维粗差定位与定值的算法研究及实现.武汉大学学报,信息科学版,Vol.28(4):400-404.【09】 宁永香，郝延绵.误差理论与抗差估计j.煤炭技术.2001 Vol.20【10】 唐颖哲,杨元喜,宋小勇. 2000国家GPS大地控制网数据处理方法与结果J.大地测量与地球动力学,20

30、03,23(3): 77-82【11】 成英燕,程鹏飞,秘金钟,等.天文大地网与GPS2000网联合平差数据处理方法J.武汉大学学报信息科学版,2007, 32(2):148-151【12】.杨元喜，曾安敏.大地测量数据融合模式及其分析J.武汉大学学报信息科学版,2008,Vol.33,No.8【13】 周江文.系统误差的数学处理J.测绘工程,1999(2)【14】 周江文.测量极值问题的经验解式兼论绝对和极小问题J.测绘学报,1999(1)【15】 归庆明,张建军.相关抗差特征根估计C.95大地测量综合学术年会论文集.郑州:中国人民解放军测绘学院,1995【16】 李朝奎，黄力民，黄建博.基于非线性误差模型的参数估计.测绘工程.2000 Vol 9，No.3【17】王新洲(2000).非线性模型平差中单位权方差的估计.武汉测绘科技大学学报,25(4):358-361