无人机倾斜摄影测量与区域网平差课件.ppt

《无人机倾斜摄影测量与区域网平差课件.ppt》由会员分享，可在线阅读，更多相关《无人机倾斜摄影测量与区域网平差课件.ppt（97页珍藏版）》请在三一办公上搜索。

1、.,无人机倾斜摄影测量与区域网平差,.,主要内容,无人机与倾斜影像发展背景无人机影像空三处理技术五倾斜影像区域网平差测绘无人机发展展望,.,无人机与倾斜影像发展背景,无人机摄影测量发展环境数字摄影测量发展无人机技术争奇斗艳摄影测量与计算机视觉,.,无人机摄影测量发展环境,数字摄影测量发展行业门槛大大降低无人机技术发展争奇斗艳计算机视觉发展计算机视觉与摄影测量的关系计算机视觉有影响力的成果（一日建罗马）摄影测量人的对策,.,数字摄影测量发展,数字影像和计算机发展催生数字摄影测量 随着数字传感器技术的发展，尤其是CCD器件和CMOS器件的迅速发展，利用CCD(或CMOS)像机不需要胶片就可直接获得

2、被测物的数字影像，这种直接基于数字影像的进行摄影测量称为数字摄影测量 处理设备由精密机器设备到精密数值计算,.,数字摄影测量发展,摄影测量平民化胶片到数字、精密机器转化为数值计算一台普通PC可完成摄影测量任务从业门槛大大降低自动化程度大大提高减少对人的依赖摄影测量行业特点技术驱动（模拟解析数字、胶片到数字、GPS像控点）具备爆发增长的条件（门槛低、需求大、光线到光束）进军大比例尺,.,无人机技术争奇斗艳,.,黄蜂无人机,飞机原型是由Aerovironmen公司建造的战场空中战术微型航空器（Wasp block 3型）系统。黄蜂无人机通过固定的翅膀获得上升力，并通过螺旋桨获得推动力，螺旋桨的动力

3、来自一个10w的电动马达。 黄蜂无人机最大高度范围大约三英里，续航能力大约1个小时。三种黄蜂尺寸大小： Block 1: 长5英寸， 宽13英寸，0.4磅 Block 2：长6英寸， 宽16英寸，0.6磅 Block 3：长15英寸，宽29英寸，0.9磅,.,全球鹰,诺斯罗普格鲁曼公司的RQ-4A “全球鹰”是美国空军乃至全世界 最先进的无人机。“全球鹰”最大飞行速度740km/h，巡航速度635km/h，航程26000km，续航时间42h。可从美国本土起飞到达全球任何地点进行侦察。机上载有合成孔径雷达、电视摄像机、红外探测器三种侦察设备，以及防御性电子对抗装备和数字通信设备。,.,摄影测量与

4、计算机视觉的联系与区别,摄影测量是测绘学科的一个分支，它是对由摄影机提取的影像（二维）进行量测，测定物体在三维空间的位置、形状、大小、乃至物体的运动。摄影测量在近百年的历史中经历了：模拟、解析与数字摄影测量三个阶段。 当被测物体的尺寸或摄影距离小于100米时的摄影测量称之为近景摄影测量（Close-rangephotogrammetry）,.,摄影测量与计算机视觉,计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力，这种能力将不仅使机器感知三维环境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。,.,摄影测量与计算机视觉,由此可知，

5、数字近景摄影测量与计算机视觉（特别是立体视觉）在研究内容和目标上十分相近。数字摄影测量关注的是几何量的量测信息（物体的位置、大小和形状等）；计算机视觉也需要量测信息，但其更为关注的是对物体进行描述、识别和理解。因此，数字近景摄影测量和视觉测量（或检测）所关注的是完全一致的。,.,摄影测量与计算机视觉,事实上，数字近景摄影测量与计算机视觉（测量）的理论基础是一致的，二者都是针孔成像原理（像点、镜头中心和物点共线）的具体应用。摄影测量计算机视觉相互融合发展摄影测量有严密光束法平差计算机视觉各种求取初值的方法,.,一日建罗马 计算机视觉代表性成果,一百万多张网络罗马城相片,非定焦 未知相机内参数 无

6、初始方位元素 全自动处理,.,三项促进革命性发展的技术,从给定的两张相片中自动检测出可靠且充分密集的连接点，如SIFT、MSER仅利用连接点就可以对大量影像进行自动定向，如bundler对定向的影像自动进行密集匹配，如PMVS、SGM,.,摄影测量人的对策,问题计算机视觉发展势头强劲摄影测量研究人数少对策融入新的大家庭吸纳计算机视觉成果，与时俱进,.,无人机影像空三处理技术,1. 无人机影像特点2. 无人机影像对空三的影响3. 如何获得良好的空三成果4. GodWork简介5. 无人机数据处理实例6. DSM匹配与滤波,.,1. 无人机航飞特点,1.1 装载非专业数码相机1.2 小像幅、小基高

7、比1.3 影像数量多1.4 重叠度高，偏角大1.5 存在像点位移,.,1.1 非专业数码相机,普通定焦型,普通单反型,数码相机,可量测单反型,.,佳能5D Mark II 相机,无人机装载的非专业相机存在镜头畸变系统误差。如下图所示的佳能5D Mark II 相机和其参数。,.,航高H,基线B,基线B,大像幅,小像幅,1.2 小像幅、小基高比,.,1.3 影像数量多,举例对6km2 方某地进行航拍：无人机平台装载Cannon 450D相机 全部相片数达1200张传统航测平台使用DMC相机 全部相片不超过300张,.,1.4 重叠度高、偏角大,航向重叠度能达到70-85%，旁向重叠35-55%，

8、但受相机姿态的影响，所拍摄影像间的预设重叠度无法得到严格保证相邻影像间很可能存在较大的旋角和上下错动，最大旋转角可能达到 20,.,1.5 像点位移,摄影相机安装在无人机的移动平台上，在相机曝光时间内飞行器的运动产生的像点位移会造成影像模糊。对于大型专业宽幅量测数码航空相机会通过时间延迟与向前运动补偿来消除像点位移影响。但对于无人机搭载的中幅甚至小幅的非量测相机，这些像点位移是没法得到补偿的。,.,2. 无人机航飞对空三影响,2.1 大偏角给匹配带来困难2.2 基高比小和大偏角对相对定向的影响2.3 高重叠度的匹配更稳健2.4 像点位移降低了像点量测精度2.5 非专业相机的镜头畸变,.,2.1

9、 大偏角给匹配带来困难,由于无人机姿态不稳定的特性，决定了相邻影像间很可能存在较大的旋偏角和上下错动，无法使用传统的灰度影像匹配算法获取同名点，具体在以下三个方面：1. 像间的左右重叠度和上下重叠度变化大，加上低空遥感影像摄影比例尺大，造成表面不连续地物（如高楼）在影像上的投影差大，因而无法确定匹配的搜索范围；2. 相邻影像间的旋偏角大，难以进行灰度相关；3.飞行器的飞行高度、侧滚角和俯仰角变化大，从而导致影像间的比例尺差异大，降低了灰度相关的成功率和可靠性,.,2.2 对相对定向的影响,基高比小：由于无人机获取的影像重叠度大，摄影时的基线短，而基线越短，所成的交会角就会小，极大程度的影响了测

10、图的高程精度，如果仍然按传统方法用相邻影像构成立体相对，高程精度就很难得到保证。一般处理办法是通过隔片构成立体相对，通过增加基线长度和增大前方交会角的方式，提高测图的高程精度。大偏角：当无人机在几百米高空飞行时，由于其自身的质量较轻、气流影响较大，使其在空中的姿态很不稳定，导致获取的影像存在较大的畸变差，并且相邻影像的亮度、对比度的差距也较大，降低了同名点匹配的数量和精度，而影像的相对定向的精度与匹配特征点的数量和精度密切相关。,.,2.3 高重叠度的匹配更稳健,影像的重叠度越大(也即基线越短)，相邻影像间的差异越小，自动匹配越容易，匹配点越多，相对定向的精度也非常好。随着影像重叠度的减小(也

11、即基线变长)，影像间的差异变大，由姿态引起的影像间的差异比较明显，造成匹配的同名点数不断减少，相对定向精度逐渐降低，在重叠度低于65时(大于60)，匹配困难。,.,2.4 像点位移公式,(1).飞行器的地面速度 (2).相机曝光时间 (3).焦距长度 c(4).飞行器的飞行高度 (5).像元大小,.,曝光间隔与地面分辨率、地面速度关系,相同曝光时间下飞行器运动速度越大,像点位移量越大,影像模糊程度越高；相同飞行器运动速度下曝光时间越长,像点位移量越大,影像模糊程度越高；减少曝光时间会相应地减少进光量，这样同样影响影像的拍摄质量；降低飞行速度，顾虑到影像基高比就要相应地增加曝光时间间隔，这样就会

12、影响作业效率；飞行时既要考虑到像点位移也要考虑作业效率和影像获取的质量，所以需要在曝光时间间隔与飞行器的飞行速度间找到一个最佳值。,像点位移综合分析,.,2.5 镜头畸变,从左图中的我们直接看出可以看出边缘像片点的镜头畸变值较中间大，而右图给出了镜头畸变大小与点离像主点距离的模拟的函数关系。,.,3. 如何获得良好的空三成果,3.1 无人机的选择3.2 相机方面3.3 飞行设计3.4 控制点布设3.5 空三处理,.,3.1 无人机的选择,飞行速度飞行速度越慢，像点位移越小飞行平稳度飞机平稳，保证重叠度续航时间续航时间长短，直接影响作业效率有效荷载可装载的相机类型（+镜头）易操作性维修保养,.,

13、3.2 相机方面,相机关键参数 光圈、快门、CCD尺寸、芯片处理速度、镜头质量相机标定 任务前或后进行标定，可考虑便携板进行标定有利提高精度（0.3m到0.1m）相机模式 全手动模式(起飞前进行测光)焦距选择避免盲目选择长焦（500m航高时速100km/h 24mm镜头，较合适）,.,3.3 飞行设计,重叠度通常采用航向75%旁向50%重叠，保障60%30%重叠要求 航高充分顾及影像的有效分辨率，并非航高越低分辨率越高 有风天气尽量避免有风天气飞行，特殊情况采用高重叠度方式进行飞行，减小后期处理工作量和保证处理精度,.,3.4 控制点布设,原则 均匀布设，边角加密，大面积弱纹理区域（水域、森林

14、、农田）边界加密。一块很多小片缝合的大毡布，控制点是固定毡布的钉子，钉子稀少的地方毡布会下垂(区域网变形)，相同密度毡布厚的地方下垂量小(重叠度高和连接点多的区域)。毡布破洞周围会产生下垂（大面积弱纹理区域）,避免下垂破洞附近加钉子(加控制点)。飞行前布控，可以提高精度。圆形点较优飞行后布控，平面内的标志点较优,.,3.5 空三处理,连接点质量和度数注意检查连接点质量（重复纹理或无纹理地区）连接点度数尽量高逐步优化很多软件依赖较好曝光点坐标，恰是无人机的短板。可以粗略平差计算结果作为初值。像片边界点镜头畸变、像片周边模糊,.,4. GodWork简介,4.1 系统概述针对无人飞机像幅小、姿态不

15、稳定、重叠度大、非专业相机等特点，开发了一套无人机摄影测量数据自动处理系统GodWork2006-2008年 基础算法研究2009年-2010年 系统开发2011年- 系统应用与升级,.,4.2 系统功能,无人机影像数据,相机标定参数,影像POS数据,GodWork 全自动处理系统,控制点数据,彩色三维点云,DEM,正射影像,.,4.3 系统特色,采用特征匹配，适用于大偏角影像、大高差地区空三和DEM生成一体化，所有点参与光束法平差 每片像点5千2万个，空三结果直接生成DEM较传统空三增加了上百倍的观测值，系统具备更强的粗差检测能力自标定，不需要严格相机参数处理自动化程度高支持多核CPU,.,

16、4.4 系统流程,特征匹配每张影像提取特征点，相邻影像进行匹配初始构网每张影像提取特征点，相邻影像进行匹配带附加参数的光束法平差把所有匹配点纳入平差过程DEM和正射影像生成,.,4.5 效率测试,采用不同地面类型无人机影像数据20套，每套数据像片数1001200张不等，航高500800米，佳能5D相机，焦距24mm，像片大小5616x3744像素运行环境，Intel 4核 i7CPU、内存8G运行模式全自动批处理平均处理速度每分钟5片成果 密集点云（每片5,00020,000像点）DEM正射影像（采用GeoDoging进行匀光和镶嵌）,.,4.6 实例,(左)彩色的点云 (中) DEM (右)

17、 正射影像,新疆某地区338张像片，耗时25分钟，自动生成136万物方点，DEM和正射影像,.,三维浏览,.,5. 无人机数据处理实例1-电动无人机飞行,中山横门岛面积35平方公里电动无人机飞机航速：逆风40km/h 顺风55km/h定时曝光9500张相片80条航带,.,相机检校,.,相机参数,camera = NEX-7x0 : 0.028968y0 : -0.029126f : 29.856141K1:1.620592e-004k2 :-3.709036e-007k3 : 6.767069e-053,P1 :-2.464935e-005p2 : 2.057846e-005Pixel : 6

18、000X4000ccd = 23.4X15.6,.,控制点,飞行前布标，白色圆形控制点，直径60cm共116个，平均每平方公里3.3个,踢除了弱连接的孤立区域,.,部分航带图,.,刺像控点,.,测绘遥感信息工程国家重点实验室深圳研发中心于2012年4月，在武汉大学信息学部友谊广场，采用多旋翼无人机进行飞行实验。,5. 无人机数据处理实例2-旋翼飞行实例,.,相关参数,.,相机检校,.,拍摄的影像,.,控制点精度,控制点数9个,检查点数8个。测量方式动态RTK,.,拼接的正射影像,.,5. 无人机数据处理实例3GPS辅助空三实例,GPS硬件与飞行GPS辅助空三原理GPS辅助空三-案例GPS辅助空

19、三的实验结论,.,GPS硬件系统,航空GNSS接收机AG200小尺寸：接收机 1057030mm 天线 ：88.9 35 mm轻重量：接收机 160g 天线 200g高性能：双频三星工作环境温度： 20摄氏度60摄氏度,航空用GNSS接收机AG200,航空天线,.,GPS系统安装,GPS接收机安装在摄像机正上方,GPS接收机天线,摄像机,.,空中作业,精密单点定位（广域GPS差分）,自设基站,.,GPS后处理,GPS差分软件处理得到：,.,GPS辅助空三原理,偏移矢量：机载GPS接收机天线的相位中心不可能与航摄仪摄影中心重合，从而产生的偏移矢量。漂移矢量：无人机上GPS获取三维坐标时刻固定，航

20、摄仪的曝光时刻与其会有存在一个时间偏差，从而产生的一个系统误差。 漂移原因：卫星分布不好 天气原因（引起时间差） 民用加干扰,.,GPS辅助低空空三-案例说明,地点：江西永修时间：2013年4月14日飞行时间：约40分钟飞行速度：35m/s测区大小：40平方公里航线数：6条影像数：289 控制点数：56地形： 平原 航高： 700m 分辨率： 0.08m 重叠情况： 旁向重叠不均匀,.,GPS辅助低空空三-案例说明,使用相机：PhaseIQ180相机参数：如右图,.,GPS辅助低空空三-案例说明,.,GPS辅助低空空三-案例说明,.,GPS辅助空三的实验结论,实验分析： 1、控制点相同条件下

21、高程精度：GPS辅助空三比单纯控制网平差明显高； 平面精度：GPS辅助空三比单纯控制网平差较高或相近。 2、检查点上得到相同精度时 GPS辅助空三比单纯控制网平差所需控制点少。 例：GPS辅助空三（17个控制点） xy：0.157，z：0.150 控制网平差（55个控制点） xy：0.119，z：0.100 GPS辅助空三（5平高+5高程） xy：0.314，z：0.336 控制网平差（5平高+12高程） xy：0.458，z：0.277结论：将GPS所确定的摄站位置作为辅助数据用于区域网联合平差，可减少常规空中三角测量所需的地面控制点，大量节省像片野外测量工作量。但由于无人机影像旁向重叠不均

22、匀，无人机GPS辅助空三效果不如常规大飞机摄影测量。,.,6. DSM匹配与滤波,随着计算机计算能力不断提高，影像匹配技术研究深入，DSM给摄影测量，带来了新元素，必将改变摄影测量生产方式，为摄影测量带来变革。,DSM匹配,滤波,DEM,.,逐像素匹配密集点云,.,逐像素匹配密集点云,.,渐进三角网法 线性预测法滤波 分层滤波法 坡度法,DSM滤波方法,.,DSM滤波效果,.,二、倾斜影像处理中的一些问题,三、五倾斜影像区域网平差实例,一、倾斜影像的作用,五倾斜影像区域网平差,.,需求牵引 快速三维重建的需要 需要获取侧面纹理信息。避免高楼相互遮挡，保证侧面有更多的观测值（3度以上）。技术推动

23、 技术的自动化程度提高 硬件发展，使得海量数据处理成为可能,一、倾斜影像的作用-为什么需要倾斜影像,.,一、倾斜影像的作用-三维重建效果实例,.,虽然目前有精密的POS系统，能够得到下视影像较精确的POS，但在实际的外业过程中，由于相机与相机之间的相对位置和姿态会发生一定变化等一些因素，会导致由下视影像POS推算出的侧视影像的POS不够精确。,二、倾斜影像处理的问题-为什么需要整体平差,.,空三解算EO,相对定向精度,下视影像空三,二、倾斜影像处理的问题-为什么需要整体平差,.,下视影像与倾斜影像,方法：根据解算出来的E相机的EO，以及倾斜相机与E相机的相对姿态位置关系，分别转化A、B、C、D

24、相机的EO；下视相机分别与其它相机刺取相同的物点，比较坐标值,从下视与倾斜影像刺点的实验成果可知：X方向相差1m左右，Y方向相差0.5m左右，Z方向相差1m左右。,.,几何变形大 目前的经典匹配算子，如SIFT等，均不具备完全的仿射不变性，对大倾角倾斜影像匹配效果差。色差问题 不同相机在不同时间、从不同角度拍摄的相片，其对比度和亮度发生了变化，产生了色差，导致目前匹配算子的匹配成功率大大降低。海量数据 由单个镜头到5个镜头，相片数量提升5倍 重叠度提高（航向由60%提高到80%，旁向由30%提高到60%），相片数量增加到原来的3.5倍 5X3.5=17.5倍,二、倾斜影像处理的问题自动处理的问

25、题,.,1 倾斜影像的获取2 倾斜影像匹配3 倾斜影像空三处理,三、五倾斜影像区域网平差实例,.,1 倾斜影像获取-SWDC-5相机,相机参数：,相对姿态参数：,子相机分布：,相机名称：SWDC-5像元大小：6 mCCD像素数：8176*6132,E,D,B,C,A,.,摄取区域：贵阳金阳航带间间距：500m航带内间距：150m航高：600m1000m之间,1 倾斜影像获取-数据说明,五条航带下视影像及同摄站五相机影像关系示意图:,.,2 倾斜影像匹配-变形纠正,原始影像,摄站m的右视（C相机）,摄站n的左视（A相机）,纠正影像,摄站m的右视（C相机）,摄站n的左视（A相机）,局部纠正效果,纠

26、正前,纠正后,.,2 倾斜影像匹配,五镜头倾斜影像的匹配效果（图中“+”为匹配出的同名点）,B相机,D相机,E相机,A相机,C相机,.,以一张底视相片为例，应有最高连接点度数为38度，实际最高连接点度数为22度，10度以上的连接点有696个， 5度以上的连接点有7123个。,2 倾斜影像匹配,.,模型： 1、将所有影像的外方位元素、GPS和IMU作为未知参数 2、将下视影像（E相机）的外方位元素、ABCD相机相对于E相机的相对姿态、GPS和IMU作为未知参数,3 倾斜影像空三处理,.,模型1：将所有影像的外方位元素、GPS和IMU作为参数；,3 倾斜影像空三处理,: GPS摄站坐标漂移系统误差

27、改正参数；,: 像空间坐标系到IMU坐标系之间的旋转矩阵；,: IMU坐标到物方空间坐标系之间的旋转矩阵；,: GPS获取的摄站坐标；,t : GPS获取摄站坐标的时间；,.,3 倾斜影像空三处理,模型2：将E影像的外方位元素和ABCD相机相对于E相机的相对姿态、GPS和IMU做为参数；,: IMU坐标到物方空间坐标系之间的旋转矩阵；,: 像空间坐标系到IMU坐标系之间的旋转矩阵；,: GPS获取的摄站坐标；,: GPS摄站坐标漂移系统误差改正参数；,t: GPS获取摄站坐标的时间；,R：ABCD相机相对E相机角元素得到的旋转矩阵；,X，Y，Z：ABCD相机相对E相机的线元素；,.,3 倾斜影

28、像空三处理,参与空三的点云,.,3 倾斜影像空三处理-空三精度,影像数：73张连接点数：983684个单位权中误差：0.55像素平均残差：0.23像素最大残差：1.33像素,该连接点在各片上的像点残差：,单位：um,一个连接点,.,3 倾斜影像空三处理-空三精度,预测同名点,.,测绘无人机发展展望,市场前景硬件发展软件发展,.,测绘无人机发展展望,市场前景大比例尺测图与工程测量硬件发展无人机安全稳定飞行像幅增大 软件发展,.,测绘无人机发展展望,硬件发展 无人机安全稳定飞行 像幅增大CCD 尺寸增大多拼相机 像点问题解决向前运动补偿装置飞行速度慢,.,测绘无人机发展展望,软件发展傻瓜化自动化、不需要专业知识、不需要专业培训高度集成打破现有生产流程的阶段划分摄影测量软件一体化,.,谢谢,感谢亲观看此幻灯片，此课件部分内容来源于网络，如有侵权请及时联系我们删除，谢谢配合！,