重点资料柑橘采摘机器人成熟果实定位及障碍物检测研究.docx

《重点资料柑橘采摘机器人成熟果实定位及障碍物检测研究.docx》由会员分享，可在线阅读，更多相关《重点资料柑橘采摘机器人成熟果实定位及障碍物检测研究.docx（78页珍藏版）》请在三一办公上搜索。

1、分类号 TP391.41 密级 公 开 UDC 519.688 编号 10299S0618014 学 位 论 文柑橘采摘机器人成熟果实定位及障碍物检测研究Study on Mature Fruit Location and Obstacle Detection for Citrus Picking Robots周小军指导教师 蔡健荣 教授 院 系 江苏大学食品与生物工程学院 申请学位级别 硕士 专业名称 农产品加工及贮藏工程 论文提交日期 2009年 4月 论文答辩日期 2009年 6月 学位授予单位和日期 江苏大学 2009年 6月 答辩委员会主席 评阅人 _2009年6月学位论文版权使用授

2、权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密 本学位论文属于 ，在 年我解密后适用本授权书。不保密 学位论文作者签名： 指导教师签名： 2009年 月 日 2009年 月 日独创性申明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容以外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要

3、贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：2009年 月 日柑橘采摘机器人成熟果实定位及障碍物检测研究Study on Mature Fruit Location and Obstacle Detection for Citrus Picking Robots 专 业： 农产品加工及贮藏工程 指导老师： 蔡健荣 教授 作者姓名： 周小军 2009年6月摘 要随着农业生产的飞速发展和农业劳动力成本的迅速上升，农业劳动力的匮乏将成为许多发达国家和发展中国家共同面对的问题。目前机器人技术在农业上应用研究越来越成为热门课题，与工业机器人特定

4、的工作环境不同,农业机器人主要在自然场景下工作,要面对更为复杂多变的情况,有更多的问题需要解决。 本研究作为柑橘采摘机器人研究的一部分，利用双目立体视觉技术，研究自然场景下的成熟柑橘的识别和定位方法、障碍物(树枝)的检测方法，为未来开发收获机器人采摘柑橘进行前期视觉系统方面的准备工作，这部分相关的研究也是水果收获机器人实用化的关键。本研究的主要内容和方法如下：1. 成熟果实定位果实定位主要通过识别和匹配等步骤完成。识别的目的是把成熟柑橘从背景中识别出来，为空间定位做准备。本研究利用对RGB颜色系统中的色差分量2R-G-B值进行迭代，自动寻找阈值的方法分割柑橘图像；将区域分割后的彩色图像转化为二

5、值图像；经过形态学运算消除噪声；对图像进行区域标记，根据区域面积和区域最小外接矩形长宽比设定阈值，去除小块及非类圆形干扰区域；进行区域填充、轮廓提取，并采用优化圆形Hough变换拟合出成熟果实图像中的圆心坐标、半径等特征值；然后以单个柑橘为匹配对象，采用基于特征的立体匹配方法，加入柑橘的区域重心、外接矩形尺寸等特征值作为匹配约束来实现左右两幅图像中对应果实的唯一匹配，研究结果显示正确匹配率达80%以上。最后在对摄像机内外部参数进行了标定的情况下，求得柑橘的空间三维坐标，并利用激光测距仪进行了对比验证，当测量距离小于等于1.5m时，平均误差不超过1%。2. 障碍物检测为保持算法的可执行性，障碍物

6、检测的步骤和果实定位基本相同，采用对图像2R-G-B和2G-R-B色差分量值进行迭代，并结合图像灰度阈值法能快速有效的分割出图像树枝区域，通过图像二值化、形态学运算、区域标记、空洞填充提取出图像树枝区域；通过区域细线化提取树枝骨架，并进行骨架修剪、恢复遮挡骨架等处理；然后找出骨架中端点、分支点等特征点并记录它们的连接关系；最后通过对特征点的立体匹配恢复障碍物的三维信息。试验表明障碍物的正确识别率为67.3%，当障碍物实际距离大于1.5m时，识别误差增大。通过研究，在成熟水果识别、匹配和定位方面取得了较大进展，提出了一种果实收获机器人的障碍物检测方法。本文的研究内容对我国开展农业收获机器人视觉识

7、别技术领域的研究具有参考价值，为进一步的研究打下了基础，对提高我国农业的国际竞争力有重要的经济意义。关键词：识别，匹配，圆形Hough变换，空间定位，障碍物ABSTRACTWith the rapid development of agricultural production, the cost of agriculture labor force will become more and more costly. In recent years, the agricultural application of robot technique have already become popu

8、lar issue, because of the shortage of the agriculture labor force both in developed countries and developing countries. Different from industrial robot, which works in particular environment, the agriculture robot mainly works in the natural environment, and the agriculture robot has to face more co

9、mplicated and uncertain circumstance, thus there are more problems to be resolved.As a part of research on citrus picking robots, this research used binocular stereo vision to researching on recognition and location mature citrus, obstacle (branches) detection under natural environment. The main con

10、tents and methods are as follows:1. Mature fruit locationThe main steps to complete that are image recognition and stereo matching. The purpose of image recognition is recognizing mature citrus region from image to make preparation for location. This research used iterate on 2R-G-B chromatism compon

11、ent in RGB color system to finding threshold automatically to segment original image. Then the segmented images were converted to two-value images and eliminated noise by morphological operation. Region labeling was done and eliminated region which was small or had great differences from circle by d

12、efining threshold which based on area and length to width ratio of the smallest circumscribed rectangles of each region. Then region filling and contour extraction operation were been done and used improved Circular Hough Transformation (CHT) to found out circle centre and radius of each regions app

13、roaching round. Then used feature-based match and added extra characteristics such as barycenter of orange region in the image, sizes of each regions approaching round to get correct match results of each image pair. Experimental results show that the matching accuracy can reach over 80%. Finally, a

14、fter calibrated the camera interior and exterior parameters, the 3-d space coordinate of each orange was been obtained and used the laser range finder to verification and comparison. Results show that the average error ratio is below 1% when the measuring distance is no more than 1.5m.2. Obstacle de

15、tectionTo ensure executable of algorithms, the steps of obstacle detection are the same as that of mature fruit location. Used iterate on 2R-G-B and 2G-R-B chromatism component, combined with gray threshold method to segment image quickly and effectively. Got the branch regions by image binaryzation

16、, morphological processing, region labeling and filling. Extracted skeleton of obstacle by thinning and did some processes so as to pruning the skeleton and recovering the occluded skeleton. Then obtained the feature points such as endpoints and branch points of the skeleton, recorded their connecti

17、ng relationship. Finally the 3D information of obstacle was restored by stereo matching on feature points. Experimental results show that the identification accuracy of obstacle can reach 67.3%, the identification error ratio was increased when the actual distance of obstacle is more than 1.5m.Throu

18、gh the research, some achievements have been made. Such as mature fruit recognition, match and location. This research also provides a method for fruit harvest robot to detect obstacle. The research results of this research have reference value for the study on visual recognition in the field of har

19、vest robot in our country. They also provide a basis for further study and have important economic significance to enhance international competitive power of our countrys agricultural. KEY WORDS: recognition, matching, circular hough transformation (CHT), spatial location, obstacle目 录第一章 绪 论11.1 研究目

20、的和意义11.2 国外研究现状31.3 国内研究现状51.4 研究内容和方法61.5 本章小结7第二章 双目立体视觉系统简介82.1 硬件组成102.2 相关图像处理软件122.3 本章小结12第三章 成熟柑橘果实定位133.1 计算机视觉中的颜色表示133.2 成熟柑橘区域提取163.2.1 图像分割原理163.2.2 阈值分割173.2.3 二值化处理193.2.4 形态学运算193.2.5 区域标记203.2.6 区域填充213.2.7 基于面积和最小外接矩形的目标区域提取223.3 果实区域特征提取233.3.1 果实区域的轮廓提取233.3.2 利用优化圆形Hough变换提取果实特征

21、243.3.3 实验结果及分析283.4 成熟柑橘区域立体匹配和空间定位303.4.1 双目立体视觉成像模型303.4.2 双目立体视觉的深度计算313.4.3 空间定位的实现323.4.4 立体匹配333.4.5 成熟柑橘的三维坐标恢复383.4.6 实验方案393.4.7 实验所得数据393.4.8 结论及分析413.5 本章小结41第四章 障碍物检测424.1 图像树枝区域提取424.1.1 颜色分割424.1.2 灰度阈值分割434.1.3 提取树枝区域444.2 树枝特征提取454.2.1 树枝骨架提取454.2.2 骨架特征点提取514.2.3 骨架修剪524.2.4 恢复遮挡树枝

22、544.2.5 树枝半径提取564.3 立体匹配574.4 障碍物三维信息恢复574.5 算法流程及结果分析584.6 本章小结60第五章 结论与展望61参考文献63致 谢66硕士期间发表的论文及参与的课题67第一章 绪 论1.1 研究目的和意义进入二十一世纪，我国的农业和农村经济发展正面临新的机遇和挑战。一方面，由于加入WTO，农业和农村经济发展正面临着世界各地的冲击和挑战；另一方面也给我国带来了一次加快农业和农村经济发展以及对农村经济结构调整的绝好的机遇。随着农业生产正朝着规模化、多样化、精确化方向发展，农业劳动力的成本必然迅速上升，劳动力不足的现象也会日趋明显，因而作为高科技的机器人技术

23、进入农业领域变得越来越现实。柑橘作为世界第一大类水果，2002全世界年贸易额达到82亿多美元，是仅次于小麦和玉米的第三大贸易农产品。过去30年，世界柑橘产量增长了一倍，据联合国粮农组织预测，到2010年，全球柑橘产量将达6640万吨，中国具有发展柑橘产业得天独厚的自然条件，适宜栽培柑橘的地域广阔，2007年栽培面积达191万公顷，产量达到2059万吨，中国柑橘种植面积和产量均跃居世界第一。目前，中国人均消费柑橘鲜果10.5kg，比1978年的0.3kg增加了35倍1。在柑橘的生产作业中，收获采摘约占整个作业量的4050%，由于采摘作业的复杂性，采摘自动化程度很低。由于本世纪我国农业劳动力将逐渐

24、向社会其它产业转移，而且我国面临着严重的人口老龄化问题，劳动力资源不足将逐渐变为现实，我国柑橘产量大，季节性强，大量的成熟柑橘如不及时收获和保存，由此造成的腐烂和掉落将损失巨大，柑橘自动采摘机器人能够降低人劳动强度，提高劳动生产率和产品质量，保证果实适时采收，因此，研究开发柑橘采摘机器人，具有重要的意义。机器人技术的研究和发展分几个时代。第一代机器人很多是示教再现型工业用机器人，即按预先规定好的程序反复动作，这类机器人不具备识别外界状况的功能。近几年，利用各种传感器技术检测环境条件并进行工作的智能型第二代机器人研究迅速展开，在环境条件受到严格控制的作业现场实现应用。在此基础上，研究人员进一步研

25、究开发具有计算机人工智能和推理功能的第三代机器人，并不断走向成熟。由于工作要求不同、使用行业不同，目前机器人研究领域形成了几代并存、共同发展的局面。即使是这样，将现在的工业机器人系统直接应用于农业，面对田间作业现场的不同环境和多变条件，还是无法满足应用要求。与工业应用的人工控制环境截然不同，农业用机器人主要在自然环境下工作，要识别的作业对象形状、颜色等特征会因生长环境的不同而变化。如收获水果时，机器人需要从枝叶、地面、空间等杂乱背景中分辨出水果，并根据其成熟度有选择地实施操作，在不同的光照条件下，原本就很复杂的问题，又变得更为复杂。因此，目前收获机器人存在的问题主要有果实的识别率和采摘率不高、

26、果实的平均采摘周期较长等，解决收获机器人果实的识别和定位问题的关键是视觉功能的智能化。作为机器人的核心系统：即立体视觉系统的研究，成为机器人能否在农业上成功应用的关键，使机器人能像人一样，准确识别和定位目标，对实现机器人的智能化以及机器人升级换代起决定性作用，因此这方面的研究成为焦点。收获机器人主要包括行走机构、控制系统和机械手等几大部分，其中机械手是机器人的主要执行部件，其构造复杂，造价昂贵，是机器人的最重要组成部分。在采摘苹果、柑橘等高大果树的果实时，机械手需要较大的工作空间2，但实际生长的果树形态各异、参差不齐、许多果实生长在树枝后面，或者在两个树枝之间，而且这些果树的树枝较粗大，若机械

27、手与这些树枝相碰撞将造成机械手的损坏，要想使机械手采摘到这些果实，必须避开树枝，所以对于开发柑橘、苹果等收获机器人，避障研究是必要的。要使机械手自动避障，必须先使机器人准确的识别障碍物，得到障碍物空间三维信息，然后通过空间建模和机械手路径规划实现自动避障。目前在机器人导航以及汽车行业中，对机器人避障已进行了较广泛的研究，但在收获机器人方面，对机械手避障的研究较少，目前开发出的收获机器人，如日本的茄子采摘机器人3,荷兰的黄瓜采摘机器人4,美国的柑橘采摘机器人等都没有机械手避障功能，所采摘的都是表层的无障碍的果实，因此目前果实收获机器人的应用范围较窄，在有坚硬树枝等障碍物存在的情况下，机械手的采摘

28、较危险。为了增加收获机器人的实用性，提高采摘的安全性，机械手必须能自动避障，而如何准确的识别和恢复障碍物三维信息则是机器人避障必须首先解决的问题。综上所述，本研究的两大主要内容：柑橘采摘机器人果实定位和障碍物检测，是实现柑橘采摘机器人自动、快速、准确、安全采摘果实的关键，是柑橘收获机器人发展必须首先解决的问题。1.2 国外研究现状 在果实识别和定位方面，国外对计算机视觉在农产品收获中应用的研究起步很早，尤其是在树上果实的检测方面做了很多工作，为我们的研究提供了许多宝贵的经验。机器视觉技术在果蔬收获机器人中的应用开始于1968年，美国学者Schertz 和Brown最早提出果实自动化采摘的想法。

29、利用果实和叶子在电磁光谱的可见光和红外区域反射率的不同来检测水果5,6，在他们的文章中，建议果实的位置可以通过光度信息测定，尤其是利用叶子和果实对可见光或者电磁光谱红外部分反光度的差异。同时文章中也指出了在果实自动化检测中必须考虑的问题：(1)不均匀照明；(2)枝叶遮挡使得只有70%到100%的果实可以看到。受Schertz和Brown想法的启发，各种有关果实自动化采摘的研究在世界各地陆续开展起来。Parrish和Goksel在1977年据上述理论，使用一台B/W照相机和一个用于增强红色苹果和绿色叶子对比度的红色光学滤波器，构建了第一个较为实用的苹果识别视觉系统7，这项研究拓宽了收获机器人研究

30、的思路。他们利用人造苹果树进行了一些试验，但是没有报道具体的检测结果。DEsnon等人报道了用于苹果检测的第一套彩色视觉系统8。通过对二值图像的处理能找到各水果的区域的中心。但是这种系统误识别率较高，检测时为了避免视觉系统看到未被树叶挡住的天空，要求在果树后面实施遮挡，防止产生大量虚假目标9。1987年，Whittaker10首先提出基于形状信息检测果实的方法。他认为基于局部像素颜色值的分析方法不适用于建立对颜色不敏感的处理系统，建议基于形状信息同时考虑局部像素颜色值和整体颜色值的内在关系，在处理的过程中用到了优化圆形Hough变换。该方法虽然仅限于理论上的探讨，但是开辟了果实识别的一个新的途

31、径。Illingworth等人11用一台黑白摄像机拍摄得到灰度为256级的灰度图像，经过Sobel算子处理得到每幅图像的梯度矢量图，通过阈值化得到边界图像和方向图像。方向图像包括每个边界的矢量方向和最大亮度变化方向，运用优化的圆形Hough变换（CHT）检测图像中符合西红柿轮廓的弧度。该研究采用人为给定阈值的方法，不能适用光线变化。给定阈值对结果影响很大，最好的检测准确率为68%。本文采用的迭代算法能根据采集图像的亮度变化自动选择分割阈值，很好的解决光线变化问题。Harrell等人对柑橘类采摘机器人（CPR）进行了研究1214。采用色调、饱和度以及RGB颜色信息进行分类，利用经典的贝叶斯分类器

32、，这种分类方法将成熟的柑橘或其它水果像素从背景中分离比较有效。但是需要人工照明，并且当背景颜色和水果相似时，如大片枯叶、地面等杂物容易被误识别成目标，并且不能检测有遮挡的果实。1990年，匈牙利和美国科研联合基金会15联合研制开发出苹果收获机器人。该机器人用立体视觉系统自动检测苹果，给出检测到的苹果的空间位置。试验结果表明：可以找到41的可视果实，同时出现了一些误识别。他们认为出现这样的结果原因有两方面：一是图像分割时出现了一些错误的判断，图像上有些非苹果部分被判定是苹果；二是利用立体视觉寻找果实上同一部分在两幅图像上的对应区域时，由于遮挡、重叠等缘故，当果实在果树深处时，没有充分利用匹配算法

33、中的约束条件，如极线约束、唯一性约束、保序性约束等，在遍历搜索过程中导致多重匹配，出现虚假目标，采用基于区域的匹配算法，在灰度分布相似区域匹配不佳是该算法的缺陷。为此，本文采用基于特征的立体匹配算法，运用各种约束条件，减少了定位误差和虚假目标的出现。1995年，意大利的Buemi16开发了用于温室柑橘采摘的自动化系统。该视觉系统使用彩色相机获取图像，并将颜色转换到HIS颜色系统下，利用色调和饱和度对图像进行分割，通过对同一场景两幅不同的图像进行空间匹配获得三维信息，试验结果认为可以检测到大约90的成熟柑橘，出现的错误检测，基本上都是由遮挡问题造成的。西班牙的Ceres17等认为使用光学相机系统

34、，造成错误检测的原因是光照的变化和场景中同果实和背景具有相同颜色或形状属性。1998年，他们在西班牙AGRIBOT工程中提出使用激光区域探测传感器获得图像，利用形状识别果实。他们把检测的目标近似看作球体，把轮廓线、凸度、凸面、反射率四种不同的点阵用于估计球体的参数：空间位置、半径、反射率。分别利用人工树和自然树进行了测试，研究表明80的可视果实被探测到，没有错误检测。根据他们的视觉识别系统，果实的空间位置可精确到10mm。高桥照夫等人（2000）利用双目立体视觉对果园的苹果进行定位研究。以红富士苹果为采摘对象进行实验，结果表明，目标距离为14m的有效范围内测量误差较小；距离在1.23.5m时，

35、误差在-42%之间；大于3.5m时误差在 -70%之间。系统要求的光线强度控制在190klx，果实的重叠度应小于0.5。荷兰农业环境工程研究所(IMAG B.V.) (2002)研究开发了一种移动式黄瓜收获机器人样机18，该研究在荷兰2hm2的温室里进行。实验结果表明，高峰期需要4台机器人。每台机器人每日工作18h，作业速度为10秒/根，相当于12个工人每日6h的工作量。蔬菜果实收获自动化可以节约果实收获人工费用，但要满足商用产品的各种要求，还需对样机加以改进和完善。日本Shimane大学（2000）构建了一种收获机器人视觉系统19。Bulanon20（2002，日本）根据颜色和灰度的组合特征

36、对不同光照条件下的Fuji苹果进行识别，成功率88，他们认为影响识别结果的主要因素是光照条件。Limsiroratana21等（2002，日本）以木瓜为对象，利用椭圆傅立叶描绘子（Elliptic Fourier Descriptors）根据形状在图像上识别果实，为了优化识别过程，采用了快速傅立叶变换（FFT）和遗传算法(GA)，最后结果认为这种方法是可行的，但仍需进一步深入研究。目前，日本、荷兰、美国、以色列等国都开展了果蔬收获机器人方面的研究工作，但是研究大都停留在理论或实验阶段，还没真正实现商业化22。在机器人障碍物检测方面，目前在机器人导航以及汽车行业中，对机器人避障已进行了较广泛的研

37、究，但在收获机器人方面，对机械手避障的研究较少，其原因主要是农业环境中由于背景的复杂性和光照的不稳定性，障碍物的检测较复杂，因此这方面的研究任重而道远。本文提出了一种障碍物检测的方法，在收获机器人障碍物检测方面做了一些基础性的研究。1.3 国内研究现状国内利用机器视觉技术在农业收获机器人方面的研究起步较晚。1997年，吉林工业大学的杨秀坤等23提出利用计算机视觉对果实表面缺陷进行检测的方法。该方法首先对果实图像进行滤波、增强等预处理，然后根据像素颜色值，利用自适应特征聚类神经网络和模糊加权决策树相结合的方法对果实表面缺陷进行检测。实验结果认为该方法优于传统的检测方法。2001年，南京农业大学的

38、张瑞合等24对自然环境下番茄的识别与定位进行了研究，他们根据颜色特征识别番茄，利用双目立体视觉从两幅二维图像中恢复出番茄的三维空间坐标，实验结果认为当目标距离为300400mm时，深度误差可以控制在34。2002年，中国农业大学的孙明等25提出利用计算机视觉识别萝卜幼苗。该方法首先突出图像中各像素的绿色颜色分量，然后结合亮度信息，采用最大方差自动取阈值等方法识别目标。2005年，江苏大学的蔡健荣等26将RGB颜色空间转换到球形HIS颜色系统，并利用Otsu算法自动获取分割阈值，以成熟的西红柿为对象，根据水果的颜色信息和形态信息能够识别出成熟水果，但对有遮挡或果实重叠的情况研究较少。综上所述，国

39、内对机器视觉在农产品收获和加工中的应用进行了大量的研究，但和国外仍存在一定差距，特别是在农产品收获应用方面，国内的研究很有限。为了赶超国外先进水平，早日实现我国农业生产自动化，必须进一步开展广泛和深入的研究。1.4 研究内容和方法根据国内外研究状况，基于双目立体视觉对自然环境下植株上的果实和障碍物进行识别并确定其位置的构想是可行的，本研究以柑橘为研究对象，以两个光轴平行的同型号CCD摄像头构成双目立体视觉系统，对大棚和田间生长的成熟柑橘分别在不同时间、不同天气下进行图像采集，基于VC+6.0平台自行开发了处理程序进行图像处理，运用相关的图像处理算法及空间测距理论，对处理结果进行分析和计算，从而

40、达到识别和定位的目的。本研究的主要内容如下：1、 柑橘果实定位选择合适的颜色系统，对图像中目标和背景进行合理分割，研究受环境影响较小的分割方法；对分割出的图像目标区域，采用有效的特征识别方法，力求准确快速提取目标区域特征，为立体匹配和空间定位做准备；使用正确的立体匹配方法对左右图像的果实区域进行匹配，根据匹配的结果计算果实的空间位置，将计算的结果同实际位置相比较，从而调整相应算法，以达到准确定位。2、 障碍物检测主要步骤和果实定位相同，根据柑橘收获机器人机械手自动采摘过程中遇到的树枝等主要障碍物的特点，研究对于障碍物的分割和提取方法，针对树枝的多样性的特点，研究有效的特征提取、立体匹配和三维重

41、建方法恢复树枝三维信息，本文提出了相应的解决方案。1.5 本章小结本章首先介绍了研究的目的和意义，然后对国内外研究情况做了介绍，最后简要的提出了本研究的主要内容。第二章 双目立体视觉系统简介众所周知，人们从外界环境获取的信息中，80%来自于视觉，其他来自于触觉、听觉、嗅觉等感觉器官。当人的眼睛从自己周围的环境获取大量信息，并传入大脑后，由大脑根据知识或经验，对信息进行加工、推理等处理工作，最后识别、理解周围环境，包括环境内的对象物，如物体间的相对位置、形状、大小、颜色、纹理、运动还是静止等。计算机视觉就是用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形态

42、和运动识别。计算机视觉研究的目的之一就是要寻找人类视觉规律，从而开发出从图像输入到自然景物分析的图像理解系统。目前许多计算机视觉专家都是在马尔(Marr)创立的视觉计算理论框架下探索。美国麻省理工学院人工智能实验室的马尔教授认为，视觉可分为三个阶段，第一阶段是早期视觉，其目的是抽取观察者周围景物表面的物理特性，如距离、表面方向、材料特性(反射、颜色、纹理)等，具体来说包括边缘检测、双目立体匹配、由阴影确定形状、由纹理确定形状、光流计算等；第二阶段是二维半简图或本征图像，它是在以观察者为中心的坐标系中描述表面的各种特性，根据这些描述可以重建物体边界、按表面和体积分割景物，但在以观察者为中心的坐标

43、系中只能得到可见表面的描述，得不到遮挡表面的描述，故称二维半简图；第三阶段是二维模型，视觉信息处理的最后一个层次，是用二维半简图中得到的表面信息建立适用于视觉识别的三维形状描述，这个描述应该与观察者的视角无关，也就是在以物体为中心的坐标系中，以各种符号关系和几何结构描述物体的三维结构和空间关系。 尽管马尔视觉计算理论在解决具体问题时遇到了困难，但可以说，计算机视觉有了长足的发展，其主流是沿着马尔所指出的方向取得的。根据以上的马尔视觉理论，可以将计算机视觉分为二维视觉和三维也就是立体视觉。二维视觉是把输入图像转换成具有所希望特性的另一幅图像，例如滤波、锐化、图像相加等；或者提取图像的某些特征，例

44、如边缘提取、图象分割等。立体视觉研究最多的是马尔提出的双目立体视觉，由于立体视觉很多处理要以二维视觉为基础，如图象分割、特征提取等。因此，可以认为立体视觉的研究包括了对二维视觉信息的研究，这里主要介绍双目立体视觉。双目立体视觉是计算机视觉的一个重要分支，它由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中视差，获得该点的三维坐标值。马尔提出了一种视觉计算理论并应用在双眼匹配上，使两张有视差的平面图产生有深度的立体图形，奠定了双目立体视觉发展的理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全息照相术等，双目体视直接模拟人类双眼处理景物的方式

45、，可靠简便，在许多领域均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等27。双目体视技术的实现可分为以下步骤：图像获取、摄像机标定、特征提取、图像匹配和三维重建，下面对各个步骤作简要介绍。图像获取，双目体视的图像获取是由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景，获取立体图像对，两CCD平行放置或者成50到80之间的夹角。摄像机的标定，对双目体视而言，CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法，分别得到两个摄像机的内、外参数，再

46、通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。特征点提取，立体像对中需要提取的特征点应满足以下要求：与传感器类型及抽取特征所用技术等相适应，具有足够的鲁棒性和一致性。在进行特征点像的坐标提取前，需对获取的图像进行预处理，因为在图像获取过程中，存在一系列的噪声源，通过此处理可显著改进图像质量，使图像中特征点更加突出。立体匹配，立体匹配是双目体视中最关键、困难的一步。与普通的图像配准不同，立体像对之间的差异是由摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运动所引起的。根据匹配基元的不同，立体匹配可分为区域匹配、特征匹配和相位匹配三大类。三维重建，在得到空间任一点在两个图

47、像中的对应坐标和两摄像机参数矩阵的条件下，即可进行空间点的重建。通过建立以该点的世界坐标为未知数的4个线性方程，可以用最小二乘法求解得该点的世界坐标。实际重建通常采用外极线约束法。空间点、两摄像机的光心这三点组成的平面分别与两个成像平面的交线称为该空间点在这两个成像平面中的极线。一旦两摄像机的内外参数确定，就可通过两个成像平面上的极线的约束关系建立对应点之间的关系，并由此联立方程，求得图像点的世界坐标值。对图像的全像素的三维重建目前仅能针对某一具体目标，计算量大且效果不明显，因此通常使用提取图像中目标区域的特征，通过对图像对中区域特征的处理达到目标三维重建的目的。本研究选用双目立体视觉系统主要基于以下考虑：1)计算结果精度较高。用双目立体视觉技术计算的