《机器视觉.ppt.ppt》由会员分享，可在线阅读，更多相关《机器视觉.ppt.ppt（138页珍藏版）》请在三一办公上搜索。
1、机器视觉,基本概念简介,课程内容简介,概述Marr视觉理论二维图像分析概述成像几何基础摄像机模型与摄像机标定立体视觉与三维重建,第一部分 概述,机器视觉也称为计算机视觉，包括单目视觉、双目（立体）视觉和多目视觉研究用计算机来模拟生物外部显示器或宏观视觉功能的科学和技术首要目标是用图像创建或恢复现实视觉模型，然后认知现实世界,计算机视觉的传统应用领域,工业生产自动化（零部件定位，抓放，识别，质量检测）；移动机器人导航；生物医学图像分析；遥感图像解读：航空摄影图像、气象卫星图像、资源卫星图像,计算机视觉的现代应用,现代应用以人为中心，或以人为观察目标（上世纪90年代中期），主要观察人类的行为、动作
2、、表情等，属于复杂任务。当今的计算机已经具有了性价比较高的，能够满足需求的计算能力,以人为中心的计算机视觉应用,视觉监视（Visual Surveilance）多幅图像或视频中场景的分割和解释（Segmentation and interpretation of scenes in images or videos）人机接口（Human-Computer Interfaces）先进感知（Enhanced perception）安全识别（Secure Identification）,观察人类方面（Looking at People）,场景中人的存在与定位（Precence and Locatio
3、n）身体各部分（body parts）检测：面部（face）、四肢（limbs）、手（hands）等人的动作（actions)、行为（behavior）、姿态（gesture）、情绪（emotion）、步态（gait）、指纹（fingerprint）、虹膜（iris）检测,机器视觉的应用,各种球类运动分析矿业、森林业、农业、自然资源和生态环境检测三维物体重构城市规划设计远程教育、多媒体教育远程手术,机器视觉的主要研究内容,输入设备低层视觉中层视觉高层视觉体系结构,与机器视觉有关的会议,国际计算机视觉会议（ICCV）国际模式识别会议（ICPR）国际计算机视觉与模式识别会议（CVPR）欧洲计算机视
4、觉会议（ECCV）亚洲计算机视觉会议（ACCV）,与机器视觉有关的刊物,International Journal of computer VisionIEEE Trans.On PAMIIEEE Trans.on Robotics and AutomationIEEE Trans.On Image ProcessingCVGIP(Computer vision,graphics and Image processing)Visual image ComputingIJPRAI(International Journal of Pattern Recognition and Artificia
5、l Intelligence)Pattern Recognition,本课程主要参考书,马颂德，张正友：计算机视觉计算理论与算法基础，科学出版社，北京，1998第一版贾云得：机器视觉，科学出版社，北京，2004年4月第一版计算机视觉中的多视图几何David A.Forsyth,Jean Ponce:Computer Vision:A Modern Approach(清华大学出版影印版,电子工业出版社出版翻译版),场景图像通常是灰度图像，即三维场景在二维平面上的投影。场景信息通过灰度图像或灰度图像序列恢复处理需要进行多点对一点的映射逆变换，信息恢复过程中还需要有关的场景知识和投影几何知识。,机器
6、视觉信息表示,机器视觉的输入装置,包括：成像设备景物探测成像 数字化设备将成像设备输出的模拟信号转换为二维/三维数字化图像常用的成像设备：CCD彩色/黑白摄像机、数字扫描仪、超声成像探测仪、CT成像设备、红外成像系统、激光成像系统、计算成像系统等观测系统使用的光波段：根据探测对象不同的物理介质、材料和状态可以从可见光、红外、X射线、微波、超声到射线。观测对象：静止的、运动的、平面的、立体的。,机器视觉的输入装置应用举例,产品内部缺陷（内部裂纹和气孔等）检验：X射线照相或超声探测航空图像：普通的视频摄像机卫星图像：气象卫星红外成像传感系统获取不同云层的图像（云图）；海洋卫星合成孔径雷达获取海洋、
7、浅滩等图像以重构海洋波浪及海滩的三维表面图；资源卫星多光谱探测器（multiple spectral sensor,MSS）获取地表相应点的多个光谱段的反射特性（红外、可见光、紫外等），用于找矿、森林和农作物调查、自然灾害测报、资源和生态环境监测等,机器视觉的输入装置应用举例,医学图像分析：X射线成像、计算机层析（computerd tomography,CT）、核磁共振成像（magnetic resonance imaging,MRI）、超声成像等。可以对图像进行增强、标记、染色等以帮助医生诊断疾病，协助医生对感兴趣的区域进行定量测量和比较；利用专家知识系统对图像（图像系列）进行自动分析和解
8、释，给出诊断结果,第二部分：Marr的视觉计算理论,Marr理论把视觉过程看作一个信息处理的过程，并提出对于信息处理过程的研究应分为计算理论、表示（数据结构）与算法、硬件实现三个层次,计算理论层次,回答作为信息处理过程的视觉过程，它的输入是什么？输出是什么？为什么由这个输入可以求得输出（输入输出之间存在的内在约束）等问题。或者说“计算的目的是什么？为什么这一计算是合适的？执行这一计算的策略是什么？,表示和算法层次与硬件实现层次,表示和算法层次回答如何实现计算理论，特别是输入输出的表示（数据结构）是什么，为实现表示之间的变换应当采用什么算法硬件实现层次解决在物理上如何实现这种表示和算法,视觉过程
9、的三个阶段,Marr理论规定视觉过程为从二维的图像信息中定量地恢复出图像所反映的场景中的三维物体的形状和空间位置视觉过程所要完成的任务分成三个阶段：图像 要素图 2.5维图 三维表示,视觉过程的第一阶段,早期视觉或低层视觉（low level）：由输入图像获得要素图。借用了大量图像处理技术和算法，如滤波、增强、边缘检测等，以便从图像中抽取如“零交叉”、斑点、端点、焦点、边缘、线条、有效线段、线段组、曲线组织、边界以及色彩等关于场景的基本特征（要素图）。即图像中强度变化剧烈处的位置及其几何分布和组织结构，边界等。还包括各种图像变换（如校正）、纹理检测、图像运动检测等方法。目的：更清楚地表示原始二
10、维图中像的重要信息,视觉过程的第二阶段,中期视觉或中层视觉（middle level）：由输入图像和要素图恢复各点离观察者的距离（场景深度）、可见表面上各点的法线方向、轮廓、深度上的不连续点、表面法向上的不连续点等有关场景的2.5维图。实现的途径：立体视觉（stereo vision)、测距成像（range fingder)、运动估计(motion estimation)、明暗特征、纹理特征等所谓从X恢复形状的估计方法。系统标定、系统成像模型等研究一般也在这个层次上进行。,视觉过程的第三阶段,后期视觉或高层视觉（High Level）：在以物体为中心的坐标系中，在输入图像、要素图、2.5维图，
11、恢复物体的完整三维图，建立物体三维描述、识别三维物体并确定物体的位置和方向，给出各物体之间的空间关系的描述。,一些困难问题,1 图像的多义性：三维场景投影为二维图像，深度和不可见部分的信息被丢失了。不同视角下的图像有极大不同，遮挡丢失信息、不同形状的物体投影在图像平面上产生相同图像。2 环境因素影响：如照明、物体形状、表面颜色、摄像机以及空间位置变化。3 成像过程存在畸变和噪声4 不同的知识引导可能产生不同的空间关系，从而产生不同的识别结果。5 数据量大，需要大存储空间，不易提高处理速度。,解决问题的可能途径,主动视觉（active vision）面向任务的视觉（task-oriented v
12、ision）基于知识、基于模型的视觉（knowledge-based,model-based vision）多传感器信息融合集成视觉,机器视觉和其他学科领域的关系（1）图像处理,图像处理通常是把一幅图像变换成另外一幅图像，信息恢复任务留给人来完成，包括图像增强、图像压缩、模糊校正与非聚焦图像等内容，输入和输出都是图像机器视觉的输入是图像，输出为另一种形式（如物体轮廓表示等），重点是在人的最小干预下，由计算机自动恢复和识别场景信息。,机器视觉和其他学科领域的关系（2）计算机图形学,计算机图形学通过几何基元（线、圆、自由曲面等）生成图像，在可视化（visualization）和虚拟现实（virtu
13、al reality）中起着很重要的作用。属于图像综合机器视觉解决计算机图形学的相反问题，从图像中估计几何基元和其他特征，属于图像分析。随着技术的发展，两个领域开始互相借鉴，后者使用了前者的曲线和曲面表示方法等技术，前者采用后者的技术，在计算机中建立逼真的图像模型。,机器视觉和其他学科领域的关系（3）模式识别,模式识别主要用于识别各种符号、图画等平面图形，一般指一类事物区别于其他事物所具有的共同特征，主要方法有统计方法和句法方法两种。模式识别是机器视觉识别物体的重要基础之一，同时还经常需要其它的技术。,机器视觉和其他学科领域的关系（4）人工智能,人工智能（artificial intellig
14、ent,AI）的许多技术在机器视觉的各个方面起着重要作用，被认为是人工智能的一个分支，涉及智能系统的设计和智能计算的研究。在图像处理和特征提取后，用仍哦能够智能方法对场景特征进行表示、分析和理解。其三个过程是：感知（将外界信息转换成信号并表示为符号）、认知（对符号进行操作）和行动（将符号转成影响外界的信号）。,机器视觉和其他学科领域的关系（5）人工神经网络,人工神经网络（artificail neural networks,ANNs）是一种信息处理系统。可以作为一种方法和机制解决机器视觉中的许多问题。由大量简单的处理单元（神经元）通过具有强度的连接相互联系起来，实现并行分布式处理（parall
15、el distribution processing,PDP），最大特点是可以通过改变连接强度来调整系统，使其适应复杂的环境，实现类似人的学习、归纳和分类等功能,机器视觉系统的最大特征,使用各种知识特征模型、成像模型、物体模型、物体间的关系等，在视觉的各个阶段，尽可能地进行自动运算系统应该使用那些可以被明确表示的知识，时系统有更高的适应性和鲁棒性，也可以求解机器视觉中较难的问题,第三部分 二维图像分析概述,常用术语回顾（基于图像处理课基础）二维图像预处理回顾图像区域分析和边缘检测二维机器视觉应用,常用术语回顾,灰度图像，二值图像和彩色图像直方图与图像阈值,图像构成,图像可以表示成取值范围为0,
16、G的实函数:f(xi,yi,tk,l);i,j=0,1,2,N-1;k=0,1,2,n-1;l=0,1,2,m式中自变量(xi,yi)是位置坐标；tk是图像摄取时刻；l是获取图像的传感器所使用的波段。垂直方向像素采样间隔x=xi+1-xi;水平方向像素采样间隔y=yj+1-yj;t=tk+1-tk为时间间隔单幅图像可以用矩阵形式表示,矩阵形式的图像表示,每个矩阵元素称为图像的像素。fi,j表示位于图像第i行第j列的元素灰度的大小，灰度的变化是图像的特征源。该矩阵包含了单幅图像关于景物的全部原始信息。,二值图像,人类视觉在理解仅由两个灰度级组成的线条、轮廓影像或其他图像时没有任何困难，而且应用场
17、合很多。计算二值图像特性的算法简单、容易理解和实现，计算速度很快二值图像所需的内存小，对计算设备要求低，256级的灰度图像的视觉系统所需内存是二值图像系统的8倍。许多二值视觉系统技术也可以用于灰度图像视觉系统上，如物体模板等。,二值图像的应用场合与生成方法,应用场合：物体轮廓足以用来识别物体且周围环境可以适当地控制。许多工业场合都属于这种情况生成方式：通常是用阈值分割方式将灰度图像变换为二值图像。,直方图与图像阈值,图像灰度直方图：一种灰度特性，指图像所有灰度值出现的相对频率。图像阈值：来源于如下假设同一物体表面上的点集投影到图像上得到的像素点集在空间上十分靠近，且具有相似的灰度。根据该假设来
18、组合图像中的像素，然后可以把各组合与图像的其余部分分开。,二值图像分割,如果物体的灰度值落在某一区间内，并且背景的灰度值在这一区间之外，则可以通过阈值运算得到物体的二值图像，即把区间内的点置成1，区间外的点置成0。对于二值视觉，分割和阈值化同义。阈值的确定决定了图像分割的效果。由于视觉系统的自主性能要求，不能采用交互式凡是分析图像，必须利用图像灰度分布特点和有关的物体知识来进行自动阈值选择。,图像的特征,图像特征是图像解释的基础。常用的图像特征有：（1）灰度：包括多光谱、彩色信息；（2）边缘：描述灰度变化的程度和位置；（3）纹理特征：描述图像中反复出现的局部模式和它们的排列规则，（4）形状特征
19、：描述物体、区域或基元的外形；（5）物体表面主方向，即三维物体表面的法向；（6）传感器与物体表面各点的距离；（7）物体运动信息；,图像预处理（1）直方图修正,许多图像的灰度值是非均匀分布的，灰度值集中在一个小区间内的图像很常见（对比度很弱的图像），曝光不足会造成图像灰度变化范围小，层次不丰富。可以用直方图拉伸，直方图均衡等方法对图像进行修正，提高图像的主观质量。,直方图拉伸,一种图像尺度变换，把在灰度区间a,b内的像素点映射到z1,zk区间。可以修正由于曝光不足造成的灰度变化范围小，层次不丰富的图像。改善视觉感知条件，达到图像增强的目的。变换可以是线性的或非线性的,线性直方图拉伸,设a,b为获
20、得的图像灰度变化范围，拉伸后灰度范围扩展为z1,zk，一般由于曝光不充份，区间a,b常为空间z1,zk的子空间，元区间内的像素点z映射为新区间内像素点z的函数为：,非线性直方图拉伸,如果图像的大多数像素灰度值分布在区间a,b，则可以使用映射函数：,非线性直方图拉伸,若要突出图像中具有某些灰度值物体的细节，而又不牺牲其它灰度上的细节，可以采用分段灰度变换，使需要的细节灰度值区间得到拉伸，不需要的细节得到压缩，以增强对比度，也可以采用连续平滑函数进行灰度变换,直方图均衡,图像增强最常用、最重要的方法之一。利用图像灰度分布（直方图）信息，对灰度分布形式作校正来修正图像灰度，是基于度量空间（灰度分布）
21、的灰度修正方法。,直方图均衡步骤,(1)统计：图像总像素数：64*64=4096=n 灰度量化级：8；最大最小灰度：rmax,rmin(2)图像作正规化处理：(3)作灰度分布直方图：Pr(r,)=nk/n(4)作累积分布函数：,(5)按量化间隔作校正：原图像灰度阶数为8，每个间隔长度为170.14，将sk值按接近法则归入各自的量化级，并重新归类。,(6)取sk的分布函数Ps(sk)，它服从0，1均匀分布，将rk灰度改为对应的sk,得到经直方图校正后0，1中的正规化图像,(7)对原来取ri(i=0,1,2,7)灰度的像素改变灰度值r0s0；r1s1；r2s2；r3，r4 s3，4；r5，r6，r
22、7 s5，6，7(8)作反变换：s=(rmax-rmin)s+rmin，恢复到原图像灰度范围,图像滤波,图像常被强度随机信号（也称为噪声）所污染，常见的噪声有椒盐（Salt&Pepper）噪声、脉冲噪声、高斯噪声等。椒盐噪声含有随机出现的黑白亮度值，脉冲噪声只含有随机的白强度值（正脉冲噪声）或黑强度值（负脉冲噪声），高斯噪声含有亮度服从高斯或正态分布的噪声，是许多传感器噪声得很好模型，如摄像机的电子干扰噪声,线性滤波器,使用连续窗函数内像素加权和实现滤波，同一模式的权重因子可以作用在每一个窗口内，因此是空间不变的，可以使用卷积模板实现滤波；如果图像的不同部分使用不同的滤波权重因子，且仍然可以用
23、滤波器完成加权运算，则线性滤波器就是空间可变的。,线性滤波器,常用的线性滤波器有平均值滤波器（会使图像的边缘模糊）和高斯滤波器。线性平滑滤波器去除高斯噪声的效果很好，且在大多数情况下，对其他类型的噪声也有很好的效果。,均值滤波器,最简单的线性滤波器是局部均值运算，即每一个像素值用其局部邻域内所有值的均值置换，邻域的大小控制着滤波程度大尺度邻域会加大滤波程度，但作为驱除大噪声的代价，也会导致图像细节的损失。设计滤波器时，选择滤波权值应是得滤波器只有一个峰值，成为主瓣，并且在水平和垂直方向上是对称的。,非线性滤波器,任何不是像素加权运算的滤波器都是非线性滤波器，非线性滤波器也可以是空间不变的，即在
24、图像的任何位置上可以进行相同的运算而不考虑图像位置或空间的变化。,中值滤波器,用像素点邻韵灰度值的中值来代替该像素点的灰度值，在去除脉冲噪声、椒盐噪声的同时能保留图像边缘细节，因为它不依赖于邻域内那些与典型值差别很大的值。计算以点i,j为中心的函数场像素的步骤如下：（1）在函数窗内按亮度值大小排列像素点；（2）选择排序像素级的中间值作为点i,j的新值,边缘保持滤波器,均值滤波的平滑功能会使图像边缘模糊，中值滤波在去除脉冲噪声的同时也将图像中的线条细节滤除掉，边缘保持滤波器可以在滤除噪声脉冲的同时，不至于使图像边缘十分模糊。基本过程：对灰度图像的每一个像素点i,j取适当大小的一个邻域（如33），
25、分别计算该点的左上角、左下角、右上角、右下角子邻域的灰度分布均匀度V，然后取最小均匀度对应区域的均值作为该像素点的新的灰度值。,边缘保持滤波器,左上角V=1/4;右上角V=3/4；左下角V=0;右下角V1/2，由图可知，分布越均匀，V值越小，左下角邻域全为0，因此V0为最小值，像素i,j处的灰度值应为0。,二值图像基本算法,连通成份标记；细化膨胀与收缩；欧拉数和区域边界；距离测量；,连通成份标记,细化,可以把二值图像区域缩成线条，以逼近区域的中心线（骨架或核线）。目的是减少图像成分，只留下区域的最基本信息，以便进一步分析和识别。主要对细长形区域有效。,细化要求,连通区域必须细化成连通线结构细化
26、结果最少应该是8连通保留终止线的位置细化结果应该近似于中轴线由细化引起的附加突刺（短分支）应该是最小的,细化方法简介,在至少33邻域内检查图像的每一点，剥去区域边界，一次剥去一层图像，直至区域被细化成一条线，通常用迭代法实现细化迭代算法：对于每一个像素，如果满足以下条件，则去除该像素点：（1）没有上邻点（下邻点左邻点右邻点）；（2）不是孤立点或终止线；（3）去除该像素点不会断开区域；重复这一步骤直至没有像素点可以去除为止。,膨胀与收缩,膨胀（expanding）：如果某一连通成分可以变化，使一些背景像素点变成前景像素点，这一运算就称为膨胀（或称扩展）如果物体像素点全方位地消减或变为背景像素点时
27、，则称为收缩（或称腐蚀）。可以看作是扩展背景先扩展后收缩算法（闭操作）可以补上不希望存在的洞；先收缩后扩展算法（开操作）则能去除孤立的噪声点。,膨胀与收缩例图,区域边界,设一幅图像的前景为S，背景为，便解则是那些属于S且与邻接的点集。在大多数应用中，都采用一个特定的顺序跟踪边界点，一般是按顺时针方向跟踪,区域边界,边缘检测基本术语,边缘点：两边像素的灰度值有显著的不同或一个在较亮的区域内部，另一个在外部边缘段：边缘点坐标及其方向的总和，边缘的方向可以是梯度角。轮廓：边缘列表或一条边缘列表的曲线模型边缘检测器：从图像中抽取边缘（边缘点或边缘段）集合的算法,边缘检测基本术语,边缘连接：从无序边缘表
28、形成有序边缘表的过程，习惯上边缘的表示采用顺时针方向排序边缘跟踪：用于确定轮廓图像（滤波后的图像）的搜索过程,梯度,一幅图像可以看作是图像强度连续函数的采样点阵列，图像灰度值的显著变化可用梯度的离散逼近函数检测，定义为矢量：矢量G（x,y）的方向就是函数f(x,y)增大时的最大变化率方向；梯度的幅值为,梯度,实际应用中，通常用绝对值来近似梯度幅值 或梯度的方向定义为：，其中a角是相对x轴的角度对于数字图像，梯度公式中的导数可以用差分近似，最简单的梯度近似表达式为：j 对应x轴方向 i对应y轴方向,梯度,可以用简单卷积模板来完成计算GX=Gy=常用22一阶差分模板求x和y的偏导数Gx=Gy=,常
29、用边缘检测算法,Roberts算子：R(i,j)=max|f(A0)-f(A4)|,|f(A2)-f(A6)|,Sobel算子：S(i,j)=|(f(A0)+2 f(A1)+f(A2)(f(A6)+2f(A5)+f(A4)|+|(f(A0)+2 f(A7)+f(A6)-f(A2)+2f(A3)+f(A4)|方向偏导：sx=(A2+cA3+A4)-(A0+cA7+A6);sy=(A0+cA1+A2)-(A6+cA5+A4);c=2Prewitt算子：方程同Sobel算子，但常量c=1,二阶微分算子,一阶导数边缘检测器中，如果求出的一阶导数高于某一阈值，则确定该点为边缘点，但会导致检测的边缘点太多
30、，更好的办法是求梯度局部最大值对应的点并认定为边缘点。常用的二阶微分算子有：拉普拉斯算子；二阶方向导数；Canny边缘检测器等,拉普拉斯算子,函数f(x,y)的拉普拉斯算子公式：以点i,j为中心的x和y方向上的二阶偏导数近似为,拉普拉斯算子（续）,将以上两式合并得到能用来近似拉普拉斯算子的模板：即当拉普拉斯算子输出出现过零点时表示有边缘存在,边缘检测,边缘分为阶跃状和屋顶状两种边缘检测算法步骤：（1）滤波；（2）增强；（3）检测；（4）定位由边缘检测器生成的边缘集可以分成真边缘集和假边缘集两个子集以及场景中漏检的边缘集。假边缘集称之为假阳性，漏掉的边缘集则称为假阴性,边缘连接和边缘跟踪,边缘连
31、接和边缘跟踪之间的区别：前者将边缘检测器产生的无序边缘集作为输入，输出一个有序边缘集，后者将一幅图像作为输入，输出一个有序边缘集边缘检测使用局部信息来决定边缘，边缘跟踪使用整个图像信息决定一个像素点是否是边缘,边缘检测器性能,假边缘概率；丢失边缘概率；边缘方向角估计误差；边缘估计值到真边缘的距离平方均值；畸变边缘和其他诸如角点和结点的误差范围（1）（2）涉及边缘检测器算法的性能；（3）（4）涉及边缘定位、方向估计算法的性能；（5）关心边缘算法偏离理想模型的误差范围,欧拉数,欧拉数（Eular）或亏格数（genus）可作为识别物体的特征，定义为连通成份减去洞数，E=C H。E 欧拉数；C连通成份
32、；H洞数。公式给出一个具有平稳、旋转和比例不变特性的拓扑特征。,字母及其欧拉数举例,距离测量,欧几里德距离街区距离棋盘距离,形状分析,用计算机图像处理和分析系统对景物的诸目标提取形状特征，对景物作识别、理解。图像经过边缘提取、分割后获得若干分割区域，对各区域提取形状特征，通过这些区域的空间分布关系的分析，借助关于景物的知识，对景物作分析和理解。区域形状特征的提取是形状分析的基础。,区域形状特征提取的三类方法,对区域的内部或外形通过各种变换，提取区域的形状特征对区域的内部、外形或骨架（区域内与最接近的边界点保持等距的点的轨迹）在图像的空间域提取区域的形状特征利用图像层测型数据结构，提取区域的形状
33、特征,区域的内部和外形的变换,区域内部变换是形状分析的经典方法，包括求区域的各阶统计矩、投影和截口以及模板匹配，通过各种形式的变换把区域映射到变换的值空间，将区域转换为曲线、向量或数量，作为区域的形状特征。区域的外形变换指对区域的边界作各种变换。将区域的边界或骨架转换成向量或数量，作为区域的形状特征。常用傅立叶描述算子、Hough变换、广义Hough变换、边界和骨架的多项式逼近等。,区域内部空间域分析,采用整体几何数学结构形态理论，不经过变换而直接在图像的空间域对区域内部提取形状特征。文字、染色体细胞等区域的区域骨架含有本质的形状信息。对区域的边界、骨架作空间域分析的主要方法包括链码、描述和结
34、构方法。将区域边界或骨架分解成一系列基元，对它们的描述即是对边界或骨架的形状描述,图像的统计矩定义,设f(i,j)i,j=1,2,n是区域二值图像或抑制背景以后的区域图像，它的（u,v）阶统计矩、形心、u,v阶中心矩定义为：,统计矩给出的图像几何特征,0阶矩为图像面积当 时，区域沿I轴方向伸长，当 时，区域关于I轴对称，当 时，区域关于J轴对称。中心矩具有平移、旋转不变性的特点,图像的投影（Projection）,给定一条直线，用垂直于该直线的一组等间距直线将一幅二值图像分割成若干条，每一条内像素值为1的像素数量为该条二值图像在给定直线上的投影,当给定直线为水平或垂直直线时，计算二值图像每一列
35、行上像素值为1的像素数量，就得到了二值图像的水平和垂直投影投影不是唯一的，同样的投影可能对应不同的图像,图像的几何特性,密集度（Compact)：C=A/p2C 为密集度，A为图形的面积，p为图形的周长体态比：定义为区域最小外接矩形的长与宽之比正方形和圆的体态比为1，细长形物体的体态比大于1。,第四部分立体视觉,一般成像系统通常将三维场景变换成二维灰度或彩色图像，这样图像就失去了深度信息。而获取场景中各点相对于摄像机的距离是视觉系统的重要任务之一,主动测距和被动测距,被动测距指视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数（灰度图像），在图像的基础上恢复场景深度图主动测距指
36、视觉系统首先向场景发射能量，然后接收场景对所发射能量的反射能量，也称为测距成像系统（rangefinder），最常用的是雷达测距系统和三角测距系统,成像几何基础,三维场景到二维灰度或彩色图像的变换可以用一个从三维空间到二维空间的映射表示 f:如果考虑时变三维场景，则上述变换是四维空间到三维空间的变换，如果再考虑某一波段或某几个波段的光谱，则上式的维数将增加到五维或更高维。,透视投影变换和正交投影变换,透视投影(perspective projection)是最常用的成像模型，可以用针孔成像模型来近似表示。其特点是所有来自场景的光线均通过一个投影中心，它对应于透镜的中心。经过投影中心且垂直于图像
37、平面（成像平面）的直线称为投影轴或光轴。,针孔模型，表示了空间任何一点P（Xw,Yw,Zw）在图像上的成像位置p。点O和Xc,Yc,Zc组成的直角坐标系称为摄像机坐标系。,针孔模型,正交投影(orthogonal projection),透视投影的特例，也称平行投影(parallel projection)指用平行于光轴的光将场景投射到图像平面上。当透视投影模型的焦距F很大且物体距投影中心很远时，透视投影可以用正交投影来近似。正交投影的方程为：x=x y=y,正交投影几何示意图,透视投影几何示意图,坐标系OXYZ构成摄像机坐标系。O为摄像机光心,由透视投影图可知：空间任意一点P（X,Y,Z)在
38、图像上的成像位置（投影位置）p(x,y)为光心O与P点的连线OP与图像平面的交点，这种关系也称为中心射影或透视投影。点P在图像平面中的位置p的坐标为：x/X=y/Y=f/Z，f为摄像机焦距，X，Y，Z是点P在摄像机坐标系中的坐标，用Xc，Yc，Zc表示。则 x=fXc/Zc y=fYc/Zc（1）,投影方程,用齐次坐标与矩阵表示上述透视投影关系：,(2),图像坐标系、摄像机坐标系和世界坐标系,在图像上定义直角坐标系u,v，每一像素的坐标（u,v)分别是该像素在数组中的列数与行数），（u,v)是以像素为单位的图像坐标系的坐标。x,y是以物理单位（如毫米）表示的坐标系，原点O定义在摄像机光轴与图像
39、平面的交点，一般位于图像中心。,若O在u,v坐标系中的坐标为（u0，v0），每一个像素在x轴与y轴方向上的物理尺寸为dx，dy，则图像中任意一个像素在两个坐标系下的坐标(x,y)和(u,v)间有如下关系：u=x/dx+u0 v=y/dy+v0用齐次坐标与矩阵形式表示为：,（3）,(4),逆关系表示为：,由于摄像机可安放在环境中的任何位置，在环境中还要选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。它由Xw，Yw，Zw轴组成。摄像机坐标系用Xc,Yc,Zc表示，摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R（3*3正交单位矩阵）与三维平移向量t来
40、描述。因此空间中某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别是（Xw，Yw，Zw，1）T与（Xc，Yc，Zc，1）T，于是存在如下关系：,(5),M1为4*4矩阵,将式（4）和（5）代入（2）,(6),其中，x=f/dx,y=f/dy;M为34矩阵，称为投影矩阵。,back,在（6）式中，投影矩阵M由M1，M2两部分组成，M1完全由x,y,u0,v0决定，由于它们只与摄像机内部结构有关，称这些参数为摄像机内部参数；M2完全由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数，确定某一摄像机的内外参数称为摄像机标定（定标）。,第五部分 摄像机标定与图像匹配,摄像机标定,用于确定摄像机
41、或测距传感器在场景中的位置、方向以及与场景坐标之间的关系。起源于高空摄影测量技术，是摄影测量中的经典问题。标定涉及场景坐标、摄像机坐标、图像坐标、像素坐标等，标定的目的是确定这些坐标之间的关系,线性摄像机标定方法,摄像机定标一般都需要一个放在摄像机前的特制的标定参照物（reference object），摄像机获取该物体的图像，并由此计算摄像机的内外参数。标定参照物上的每一个特征点相对与世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可由式（6）计算出摄像机的内外参数。,标定参照物,M矩阵参数求解,M矩阵为一3*4矩阵，有12个需要
42、求解的参数。如果在标定参照物上有n个已知点，就可以获得2n个关于M矩阵元素的线性方程，可以用最小二乘法解出12个参数。然后可以用某种算法分解M矩阵，获得全部摄像机的内外参数。,非线性模型摄像机标定,线性模型不能准确地描述成像几何关系，尤其在使用广角镜头时，在远离图像中心处会有较大畸变（aberration）。可用以下公式描述：xa=x+x(x,y)ya=y+y(x,y)(xa,ya)为由针孔线性模型计算出的图像点坐标的理想值，(x,y)是实际的图像点的坐标，x与y是非线性畸变值，与图像点在图像中的位置有关。,畸变包括径向畸变(radial aberration)、离心畸变(decenterin
43、g aberration)、薄棱镜畸变(thin prism aberration)，这些非线性畸变参数，与线性模型的参数u0,v0,x,y一起构成了非线性模型摄像机的内部参数。,机器人手眼定标,计算机应用于机器人技术。摄像机固定在机器人手臂的末端执行器上。目的是当机器人的末端执行器（手爪）在执行某任务时，由摄像机测定末端执行器与工件的相对位置。为使机器人控制器可以将手爪处于能抓取物体的任意姿态与位置，当手爪还没有达到这个方位时，机器人必须知道物体相对于平台坐标系的位置（Cobj,Ce),将物体坐标系Cobj看作世界坐标系，物体相对于摄像机坐标系Cc的位置就是摄像机外参数，可以用摄像机定标方法
44、求得，如果还知道摄像机坐标系Cc相对机器人手爪平台坐标系Ce的方位，摄像机所测量的物体相对于摄像机坐标系的方位(Ra,ta)就可以转换成相对于平台的方位(Ce,Cobj)，即机器人所需要的数据。由于摄像机是固定在手爪平台上的，因此，一旦固定，R和t就是常量。,机器人手眼定标方法思路,控制机器人手爪在不同的位置观察空间一个已知的标定参考物，从而推导摄像机坐标系Cc和机器人手爪平台坐标系Ce之间的相对位置R和t与多次观察结果的关系。由于无法用人眼看到摄像机坐标系，R和t必须由定标的方法计算，这种定标称为机器人手眼定标。,摄像机自标定(Self calibration),在某些场合，由于摄像机的焦距
45、要经常调节，摄像机的位置也会根据周围的环境而移动，因此需要在每次调节后重新对摄像机的内外参数进行标定。在许多情况下，不方便甚至不可能在每次标定时都在摄像机前放置标定参照物，因此出现了摄像机自标定方法。自标定不使用标定参照物，但必须能控制摄像机运动并由运动图像分析中得到摄像机参数，因此应用范围为机器人手眼系统或主动视觉系统。,单眼视觉系统问题,对任何空间点P，如已知它的坐标Pw=(Xw,Yw,Zw,1)T，就可求出它的图像点p的位置（u,v），但式（6）中M是34不可逆矩阵，当已知M与（u,v）时，由式（6）给出的三个方程中消去Zc，只可得到关于Xw,Yw,Zw的两个线性方程，由这两个线性方程组
46、成的方程组即为射线OP的方程，也就是说，投影点为p的所有点均在该射线上，因此该空间点是不能唯一确定的。,立体视觉系统,立体视觉摄像机标定,与单摄像机定标的差别在于：通过定标，测量双摄像机之间的相对位置。过程：两摄像机分别标定，获得各自内外参数，设外参分别为R1,t1和R2,t2，分别表示两个摄像机与世界坐标系之间的相对位置，对任意一点P，如果它在世界坐标系、C1坐标系和C2坐标系下的非齐次坐标分别为xw,xc1,xc2，则,xc1=R1xw+t1xc2=R2xw+t2消去xw得到：xc1=R1R2-1xc2+t1-R2-1T2两摄像机之间的几何关系可用以下R和t表示：R=R1R2-1 t=t1
47、-R2-1t2在某些立体视觉算法中，必须知道R和t,图像匹配简介,图像匹配技术是计算机立体视觉研究的核心问题之一，目的是在两幅由不同摄像机拍摄的图像中，确定对应空间同一点的图像点，主要是依据图像特征来确定相应像点，涉及匹配特征的选取问题。良好的匹配特征应具有可区分性、不变性、稳定性、唯一性以及有效解决歧义匹配的能力。,需要解决的问题,1、确定以哪些特征作为匹配的特征;2、怎样把这些对应特征匹配起来,并得到视差信息 常用的匹配特征有：图像灰度、边缘或零交叉点、亮度峰值或重心,常用的方法,匹配算法中，主要的问题是根据一幅图像上的某一特征点的图像信息，在另一幅匹配图像上找到对应的外极线(epi-po
48、lar line)，然后在外极线上寻找匹配点的图像坐标。,极线概念简介,在基本立体视觉系统中，如果将左右两个摄像机拍摄的空间物体的图像 I1与I2分别称为标准图像（I1）和对应图像（I2），物体上的任意一点P，在左右两个摄像机拍摄的I1与I2上都可以找到相应的图像点，分别称为p1和p2，它们对应于空间的同一点，称为对应点（或匹配点）。p1点的对应点必然位于I2上由p1与两个摄像机的相对几何位置决定的某一条直线上，该直线称为图像I2上对应于p1点的极线（epipolar line）。,正规化相关算法,在需要进行匹配的点的周围取一适当区域（模板），在匹配图像上的一定范围内（极线所在范围）逐点比较与
49、模板同样大小的区域内的灰度，计算被比较区域的正规化相关系数R（R1）。在理想状态，当两个区域内的灰度特征相同时，R=1，但实际上由于种种原因，这个条件是很难达到的，因此在极线范围内所有点周围模板尺寸区域内的灰度特征后，得到一组R值，找出其中具有最大R值的区域，则区域的中心点为要搜寻的匹配点。,计算相关系数R的公式,式中，N为模板区域内像素数；Mi=(Xi,Yi)为模板,Ii=(U+Xi,V+Yi)为匹配图像上以（U，V）为起始点的图像区域。,空间点重建,在图像I1上任取一点p1，如果知道它在I2上的对应点p2的位置，则可以用立体视觉的方法计算空间点P的三维坐标。如果知道一个多面体的各个顶点的三
50、维坐标与相邻关系，则该多面体的形状与位置是唯一确定的。因此，用立体视觉的方法获取三维点的坐标是最基本的，也是最简单的。,假定，空间任意点P在两个摄像机C1与C2上的图像点p1与p2已经从两个图像中分别检测出来，即已知p1与p2为空间同一点P的对应点。C1与C2摄像机已标定，它们的投影矩阵分别为M1与M2,在上式中消去Zc1或Zc2，得到关于X，Y，Z的四个线性方程：,由解析几何知，三维空间的平面方程为线性方程，两个平面方程的联立为空间直线的方程（该直线为两个平面的交线），上式的几何意义是过O1p1（或O2p2）的直线。,由于空间点P是O1p1与O2p2的交点，它必然同时满足上两式。因此，可以将
