《毕业设计（论文）基于SIFT特征的图像匹配.doc》由会员分享，可在线阅读，更多相关《毕业设计（论文）基于SIFT特征的图像匹配.doc（52页珍藏版）》请在三一办公上搜索。
1、 毕 业 设 计（论 文）题 目基于SIFT特征的图像匹配姓 名学 号所在学院理学院专业班级08信计指导教师日 期2012年6月2日摘要当今社会已经进入信息时代，随着计算机技术、通信技术和数学的发展，图像信息处理能力和水平也不断提高，相应的也得到更多关注、研究和更加广泛的应用。图像匹配是处理和解决各种图像信息的基础，已经成为虚拟现实和计算机可视化领域的研究热点。一直以来，研究人员对图像匹配技术进行了大量的研究，推出了许多匹配算法，其中特征匹配算法有着较高的精确度和稳定性。SIFT（Scale Invariant Feature Transform）特征匹配算法是Lowe提出来的用于图像特征匹配
2、的算法，是目前特征匹配领域的热点，对图像的旋转，尺度缩放和亮度变换保持不变，对视角变换，仿射变换保持一定程度的稳定。SIFT特征点是图像的一种尺度不变局部特征点，具有独特性好，信息量丰富，多量性，高速性，可扩展性等特点。正是借助于这些特点，使得传统图像配准中的许多诸如前面提到的共性问题得到了很大程度的改善。该算法首先给出了尺度空间的生成方法，检测出极值点；接下来给出了SIFT特征点的提取步骤和精确定位极值点的方法；然后基于特征点邻域像素的梯度和方向生成了关键点的描述向量；最后根据特征向量给出了匹配方法，提取了SIFT的特征点，并其应用于图像匹配。本文首先简要介绍了图像匹配所需的基础知识，然后详
3、细介绍了SIFT算法的具体流程。通过大量的实验证明SIFT算法具有较强的匹配能力和鲁棒性，是一种较好的图像匹配算法。关键字：SIFT; 图像匹配; 尺度空间; 极值点; 特征向量AbstractToday， society has entered the information age, with the development of computer technology, communications technology and mathematics, the image information processing capabilities and the level is also
4、 rising, and also get more attention, research and more widely used. The image matching handle and solve all kinds of image information, has become the research focus of the virtual reality and computer visualization. Researchers has been a lot of research for image matching techniques, the introduc
5、tion of a number of matching algorithm, which feature matching algorithm has higher accuracy and stability. SIFT（Scale Invariant Feature Transform）feature matching algorithm, proposed by Lowe, is a hot field of feature-matching at present, which remains the same to image rotation, scale zoom and bri
6、ghtness transformations, and also maintains a certain degree of stability on the perspective transformation and affine transformation. SIFT feature points are scale-invariant local points of an image, with the characteristics of good uniqueness, informative, large amounts, high speed, scalability, a
7、nd so on. In this algorithm, at first method for generating image scale space is presented; at second steps for extracting sift key points and accurate positioning are provided; then vectors for describing key points based on the gradient magnitude and orientation of pixels neighboring to the key po
8、ints are generated; at last according to the vectors matching algorithm is described. This paper briefly introduces the basic knowledge required for image matching, and then details the specific process of the SIFT algorithm. Large number of experiments to prove the SIFT algorithm has a strong match
9、 and robustness, is a good image matching algorithm.Key Words：SIFT; Image Registration; Scale space; extreme points; eigenvector.目录第1章 绪论11.1 本课题研究的背景及意义11.2 本课题研究的内容和目标21.3 本文安排2第2章 图像匹配技术42.1 数字图像处理技术的概述42.2 图像匹配技术的定义52.3 图像匹配技术的方法52.3.1 基于灰度相关的匹配算法52.3.2 基于特征的图像匹配算法62.3.3 两类匹配算法的比较72.4 本章小结8第3章 S
10、IFT算法93.1 SIFT算法的简介93.2 SIFT算法实现步骤简述93.3 SIFT算法详细过程103.3.1 尺度空间的生成-建立高斯金字塔103.3.2 尺度空间的生成-DOG高斯差分金字塔的生成123.3.3 空间极值点检测133.3.4 极值点的精确定位143.3.5 关键点方向分配173.3.6 生成SIFT特征向量183.3.7 SIFT特征向量的匹配203.4 小结20第4章 实验结果分析214.1 实验一214.2 实验二234.3 实验三244.4 实验四264.5 实验五274.6 实验六294.7 实验结论30第5章 总结32致谢34参考文献35附录37第1章 绪论
11、1.1 本课题研究的背景及意义图像无处不在。任何物体通过光线在人眼的视网膜中成像，如同在摄像头或者照相机中成像一样。所以，图像对于人来说是首要的信息。人和高等动物都有着发达的视觉系统，使得客观环境中存在的事物或目标可以被识别，从而引发进一步的处理。对于人类来说，这种功能是与身俱来的，十分轻松的事情。但是，当人眼接受到的图像信息过于庞大、复杂时，图像的处理就会变得相当的复杂。在许多应用中，观察员需要同时监视多种信息源的图像，从中获取信息并作出判断。此时，观察员就需要将得到的图像进行融合，从中获取对自己有用的信息。但是图像的融合是由观察员的视觉系统和大脑完成的，观察员的劳动负荷大，一名观察员很难从
12、多幅独立的、连续变化的图像中得到可靠的合成视觉信息；通过多名观察员的协同工作获得合成图像信息要么是不可能的，要么代价太大。图像配准技术可以解决这个问题。图像配准技术是现代遥感技术、微电子技术和精密检测技术的综合性产物。图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。图像匹配是图
13、像配准的重要环节。图像匹配的实现方式是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题，确切的说，所谓图像匹配就是在图像融合过程中，寻找一幅图像(目标图像或实时图)在另一幅图像(源图像或基准图)中的位置。图像匹配技术可以使信息具有高度集成性，便于存储和运输。从20世纪80年代初至今，图像匹配已引发了世界范围的研究狂潮，它在计算机视觉、遥感、机器、医学图像处理以及军事等领域有着广泛的应用前景。图像匹配利用各种成像传感器获
14、得的不同图像，综合各图像的互补信息和冗余信息，扩大传感器的工作范围，增加置信度，改善系统的可靠性和可维护性，降低对单一传感器的性能要求，可更为准确、可靠、全面的获取对目标或场景的信息描述，以供进一步处理。目前，图像匹配的应用领域概括起来主要有以下几个方面： (1) 医学图像分析：肿瘤检测、白内障检测、CT、MRI、PET图像结构信息融合、数字剪影血管造影术(DSA)等； (2) 遥感数据分析：分类、定位和识别多谱段的场景信息、自然资源监控、核生长监控、市区增长监控等； (3) 模式识别：目标物运动跟踪、序列图像分析、特征识别、签名检测等； (4) 计算机视觉：目标定位、自动质量检测等； (5)
15、 还应用与全景拼图，视频检索等应用领域； 虽然人们在图像匹配的不同层次上开展了大量的理论与应用研究，但是，至今为止在各层次图像匹配领域内尚未有公认的完整的理论和方法。还存在许多理论和技术问题有待解决。图像匹配技术在国内所尽进行的研究相对于国际上的研究工作起步较晚目前还处于落后状态，因此迫切需要开展广泛深入的基础理论和工程技术的研究工作。1.2 本课题研究的内容和目标本课题研究内容分为两个方面。理论方法研究方面，主要集中在研究最新的基于SIFT的图像匹配；实践方法研究方面，将理论模型和算法用软件实现。本课题的研究目标是对图像匹配有初步的了解认识，并对基于SIFT的图像匹配技术的具体流程有详细的认
16、知，并能通过软件实现来对图像匹配进行深刻的认知。1.3 本文安排文分为5章，每章的安排如下：第1章，绪论部分，介绍了本课题研究的背景、意义、内容和目标。第2章，图像匹配技术，介绍了图像匹配的基本概念以及图像匹配方法的分类。第3章，SIFT特征的提取部分和基于SIFT特征的图像匹配，详细阐述了SIFT特征提取的主要步骤和基于SIFT特征的图像匹配，是本文的重点章节。第4章，通过大量的实验，验证了SIFT算法的旋转不变性。第5章，总结。第2章 图像匹配技术2.1 数字图像处理技术的概述数字图像处理，即利用计算机对图像进行数学运算和处理，是一门相对年轻的学科，只有几十年的历史。早期的图像处理技术主要
17、用于传送图像的和照片。现代数字图像处理技术始于20世纪60年代，它借助于计算机运算速度的迅速提升、微电子技术的发展和FFT（快速傅里叶变换）算法的出现，从而使得图像处理算法可以在计算机上真正实现。正是这个时期，美国NASA（国际宇航局）开始处理从月球发回的照片，标志着数字图像处理技术开始得到实际应用。特别是美国JPL实验室（喷气推进实验室）在图像处理方面的研究和应用方面进行了开拓性的工作。1964年，他们利用“徘徊者7号”发回了数千张月球照片，使用计算机及图像处理设备，在充分考虑了太阳位置和月球环境对照片影响的基础上，采用灰度变换、去噪声、几何校正、傅里叶变换等方法对照片进行处理，由计算机第一
18、次绘制了月球表面地图。随后，1965年又对“徘徊者8号”发回地球的几万张照片进行了解卷积、消除运动模糊等较为复杂的处理，使图像质量进一步提高。从此，数字图像处理被广泛应用于航天以及遥感遥测等尖端领域。同一时期，也正是全球微电子技术走上快速发展的初期，包括CPU处理器、海量存储器、图像数字化和图像显示以及计算机硬件设备不断降价，客观上推动了该技术的发展和深入应用。也正是这一时期，美国开始将图像处理技术应用到工业和民用领域，利用卫星图像进行天气预报，利用卫星遥感检测全球气候，在信息安全领域开始使用指纹识别技术，给社会带来了巨大的经济社会效益。借助于信息技术和图像处理技术的领先优势，美曾经提出“数字
19、地球”的概念。今天，随着计算机技术的迅猛发展和相关理论的不断完善，数字图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就。属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等。该技术成为一门引入注目、前景远大的新型学科。常用的数字图像处理方法有图像描述、图像变换、图像的压缩编码、图像增强、图像复原、图像分割识别等。而图像匹配技术就是数字图像处理技术中的一种2.2 图像匹配技术的定义图像匹配可以定义为两幅图像在空间和灰度上的映射。如果用给定尺寸的二维矩阵和代表两幅图像。和分别表示相应位置上的灰度值，则图像间的映射课表示为： （1-1）式子中，表
20、示一个二维空间坐标变换，即： （1-2）且是一维灰度或者辐射变换。匹配的任务包括找到最优的空间和灰度变换，使图像相对于标准图像得到匹配。通常灰度变换是不需要的。一般情况下，寻找空间或者几何变换是解决匹配问题的关键，这一变换通过参数可化为： （1-3） 图像匹配的具体应用包括目标或者场景识别、在多幅图像中求解3D结构、立体对应和运动跟踪等。出于拍摄时间、拍摄角度、自然环境的变化，多种传感器的使用、传感器本身的缺陷及噪声等影响，拍摄的图像会存在灰度失真和几何畸变。同时，图像预处理过程会引入的误差，这都是导致模板图像与待匹配的目标图像之间通常存在着一定程度的差异。在这种情况下，如何使匹配算法精度高、
21、正确匹配率高、速度快和抗干扰性强成为人们关心的问题。2.3 图像匹配技术的方法图像匹配算法的选取对图像匹配结果影响很大。使用的匹配算法不仅仅要求计算量小，还必须具有良好的抗噪能力和抗几何形变的能力。通常情况下，图像匹配算法可分为以下两大类：基于灰度相关的匹配算法和基于特征的图像匹配算法。2.3.1 基于灰度相关的匹配算法灰度匹配的基本思想：以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。最经典的灰度匹配
22、法是归一化的灰度匹配法，其基本原理是逐像素地把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都有一定的速度要求，所以这些方法很少被使用。现在已经提出了一些相关的快速算法，如幅度排序相关算法，FFT相关算法和分层搜索的序列判断算法等。2.3.2 基于特征的图像匹配算法特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。基于特征的匹配所处理的图像一般包含的特征
23、有颜色特征、纹理特征、形状特征、空间位置特征等。 1 颜色特征颜色特征，因为具有直观、明显的特点，是图像视觉最重要的感知特征之一。颜色往往和图像中所包含的物体或场景相关。与其它的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性，并且计算简单，所以目前应用最广泛。基于颜色的特征提取方法能较好的表示图像的颜色信息。目前颜色特征的提取方法主要有：颜色直方图、颜色矩、颜色聚合向量等颜色特征的表示方法。 颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。 2 纹理和形状特征纹理的直观意义很清楚，但在图像处理中的纹理一词却有着广泛笼统的含义，而且也没有
24、确切的定义。纹理一般包含3个基本要素： ( 1 )某种局部地序列在比该序列更大的区域内不断重复。 ( 2 )序列是由基本部分非随机排列组成的。 ( 3 )各部分大致都是均匀的统一体，纹理区域内任何地方都有大致相同的结构尺寸。不管是什么样的东西，若一直放大下去再进行观察的话，就一定能显现出纹理。3 区域分割和空间关系特征区域分割是把图像分割成具有某种意义的部分图像(如前景区域与背景区域)的方法。空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接邻接关系、交叠重叠关系和包含包容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一
25、种关系强调的是目标之间的相对情况，如上下左右关系等，后一种关系强调的是目标之间的距离大小以及方位。显而易见，由绝对空间位置可推出相对空间位置，但表达相对空间位置信息常比较简单。特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。基于图像特征的匹配方法可以克服利用图像灰度信息进行匹配的缺点，由于图像的特征点比
26、较像素点要少很多，大大减少了匹配过程的计算量；同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度；而且，特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及旋转等都有较好的适应能力，所以基于图像特征的匹配在实际中的应用越来越广泛。所使用的特征基元有点特征(明显点，角点，边缘点等)，边缘线段等。2.3.3 两类匹配算法的比较特征匹配与灰度匹配的区别：灰度匹配是基于像素的，特征匹配则是基于区域的，特征匹配在考虑像素灰度的同时还应考虑诸如空间整体特征、空间关系等因素。特征是图像内容最抽象的描述，与基于灰度的匹配方法相比，特征相对于几何图像和辐射度影响来说更不易变化，但特
27、征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阈值，因而不便于实时应用。同时，在纹理较少的图像区域提取的特征的密度通常比较稀少，使局部特征的提取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。2.4 本章小结 本章主要对图像匹配技术做了简要概述，介绍了基于灰度和基于特征这两种图像匹配方法，为下文描述的特征匹配算法做了铺垫。第3章 SIFT算法3.1 SIFT算法的简介SIFT是一种基于特征的配准方法。SIFT匹配算法是David GLowe教授在2004年总结了现有的基于不变量技术的特征检测方法的基础上
28、，提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法。该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配。SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。它具有如下特点：（1）SIFT特征是图像的局部特征，其对平移、旋转、尺度缩放、亮度变化保持不变性，对对光照变化、视角变化、仿射变换、噪声也保持一定程度的稳定性。具有较强的鲁棒性。（2）独特性(Di
29、stinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配，在特征匹配时可以以一个很高的概率正确匹配。（3）多量性，即使少数的几个物体也可以产生大量SIFT特征向量，这对于目标识别非常重要。 （4）高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 （5）可扩展性，可以很方便的与其他形式的特征向量进行联合。目标的自身状态、场景所处的环境和成像器材的成像特征等因素会影响图像匹配的性能。而SIFT算法在一定程度上可解决：(1) 目标的旋转、缩放、平移；(2) 图像仿射、投影变换；(3) 光照影响；(4) 目标遮挡；(5) 杂物场景；(6) 噪声3.2 SIFT算
30、法实现步骤简述SIFT算法的实质可以归结为在不同的尺度空间上查找特征点的问题。图3-1 SIFT算法流程图SIFT算法实现物体识别主要有三大工序：（1）提取关键点。（2）对关键点附加详细的信息，也就是确定关键点的位置和所处的尺度，为每个关键点指定方向参数。（3）通过特征点的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。3.3 SIFT算法详细过程 本节是算法的主体，包括两大部分：获取图像信息，抽取特征值。图像信息包括三个要素：位置，尺度大小，旋转方向。位置，指的是不同的像素坐标。尺度大小，通俗的讲就是指对同一个景物进行两次拍摄时，得到两张照片。一张近景，一张远景，对应的就是一个大尺
31、度，一个小尺度。旋转方向，指的是对同一景物进行不同的角度拍摄，当选定某个拍摄的方向为基准方向时，其他方向的拍摄相当于基准方向就产生一个对应的空间旋转方向。当图像信息分析过程结束后，就可以抽取特征值了。下面详细介绍获取图像信息，抽取特征值的具体算法。3.3.1 尺度空间的生成-建立高斯金字塔尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一变换核，并且是唯一的线性核。所以一幅二维图像的尺度空间定义为： （3-1）其中是尺度可变高斯函数， （3-2）是空间坐标，符号*表示卷积, 代表图像的像素位置，是尺度空间因子，值越小表示图像被平滑的越少，相应的尺度也就越小。大尺度对应于
32、图像的概貌特征，小尺度对应于图像的细节特征。为了得到在不同尺度空间下的稳定特征点，将图像与不同尺度空间因子下的高斯核进行卷积操作，构成高斯金字塔。图3-2高斯金字塔高斯金子塔的构成中要注意，第1阶的第1层是原始图像；在同一阶中相邻两层的尺度因子比例系数是，则第1阶第2层的尺度因子是，然后其它层以此类推可；第2阶第1层是由第1阶的中间层尺度图像进行子抽样获得，其尺度因子是，然后第2阶的第2层的尺度因子是第1层的倍即。第3阶的第1层由第2阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。图3-3 高斯金字塔图像图3-3为一幅图像所形成的高斯金字塔的第一阶和第二阶。3.3.2 尺度空间的生成-
33、DOG高斯差分金字塔的生成 为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。 （3-3） 选择高斯差分函数主要有两个原因，第一，它计算效率高。第二，它可作为尺度归一化的拉普拉斯高斯函数的一种近似。其中和的关系可以从如下公式推导得到： （3-4）利用差分近似代替微分，则有： （3-5）因此有 （3-6）其中k-1是个常数，并不影响极值点位置的求取。DOG金字塔通过高斯金字塔中相邻尺度空间函数相减即可，如图3-4所示。在图中，DOG金字塔的第1层的尺度因子与高斯金字塔的第1层的是一致的，其它阶也是一样。图3-
34、5为一幅图像由图3-4所示图像高斯金字塔构造成的DOG金字塔。 图3-4 DOG金字塔图3-5 DOG金字塔图像3.3.3 空间极值点检测为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。 图3-6 极值点的检测如上图所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9*2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。图3.7 图像极致点检测结果上图为极致点检测结果。3.3.4 极值点的精确定位由于DOG值对噪声和边缘较敏感，因此，在上面的DOG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特
35、征点。为了提高关键点的稳定性，需要对尺度空间DOG函数进行曲线拟合。通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DOG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。获取关键点处拟和函数， （3-7） 求导并让方程等于零，可以得到极值点： （3-8）对应极值点，方程的值为： （3-9）的值对于剔除低对比度的不稳定特征点十分有用，通常将的极值点视为低对比度的不稳定特征点，进行剔除。同时，在此过程中获取了特征点的精确位置以及尺度。图3.8去除低对比度之后的结果DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘
36、响应点。获取特征点处的Hessian矩阵，主曲率通过一个2x2 的Hessian矩阵H求出: (3-10)的特征值和代表和方向的梯度，(3-11) (3-12)表示矩阵对角线元素之和，表示矩阵的行列式。假设较大的特征值，而是较小的特征值，令,则 (3-13) (3-14)导数由采样点相邻差估计得到。的主曲率和H的特征值成正比，令为最大特征值，为最小的特征值，则公式的值在两个特征值相等时最小，随着的增大而增大。值越大，说明两个特征值的比值越大，即在某一个方向的梯度值越大，而在另一个方向的梯度值越小，而边缘恰恰就是这种情况。所以为了剔除边缘响应点，需要让该比值小于一定的阈值，因此，为了检测主曲率是
37、否在某域值r下，只需检测 (3-15)图3.9 去除边缘点之后的结果在Lowe的文章中，取r10。3.3.5 关键点方向分配通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性。我们通过求每个极值点的梯度来为极值点赋予方向。 （3-16） （3-17）在以关键点为中心的邻域内采样，用直方图统计邻域像素的梯度方向，直方图的峰值就是关键点处邻域的主方向，作为该关键点的方向。公式(3.16)为处的梯度值，公式(3.17)为处的方向，要确定是哪一阶的哪一层。在实际计算过程中，在以特征点为中心的邻
38、域窗口内采样，并用梯度方向直方图统计邻域像素的梯度方向。梯度直方图的范围是0-360度，其中每10度一个柱，总共36个柱。梯度方向直方图的峰值则代表了改特征点处邻域梯度的主方向，即作为该特征点的方向。图3-6为梯度方向确定主方向：图3-7 确定主方向在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则认为这个方向是该特征点的辅方向，一个特征点可能会被指定具有多个方向（一个主方向，一个辅方向），大约有15%的点有多个方向，但是这些辅助方向对匹配的稳定性起了很重要的作用，增强了匹配的鲁棒性。到此为止，已经得到了特征点的位置，所在尺度和方向。3.3.6 生成SIFT特征向量一个特征点的
39、SIFT特征向量包含的数据有：位置，尺度，方向和SIFT描述子。将坐标轴旋转为特征点的主方向，以确保旋转不变性。主方向校正如图3-8图3-8 旋转为主方向以特征点为中心取8 x 8的窗口（特征点所在的行和列不取）。在图3-9（a）中中央的那个点为当前位置，每个小格代表特征点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头的长度代表梯度模值，图中圈内代表高斯加权的范围（越靠近特征点的像素，梯度方向信息贡献越大）。然后在每4 x 4的图像小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，如图3-9(b)所示。此图中一个特征点2 x 2共4个种子点组成，每个
40、种子点8个方向向量信息，可产生2 x 2 x 8共32个数据，形成32维的SIFT特征向量即特征点描述子，所需要的图像数据块为8 x 8。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。在实际的计算过程中，为了增强匹配的稳健性，Lowe建议对每个特征点使用4 x 4共16个种子点来描述，每个种子点有8个方向向量信息，这样对于一个特征点就可以产生4 x 4 x 8共128个数据，最终形成128维的SIFT描述子，所需要的图像数据块为16 x 16。此时，SIFT特征向量已经去除了尺度变化、旋转等集合变形因素的影响。(a) (b)图3-9 关
41、键点邻域方向和方向特征向量将特征向量归一化处理即将向量单位化之后就可以进一步去除光照变化的影响。这样之后就已经完全形成了SIFT特征向量。3.3.7 SIFT特征向量的匹配当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。最后要消除错配，通过相似性度量得到潜在匹配对，其中不可避免会产生一些错误匹配，因此需要根据集合限制和其它
42、附加约束消除错误匹配，提高鲁棒性。常用的去外点方法是RANSAC随机抽样一致性算法，常用的几何约束是极线约束关系。3.4 小结本节详细介绍了SIFT特征匹配算法。SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取极值点的位置、尺度以及旋转不变量。第4章 实验结果分析本文的代码通过调用Opencv库中的函数在Visual c+ 6.0上的控制平台上实现程序的。SIFT特征用箭头来表示，箭头的长度代表了该特征点所在的尺度，箭头的方向代表了该特征点所在尺度下主方向的梯度方向，箭头的起点代表了特征点所在的位置。SIFT算法具有很强的抗旋转性。在实验的时候，我们选择六组不同的照片。照片是用
43、数码相机拍摄，照片里面的景物是同一事物，但存在不同的旋转角度。每一组都选择将书本旋转角度为0度的图片作为基准图片，将存在旋转角的图片作为待匹配图片。旋转角度分别为向右旋转30度，向右旋转60度，向右旋转90度，向左旋转30度，向左旋转75度，向左旋转90度。每一张图片的像素都是320*240。我们将通过六组实验来证明SIFT算法的旋转稳定性。 4.1 实验一将椅子上的书本向右旋转30度。 (a) (b)图4-1 原图片 (a) (b)图4-2 特征点提取 图4-2(a)是显示的是原图片的特征点，共200个；图4-2(b)显示的是书本向右旋转30度后形成图片的特征点，共203个特征点；图4-3
44、匹配特征匹配的全部代码在C+ 6.0中实现，使用的是欧氏距离法，对于一副图中的每个特征点，在另一幅图中找到与之距离最近的特征点的距离和次近的特征点的距离，若，则接受该匹配。如图所示，匹配的特征点有99对。图中黑粗线标示的为明显的匹配错误点，除去匹配错误的点，大部分特征点匹配正确。4.2 实验二将书本继续向右旋转，使旋转角度达到60度 (a) (b)图4-4 原图片 (a) (b)图4-5 特征提取图4-5(a)是显示的是原图片的特征点，共200个；图4-5(b)显示的是书本向右 旋转60度后形成图片的特征点，共196个特征点；图4-6 特征点匹配如图所示，匹配的特征点有88对，无明显的匹配错误点。4.3 实验三继续将书本向右旋转，角度为90度 (a)
