《一种基于图像边缘归一化相关度的图像配准方法.doc》由会员分享，可在线阅读，更多相关《一种基于图像边缘归一化相关度的图像配准方法.doc（6页珍藏版）》请在三一办公上搜索。
1、一种基于图像边缘归一化相关度的图像配准方法柏连发，张丽琴，荆鑫，岳江*510152025303540（南京理工大学，江苏省光谱成像与智能感知重点实验室，南京 210094）摘要：针对红外和可见光图像的配准问题，提出了一种基于图像边缘归一化相关度的图像配准方法。首先选用 Canny 算子分别对红外和可见光图像提取边缘，然后计算两幅图像的边缘归一化相关值，并将该值作为匹配度进行配准。为了测试该算法的性能，文章最后与基于Hausdorff 距离的算法进行了对比。实验结果表明，该算法能够有效实现红外和可见光图像的匹配，且具有计算简单、适用范围广和稳定性高的优点。关键词：红外图像；可见光图像；Canny
2、 算子；边缘；归一化相关；配准中图分类号：TP391.4A Registration Method based on Image Edge NormalizedCorrelationBAI Lianfa, ZHANG Liqin, JING Xin, YUE Jiang(Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense, Nanjing University of Scienceand Technology, NanJing 210094)Abstract: In order to solve the infrared
3、 and visible image registration problem, a new edgematching method is proposed. Firstly, the algorithm gets edges using Canny operator, and thencomputes the image edge normalized correlation value (IENC) which is treated as the matchingdegree of registration. In order to evaluate the performance of
4、the proposed algorithm, acomparison experiment between the proposed algorithm and the algorithm based on Hausdorffdistance is done. Experimental results show that the proposed algorithm is effective, small amountof computation and good stability.Keywords: infrared image; visible image; Canny operato
5、r; edge; image edge normalizedcorrelation(IENC); registration0 引言图像配准在图像处理、计算机视觉、医学诊断和目标识别中广泛使用。它在图像处理中是最基本的研究内容，图像拼接、图像融合和图像重建都需要以其为前提，其精度和速度对拼接、融合和重建的最终效果有着重要影响。随着多光谱多传感器技术的发展，红外和可见光图像的配准变得愈发重要。常用的配准方法大体上可以分为三种：基于图像灰度的配准1、基于不变特征的配准25和基于频域的配准6。红外和可见光图像的目标信息差异较大，匹配起来比较困难，很多配准方法都不适用。首先，红外和可见光图像的灰度差异非
6、常大，因此不能使用二者的灰度相似性来匹配，而且变换搜索时计算量很大。而频域的方法适用于同光谱图像，无法对红外和可见光图像准确匹配。红外和可见光图像中目标的不变特征具有一定相似性，但是匹配起来有一定难度7。图像配准中常用的特征包括：边缘、区域、线交叉点、最大曲率点、线端点和轮廓等8。其中，边缘是由于图像灰度变化不连续而形成的边界，是相对固定的配准特征，边缘特征匹基金项目：教育部博士点基金（20103219110013）作者简介：柏连发，（1965-），男，山东临沂人，教授，博士生导师，主要研究方向：光电探测与成像、光电信息(图像)处理。 E-mail: mrblf-1-配能够有效提取红外和可见光
7、图像的特征。钟家强和王润生9针对两幅图像的旋转问题，提出了用小波的方法提取边缘点，根据边缘点的“角度直方图”来计算旋转角。小波的方法在抗噪和边缘定位方面有独特的优势，但是其计算量大的问题很难解决。谌安军等10提出用45505560小波提出图像边缘，再根据边缘图像的最佳交互方差点来实现配准。但是求取最佳交互方差点的运算量大，效率低。Xiangjie Yang 等11提出以边缘为特征，然后使用 partial Hausdorff距离法对所有已提取边缘进行匹配。Hausdorff 距离法可以有效实现图像配准，但是由于该算法需要对所有提取到的边缘点逐一计算 Hausdoff 距离，当图像尺寸略大时，其
8、计算量非常巨大。综合以上因素，针对目前常用的边缘匹配方法大多存在计算量大、适用范围窄和准确率低的缺点，本文提出一种基于 Canny 边缘归一化相关的配准方法，该方法计算简单，能够快速高效准确的实现红外和可见光图像的配准。1 基于图像边缘归一化相关度的配准方法1.1 边缘提取边缘是图像的一个重要特征，它不会随着图像灰度的不同而有所改变。因此，对于红外和可见光图像而言，边缘信息作为重要的视觉信息，可用来作为相似性度量12,13。边缘检测技术依靠的是边缘增强算法，通过增强算法得到更为清晰的边缘5,811。近年来，出现了许多新型边缘提取方法，有小波变换、神经网络和分形理论等。但是考虑到计算量的大小问题
9、，目前常用的还是几种经典的边缘提取算法，如 Roberts 算子、Sobel算子、Prewitt 算子和 Canny 算子等4。其中，由于 Canny 算子中高斯滤波器的参数可以针对所提取的边缘特征进行调整，相对其它几种算子，该算子显示了更优越的性能8。Canny 算子参照并严格遵守了三个边缘检测的准则：信噪比（SNR）准则、位置精确度准则和单边缘响应准则11。其中，检测到的边缘的方位精确度可以由下式表示L =+ w wG( x)h( x)dx+ w2 w(1)65式中， G( x) 和 h( x) 分别表示 G( x) 和 h( x) 的方差。 L 的值越大，说明检测到的边缘位置越准确。为了
10、保证检测时只有单响应，边缘检测算法脉冲响应的过零点平均距离 D( f ) 需要满足下面的公式70式中， h( x) 是 h( x) 的二次派生值。21(2)用 Canny 算法检测图像边缘的过程可以分为四步：a) 用高斯滤波器对原图像滤波。b) 计算图像中各像素点梯度的幅值 M ( x, y) 和梯度的方向 H ( x, y) 。 M ( x, y) 可表示为-2-h ( x)dx + h2 ( x)dx 2D( f ) = + h ( x)dx 7580M ( x, y) = Ex ( x, y)2 + E y ( x, y)2而 H ( x, y) 可表示为H ( x, y) = arct
11、an( E y ( x, y) / Ex ( x, y)其中， Ex 和 E y 是图像沿着 x 和 y 方向滤波后的结果。c) 针对像素梯度的幅值做非最大值抑制处理。d) 用双阈值的方法探测边缘信息。(3)(4)1.2 归一化相关性边缘归一化相关法可描述为：边缘图像里的每条边缘可看成是一个个独立的散点，将这些边缘点之间的相关性作为相似性度量，寻找对应点相关性的最大值。只要图像中存在共有的目标信息，对同一目标信息所提取的边缘必定是相似的。这种相似性表现为，待配准图必8590定会在某种几何变换下与基准图中的对应边缘达到一定程度的重合。对整幅图像而言，若两幅图像已配准，则会有多条边缘达到相似性的重
12、合，找到边缘相关值的峰值后，若峰值大于某个设定的阈值，则认为匹配，否则没能匹配。由于特定的阈值不能够适用于所有的情况，因此对这个边缘相关值做归一化处理，即得到边缘归一化相关值。假设 f1 ( x, y) 和 f2 ( x, y) 分别为红外和可见光图像的边缘图像，用 Canny 算子提取边缘后，得到的 f1 ( x, y) 和 f2 ( x, y) 均为二值图像，假设图像大小为 M N ，对 M N 大小的边缘图像做相关运算的表达式为corr =M N1 2i =1 j =1M Ni =1 j =11(5)采用本算法对红外和可见光图像进行匹配，图像对如图 1 中(a)(d)所示，以可见光图像作
13、为基准图，红外图像作为待配准图，其中红外图像相对于可见光图像的变换参数为：缩小95100倍率 0.96，旋转角 0，y 方向平移像素个数 4，x 方向平移像素个数-16。首先用 canny 算子提取的边缘是单像素宽度的二值图像，随着缩放比 s，旋转角 r，x 方向平移 x 和 y 方向平移 y 这四个参数的变化，相关值 corr 会不断变化，最终根据 corr 的峰值点确定这四个变化因子。表 1 corr 的寻优过程Tab.1 The search procedure of corr第 1 组第 2 组第 3 组第 4 组第 5 组第 6 组缩放比 s旋转角 r平移量 y平移量 xCorr 值
14、0.94 0.94 0.94 0.96 0.96-1 -1 -0.5 -1 -10 0 6 2 2-20 -19 -20 -20 -190.1302 0.1435 0.1581 0.1676 0.17480.9604-160.1999通过表 1 可以看出，corr 能够衡量两幅图像之间的匹配程度。按照 corr 最大时对应的几何参数对红外原图像进行变换，就会使得两幅图像在空间方位上达到匹配。-3- f ( x, y ) f ( x, y ) f ( x, y )105(a)可见光图像(b)可见光边缘图像(c)基准图(d)红外图像 (e)红外边缘图像 (f)变换后的待配准图 (g)配准结果 11
15、01.3 配准步骤图 1 基于 Canny 边缘归一化相关法的配准结果Fig.1 Registration result based on Image Edge Normalized Correlation提取边缘红外图像提取边缘红外边缘图像几何变换No可见光图像可见光边缘图像相关值 corr峰值点？Yes配准115120图 2 边缘配准流程图Fig.2 Registration flowchart基于 Canny 边缘归一化相关法的红外与可见光图像配准的流程图如图 2 所示，具体步骤如下：1) 对红外图像和可见光图像分别提取边缘。2) 将可见光图像作为基准图，红外图像作为待配准图，假定二者满
16、足仿射变换的关系，对红外图像进行缩放、旋转、x 方向平移和 y 方向平移，计算经过几何变换后的红外二值边-4-缘图像和可见光二值边缘图像的归一化相关值 corr。3) 将归一化相关值 corr 作为相似度度量，搜素 corr 的峰值点，得到四个空间变换参数。1254) 对待配准图进行几何变换，与基准图像进行匹配。2 实验分析为了测试本算法的性能，设计了与基于 Hausdorff 距离的图像配准算法进行对比的实验方法，做出配准性能的定性与定量分析。Hausdorff 距离是一种描述两组点集之间不相似程度的度量14,15，对于两组有限点集130Aa1,a2,.,ap和 Bb1,b2,.,bq，A
17、和 B 间的 Hausdorff 距离定义为：H ( A, B) = maxh(A, B), h(B, A)(6)式中，h( A, B) =max mina A b Ba b 是点集 A 和 B 之间的有向 Hausdorff 距离， 是A 和 B 之间的距离范数，双向 Hausdorff 距离 H(A,B)取单向距离 h(A,B)和 h(B,A)中的较大者。Hausdorff 距离是两个点集间的最大不匹配程度的度量，利用最小的 Hausdorff 距离计算配准135140参数，实现图像配准。实验采用了大量的红外和可见光图像对进行配准实验，本文选取两组典型图像进行分析，图像间有四个参数：缩放、
18、旋转、x 方向平移变换和 y 方向平移变换，图像大小分别为260*210 和 261*211，PC 机平台，主频为 Intel Core 2 Duo T8100 2.10GHz，内存 2G，编程语言 Matlab R2009a。利用本文算法和基于 Hausdorff 距离的算法分别对图 3 中的两对图像(a)(b)和(e)(f)配准，均以可见光图像作为参考图，红外图像作为待配准图，其中(a)(b)图像对中红外图像的缩小倍率 0.98、顺时针旋转 0.5、下移像素个数 11、左移像素个数 13；(e)(f)图像对中红外图像的缩小倍率 0.99、顺时针旋转 0.5、下移像素个数 7、左移像素个数
19、15。145(a)(b)(c)(d)(e)(f) (g)(h)图 3 基于两种算法的配准效果比较Fig.3 Comparison of the two methods150通过图 3 中两组配准后的效果图(c)(d)、(g)(h)可以看出，图(c)、(g)重影较严重，这是因为 Hausdorff 距离算法对干扰较敏感，鲁棒性不好；而(d)、(h)不仅无重影（如第一对图中的椭圆形花圃及第二对中的楼房），并且细节清晰（如第一对中的小路和左下的路灯及第二对中窗户和空调等）。可见本文算法可准确提取边缘特征，配准精度高。155两种算法配准的时间如表 2 所示。对于每一种几何变换，本文算法只需要计算一次
20、corr-5-的值就可以判断它们的匹配程度，因此边缘相关度归一化算法的计算量要比计算 Hausdorff距离算法小很多。表 2 基于两种算法的配准时间比较Tab.2 Comparison of time costs图像大小阈值范围运行时间(s)基于 Hausdorff 距离的算法本文算法第一对第二对260*210 5*5*21*21 6783.443607261*211 5*21*11*11 8694.7185856.04058810.7876771603 结论红外图像和可见光图像之间的差异较大，而边缘则是图像中的不变特征，本文在用Canny 算子提取边缘的基础上，提出了一种边缘归一化相关的匹
21、配方法。这种匹配方法旨在匹配图像中的主要边缘和轮廓，受干扰点的影响很小，因此匹配准确率高。而且只需对红外165边缘图像和可见光边缘图像计算一次 corr 的值即可判断相匹配情况，因此计算量小、配准速度快。通过 Matlab 仿真，证实了基于 Canny 边缘归一化相关的方法能够有效适用于红外和可见光图像的配准。在配准效率方面，缩小搜索步长可以使速度更快。同时应当指出的是本文算法对边缘模糊或缺失较严重的图像的配准精度不高，在通用性方面仍需要进一步研究和改进。170参考文献 (References)1 Liang Zong, Yanhui Wu. A Parallel Matching Algor
22、ithm Based on Image Gray ScaleA. Liang Zong.International Joint Conference on Computational Sciences and OptimizationC. CSO, 2009. 109-111.2 John Canny. A Computational Approach to Edge DetectionJ. IEEE Transactions on Pattern on Pattern175180185190195Analysis and Machine Intelligence,1986,8(6):679-
23、698.3 钮永胜, 倪国强. 多传感器图像自动配准技术研究J. 光学技术, 1999(1).4 甘 进 , 王 晓 丹 , 赵 杰 , 王 霭 龄 . 基 于 直 线 特 征 的 图 像 配 准 算 法 J. 计 算 机 工 程 与 应 用 ,2010,46(11):193-195.5 孙淑一, 吴勇, 吴建民. 一种基于边缘特征的图像配准方法J. 计算机工程与应用, 2008,44(7):94-96.6 Min Xu, Pramod K.Varshney. A Subspace Method for Fourier-Based Image RegistrationJ. IEEE Geosc
24、ienceand Remote Sensing Letters, 2009,6(3):491 - 494.7 倪国强, 刘琼. 多源图像配准技术分析与展望J. 光电工程, 2004,31(9):1-6.8 Niu Li-pi, Jiang Xiu-hua, Zhang Wen-hui, Shi Dong-xin. A multi-sensor image registration approach based onlong-edge-correlationA. Niu Li-pi. 2010 3rd IEEE International Conference on Computer Scien
25、ce andInformation Technology (ICCSIT)C. IEEE, 2010, 3. 34-38.9 钟家强, 王润生. 基于边缘的图象配准改进算法J. 计算机工程与科学, 2001,23(6):25-29.10 谌安军, 陈炜, 毛士艺. 一种基于边缘的图像配准方法J. 电子与信息学报, 2004,26(5):679-684.11 Xiangjie Yang. Adaptive hill climbing and iterative closest point algorithm for multisensor image registrationwith parti
26、al Hausdorff distanceJ. SPIE, 99-109,2000.12 苑津莎, 赵振兵, 高强等. 红外与可见光图像配准研究现状与展望J. 激光与红外, 2009,39(7):693-699.13 苏 伍 各 , 陶 忠 祥 , 董 博 . 边 缘 信 息 的 红 外 与 可 见 光 图 像 融 合 评 价 J. 火 力 与 指 挥 控 制 ,2012,37(1):194-197.14 Niu Li-pi, Jiang Xiu-hua, Zhang Wen-hui, Shi Dong-xin. Image Registration Based on Hausdorff Di
27、stanceA.Niu Li-pi. 201O International Conference on Networking and Information TechnologyC. IEEE, 2010. 252-256.15 Jian-Wei Zhang, Guo-Qiang Han, Yan Wo. Image registration based on generalized and mean HausdorffdistancesA. Jian-Wei Zhang. Proceedings of the Fourth International Conference on Machine Learning andCyberneticsC. Guangzhou: IEEE, 2005, 8. 5117-5121.-6-
