《基于MATLAB的图像融合算法毕业设计.doc》由会员分享，可在线阅读，更多相关《基于MATLAB的图像融合算法毕业设计.doc（34页珍藏版）》请在三一办公上搜索。
1、毕业设计基于MATLAB的图像融合算法摘要图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。 图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处
2、理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。本论文的主要的研究内容有：首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析
3、的判断标准。关键词：图像配准；图像融合；空域融合法；小波变换；评价标准MATLAB-based image fusion algorithmAbstractThe same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algo
4、rithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environm
5、ent, and make full use of the information provided by all kinds of resources.Image fusion consists of such three levels as the Pixel level，the feature level and the decision level，among which the Pixel level image fusion can Provide moreabundant, accurate and reliable detailed information that doesn
6、t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion
7、techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows:First we introduce the concepts， advantages，developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Air
8、space Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-
9、processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyz
10、e the performances of this discussion. Keywords: Image Registration；Image Fusion；Airspace integration method；Wavelet Transform；Evaluation criteria 目录第一章 绪论61.1 图像融合的概念61.2图像融合的主要研究内容71.2.1 图像融合的层次71.2.2 图像融合算法的发展91.2.3图像融合的步骤91.3 图像融合技术的发展现状101.4 本文的研究工作10第二章 图像预处理112.1 图像的校正112.2 图像滤波技术112.2.1 邻域平均
11、法122.2.2 中值滤波122.3 图像配准132.3.1 图像配准概述132.3.2 手动图像配准142.3.3 基于图像特征的匹配算法15第三章 图像融合163.1 加权平均融合法163.2 像素灰度值选大/小融合方法163.3 主分量融合法173.4 IHS变换法193.5 小波变换融合法203.5.1 小波的定义及特点203.5.2 基于小波变换的图像融合方法原理253.5.3 图像融合规则及融合因子26第四章 图像融合效果评价274.1 主观评价274.2 客观评价274.2.1 基于光谱特征的评价274.2.2 基于信息量的评价284.2.3 基于统计特性的评价294.2.4 基
12、于信噪比的评价30总结与展望31谢辞32参考文献32第一章 绪论图像融合技术(Image Fusion Technology)作为多传感器信息融合的一个非常重要的分支可视信息的融合，近20年来，引起了世界范围内的广泛关注和研究热潮。图像融合就是通过多幅图像冗余数据互补得到一幅新的图像，在这幅图像中能反应多重原始图像中的信息。图像融合的目的是充分利用多个待融合源图像中包含的冗余信息和互补信息，融合后的图像应该更适合于人类视觉感知或计算机后续处理，减少不确定性。图像融合技术在遥感、医学、自然资源勘探、海洋资源管理、生物学等领域占有极其重要的地位，对于国防安全和经济建设具有十分重要的战略意义。图像融
13、合的方法与具体的处理对象类型、处理等级有关。这主要是各类图像的解析度不同、表现的内容不同，相应的处理方法也要根据具体情况而定。本章首先介绍了多传感器图像融合的基础理论及发展现状，在此基础上介绍了像素级图像融合方法的原理及应用，最后，给出论文的内容安排。1.1 图像融合的概念图像融合是二十世纪70年代后期提出的新概念，是多传感器信息中可视信息部分的融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特性以供观察或进一步处理。它是一门综合了传感器、图像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。由于图像融合系统具有突出的探测
14、优越性(时空覆盖宽、目标分辨力与测量维数高、重构能力好、兀余性、互补性、时间优越性及相对低成本性等)，在技术先进国家受到高度重视并己取得相当的进展。图像融合的形式大致可分为以下3种：(l)多传感器不同时获取的图像的融合；(2)多传感器同时获取的图像的融合；(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。图像融合能够充分利用这些时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。以两个传感器A、B为例，其信息构成的示意图如图1-1所示。 图1-1 多源图像的信息构成通过图像融合可以强化图像中的
15、有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性等。图像融合的层次可分为:像素级、特征级和决策级。目前，将图像融合技术应用于数字图像处理的主要目的有以下几种:(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的特性;(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息;(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况;(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重构或立体投影，测量等;(
16、5)利用来自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。显然，图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。1.2图像融合的主要研究内容1.2.1 图像融合的层次图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理，最终形成一幅新的图像。它可以强化图像中有用信息，增加图像理解的可靠性，获得更为准确的结果。在各种融合应用中，由于应用目的、所处理的输入数据及融合处理前对数据预处理程度不同，使得融合系统在不同层次上对多源数据进行处理，每个层次表示不同的数据抽象级别。根据抽象程度可将图像融合系统分为三级：像素级、特征级和决策级。融合的层次不同
17、，所采用的算法、适用的范围也不相同。下图示意了在图像处理全过程中，图像融合所处的位置与层次。 图1-2 三个不同层次上的多源图像融合示意图(1)像素级图像融像素级图像融合是在严格配准的条件下，对各图像传感器输出的信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像
18、融合和决策级的基础，但缺点是预处理的信息量最大，处理时间较长，对通信带宽的要求高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。像素级图像融合通常用于:多源图像复合、图像分析和理解。 图1-3 像素级数据融合原理示意图(2)特征级图像融合特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提
19、取和目标识别等功能，以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相思景深区域等。在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。尽管在模式识别、图像处理和计算机视觉等领域，已经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究，但是这一问题至今仍是困扰计算机视觉研究领域的一个难题，有待于从融合角度进一步研究和提高。 图1-4 特征级数据融合原理示意图(3)决策级图像融合决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。这种方法是首先对各个源数据进行处理，
20、分别得出判断和识别的结果，融合中心将这些结果按照一定的准则和每个数据源决策的可信度进行协调，以取得最优的决策结果。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。此种融合实时性好，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失最多。 图1-5 决策级融合原理示意图图像融合的三个层次与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，应根据数据融合特点、原始数据特点、可用资源及目标要求，选择适当的数据融合层次及融合方法，才能构成高效的数据融合系统和获得最优的融合效果。图像融合的三个层次不仅能够独立进行，而且它们有着密切相
21、关性，还可以作为一个整体同时进行分层次融合，前一级的融合结果可作为后一级的输入。1.2.2 图像融合算法的发展对图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测或观测大地环境的变化等等。其采取的融合方法主要有IHS(明度-色度-饱和度:Intensity-Hue-saturation)变换、平均、加权平均、差分及比率、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行的，因此均属于早期的图像融合方法。到80年代中期，人们又提出了基于金字塔的图像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、
22、比率低通金字塔等，并开始将图像融合技术应用于一般图像(可见光图像、红外图像、多聚焦图像、遥感图像等)的处理。90年代，随着小波理论的发展与广泛应用，小波变换技术为图像融合提供了新的工具，使图像融合技术的研究呈不断上升趋势，应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器人导航、决策支持系统、大型经济信息、医学图像处理等。1.2.3图像融合的步骤对于某个具体的图像融合系统而言，它所接受的信息可以是单一层次上的信息，也可以是几种层次上的信息。融合的基本策略就是先对同一层次上的信息进行融合，从而获得更高层次的融合后的信息，然后再进行相应层次的融合。因此，图像融合本质
23、上是一个由低(层)至高(层)对多源信息融合、逐层抽象的信息处理过程。一般情况下，由于各个成像传感器所在的平台各异，且成像模式不同，同时还会受到各种环境因素的影响，对同一场景或目标所成的多源图像间会出现位移、畸变以及噪声污染等问题，因此，多传感器图像在融合之前必须进行一系列的预处理。源图像经预处理后，接下来就是根据具体的应用目的不同，采用不同的融合算法对多个源图像在不同的层次上进行融合处理，同时还要对融合结果进行质量评价，形成具有反馈的系统，从而有利于选择最为合适的融合方式以得到最优的融合结果。最后，将得到的融合结果应用于各种不同的场合。由于像素级图像融合在整个图像融合技术中是最为复杂、实施难度
24、最大的融合，因而本论文重点对它进行探讨和研究。 图1-6 图像融合一般步骤1.3 图像融合技术的发展现状1979年，Daily等人9首先把对雷达图像和Landsat-Mss图像的复合图像应用于地质解释，其对图像的处理过程可以看作是最简单的图像融合。1981年，Laner和Todd对Landsat-RBV和Mss图像数据进行了融合试验。到80年代中后期，图像融合技术逐渐开始引起人们的关注，陆续有人将图像融合技术应用于遥感多光谱图像的分析和处理。90年代开始，图像融合技术开始成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥
25、补某种图像中丢失的数据、检测/观测大地环境的变化等等。这个时期人们采用的融合方法主要有IHS变换、平均、加权平均、差分及比率、主分量分析(PCA)、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行。到80年代末，人们才开始将图像融合技术应用于一般图像处理(可见光图像、红外图像等)。90年代后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及遥感图像处理、可见光图像处理、红外图像处理、医学图像处理等。尤其是近几年，多传感器(多源)图像融合技术己成为计算机视觉、自动目标识别、机器人、军事应用等领域的热点研究问题。1.4 本文的研究工作本文的研究基
26、于MATLAB的图像融合算法。涉及图像融合前的预处理，滤波去噪和图像配准，采取手动配准获取精准的配准图像，在空域内的像素级图像融合采用简单直接的加权平均法，在频域内的小波变换融合，最后对融合结果进行评价。第二章 图像预处理图像传感器在获得原始数据的过程中存在不同的干扰，使得获在取的图像中往往存在或多或少的噪声。为了避免噪声的传播扩散，使后面图像融合的质量和性能下降，必须在融合前对源图像进行几何校正、去噪和增强处理。此外，在进行像素级融合前，还必须对源图像进行有效而精确的配准处理，以去除不同传感器的系统误差和偶然误差，这些为图像融合所做的准备统称为图像预处理。2.1 图像的校正 图像校正主要分为
27、两类：几何校正和灰度校正。（1）几何校正图象几何校正的思路是通过一些已知的参考点，即无失真图象的某些象素点和畸变图象相应象素的坐标间对应关系，拟合出上述多项式中的系数，并作为恢复其它象素的基础。几何校正的基本方法是：首先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。具体操作通常分两步：对图像进行空间坐标变换；首先建立图像像点坐标（行、列号）和物方（或参考图）对应点坐标间的映射关系，解求映射关系中的未知参数，然后根据映射关系对图像各个像素坐标进行校正；确定各像素的灰度值（灰度内插）。 图2-1 几何校正处理过程（2）灰度校正根据图像不同失真情况以及所需的不
28、同图像特征可以采用不同的修正方法。通常使用的主要有三种：(1)灰度级校正。针对图像成像不均匀如曝光不均匀，使图像半边暗半边亮，对图像逐点进行不同程度的灰度级校正,目的是使整幅图像灰度均匀。(2)灰度变换。针对图像某一部分或整幅图像曝光不足使用灰度变换，其目的是增强图像灰度对比度。(3)直方图修正。能够使图像具有所需要的灰度分布，从而有选择地突出所需要的图像特征，来满足人们的需要。2.2 图像滤波技术在图像采集、传输过程中，由于输入转换器、周围环境、电压波动等多种因素的影响，图像不可避免地含有各种各样的随机干扰信号，这些信号就是我们所讲的噪声，它们或与图像内容有关，或无关。但相同的是都会导致图像
29、失真，使图像模糊，甚至掩盖图像的重要特征，给后续的图像分析和处理带来不利影响。图像噪声的种类很多，分类的标准也不少。例如，按其产生的原因可分为外部噪声和内部噪声；按噪声服从的分布将其分为随机噪声（高斯噪声）和椒盐噪声；根据噪声与信号之间的关系分为加性噪声和乘性噪声等。针对不同的噪声，其去噪方法大致可分为以下两大类：(1)空域滤波去噪是指在空间域内对图像像素的灰度值直接运算处理的方法。常用的空间滤波去噪方法主要有均值滤波、中值滤波、维纳滤波以及空间域低通滤波法，其中，维纳滤波是一种自适应的滤波方法，比一般的滤波器具有更好的选择性，可以更好地保护图像边缘，尤其对加性高斯白噪声的抑制效果很好。在此简
30、单介绍两种空域滤波法： (2)变换域去噪是指在图像的某种变化域内，对源图像经过变换后的系数进行相应处理，然后再进行反变换达到图像去噪目的的一种方法。常用的去噪方法主要有频率域低通滤波法和基于小波变换法，其中小波去噪的方法大致可分为基于小波变换模极大值原理、相邻尺度间小波系数相关性以及阈值法三大类。目前，基于小波变换的去噪方法尚处于不断发展的阶段，总体来说，去噪效果较好但计算非常复杂，不同的重构方法对信号重构的误差影响很大，也会影响到去噪的效果。2.2.1 邻域平均法邻域平均法按直接对图像作低通滤波处理。可用于消除随机相加噪声。常用的（低通滤波器的脉冲响应函数）有这里的作用域为33，共有9个像素
31、灰度参加运算，用运算结果代替中心像素的像素灰度。根据需要，可选用55，77等不同作用域的。矩阵中心的元素值占的比例越小，平滑作用越强，会使图像越模糊；的作用域越大，平滑作用越强，亦导致图像越模糊。原则：使矩阵的元素之和与其前面的系数相乘的结果为1，以在平滑过程中处理结果的像素灰度不超过允许的像素最大灰度值。用这种方法作平滑处理，图像四周围边缘的像素需特殊处理。两种特殊处理办法（对33的情形）： 把原图像从MN转化为（M+2）（N+2），所加大的两行和两列的像素灰度均取0，然后对加大后的像素平滑处理，结果又舍去所加的两行的零灰度信息，仅取MN。 不处理原始图像4个边缘的像素，使处理后4个边缘的像
32、素灰度保持原始灰度，或人为地赋予特殊灰度。2.2.2 中值滤波作为抑制噪声的非线性处理方法，中值滤波是从一维信号处理的中值滤波技术发展而来的。其原理是在图像画面中开一个一维的小窗口，它应该包含奇数个像素，按像素的灰度值从小到大排列起来，然后用中间灰度值来代替原排列的中间像素的灰度值。窗口然后从左到右移动，直到边界。窗口下移一行，再从左到右进行。经过中值滤波变换后，某象素的输出等于该象素邻域中各象素灰度的中间灰度值。其操作流程如下所示： 50，60，300，100，120，80，190，、 顺序排列象素灰度值50,60,100,120,300,用中间灰度值100代替原中间灰度值300, 50,6
33、0,100,100,120,80,190，、 右移窗口得 50，60，100，100，120，80，190，、 顺序排列象素灰度值60，80，100，100，120 中间灰度值100与原中间灰度值100相同，不用换 50，60，100，100，120，80，190，、 右移窗口得 50，60，100，100，120，80，190，、这样对图像灰度的跳跃有平滑效果。考虑到一般图像在两维方向上均具有相关性，因此，活动窗口一般选为两维窗口（如33，55或77等），窗口形状常用：2.3 图像配准2.3.1 图像配准概述图像配准（或图像匹配）是评价两幅或多幅图像的相似性以确定同名点的过程。图像配准算法就
34、是设法建立两幅图像之间的对应关系,确定相应几何变换参数,对两幅图像中的一幅进行几何变换的方法。 像配准的一般过程是在多源图像数据经过严密的几何纠正处理、改正了系统误差之后，将影像投影到同一地面坐标系统上，然后在各影像上选取少量的控制点，通过特征点的自动选取或是计算其间的相似性、粗略配准点的估计位置、精确确定配准点以及估计配准变换参数等处理，从而实现影像的精确配准。按照配准算法所利用的图像信息，可以分为以下两类（1）基于灰度的图像配准方法。该类方法直接利用整幅图像的灰度度量两幅图像之间的相似性，然后采用搜索方法寻找使相似性度量最大或最小值点，从而确定两幅图像之间的变换模型参数。该方法不需要对图像
35、作特征提取，直接利用全部可用的图像灰度，提高了配准算法的估计精度和鲁棒性，但是由于匹配点周围区域的点的灰度都参与计算，因此，其计算量大，速度慢。(2)基于图像特征的图像配准方法。将从图像灰度中提取出来的某些显著特征作为匹配基元，用于匹配的特征通常为点、线、区域等。算法过程主要分为特征提取和特征匹配。在特征匹配前，首先要从待匹配的多幅图像中提取出灰度变化明显的点、线、区域等特征，组成特征集。然后，在各幅图像所对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。对于非特征像素点利用插值等方法处理，推算出对应的匹配关系，从而实现多幅图像之间逐像素的配准。由于提取了图像的显著特征，大
36、大压缩了信息的数据量，同时较好的保持了图像的位移、旋转、比例等方面的特征，因此，该方法在匹配时计算量小、速度快，是较为实用的方法。 按自动化程度可以分为人工、半自动和全自动三种类型 。2.3.2 手动图像配准我们可以利用Matlab自带的图像处理工具箱来完成配准需要。图像处理工具箱（Matlab Image Processing Toolbox）提供了一套全方位的参照标准算法和图形工具，用于进行图像处理、分析、可视化和算法开发。可用其对有噪图像或退化图像进行去噪或还原、增强图像以获得更高清晰度、提取特征、分析形状和纹理以及对两个图像进行匹配。利用Matlab Image Processing
37、Toolbox中的图像配准工具实现线性正投影、仿射、投影、多项式、分段线性、局部加权平均配准的过程。（1）手动选择匹配点对该工具箱提供的配准方法均需手工选择图像间的匹配点对（control points pair），均属于交互配准方法。假设input image（输入图像）为欲进行配准的图像，base image为配准是的参考图像。以下是我参考matlab帮助给出了简介。1线性正投影（linear conformal）：最简单。平面映射成平面。当输入输入图像与参考图像对比，只是存在全局的平移、旋转、缩放或其三者组合的差别时（正方形仍对应正方形），选择此配准方法。此方法至少需要2对匹配点。2仿射
38、（affine）：将平行线转换成平行线。当输入图像形状存在切变现象（正方形对应平行四边形），选此法。至少需3对匹配点。3投影（projective）：将直线映射成直线。如果输入图像呈现倾斜，翘起现象，选此法。至少需4对匹配点。4多项式（polynomial）：将直线映射成曲线。如果输入图像出现不规则曲变，采用此法。Matlab中提供有2、3、4次幂的实现，分别至少需要6，10，10对匹配点。5分段线性（piecewise linear）如果输入图像的各个局部之间的退化模式明显不一样，选此法。至少需要4对匹配点。6局部加权平均（local weighted mean）与分段线性一致，但效果较之好
39、。至少需要6对（推荐12对）匹配点。（2）手动配准的基本过程如下图所示：图2-1 手动图像配准一般流程2.3.3 基于图像特征的匹配算法Harris角点检测算法角点是二维图像亮度变化剧烈或图像边缘曲线上曲率极大值的点，它决定了目标的轮廓特征，被广泛应用于摄像机标定、虚拟场景重建、运动估计、图像配准等计算机视觉处理任务中，这些点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使得实时处理成为可能。Harris角点检测算法基本原理描述如下：建立下面矩阵M： 其中I（x，y）是亮度值，这里用灰度表示。通过分析上面矩阵可以看出如果在一点上矩阵M的两个特征值很大，则在该点向任意方向上的一个很小
40、的移动都会引起灰度值的较大变化。这也就说明该点是一个角点。计算角点的函数如下： （2.2） 其中k参数设为0.04（Harris设定的最优参数）。令A=，B=，C=，D= 则矩阵表示图像I在x方向的导数，表示图像在y方向的导数。求出R的值，若为正则对应点为角点，若为负则是一般边界点。该算法易受噪声的影响。为了减小噪声的干扰，在对图像进行偏导计算以后用高斯滤波器对数据进行平滑。按此方法求出的角点数量很多。为了减少匹配计算量，可以对想要获得的角点数量进行限制。限制方法是确定一个阈值，仅仅选取R值大于这个阈值的点作为角点。这个阈值根据需要的检点数量来确定。 第三章 图像融合常用的像素级图像融合方法有
41、：(l)空域融合方法:加权平均法；像素灰度值取大/小法；主分量法(PCA)。(2)变换域融合方法:IHS变换法；小波变换法3.1 加权平均融合法空域法是把图像看作是平面中各个像素组成的集合，然后直接对这一二维函数进行相应的处理。加权平均方法将源图像对应像素的灰度值进行加权平均，生成新的图像，它是最直接的融合方法。其中平均方法是加权平均的特例，使用平均方法进行图像融合，提高了融合图像的信噪比，但削弱了图像的对比度，尤其对于只出现在其中一幅图像上的有用信号。假设参加融合的两个图像分别为A、B，图像大小为MN，经融合后得到融合图像C，那么，对A、B两个源图像的像素灰度值加权平均融合过程可以表示为:C
42、(n1,n2)=1A(nl,n2)+2B(nl,n2) (2-1)式中:n1表示图像中像素的行号，nl=l，2，3，.M;n2表示图像中像素的列号，n2=1，2，3，.N;1表示加权系数1；2表示加权系数2；通常1+2=1。图像灰度值的平均可看作是灰度值加权平均的特例，即1=2=0.5。加权平均法的优点是简单直观，适合实时处理。但简单的叠加会使融合图像的信噪比降低;当融合图像的灰度值差异很大时，就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程。3.2 像素灰度值选大/小融合方法假设参加融合的两个原图像分别为A、B,图像大小为MN,经融合后得到的融合图像为F，那么：基于像素的灰度值取大
43、图像融合方法可表示为 基于像素的灰度值取小图像融合方法可表示为 式中：m为图像中像素的行号，n1,2,M；n为图像中像素的列号，n1,2,N；即在融合处理时，比较源图像A、B中对应位置(m,n)处像素的灰度值的大小，以其中灰度值大/小的像素(可能来自图像A或B)作为融合后图像F在位置(m,n)处的像素。这种融合方法只是简单地选择参加融合的源图像中灰度值大/小的像素作为融合后的像素，该融合方法的适用场合非常有限。简单的图像融合方法具有实现简单，融合速度快的优点。但在多数应用场合，这些简单的图像融合方法的局限性是显而易见的，无法获得满意的融合效果。3.3 主分量融合法主分量（PCA）变换，又称K-
44、L变换，它是一种基于目标特性的最佳正交变换。在进行许多问题的分析时，多个变量的情况是经常遇到的。变量太多，无疑会增加分析问题的难度和复杂性，而且在许多实际问题中，多个变量之间具有一定的相关性。能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来的变量所反应的信息，主分量分析就是实现这个目标的一种强有力的方法，它是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量地反映原来较多指标所反映的信息，同时它们之间又彼此独立
45、。针对主成分分析的特性，将其应用于图像融合，可以把多波段的图像信息最大限度的表现在融合后的新图像中。图像PCA变换的结果在舍弃相关性较差的次要成分后进行反变换所恢复出的图像是原图像在统计意义上的最佳逼近。（1）主分量分析原理各源图像的原始数据可表示为：其中，m和n分别为源图像个数(或称变量数)和每幅图像中像素数；矩阵中的每一行向量表示一幅源图像。一般图像的线性变换可以用下面的式子表示： 式中X为待变换图像数据矩阵，Y为变换后的数据矩阵，T为实现这一线性变换的变换矩阵。如果变换矩阵T是正交矩阵，并且它是由源图像数据矩阵X的协方差矩阵C的特征向量所组成，则上式的线性变换称为K-L变换，并且K-L变
46、换后的数据矩阵的每一行向量为K-L变换的一个主分量。 (2)主分量变换的过程用于图像的K-L变换的过程如下：根据原始图像数据矩阵X，求出它的协方差矩阵C：X的协方差矩阵为:求出协方差矩阵的特征值和特征向量，并组成变换矩阵，具体如下：写出特征方程：式中：I为单位矩阵，U为特征向量。解上述的特征方程即可求出协方差矩阵C的各个特征值，并将其按的顺序排列，求得各特征值相对应的单位特征向量(经归一化) ：得到变换矩阵，其中，是以各个特征向量为列构成的矩阵，且矩阵是正交矩阵，即矩阵满足： (单位矩阵)。将变换矩阵T代入Y=TX，将得到K-L变换的具体表达式：式中Y矩阵的行向量为第j个主分量。经过K-L变换后，得到一组m个新的变量，它们依次被称为第一主分量，第二主分量，第m主分量。在PCA反变换时，只需运用到前m个主分量，这也正是主分量名称的由来。
