《多源图像融合技术及其遥感应用：01 图像融合技术(概念 灰度)课件.pptx》由会员分享，可在线阅读，更多相关《多源图像融合技术及其遥感应用：01 图像融合技术(概念 灰度)课件.pptx（136页珍藏版）》请在三一办公上搜索。
1、图像融合技术,多源图像融合技术及其遥感应用,课程内容,CONTENTS,01,图像融合技术概述,图像融合概念,图像融合(Image Fusion)技术是多传感器信息融合（Multisensor Data Fusion）领域的重要分支。随着科学技术的发展，传感器性能获得了很大的提高，各种面向复杂应用背景的多传感器系统大量涌现。在多传感器系统中，由于信息表现形式的多样性，信息数量的巨大性，信息关系的复杂性，以及要求信息处理的及时性，都已大大超出了人脑的信息综合处理能力。如何能够在保证信息内容的真实性及完整性的同时，迅速有效地从结构多样复杂的海量信息资源中捕获到最感兴趣的内容已变得尤为重要。,常用的
2、图像传感器,热岛,The industrys highest point density combines with unlimited returns from each outbound pulse to provide outstanding canopy detail for forestry studies.,High sensitivity allows high definition on power line infrastructure,including the smallest structural elements and small-diameter ground w
3、ires,and does so from greater flying heights than other sensors.,多传感器信息融合,从上世纪70年代起，多传感器信息融合（又称多传感器数据融合）作为一门新兴的学科迅速地发展起来。所谓的信息融合是一种多层次的、多方面的处理过程，这个过程是对多源数据进行检测、互联、相关、估计和组合以达到精确的状态估计和身份估计，以及完整、及时的态势评估和威胁估计。（Waltz和Llinas，1995）,信息融合的特点,信息融合技术的优点体现在：能获得更准确、更及时、低成本的信息和仅靠单一传感器无法获得的新信息。多传感器信息有冗余、互补等特点，通过信息
4、融合可带来：扩大时空覆盖范围增加信息维数增大电磁谱的侦察范围提高探测率提高精度增大置信度提高空间分辨力提高系统可靠性等由于可以通过低成本的多个传感器协调完成任务来替代高成本的高精度高性能的传感器，从而有可能实现系统的相对低成本与高性价比,图像融合技术,所谓图像融合技术，就是指将多源信道所采集的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特征以供观察或进一步处理。图像融合技术的优点提高系统探测性能提高系统自动化程度降低系统相对成本提高指挥决策的正确性和可靠性,图像融合技术应用,军用领域侦察、探测、识别、跟踪及制导系统中：采用图像融合技术可使现代军事侦察手
5、段发生革命性变化，将多个图像传感器得到的信息资源得以最大限度的发挥 民用领域机器视觉：是克服目前某些技术难点的突破方向航空航天遥感：各种遥感器所获得的大量光谱遥感图像（其中分辨力差别、灰度等级差别可能很大）的融合与分析，为信息的高效提取提供了良好的处理手段医学成像：辅助疾病诊断和病灶定位生产过程控制：产品巡检、智能机器人控制,图像融合技术分类,像素级融合：在严格配准的条件下，直接使用来自各个传感器的信息进行像素与像素关联的融合方法，达到叠加不同信道图像的特征或提高融合图像的质量的目的，用来提高信号的灵敏度与信噪比，以利于特征提取特征级融合：在像素级融合的基础上，使用参数模板、统计分析、模式相关
6、等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假特征，以利于系统判决决策级融合：基于认知模型的方法，模拟人在识别分析推理的思维过程，采用人工智能的处理方法来进行融合处理。关联各传感器提供的判决，以增加识别的置信度,图像融合技术分类,双传感器图像融合功能模型,一个完整的融合系统接收到的最初信息是像素级信息融合的策略一般从低到高先对同一层次上的信息进行融合处理，获得可供更高层次进行融合处理的信息后，再将信息汇入相应的高层次融合级进行下一级融合。,像素级融合的研究意义,当前，大多数的图像融合系统均是辅助人眼观察以进行目标探测、识别的像素级融合设备。图像本身的可视性，像素级融合具有浓厚的
7、图像处理色彩融合后图像的易接受性也要求图像融合的输出结果应需还原到像素级上，这也使得某些已具备特征级融合架构的融合算法（如金字塔法）仍被认为是像素级的，并带来了算法的复杂化由于缺乏对多信道的原始数据所包含的特性进行一致性检验的有效手段，像素级上的合成具有较大的盲目性，因此，信息融合原则上不赞成在像素级直接进行,像素级图像融合的应用（遥感）,提高分辨力具有立体成像能力突出感兴趣区域提高分类效果弥补某一路传感器成像缺陷,(a)Landsat卫星图像(b)Spot卫星图像(c)融合结果图像,伪彩色融合,多光谱图像的彩色编码以近红外代替红色进行合成，有效区分了生物区域与人造目标,(a)CT图像(b)P
8、ET图像(c)融合结果图像,像素级图像融合的应用（医学）,利用不同成像诊断设备联合进行病灶的精确定位计算机辅助手术,临床怀疑坐骨内生软骨瘤诊断（红十字线为病灶定位）,利用不同成像诊断设备联合进行病灶的精确定位计算机辅助手术,(a)NMR图像(b)SPECT图像(c)融合结果图像,像素级图像融合的应用（医学）,数字减影成像,像素级图像融合的应用（医学）,改善曝光时间对成像质量的影响,(a)曝光不足图像(b)曝光过度图像(c)融合结果图像,像素级图像融合的应用（数码成像）,高动态范围图像合成,像素级图像融合的应用（数码成像）,多聚焦图像可提高像质和分辨力,(a)聚焦于前面钟表的图像(b)聚焦于中间
9、磁盘盒的图像,(d)融合结果图像,(c)聚焦于后面人员的图像,像素级图像融合的应用（数码成像）,多聚焦图像可进行3D重建,像素级图像融合的应用（显微成像）,违禁品检查暗藏枪支检查辅助导航,(a)可见光成像结果(b)毫米波(MMW)成像结果(c)融合结果图像,像素级图像融合的应用（安检）,像素级图像融合的应用（安检）,可见光彩色图像,红外图像,融合图像,像素级图像融合的应用（安检）,海天目标探测、识别与与跟踪伪装识别战场监视,(a)可见光图像,(b)热红外图像,(c)灰度融合图像,(d)伪彩色融合图像,像素级图像融合的应用（军事）,像素级图像融合的应用（立体视觉）,像素级图像融合的应用（立体视觉
10、）,the last picture that Spirit sent home,像素级图像融合的基本过程,预处理,预处理,可见光图像,红外图像,融合图像,图像配准,融合,融合,参考,图像融合中需解决的问题,图像预处理 图像配准 图像空间分辨力的匹配 帧频同步 非光学图像的融合 融合信息的阐述 融合效果的客观评价规则,图像预处理技术,由于成像系统的使用环境不同，传感器的信噪比不同，光学系统不同，图像质量也不同。图像预处理是为了减少原始图像中的噪声和其它赝像的影响，技术关键是图像去噪。同时兼顾滤除高斯噪声和脉冲噪声的效果，在滤除噪声的同时要较好地保留边缘等细节信息,图像配准概念,图像配准（Ima
11、ge Registration）：是将两幅图像的一对一的映射（或者说变换）过程，即将两幅图像中对应于空间同一位置的点对应起来。根据实际情况可以做刚体变换，也可以是较复杂的弹性变换图像配准的关键问题是图像之间的空间变换或几何变换图像配准是像素级图像融合的前提,图像配准的数学形式,图像配准可描述为两（相邻）图像之间的空间变换与灰度变换数学形式表示 待配准图像和参考图像 二维空间坐标变换 一维灰度变换一般地，空间变换和灰度变换是非线性变换,图像配准的基本条件是相邻图像之间有一部分在逻辑上是相同的,比如：这是对应于同一物体同一位置的两幅图像这两幅图有两点明显的不同，第一是方向上有差异，第二是形状上少了
12、一部分。我们可以认为它们由不同的成像设备得到（少的那部分代表两种成像设备成像模式的差异），也可以认为它们来自同一个成像设备（如手术前和手术后，少的那部分代表病变组织），但它们都有着共同的成分,图像配准的数学形式,图像配准过程,我们这里解决的“空间配准”问题是指图像传感器相对位置保持不变、光学系统光轴保持平行时、视场不变的“对准”（Alignment），原则上经过一次标定好配准参数后，只要光学系统的参数不变，对待配准通道图像进行空间变换和灰度变换即可完成图像的配准过程。,图像对准常用的空间变换,Complex Transformations,Global Polynomial Transform
13、ation(splines),前向映射,后向映射,图像的重采样,待配准图像I1(x,y)经过空间变换后，其原像不一定是整数的网格，所谓重采样就是利用待配准图像与几何变换的逆变换T-1座标最临近的像素点的灰度，使用插值逼近的变换 G 获得T(x,y)的灰度，得到最终的配准图像I2(i,j)。,几何变换T,几何逆变换T-1,图像的重采样,常用的插值算法包括设对待配准图像g(x,y)进行空间变换T:(x,y)(i,j)得到图像gT(i,j)，如果变换可逆T-1：(i,j)(x,y)，则最近邻域法（计算速度快，但几何精度较差）双线性插值法（精度较好，但会造成分辨率下降）其中,图像的重采样,双三次卷积（
14、误差可以为双线性插值的1/3，较好地保留了图像细节，但计算过于复杂），设则双三次卷积法的计算式为其中,x方向,y方向,5 4 2 34 2 1 56 3 5 21 2 4 1,最近邻点插值,5 4 2 34 2 1 56 3 5 21 2 4 1,双线性插值,5 4 2 34 2 1 56 3 5 21 2 4 1,双三次插值,Bilinear Interpolation,Cubic Convolution,遥感图像配准,意义地理坐标寻址（地理编码）多源数据融合方案图像地图图像图像图像,地图图像配准,图像图像配准,基于控制点的几何配准,坐标的空间变换（空间插值）灰度级内插（亮度插值，重采样）,
15、后向映射,空间变换方法,仿射变换模型简单多项式变换直观，控制点数量与多项式阶数相关三角网格变换可以在不同的局部区域，应用不同的多项式,仿射变换,几何变换的类型：刚性变换（Rigid）：包括平移和旋转。仿射变换（Affine）：将平行线变换为平行线。投影变换（Projection）：将直线映射为直线。曲线变换（curve）：将直线映射为曲线。,图像的配准,利用映射函数进行图像配准地图 图像,利用映射多项式进行图像配准,精确形式难以获得 用多项式替代如二阶：,如何估计多项式的系数？,地面控制点(GCPs),红色曲线是龙格函数，蓝色曲线是 5 阶多项式，绿色曲线是 9 阶多项式。随着阶次的增加，误差
16、逐渐变大,局部三角网格变换,在图像变化较大、失真扭曲复杂、特征点多的区域，三角网密集，能很好地配准失真细节变化；而在图像内容简单、失真扭曲小的区域，特征点少，三角网稀疏，不会造成大量的冗余数据，也不会无谓地增加计算量。,三角网格变换,Delaunay三角剖分（Delaunay triangulation）对平面有限点集P的三角剖分DT，P中的点不在任意一个DT三角形外接圆里。它满足两个重要准则,三角网格变换,Delaunay三角剖分准则1空圆特性。Delaunay 三角网是唯一的（任意四点不能共圆），在 Delaunay 三角形网中任一三角形的外接圆范围内不会有其它点存在。,三角网格变换,De
17、launay三角剖分准则2最大化最小角特性。在散点集可能形成的三角剖分中，Delaunay三角剖分所形成的三角形的最小角最大。,A,B,C,D,A,B,C,D,三角网格变换,Delaunay三角剖分优异的性质：最接近的点形成三角形唯一性，无论何种算法，最后得到的 Delaunay 三角剖分是唯一的最规则，由最大化最小角特性可以推出，Delaunay三角网是“最接近于规则化的”的三角网所有三角形并集为点集的凸包（这个所有剖分都是）,三角网格变换,Delaunay边假设E中的一条边e（其端点为a,b），若e满足条件：存在一个圆经过a,b两点，圆内不含点集中任何其他的点，这一特性又称空圆特性，则称之
18、为Delaunay边。Delaunay三角剖分如果点集的一个三角剖分只包含Delaunay边，那么该三角剖分称为Delaunay三角剖分。,控制点的选择,手工选择GCPs(the same as Image to Map)自动算法直接从像素值中提取从频域提取（基于FFT）利用如边缘、角点等低级特征利用高级特征，如识别出的物体、特征间的关系等,控制点的选择,数量位置分布在图像边缘覆盖整个图像,曲线拟合类比高阶外推的不良影响,从图,主图,GCP分散,GCP集中,三阶多项式双三次插值,一阶多项式双三次插值,地图,原图,配准图,Landsat MSS图像悉尼11个控制点二阶映射多项式双三次插值,Sta
19、ndard error in easting=55.92 mStandard error in northing=63.06 m,控制点的提取,常见的特征点提取算法有：Harris算 子（改进后的Shi-Tomasi算法）、Moravec算子、Forstner算子、小波变换算子等。简单介绍一下最常用的Harris角点检测算法。角点附近的区域相比于其他区域有一个显著的特点：无论沿着哪一个方向，灰度变化率始终是很大。假设我们有一个矩形窗口罩在角点附近，将这个窗口沿任意方向移动一小段距离得到一个新的区域，新、旧区域对应点的灰度差值始终很大。相比之下，平滑区域的变化就很小，而边缘区域沿着某些方向变化率
20、大、某些方向变化率小。,控制点的提取,Harris算法首先定义了一个窗口函数 w(x,y)表示选择的窗口区域，w(x,y)表示这个坐标所占的权值。有时用0-1赋值，有时候用高斯滤波减少噪声影响；定义 E(u,v)表示窗口沿着(u,v)方向移动后的梯度变化情况：为了简化计算，泰勒展开其中 Ix,Iy 分别为灰度沿 x,y 方向的导数。,控制点的提取,Harris算法转化为矩阵形式：最后定义一个评价函数R：其中k是一个控制参数，1,2 为M的特征值。,当R较小时，图像是平坦的；当R时，图像是一个边缘；当R很大时，图像是一个角点。因此通常会对R设置一个阈值，大于这个阈值的点可以看做是角点。,控制点的
21、提取,Harris算法,HARRIS C,STEPHENS M.“A Combined Corner and Edge Detector”Proceedings of Fourth Alvey Vision Conference.1988,147-151.,控制点的精确对准,Sequential Similarity Detection Algorithms(SSDA)相关定位附近搜索简化相关计算计算窗口内绝对值差之和改进：平均亮度差异很大时，计算窗内相对各自均值的差的绝对值。错误定位时：改变搜索区域大小与窗口尺寸,EO image,Composite before Alignment,IR
22、image,Composite after Alignment,图A,图B,配准效果,Characteristics of Registration Methods,Feature SpaceSimilarity MetricsSearch Strategy,Feature Spaces,Similarity Metrics,Search Strategies,02,灰度图像融合技术,基于灰度的图像融合方法,代数法灰度调制法高通滤波法,多分辨算法金字塔算法小波变换,在下面的分析中：,代数法（加权平均）,加权平均法的优点是简单直观，适合实时处理，但多幅图像简单的叠加会使合成图像的信噪比降低。当融
23、合图像的灰度差异较大时，就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程,灰度调制算法,灰度调制是一种线性处理，采用线性归一化的手段将图像进行变换一般仍然对两路图像中细节较多的一路GH进行归一化然后以归一化的该路图像对另一路图像GL进行调制得到GF将得到融合图像重新量化，使之灰度范围与显示设备动态范围R相匹配，则得到最后的融合图像GF*,高通滤波法,对于两幅图像，利用高通滤波器H计算出细节丰富的图像GHI的高频部分，与低分辨力图像GLO相加形成融合图像。由于图像的边缘等细节特征都是由高频信号表示，因此高通滤波器方法可以增强低分辨力图像的边缘特征，增强的程度可以通过改变高通滤波器来实现
24、。,几个常用的33高通滤波器,多分辨分析,多分辨分析（MultiResolution Analysis，MRA）的思想是将信号表示为一系列逼近的极限，这一系列逼近的分辨力以一定规律变化，其定义如下：,多分辨融合算法,多分辨结构的融合算法（如图像金字塔和小波等）是当前图像融合算法的主流，其基本思想来自于人眼视觉系统对于局部对比度变化的敏感性，因此可直接将融合图像作为一种融合多尺度边缘的描述。多分辨融合能较好地保留图像的细节部分，并具有较好的目视效果常用的多分辨融合算法有金字塔算法Laplacian 金字塔FSD 金字塔Contrast 金字塔Gradient 金字塔小波算法,（图像的金字塔结构）
25、,多分辨融合算法,近似金字塔Gaussian pyramid,残差预测金字塔Laplacian pyramid,（512512）,Gaussian和Laplacian金字塔,（高斯金字塔）,（Laplacian金字塔）,Laplacian金字塔实质上就是局部亮度差异的分解结构,Gaussian金字塔实质上是图像在较粗分辨力上的逼近,多分辨图像融合算法的实现流程,输入源图像；确定分解层数、低频融合策略、高频融合策略等参数；分别构建两幅图像的多分辨结构；利用低频融合策略融合源图像的低频部分；利用高频融合策略融合源图像的高频细节部分；重构图像，获得融合图像。,金字塔多分辨结构图像融合算法,融合策略选
26、择,“或“融合策略对于分解后图像的低频部分采取加权平均融合策略。而对于高频分量采用“或”运算进行融合。即取两个源图像第 l 级高频分量中的最大值。该算法简单，运算量小，但对噪声敏感,融合策略选择,匹配融合策略分解后图像的低频部分依然采取加权平均融合策略，而对于高频分量采取区域特征匹配融合策略。如：选取局部能量为区域特征。若两幅图像的区域特征匹配，则进行加权平均处理，若不匹配，选择特征明显即局部能量大的作为融合后的高频分量计算两幅图像各级高频分量的区域能量计算两源图像第 l 级的局部区域匹配度,融合策略选择,确定融合算子：确定匹配度阈值aa，则利用加权平均计算融合图像否则选取局部区域特征更明显的
27、源图像作为融合图像：,Gaussian金字塔图像多分辨结构中的每一级图像均是前一级图像低通滤波形成的（Burt,Adelson，1983）其中r(i),r(j)为对称滤波器核，二者乘积组成一个Gaussian形式的二维低通滤波器，上式也可写为 其中*表示卷积，2表示“2抽1”的下采样，用REDUCE 表示,Gaussian金字塔,对Gaussian金字塔进行扩展EXPAND。定义EXPAND函数为REDUCE函数的逆运算，其作用是利用插值在给定的数值间插补新的样本值，将Gaussian金字塔结构中某一级图像扩展成其前一级图像的尺寸大小（Burt,Adelson，1983）,Laplacian金
28、字塔,Laplacian金字塔Dl（多分辨力带通滤波器）是一组带通滤波图像序列，定义为Gaussian金字塔中相继各级低通滤波图像之差（L为分解层数）原始图像G0可以由Laplacian金字塔精确恢复,Laplacian金字塔,Laplacian金字塔,生成近似和预测残差金字塔的系统结构,2=2,为偶数 0,其他,2=2,上采样器,下采样器,近似滤波器可选，比如：邻域平均 平均金字塔低通高斯滤波 高斯金字塔不滤波 取样金字塔,插值滤波器可选，比如：最近邻域双线性双三次,（迭代方式）,FSD金字塔,FSD（Filter Subtract Decimate）金字塔是一种类似于Laplacian金字
29、塔的多分辨力结构。FSD金字塔的带通序列图像Dl定义为（Anderson,1984）重构算法 其中2表示“1插2”的上采样,Contrast金字塔,Contrast金字塔把Gaussian金字塔的Gl内插放大，得到放大图像Gl,1，将其视为Gl的“背景”，故可定义图像的Contrast金字塔为（Toet,1992）其中I表示单位灰度图像 重构算法,Gradient金字塔,Gradient金字塔相比Laplacian金字塔和FSD金字塔的最大优点在于分解后的带通细节图像具有方向性，细化了图像性质。（Burt,Kolczyski，1993）引入矩阵其中 表示代表源图像的第l级第k个方向的分解,利用
30、d1、d2、d3、d4，Gradient金字塔可以分解出水平、45、垂直、135四个方向上的细节图像。Gradient金字塔第l级细节图像Dl定义为Gradient金字塔的重构可以借助FSD金字塔来完成,小波分析（Wavelet Analysis）,一个L2(R)的信号可以根据一个确定函数 的伸缩、平移系展开为一系列的子带信号(A.Grossman,1984)L2(R)可表示为关于一系列子空间WJ的直和分解关系 1986年，Y.Meyer构建出具有一定衰减性的光滑函数，其二进制伸缩与平移系 构成L2(R)的规范正交基,=VJ空间（尺度函数）,=WJ空间（小波函数）,离散小波变换,离散小波变换（
31、DWT）展开系数规范小波正交基信号重构,小波变换,许多小波函数和缩放函数都是以开发者名字命名的，例如Moret小波函数是Grossmann和Morlet在1984年开发的db6缩放函数和db6小波函数是Daubechies开发的,小波变换计算过程,小波(t)和原始信号f(t)的开始部分进行比较 计算系数C该部分信号与小波的近似程度；C值越高表示信号与小波相似程度越高小波右移k得到的小波函数为(t-k)，然后重复步骤1和2，直到信号结束 扩展小波，如扩展一倍，得到的小波函数为(t/2)重复步骤14,小波变换粗略的解释,小波变换的公式有内积形式和卷积形式，两种形式的实质都是一样的。它要求的就是一个
32、个小波分量的系数也就是”权”。其直观意义就是首先用一个时窗最窄，频窗最宽的小波作为尺子去一步步地“量”信号，也就是去比较信号与小波的相似程度。信号局部与小波越相似，则小波变换的值越大，否则越小！当一步比较完成后，再将尺子拉长一倍，又去一步步地比较，从而得出一组组数据。如此这般循环，最后得出的就是信号的小波分解（小波级数）。,小波变换系数的含义,小波变换的系数表示了：小波与处在分析时段内的信号的波形近似程度,C=0.2247,C=0.0102,不同的分析时段,不同的分析尺度,二维小波分解,1987年，Mallat巧妙地将计算机视觉领域内的多尺度分析思想引入到小波分析中，提出多分辨力分析概念，提出
33、了相应的分解与重构快速算法（1988）在图像的小波分解中每一层图像被分解为LL（轮廓，空间），HL（垂直向细节，空间），LH（水平向细节，空间）和HH（135对角线细节，空间）四个频带，下一层对LL继续分解,图像的小波分解,图像分解上式中h(),g()为选定的滤波器系数，h具有低通性质，g具有高通性质。待分解图像Gl(i,j)与滤波器进行卷积，然后对结果进行下采样，从而得到Gl、Dl1、Dl2、Dl3，分别代表图像第 l 级分解的低频信息及水平、垂直、对角线方向的高频信息。,图像的小波重构,图像重构,将分解的图像Gl、Dl1、Dl2、Dl3与镜像滤波器h(),g()分别卷积，进行行列重构，每两
34、列和两行重构时进行补零上采样,4.小波变换,系数取自H2,灰度直方图近似,方向敏感性,256256,128128,6464,图像的小波分解与重构,原始图像,2层小波分解结果,如：采用的Daubechies(2,2)小波函数对原始图像分解,基于小波分解的图像融合,基本的融合过程,Multifocus fusion in wavelet domain,input channels,waveletdecompositions,Max-rule in highpass,fused waveletdecomposition,fused image,小波在图像融合处理中的优势,小波变换的完善重建能力，理论
35、上保证了信号在分解过程中没有任何信息损失和冗余信息小波变换把图像分解成逼近图像和细节图像，分别代表了图像的不同结构，因此原始图像的结构和细节信息容易提取小波变换具有快速算法（Mallat算法），基于小波分析的多分辨结构回避了层与层之间的反馈运算，计算效率高小波多分辨结构的分解过程中会自然生成具有方向性的高频分量，符合人眼视觉对比度感知的方向性，其恒带通频率分析的特性与人的感觉过程十分类似小波具有空间和频域上的局部性，利用小波变换可以将源图像分解到一系列频率通道中，类似于人眼视网膜的处理过程，在多频率分量、多方向上的融合，可以充分利用源图像的信息，得到特征更突出、细节信息更丰富的融合图像,小波算
36、法 vs.金字塔算法,无论金字塔法还是小波变换法，多分辨分解的数据结构其内在机理是统一的基于高斯塔式结构的金字塔算法虽然运算简洁，但算法的稳定性则相对差些小波可以选取不同的小波基以改善融合效果，而金字塔结构中高频成分采用空域差值图像表征，分解后的多通道多频信息不具备正交性，不能精确地反映两不同分辨力图像的信息差,融合的评价规则,主观评价由观察者根据一些事先规定的评价尺度或自己的经验，对被评价图像提出质量判决。有些情况下，也可提供一组标准图像作为参考，帮助观察者对图像质量作出合适的评价。图像主观评价的尺度(即评分标准)往往要根据应用场合等因素来选择和制定。对一般人来讲多采用质量尺度，对专业人员来
37、讲，则多采用防碍尺度。为了保证图像主观评价在统计上有意义，参加评价的观察者应足够多。,主观评价尺度表,客观评价利用图像的统计参数进行判定，主要分2类：反映空间细节信息，如方差、信息熵和清晰度反映光谱信息，如扭曲程度、偏差指数与相关系数,融合的评价规则,均值 与标准方差 均值反映平均亮度，如果均值适中，则视觉效果良好；方差反映了灰度相对于灰度均值的离散情况，方差越大，灰度级分布越散，图像中所有灰度级出现概率越趋于相等，包含的信息量越趋于最大。信息熵,融合的评价规则,融合的评价规则,熵的大小反应了图像携带的信息量的多少。融合图像的熵值越大，说明融合图像携带的信息量越大。交叉熵 交叉熵反映了融合图像
38、对原始图像综合的信息量的多少。偏差熵 偏差熵反映了融合图像信息量的差异。,融合的评价规则,清晰度 清晰度反映了融合图像边缘的清晰度。偏差指数 偏差指数比较融合图像和原图像偏离程度。,融合效果比较,可见光图像,红外图像,代数法,高通滤波法,Laplacian金字塔法,FSD金字塔法,Contrast金字塔法,Gradient金字塔法,小波算法,融合算法性能对比,融合算法性能分析,一些参数原始图像大小：640384由于可见光图像细节更丰富，后三种指标的值都是融合图像与可见光图像相比较得到上表中1表示“或”融合策略、2表示采用了匹配融合策略多分辨力融合算法匹配融合策略中 选用了DB(2,2)小波,融合算法性能分析,分析结果可以看出代数法各指标都十分突出。除代数法外，各融合算法均使融合图像的平均灰度和方差介于原始图像的数值之间，处于较合理范围高通滤波法的交叉熵、偏差熵和均方差都是最小的，说明其融合结果与可见光图像非常接近，很少包含红外图像的信息几种金字塔算法和小波算法融合结果平均亮度近似。Laplacian金字塔算法的熵最大，因此细节也最丰富从交叉熵和偏差熵相关指标来看，对比度金字塔与原始图像差异较大，而Laplacian金字塔与原始图像最为接近,
