医学图像的配准与融合.ppt

《医学图像的配准与融合.ppt》由会员分享，可在线阅读，更多相关《医学图像的配准与融合.ppt（120页珍藏版）》请在三一办公上搜索。

1、第八章 医学图像的配准与融合,8.1 配准与融合的应用背景介绍,8.2 医学图像配准概述,8.3 图像配准的理论基础,8.4 常用的医学图像配准方法,8.5 图像配准的评估,第八章 医学图像的配准与融合,8.6 图像融合概述,8.7 常用的图像融合方法,8.8 图像融合效果的评价,随着计算机技术的高速发展，医学成像技术日新月异，为临床医学提供了各种形态和功能的影像信息。但是各种成像技术和检查方法都有它的优势与不足，并非一种成像技术可以适用于人体所有器官的检查和疾病诊断，也不是一种成像技术能取代另一种成像技术，而是相辅相成、相互补充。,8.1 应用背景介绍,根据医学图像所提供的信息内涵，分为两大

2、类：解剖结构图像（CT、MRI、B超等）功能图像（SPECT、PET等）解剖图像以较高的分辨率提供了脏器的解剖形态信息（功能图像无法提供脏器或病灶的解剖细节），但无法反映脏器的功能情况。功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖图像所不能替代的；,8.1 应用背景介绍,目前这两类成像设备的研究都已取得了很大的进步，图像的空间分辨率和图像质量有很大的提高，但由于成像原理不同所造成的图像信息局限性,使得单独使用某一类图像的效果并不理想。因此，为了提高诊断正确率，需要综合利用患者的各种图像信息。,8.1 应用背景介绍,最有效的解决方法：以医学图像配准技术为基础，利用信息融合技术，将这两种图

3、像结合起来，利用各自的信息优势，在一幅图像上同时表达来自人体的多方面信息。更加直观地提供了人体解剖、生理及病理等信息。其中配准技术是图像融合的先决条件,必须先进行配准,才能实现准确地融合。,8.1 应用背景介绍,二、医学图像配准在临床上的应用,医学图像配准具有很重要的临床应用价值。对使用各种不同或相同的成像手段所获得的医学图像进行配准不仅可以用于医疗诊断，还可用于手术计划的制定、放射治疗计划的制定、病理变化的跟踪和治疗效果的评价等各个方面。,临床应用举例 1、计算机辅助手术中，外科医生根据配准的CT/MR/DSA图像精确定位病灶及周围相关的解剖结构信息，设计出缜密的手术计划。在手术过程中，利用

4、三维空间定位系统使术前计划的虚拟病人、手术台上的真实病人和手术器械三者精确联系起来进行手术跟踪。,二、医学图像配准在临床上的应用,临床应用举例 2、在癫痫病的治疗中，一方面需要通过CT，MRI等图像获得病人的解剖信息，另一方面又需要通过SPECT或PET等得到病人的功能信息，这两方面的结合将有助于对病人的精确治疗。,二、医学图像配准在临床上的应用,临床应用举例 3、放射治疗中，应用CT和MR图像的配准和融合来制定放疗计划和进行评估，用CT图像精确计算放射剂量，用MR图像描述肿瘤的结构，用PET和SPECT图像对肿瘤的代谢、免疫及其他生理方面进行识别和特性化处理，整合的图像可用于改进放射治疗计划

5、或立体定向活检或手术。,二、医学图像配准在临床上的应用,8.2 医学图像配准概述,一、医学图像配准的概念,二、医学图像配准方法的分类,三、医学图像配准的基本过程,一、医学图像配准的概念,医学图像配准是指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。,医学图像配准示意图,一、医学图像配准的概念,二、医学图像配准方法的分类,到目前为止，图像配准方法的分类始终没有一

6、个统一的说法。目前比较流行的是1993年Van den Elsen等人对医学图像配准进行的分类，归纳了七种分类标准。,（一）按图像维数分类 按图像维数分为2D/2D，2D/3D，以及3D/3D配准。2D/2D配准通常指两个断层面间的配准；2D/3D配准通常指空间图像和投影图像（或者是单独的一个层面）间的直接配准；3D/3D配准指2幅三维空间图像间的配准。,二、医学图像配准方法的分类,（二）根据医学图像的模态分类 单模态医学图像配准：是指待配准的两幅图像是用同一种成像设备获取的。一般用在生长监控、减影成像等。多模态图像配准：是指待配准的两幅图像来源于不同的成像设备，主要应用于神经外科的诊断、手术

7、定位及放疗计划设计等。,二、医学图像配准方法的分类,（三）根据变换性质分类 刚性变换：只包括平移和旋转。仿射变换：将平行线变换为平行线。投影变换：将直线映射为直线。曲线变换：将直线映射为曲线。,二、医学图像配准方法的分类,（四）根据用户交互性的多少分类 自动配准：用户只需提供相应的算法和图像数据。半自动配准：用户需初始化算法或指导算法(如拒绝或接受配准假设)；交互配准：用户在软件的帮助下进行配准,二、医学图像配准方法的分类,（五）根据配准所基于的图像特征分类 基于外部特征的图像配准：是指在研究对象上设置一些 标志点，使这些标记点能在不同的影像模式中 显示，然后再用自动、半自动或交互式的方法 用

8、标记将图像配准。基于内部特征的配准：主要包括三个方面：基于标记的 配准方法、基于分割的配准方法、基于像素特 性的配准。,二、医学图像配准方法的分类,（六）根据配准过程中变换参数确定的方式分类 1、通过直接计算公式得到变换参数的配准：限制在基于特征信息(例如小数目的特征点集、二维曲线、三维表面)的配准应用中。2、通过在参数空间中寻求某个函数的最优解得到变换参数的配准：所有的配准都变成一个能量函数的极值求解问题。,二、医学图像配准方法的分类,（七）根据主体分类 1、同一患者(Intrasubject)的 配准：指将来自同一个病人的待配准图像，用于任何种类的诊断中；2、不同患者(Intersubje

9、ct)的配准：指待配准图像来自不同病人，主要用在三维头部图像(MR、CT)的配准中 3、患者与图谱的(Atlas)图像配准。是指待配准图像一幅来自病人，一幅来自图谱。,二、医学图像配准方法的分类,三、医学图像配准的基本过程,1、根据待配准图像（浮动图像）I2与参考图像（基准图像）I1，提取出图像的特征信息组成特征空间；2、根据提取出的特征空间确定出一种空间变换，使待配准图像I2经过该变换后与参考图像I1能够达到所定义的相似性测度；3、在确定变换的过程中，还需采取一定的搜索策略也就是优化措施以使相似性测度更快更好地达到最优值。,图像配准的流程图,三、医学图像配准的基本过程,8.3 图像配准的理论

10、基础,一、图像配准原理,二、空间变换,三、参数的优化搜索,四、插值方法,五、相似性测度,一、图像配准原理,对于在不同时间或/和不同条件下获取的两幅图像A(x)和B(x)的配准，就是要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图像间的相似性达到最大（或者差异性最小）。即使图像A上的每一个点在图像B上都有唯一的点与之对应，并且这两点应对应同一解剖位置。,S是相似性测度，配准的过程归结为寻求最佳空间变换的过程。,公式表示:,由于空间变换包含多个参数，是一个多参数最优化问题，一般由迭代过程实现：,一、图像配准原理,二、空间变换,图像A和B的配准就是寻找一种映射关系T：XAXB，

11、使得XA上的每一点在XB上都有唯一的点与之对应。这种映射关系表现为一组连续的空间变换，如整幅图像应用相同的空间变换，则称之为全局变换（global transformation），否则，称之为局部变换（local transformation）。,图像配准的基本变换,二、空间变换,二、空间变换刚体变换,刚体：是指物体内部任意两点间的距离保持不变。刚体变换：使得一幅图像中任意两点间的距离在变换前 后保持不变。例如：人体的头部由坚硬的颅骨支撑，在处理时通常忽 略头部皮肤的微小变形，将整个人脑看作是一个 刚体。,两幅图像之间的刚体变换可由一个刚体模型描述：,s是比例变换因子。,是图像之间沿x，y，z

12、方向上的平移量。,R是33的旋转矩阵，满足约束条件：,二、空间变换刚体变换,相对笛卡尔坐标系的三个坐标轴，R有三种不同的形式：,分别表示围绕,坐标轴的旋转角度,二、空间变换刚体变换,二、空间变换-仿射变换,仿射变换：将直线映射为直线，并保持平行性。,不满足：,在笛卡儿坐标系下，二维仿射变换的旋转矩阵R表示为：,三维：,二、空间变换-仿射变换,二、空间变换投影变换,投影变换：将直线映射为直线，但不保持平行性质。投影变换主要用于二维投影图像与三维体积图像的配准。,：,是依赖于图像本身的常数。,二、空间变换非线性变换,非线性变换是把直线变换为曲线。它反映的是图像中组织或器官的严重变形或位移。典型的非

13、线性变换是多项式函数，如二次、三次函数及薄板样条函数。有时也使用指数函数。非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。,二、空间变换非线性变换,1.二阶多项式变换,2.薄板样条变换,其中：X是坐标向量，A与B定义一个仿射变换，U是径向基函数。,可以表示为仿射变换与径向基函数的线性组合：,二、空间变换非线性变换,在二维图像配准中：,在三维图像配准中：,二、空间变换非线性变换,三、参数的优化搜索,配准的几何变换参数根据求解方式可分成两类：一、根据获得的数据用联立方程组直接计算得到的，这一 类完全限制在基于特征信息的配准应用中。二、根据参数空间的能量函数最优

14、化搜索得到。在这一类 中所有的配准都变成一个能量函数的极值求解问题。因此图像配准问题本质上是多参数优化问题，优化算法的选择至关重要。,常用的优化算法:Powell法、梯度下降法、遗传算法、模拟退火法、下山单纯形法、Levenberg-Marquadrt法等。,三、参数的优化搜索,(一)Powell法Powell法是一种传统的确定性优化方法，又称为方向加速法，由于1964年首先提出。基本含义是:对于n维极值问题，首先沿着n个坐标方向求极小，经多n次之后得到n个共轭方向，然后沿n个共轭方向求极小，经过多次迭代后便可求得极小值。,三、参数的优化搜索,Powell法的原理：对于某一问题，将其归结为求取

15、某一目标函数的极小值。其中Y为一个向量：。,设置一个满秩的步长矩阵：,三、参数的优化搜索,，,至此，完成了第一轮n+1次的搜索。接下去进行下一轮的搜索，直至性能指标满意或满足某种停止条件为止。,三、参数的优化搜索,(二)梯度下降法 该算法在求最小化过程中直接利用梯度信息，沿着起始点梯度方向的反方向，求出最小值点，然后移动到最小值点，再重复上面的过程，直到前后点的函数值的差小于给定的误差值，则结束迭代过程。,三、参数的优化搜索,(三)遗传算法 遗传算法（Genetic Algorithm）是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法，它是由

16、美国Michigan大学J.Holland教授于1975年首先提出来的。,三、参数的优化搜索,(三)遗传算法 在求解优化问题时，遗传算法将优化问题当作一个生存环境，问题的一个解当作生存环境中的一个个体，以目标函数值或其变化形式来评价个体对环境的适应能力，模拟由一定数量个体所组成的群体的进化过程，优胜劣汰，最终获得最好的个体，即问题的最优解。,三、参数的优化搜索,四、插值方法,在图像配准中，空间坐标变换后得到的像素坐标位置可能不在整数像素上，因此需要用灰度插值的方法对像素值进行估计。常用的插值方法有:最近邻插值法、双线性插值法和部分体积分布法等。,(1)最近邻插值（NN）,计算n和邻近四个点之间

17、的距离，并将与该点距离最小的点的灰度值赋给n。,(2)双线性插值（BI）,双线性插值法又称为一阶插值算法，它是用线性插值来求像素灰度的一种方法。具体计算方法为先沿着一个坐标轴方向使用线性插值方法求出两点的插值灰度，然后沿另一个坐标轴，利用这两个点对目标点进行线性插值来求灰度。,灰度值,各相邻点的权重，与它们到n的距离成反比。,(2)双线性插值（BI）,(四)部分体积插值法（PV）,部分体积分布法是F.Maes等人提出来的，是对双线性插值方法的一个改进。主要是为了克服双线性插值方法在图像中会产生新的灰度值而引起图像灰度分布发生变化的缺点，以便得到比较光滑的目标函数，有利于优化搜索。,PV根据线性

18、插值的权重分配原则，将每对像素对联合直方图的贡献分散到联合直方图中与之相邻的各个像素对上，这样联合直方图上各个像素对的频度值以小数增加，因此不会出现新的灰度值而破坏目标函数值分布的光滑性。具体的计算公式为:,为权重，其取值同BI法。,(四)部分体积插值法（PV）,五、相似性测度,配准过程在得到几何变换后，进一步的工作就是要找到一种合适、最优的描述量，用以表征相似或者差异，称这种描述量为相似性测度。,（一）灰度均方差,设 和 分别表示参考图像和浮动图像中的数据，两幅图像像素值的均方差可以表示为:,其中，V表示参与计算的图像区域，,表示参与计算的像素总量，,表示对图像数据的变换。,灰度均方差作为相

19、似性测度适用于单模医学图像的配准。,（二）归一化互相关,（三）互信息,相似测度形式多样，在基于全图像信息的图像配准中，以互信息量作为相似测度的方法以其计算复杂度低、鲁棒性好等特性逐渐成为当前研究的热点。,下一节对基于互信息量的图像配准方法做详细的介绍。,8.4 图像配准的主要方法,图像配准的方法有多种，目前主要的配准方法大体上可以分为两类:基于特征的配准方法 基于灰度的配准方法。,一、基于特征的配准方法,配准过程：首先对待配准图像进行特征提取，常用到的图像特征有:点、直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。然后利用提取到的特征完成两幅图像特征之间的匹配。,（一）

20、、基于点特征的配准,点特征是图像配准中最为常用的图像特征之一，分为外部特征点与内部特征点两种。,外部特征点：是成像时固定在患者身体上的标记物。这种方法的配准变换被限制为刚性变换。,侵入性标记物 非侵入性标记物,（一）基于点特征的配准,内部特征点：是一些有限的可明显识别的点集，可以是解剖点(一般由用户识别出)，也可以是几何点(包括边缘点、角点、灰度的极值点、曲率的极值点、两个线性结构的交点或某一封闭区域的质心等)。,这种方法主要求解刚体或仿射变换，如果标记点数目足 够多，也能用来更复杂的非刚体变换。,（二）基于直线特征的配准,线段是图像中另一个易于提取的特征。一般利用Hough变 换提取图像中的

21、直线。,建立两幅图像中分别提取的直线段的对应关系。,利用直线段的斜率和端点的位置关系，可以构造一个这些信息指标的直方图，并通过寻找直方图的聚集束达到直线段的匹配。,（三）基于轮廓与曲线特征的配准,近年来，随着图像分割、边缘检测等技术的发展，基于边缘、轮廓的图像配准方法逐渐成为配准领域的研究热点。分割和边缘检测技术是这类方法的基础，目前已报道的有很多图像分割方法可以用来做图像配准需要的边缘轮廓和区域的检测，比如Canny边缘提取算子，拉普拉斯-高斯算子(LoG)，动态阈值技术，区域增长等。,（三）基于轮廓与曲线特征的配准,在特征提取的基础上，很多学者针对轮廓、边缘等进行了配准研究。,1、Govi

22、ndu等采用轮廓上点的切线斜率来表示物体轮廓，通过比较轮廓边缘的分布确定变换参数。2、Davatzikos等提出了一种二阶段大脑图像配准算法，在第一阶段使用活动轮廓算法建立一一影射，第二阶段 采用弹性变换函数确定轮廓的最佳变换。,（三）基于轮廓与曲线特征的配准,3、李登高等提出了一种对部分重叠的图像进行快速配准的 方法，该方法是基于轮廓特征的随机匹配算法。通过提 取轮廓上的“关键点”作为特征点，随机选择若干特征点 对得到候选变换，随后的投票阶段对其变换参数进行检 验和求精。4、赵训坡等提出一种基于证据积累的图像曲线粗匹配方法，比较有效地解决了将图像中提取的一条曲线(较短)与一 条参考曲线(较长

23、)相匹配的问题。,（四）基于面特征的配准,基于面的配准方法中最典型的算法是由Pelizzari和 Chen提出的“头帽法”（Head-Hat Method）。,从一幅图像中提取一个表面模型称为“头”(Head)，从另外一幅图像轮廓上提取的点集称为“帽子”(Hat)。用刚体变换或选择性的仿射变换将“帽子”的点集变换到“头”上，然后采用优化算法使得“帽子”的各点到“头”表面的均方根距离最小。,（四）基于面特征的配准,头帽法最初用于头部的SPECT和CT(或MRI)配准，参考特征是头部的皮肤表面；然后用于头部的SPECT图像之间的配准，参考特征是头颅骨表面和大脑表面。,优化算法目前一般用Powell

24、法。均方距离是六个待求刚体变换参数的函数，其最小时可得刚体变换参数。,（四）基于面特征的配准,比较常用的配准方法还有迭代最近点算法(ICP)。迭代最近点（ICP）配准算法由Besl和Mckay提出的，它将一般的非线性最小化问题归结为基于点的迭代配准问题。,迭代最近点算法(ICP)中必须先采样出图像结构上的特征点，然后用迭代的方法不断求出一幅图中相对于另一幅图中所有采样点的最近点，直到两个点集的均方差低于设定阈值，这时可得到匹配变换参数。,二、基于灰度的配准方法,基于灰度的配准方法是目前研究得较多的一种方法，它直接利用图像的灰度信息进行配准，从而避免了因分割带来的误差，因而具有精度较高、稳健性强

25、、不需要预处理而能实现自动配准的特点。,基于灰度的配准有两类主要的方法，一类是通过图像灰度直接计算出代表性的比例和方向等要素；另一类是配准过程中使用全部的灰度信息。,第一种方法以力矩和主轴法为代表，第二种方法一般称为体素相似性。,（一）力矩和主轴法,力矩和主轴法是指先用经典力学物体质量分布的原理计算出两幅图像的质心和主轴，再通过平移和旋转变换使两幅图像达到配准。利用此方法，图像可以模型化为椭圆形区域的点分布。这样的分布可以用这些点的位置的一阶和二阶矩描述。,（一）力矩和主轴法,缺点：该方法对数据的缺失较敏感，要求整个物体必须完整 地出现在两幅图像中。从整体上来说，配准精度较差，所以目前它更多地

26、用来进行粗配准，使两幅图像初步 对齐，以减少后续主要配准方法的搜索步骤。,（二）体素相似性法：,体素相似性法是目前研究较多的一类方法。它是利用图像中的所有灰度信息，这种方法一般都较为稳定，并能获得相当准确的结果。,该方法是完全自动的，不需要特殊的预处理，但这种方法由于需要大量的复杂计算，因此最近几年才转入实际应用。,（二）体素相似性法：,常见的基于体素相似性的配准方法有：互相关法 基于傅立叶域的互相关法和相位相关法 灰度比的方差最小化法 直方图的互信息最大化法等。主要讨论。,最大互信息法,最大互信息法以互信息作为相似性测度。,1995年分别被Viola 和Collignon等首次用于医学图像配

27、准中。,互信息(Mutual Information，MI)是信息论中的一个基本概念，用于描述两个系统间的统计相关性，或者是在一个系统中包含的另一个系统的信息的多少，一般用熵来表示，表达的是一个系统的复杂性或不确定性。,对于概率分布函数为 的随机变量集A，其熵：,表示已知系统B时A的条件熵。,最大互信息法,在医学图像配准中，虽然两幅图像来源于不同的成像设备，但是它们基于共同的人体解剖信息，所以当两幅图像的空间位置达到完全一致时，其中一幅图像表达的关于另一幅图像的信息，也就是对应像素灰度的互信息应为最大。通常用联合概率分布和完全独立时的概率分布间的广义距离来估计互信息：,最大互信息法,对于离散的

28、数字图像，联合概率分布 可以用归一化的联合直方图表示：,最大互信息法,接下来寻找一个变换使得一幅图像经过此变换后和另一幅图像的互信息最大。一般采用刚体变换，即在三维空间中寻找三个方向上的平移值和旋转角度。对于大规模断层扫描医学图像来说，三维体积数据集包含的数据量极大无法满足临床上实时处理的要求，因此必须采取优化措施。常用无需计算梯度的Powell多参数优化算法。,最大互信息法,8.5 图像配准的评估,医学图像配准，特别是多模医学图像配准结果的评估一直是件很困难的事情。由于待配准的多幅图像基本上都是在不同时间或/和条件下获取的，所以没有绝对的配准问题，即不存在什么金标准（gold standar

29、d）。只有相对的最优（某种准则下的）配准。常用的评估方法有以下几种：,一、体模（Phantom）,体模又有硬件体模和软件体模之分。后者是计算机图像合成的结果。体模法用已知的图像信息验证新配准算法的精度。由于体模都比较简单，与实际临床图像差异较大，因此只能对配准方法作初步的评估。,二、准标（Fiducial Marks）,立体定向框架系统（Stereotactic Frame Systems）包括立体定向参考框架、立体定向图像获取、探针或手术器械导向几部分。优点是定位准确，不易产生图像畸变。使用立体定向框架系统的体积图像数据可以用来评估其它配准方法的精度。,二、准标（Fiducial Marks

30、）,使用人工记号作准标的方法很多。一种准标是使用9根棍棒组成的3个方向的N字型结构。在作CT测试时，棒内充以硫酸铜溶液；作PET测试则填充氟18。这样，在两组图像中都可见此N字型准标，从而可对图像准确空间定位。例如用在人脑表面嵌螺丝作标记（每人8个）的方法对多个病人做CT、MR（T1、T2及PD）和PET实测，得到多组数据。这些数据专门用于多模医学图像配准算法评估使用。,三、图谱（Atlas）,Thompson用随机向量场变换构造一个可变形的概率脑图谱。包括从多个受试者到单一解剖模板的功能、血管、组织诸方面映射，三维图谱到新受试者的扫描图像的映射。Visible Human CD的CT骨窗图像

31、、MR图像及彩绘的冷冻切片照片由于具有清晰的解剖结构和高度的分辨（1毫米/每层片），近来也被用来做新配准方法精度的评估。,四、目测检验（Visual Inspection）,对多模医学图像配准的结果请领域专家用目测方法检验，听起来有些主观，但在一定程度上的确是一种相当可信的方法。,8.6 医学图像融合概述,医学图像融合：是指将两幅(或两幅以上)来自不同成像设备或不同时刻获取的已配准的图像，采用某种算法，把各个图像的优点或互补性有机地结合起来，获得信息量更丰富的新图像的技术。,先决条件：医学图像的配准。,医学图像融合的分类,1按照融合图像成像方式的不同，分为单模融合(mono-modality)

32、和多模融合(multi-modality)。单模：CT-CT，MRI-MRI。多模：CT 与 MRI等。,2按照融合对象的不同，分为单样本时间融合、单样本空间融合和模板融合。单样本时间融合：指跟踪某个病人，将其一段时间内对同一脏器所做的同种检查图像进行融合。单样本空间融合：指将某个病人在同一时期内对同一脏器所做的几种检查的图像进行融合。模板融合：从许多健康人的研究中建立一系列模板，将病人的图像与模板图像融合。,医学图像融合的分类,3按照图像处理方法的不同，分为数值融合法和智能融合法。数值融合法：将不同来源的图像做空间归一 化处理后直接融合。智能融合法：将不同来源的图像做归一化处 理后，根据需要

33、选择不同图像 中的所需信息再进行融合。,医学图像融合的分类,4按图像类型不同，可以分为断层图像间相互融合、断层图像与投影图像融合以及结构图像与功能图像融合。断层图像间相互融合主要指 CT 与 MRI 图像融合；断层图像与投影图像融合主要指 CT、MRI 图像与 DSA 图像通过三维重建后进行融合；结构图像融合与功能图像融合主要指 CT、MRI 图像与 PET、SPECT 图像进行融合。,医学图像融合的分类,医学图像融合的分类,5前瞻性融合和回溯性融合 前瞻性融合：在图像采集时使用特别措施（如加外部标志等）；回溯性融合：在图像采集时则不采取特别措施。,8.7 常用的图像融合方法,一、基于空域的图

34、像融合 1、图像像素灰度值极大（小）融合法；2、图像像素灰度值加权融合法；3、TOET图像融合方法。二、基于变换域的图像融合 基于小波变换的图像融合。,1、图像像素灰度值极大（小）融合法,设g1(i,j)和g2(i,j)为待融合图像，F(i,j)为融合后的图像，其中i，j为图像中某一像素的坐标，图像大小为M*N，则i0,M-1，j0,N-1。,极大值法：,极小值法：,2、图像像素灰度值加权融合法,设g1(i,j)和g2(i,j)为待融合图像，F(i,j)为融合后的图像。,其中：a为权重因子，且0a1，可以根据需要调节a的大小。该算法实现简单，其困难在于如何选择权重系数，才能达到最佳的视觉效果。

35、,3、TOET图像融合方法,设g1(i,j)和g2(i,j)为待融合图像，F(i,j)为融合后的图像。,首先求输入图像和的共同成分：,从图像上扣除共同成分得到图像的特征成分：,从图像中扣除图像的特征成分：,融合结果,CT 图像,MR 图像,像素灰度极小值法,像素灰度极大值法,融合结果,CT 图像,MR 图像,灰度加权法,TOET法,二、基于变换域的图像融合,变换域法，顾名思义，就是将变换后的两个或多个图像进行融合，再通过反变换得到融合后图像的方法。,多分辨率金字塔,小波变换法,傅里叶变换法,一、图像的二维小波分解,Mallat算法：,分别表示水平、垂直和对角分量；,和 分别是H和G的共轭转置矩

36、阵；,J 为分解层数。,一、图像的二维小波分解,图像经二维小波变换分解后，可得到四个不同的频带LL、LH、HL、HH。其中低频带 LL 保留了原图的轮廓信息。HL、LH、HH 分别保留了原图水平、垂直和对角方向的高频信息，代表图像的细节部分。,基于小波变换的图像融合步骤,分解：对每一源图像分别进行小波变换，得到每幅图像在不同分辨率下不同频带上的小波系数；,融合：针对小波分解系数的特性，对各个不同分辨率 上的小波分解得到的频率分量采用不同的融合 方案和融合算子分别进行融合处理；,逆变换：对融合后系数进行小波逆变换，得到融合图像。,小波分解融合结构图,二、基于小波变换的融合规则,1、低频系数融合规

37、则 通过小波分解得到的低频系数都是正的变换值，反映的是源图像在该分辨率上的概貌。低频小波系数的融合规则有多种方法：既可以取源图像对应系数的均值，也可以取较大值，这要根据具体的图像和目的来定。,二、基于小波变换的融合规则,2、高频系数融合规则 通过小波分解得到的三个高频子带都包含了一些在零附近的变换值，在这些子带中，较大的变换值对应着亮度急剧变化的点，也就是图像中的显著特征点，如边缘、亮线及区域轮廓。这些细节信息，也反映了局部的视觉敏感对比度，应该进行特殊的选择。,二、基于小波变换的融合规则,二、基于小波变换的融合规则,（1）基于像素点的融合规则 逐个考虑源图像相应位置的小波系数，要求源图是经过

38、严格对准处理的。因为基于像素的选择方法具有其片面性，其融合效果有待改善。,二、基于小波变换的融合规则,（2）基于窗口的融合规则 是对第一类方法的改进。由于相邻像素往往有相关性，该方法以像素点为中心，取一个MN的窗口，综合考虑区域特征来确定融合图像相应位置的小波系数。该类方法的融合效果好，但是也相应的增加了运算量和运算时间。由于窗口是一个矩形，是规则的；而实际上，图像中相似的像素点往往具有不规则性。,二、基于小波变换的融合规则,（3）基于区域的融合规则 该类方法常常利用模糊聚类来寻找具有相似性的像素点集。,三、常用的小波分解系数融合规则,a、小波系数加权法,其中：,分别表示源图像A，B和融合图像

39、F在J层小波分解时，在P点的系数。,b、小波系数绝对值极大(小)法,三、常用的小波分解系数融合规则,c、区域能量最大法,在J层小波分解的情况下，局部区域Q的能量定义为：,其中：,同理可得：,三、常用的小波分解系数融合规则,小波融合举例,CT 图像,MR 图像,均值 均值,均值、绝对值极大,小波融合举例,CT 图像,MR 图像,均值、绝对值极小,均值、区域能量最大,8.8、图像融合效果评价,图像融合效果的评价主要有主观评价和客观评价两种。主观评价以人作为观察者，对图像的优劣做出主观定性评价。人对图像的识别或理解不仅和图像的内容有关，而且还与观察者的心理状态有关。由于人的视觉系统很复杂，受环境条件

40、、视觉性能、人的情绪爱好以及知识状况影响很大，因此主观评价具有主观性和不全面性，,图像融合效果的客观评价评价,一、熵 图像的熵值是衡量图像信息丰富程度的一个重要指标，熵值的大小表示图像所包含的平均信息量的多少。根据香农信息论的原理，一幅图像的信息熵为：,融合图像的熵增大，表示融合图像的信息量增加，融合图像所包含的信息就越丰富，融合质量越好。,二、交叉熵CE,也称相对熵，反映了两幅图像灰度分布信息的差异。设源图像和融合图像的直方图分别为pi和qi，交叉熵定义为：,交叉熵越小，说明融合图像从源图像提取的信息量越多，融合效果越好。,三、交互信息量MI,交互信息量为两个变量之间相关性的量度，或一个变量

41、包含另一个变量的信息量的量度。假设两幅源图像A和B，将它们融合得到融合图像F，F与A、B的交互信息量分别表示为MIFA 和MIFB：,三、交互信息量MI,交互信息量的总和：,交互信息量的值越大，表示融合图像从源图像中获取的信息越丰富，融合效果越好。,四、图像均值,图像均值是图像像素的灰度平均值，对人眼反映为平均亮度。图像均值的定义为：,其中G（x，y）表示图像中第（x，y）个像素的灰度，图像尺寸为。如果均值适中，则目视效果良好。,五、灰度标准差g,图像的灰度标准差定义为为：,其中L为图像的总灰度级，g表示图像第（x，y）个像素的灰度，表示图像均值，p(g)表示灰度值为g的像素出现的概率。,标准差大，则图像灰度级分布分散，图像的反差大，可以看出更多的信息。,融合图像F和标准参考图像R间的均方误差：,均方误差越小说明融合图像与标准参考图像越接近。,六、均方误差MSE,融合图像与标准参考图像的差异看作噪声，标准参考图像看作信息。,七、信噪比SNR与峰值信噪比PSNR,信噪比、峰值信噪比越高，说明融合效果就越好。,