《医学图像配准ppt课件.ppt》由会员分享，可在线阅读，更多相关《医学图像配准ppt课件.ppt（76页珍藏版）》请在三一办公上搜索。
1、医 学 图 像 配 准,Medical Image Registration,许 向 阳,医学图像处理专题讨论,2022年11月20日,医学图像信息研究中心,一、配准的基本概念二、配准的临床应用三、配准的核心框架四、医学图像配准的分类五、关键技术讨论,内 容 提 要,一、配准的基本概念,医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。 一致是指人体上的同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。 保持不动的图像叫参考图像； 做变换的图像称作浮动图像。,一、Basic conception of registr
2、ation,Image registration, also called image matching or alignment, is a process to register one image to others, so that the transformation matrix between two of them are determined so that they are corresponding each other in space. Image registration is the process of estimating an optimal transfo
3、rmation between two images.,一、配准的基本概念,q = T(p),R ：参考图像， F：浮动图像，T: 变换,T = arg max S(R,T(F) T,一、配准的基本概念,第二幅图像中少了一部分，原因可能是： 成像设备，成像模式差别 病变组织发生变化（如术前，术后） 不同对象的成像,一、配准的基本概念,四种基本的变换 刚体变换 仿射变换 投影变换 弯曲变换,二、配准的临床应用,两个时期的同种类图像比较,病灶生长情况；治疗效果分析； 动静对比收缩舒张对比发作间歇对比,对某一病人,二、配准的临床应用,数字减影血管造影 Digital subtraction angi
4、ography，DSA,1977年Nudelman成功地获得了第一张DSA影像,二、配准的临床应用,Li Qiang, etc, Improved contralateral subtraction images by use of elastic matching technique , Med. Phys. 27 .8., August 2000,(a) 箭头所指为节结,二、配准的临床应用,于劲：基于特征的肝脏病理切片显微图像拼接 （硕士论文）,二、配准的临床应用,多模态图像融合,疾病诊断放射治疗计划外科手术导航系统,对某一病人,图像与物理世界配准,2005年，北美核医学年会的最佳图像奖：
5、 三维立体图像融合图像,二、配准的临床应用,PET显示食道癌,二、配准的临床应用,罗述谦，医学图像处理与分析,二、配准的临床应用,二、配准的临床应用,图像与图谱的比较,不同人,被试图像与典型正常人相同部位的图像比较： 确定是否正常被试图像与一些疾病的典型图像对比： 确定患者是否同类,Talairach 脑图谱Ono脑沟回图谱哈佛全脑图谱,二、配准的临床应用,三维重建虚拟数字人,三、配准的核心框架,变换：Transform 度量：Metric优化: Optimizer插值：Interpolator,Registration is treated as an optimization proble
6、m with the goal of finding the spatial mapping that will bring the moving image into alignment with the fixed image.,三、配准的核心框架,3.1 变换,刚性变换仿射变换透视或投影变换非线性变换（弯曲变换）,三、配准的核心框架,3.2 插值,插值的原因： 分辨率不同 图像变换引起的像素点不对应,三、配准的核心框架,3.2 插值,插值方法： 最近邻插值 线性插值 B样条插值 Windowed Sinc 插值,三、配准的核心框架,3.3 配准程度的度量,可能是配准框架中最关键的部分选择
7、度量方法与要解决的配准问题有关, Mean squares Normalized correlation Mean reciprocal squared difference Mutual information by Viola and Wells Mutual information by Mattes Kullback Liebler distance metric Normalized mutual information Mean squares histogram Correlation coefficient histogram Cardinality Match metric
8、Kappa Statistics metric Gradient Difference metric,三、配准的核心框架,3.3 配准程度的度量,三、配准的核心框架,3.4 优化, Amoeba: Nelder-Meade downhill simplex. Conjugate Gradient: Fletcher-Reeves form of the conjugate gradient with or without preconditioning. Gradient Descent: Advances parameters in the direction of the gradient
9、 where the step size is governed by a learning rate。,三、配准的核心框架,3.4 优化, Powell法 下山单纯形法 Arent法 Levenberg-Marquadrt法 Newton-Raphson迭代法 随机搜索法 梯度下降法 遗传算法 模拟退火法 几何hash法 半穷尽搜索法,四、医学图像配准的分类,4.1 分类的依据 图像的主体 图像的模态 图像的客体(人体的部位) 图像空间的维数 配准所基于的图像信息 变换的模型 变换参数的确定方式 配准方法的交互性,四、医学图像配准的分类,4.2 图像的主体（Subject） IntraSub
10、ject InterSubject Atlas,4.3 图像的模态 (Modalities) Monomodal Multimodal Modality to modal Patient to modality,4.3 图像的模态,描述生理形态的解剖成像模式：,X光、CT (Computed Tomography)MRI (Magnetic Resonance Imaging)US (Ultra Sound)MRA (Magnetic Resonance Angiography)DSA (Digital Subtraction Angiography)光纤内窥镜,四、医学图像配准的分类,描述人
11、体功能或代谢功能的成像模式：,SPECT (Single Photon Emission Computed Tomography，单光子发射断层扫描)PET (Positron Emission Tomography， 正电子发射断层扫描)fMRI (functional MRI，功能磁共振成像)EEG (Electro-EncephaloGraphy,脑电图)MEG (Magneto-EncephaloGraphy，脑磁图)光子内源成像,四、医学图像配准的分类,4.3 图像的模态,4.5 图像的维度 二维，三维，时间维,4.4 图像的客体（Object） Head (Brain or sku
12、ll, Eye, Dental) Thorax (Entire, Caridac, Breast) Abdomen (General, Kidney,Liver) Limbs (General, Femur, Humerus, Hand) Spine and vertebrate Pelvis and perineum,四、医学图像配准的分类,无需图像信息,4.6 配准中使用的信息,特征点,侵入性的非侵入性的,内部标志点,四、医学图像配准的分类,像素或体素,特征曲线或曲面,外部标志点,特征空间,蒋大介，实用神经外科手术学，第四章，定向手术,华工超星图书，以“神经外科”搜索，72本书,4.6 配
13、准中使用的信息外部标志点,立体框架,陈炳桓，立体定向放射神经外科学，r刀,4.6 配准中使用的信息外部标志点,BrownRobertsWells (BRW)框架Cosman-Roberts-Wells (CRW)框架Gill-Thomas-Cosman（GTC）框架 该类框架主要用于神经外科手术的定位和导航以及放射治疗 随着计算机技术的快速发展，无框架立体定向在图像引导的颅内手术中使用得更加广泛,4.6 配准中使用的信息外部标志点,韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.3,4.6 配准中使用的信息外部标志点,外部标记物,Matthew Y. Wang, An Aut
14、omatic Technique for Finding and LocalizingExternally Attached Markers in CT and MRVolume Images of the Head,IEEE transactions on Biomedical Engineering.Vol.43, No. 6, 1996,4.6 配准中使用的信息外部标志点,外部标记点,周振环等，医学图像标志点的自动配准, 中国生物医学工程学报，2003,No.5,4.6 配准中使用的信息外部标志点,外部标记点,4.6 配准中使用的信息外部标志点,外部标志点,它与图像本身无关。选用外部标志
15、点的好处是简单快速，不需要复杂的优化算法，而且精度较高。只要图像中标志点能够被检测出来，任何模态的图像都能进行配准。确定外部标志点的位置要比确定内部标志点的位置容易得多，图像空间和物体空间的配准也很难用内部标志点来实现。,4.6 配准中使用的信息外部标志点,外部标志点,会给病人带来很大不适； 注入病人体内的外来元素往往对人体有些损害； 完全无损的又很难达到满意的精度； 这种方法不包括病人本身的相关图像信息，因而 它的变换方式只限于刚性变换。,4.6 配准中使用的信息内部标志点,内部标志点,解剖标志点 (Anatomic Landmarks) 几何极值点 线的交点 脐点(umbilic poin
16、t) 脊点 灰度的极值点 轮廓上曲率的极值点 两个线形结构的交点 某一封闭区域的质心 形状特征点,4.6 配准中使用的信息内部标志点,Igor D. Grachev,etc,A Method for Assessing the Accuracy of Intersubject Registration of the Human Brain Using Anatomic Landmarks，NeuroImage 9, 250268 (1999),解剖标志点,4.6 配准中使用的信息内部标志点,解剖标志点,4.6 配准中使用的信息内部标志点,Detected point landmarks in
17、a 2D sagittal MR image of ahuman brain,Karl Rohr，On 3D differential operators for detecting point landmarks，Image and Vision Computing 15 (1997) 219-233,角点,4.6 配准中使用的信息内部标志点,周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计算机辅助设计与图形学学报，Vo l. 14,No. 7，2002,形状特征点,4.6 配准中使用的信息内部标志点,两幅图像中选取出的控制点应当具有唯一性。对于图像的局部失真有较好的鲁棒性。由于变
18、换的确定依赖于这些控制点，因而控制点的数量不能太少；同时若控制点的数量太多，匹配又会比较困难。所以控制点的数量选择是一个很重要的问题，它将影响到配准的质量与效率。,内部控制点的选取原则,4.6 配准中使用的信息内部标志点,选取内部控制点的好处是很灵活，从理论上说适用于任何模态的图像，而且对病人完全友好。控制点一般用来确定刚性变换或仿射变换，如果控制点数量足够多，也可用来确定其他一些更复杂的变换。这种方法的一个缺点是控制点的确定往往需要人工干预，很难实现完全自动。,内部控制点的优缺点,4.6 配准中使用的信息表面,先进行图像分割，提取轮廓曲线、物体表面等内部特征。图像配准简化为曲线或曲面匹配。变
19、换的形式既可以是刚体变换，也可以是形变变换最大缺点是配准精度受限于分割步骤的精度，除了分割阶段，整个算法可以做到全自动化，分割阶段经常也是半自动实现的。,4.6 配准中使用的信息表面,阈值分割边缘检测区域增长聚类分割,轮廓表面的提取方法,边界跟踪曲面拟合,刚体变换,仿射变换,投影变换,4.7 图像变换方法,非线性变换,四、医学图像配准的分类,交互的,半自动化,自动化,参数计算,参数搜索,4.9 优化过程,4.8 求解过程的交互性,四、医学图像配准的分类,5.1 图像的基本变换,对于在不同时间或/和不同条件下获取的两幅图像I1(x1,y1,z1)和I2(x2,y2,z2)配准，就是寻找一个映射关
20、系P： (x1,y1,z1) I2(x2,y2,z2)，使I1的每一个点在I2上都有唯一的点与之对应，并且这两点对应同一解剖位置。映射关系P表现为一组连续的空间变换。,五、配准的关键技术,5.1.1 刚体变换,Rigid Body Transformation,刚体：指物体内部任意两点间的距离保持不变。刚体变换：旋转、平移,二维： 沿x轴平移: x=x+p, y=y 沿y轴平移: x=x, y=y+q 绕坐标原点旋转: x=xcos +ysin y=- xsin +ycos ,用矩阵的形式表达？,5.1 图像的基本变换,5.1.1 刚体变换,Rigid Body Transformation,
21、5.1 图像的基本变换,绕坐标原点顺时针旋转,沿x轴平移p,沿y轴平移q,5.1.1 刚体变换,Rigid Body Transformation,5.1 图像的基本变换,对一个点先沿x轴平移p,再沿y轴平移q,最后绕原点顺时针旋转,5.1.1 刚体变换,Rigid Body Transformation,5.1 图像的基本变换,对一个点先绕原点顺时针旋转, 再沿x轴平移p, 最后沿y轴平移q,5.1.1 刚体变换,Rigid Body Transformation,5.1 图像的基本变换,对于相同的变换参数p、q、 ,由于变换过程不同，变换的结果也不同。对于给定的变换结果，可以有不同的变换途
22、径。使用矩阵表示，无需关心旋转与平移的顺序。应用逆矩阵运算或组合矩阵变换易于实现多种形式的图像配准。,结论：,5.1.1 刚体变换,Rigid Body Transformation,5.1 图像的基本变换,如何判定一个给定的矩阵是否为刚体变换矩阵？,问题：,5.1.1 刚体变换,三维： （6个参数） 沿x轴平移 p 沿y轴平移 q 沿z轴平移 r 绕x轴旋转 绕y轴旋转 绕z轴旋转 ,只考虑旋转，有六种不同的组合:结合先旋转、后平移，及先平移后旋转，有12种组合。,5.1 图像的基本变换,5.1.1 刚体变换,刚体变换矩阵的特性： P(u) = Au+BU=(x,y,z)是像素的空间位置；A
23、是旋转变换矩阵B是平移向量矩阵A满足条件： ATA=IAT是矩阵A的转值，I是单位矩阵。,5.1 图像的基本变换,5.1.2 仿射变换,将直线映射成直线，并保持平行性。具体表现：各个方向尺度变换系数一致的均匀尺度变换； 变换系数不一致的非均匀尺度变换； 剪切变换。,Affine Transformation,应用： 校正由物体与光学仪器间的距离引发的尺度变化； 校正由CT台架倾斜引起的剪切； 校正MR梯度线圈不完善产生的畸变。,5.1 图像的基本变换,5.1.2 仿射变换,三维： （9参数） 沿x轴平移 p 沿y轴平移 q 沿z轴平移 r 绕x轴旋转 绕y轴旋转 绕z轴旋转 ,x轴向的尺度 m
24、xy轴向的尺度 myz轴向的尺度 mz,5.1 图像的基本变换,5.1.2 仿射变换,更一般的仿射变换，二维有6个独立参数，三维有12个独立参数。,xyz1,e11 e12 e13 e14e21 e22 e23 e24e31 e32 e33 e34 0 0 0 1,xyz1,=,对于eij，无小于1的约束。,5.1 图像的基本变换,5.1.2 仿射变换,5.1 图像的基本变换,几种基本的二维仿射变换,变换矩阵的矩阵对数的对角元素对称时，产生全局尺度变换（6）；不对称时，产生相应轴的缩放尺度变换（5，7）。 非对角元素对称，相当整体旋转(2)，不对称，产生沿某个轴的剪切(1,3),1,2,3,4
25、,5,6,7,5.1.3 透视或投影变换,特性： 直线经变换后，仍然是直线，但是平行的直线经变换后却可能相交。应用： (1) 点源与物体作用，在一个平面上产生投影图像的放射成像。 (2) 对于照片，采集光线全部通过透镜的焦点。 对于断层成像数据处理一般不用透视变换。,Perspective or Projective Transformation,5.1 图像的基本变换,5.1.3 透视或投影变换,xy1,e11 e12 pe21 e22 q f g 1,xy1,=,二维情况下的变换矩阵：,x= (e11*x+e12*y+p) / (f*x+g*y+1),5.1 图像的基本变换,5.1.4 非
26、线性变换,Nonlinear Transformation,又称：弯曲变换，curved transformation,特性： 将直线变成曲线。变换方法： 多项式函数（二次、三次、薄板样条函数） 指数函数应用： 多用于使解剖图谱变形来拟合图像数据； 对有全局性形变的胸、腹部脏器图像的配准。,5.1 图像的基本变换,5.1.4 非线性变换,二阶多项式变形模型： x=e00+e01x+e02y+e03z+e04x2+e05xy+e06xz+e07y2+e08yz+e09z2 y=e10+e11x+e12y+e13z+e14x2+e15xy+e16xz+e17y2+e18yz+e19z2 z=e20
27、+e21x+e22y+e23z+e24x2+e25xy+e26xz+e27y2+e28yz+e29z2,薄板样条函数变换： 仿射变换与径向基函数的线性组合。 n f(X)=AX+B+ Wi U (|Pi-X|) i=1,基于B样条的变换,5.1 图像的基本变换,参见数值分析，有关样条插值,5.1.5 基本变换的可视化,5.1 图像的基本变换,平移,旋转,5.1.5 基本变换的可视化,5.1 图像的基本变换,5.1.5 基本变换的可视化,5.1 图像的基本变换,差绝对值和误差 均方根误差 马氏距离 Hausdroff距离,基于距离的测度,优点：原理简单、实现方便缺点：速度较慢，精度较低应用：主要
28、用于单模态图像配准, 应用范围不是很广泛,方法：,5.2 相似性测度,相关比率(Correlation ratio) 相关系数(Correlation coefficient) PIU(Partitioned intensity uniformity) 梯度互相关,基于相关法的测度,缺点：计算量庞大应用：主要用于单模态图像的刚体配准,精度较高 不适用于多模态非刚体配准。同一物体较小的改变和图像获取条件有较小变化,方法：,5.2 相似性测度,条件熵 联合熵 互信息 归一化互信息 散度,基于熵的测度,优点：无需预处理、精确性、鲁棒性较好，适应面广。缺点：速度较慢，互信息函数不光滑,方法：,5.2
29、相似性测度,5.3 基于分割的配准方法,基于刚体模型的方法,头帽法 迭代最近点(ICP)法 加权的几何特征（WGF）算法,基于形变模型的方法,5.3 基于分割的配准方法头帽法,“头帽法”（head-hat method）是由Pelizzari和Chen提出的一个典型算法。从一幅图像轮廓中提取的点集称作“帽子”（hat），从另一幅图像轮廓提取的表面模型叫做“头”（head），用刚体变换将“帽”的点集变换到“头”上。 一般用体积较大的病人图像，或在图像体积大小差不多时用分辨率较高的图像来产生头表面模型。 Powell搜索算法被用来寻求所需的几何变换，即使帽点和头表面间的距离平均平方值最小。许多学者对该算法做了改进，例如用多分辨金字塔技术克服局部极值问题；用距离变换拟合两幅图像的边缘点等等。,5.3 基于分割的配准方法ICP法,迭代最近点（ICP）配准算法是由Besl 和Mckay提出的，它将一般的非线性最小化问题归结为基于点的迭代配准问题。 ICP 算法是一种非常通用的配准方法，可用于许多几何形状的配准，如点、线、面、复杂实体等等。 对于基于面的配准，则先将其中一个实体定为数据，而将另一个定为模块，然后通过搜索各数据点在模板上的最近点，调整坐标变换矩阵并用其对数据点进行变换，同时对变换的结果进行评估，重复以上步骤直到满足条件为止。,
