基于SIFT和SURF的医学图像特征匹配研究

鹿煜炜,胡峻

安徽医科大学第二附属医院 医学工程与信息部,安徽 合肥 230601

[摘 要]本文采用基于特征点的匹配算法完成对实验医学图像的匹配,从特征点数量、特征提取时间和匹配准确性等方面比较尺度不变特征变换(SIFT)和快速鲁棒特征(SURF)算法,然后采用K最近邻算法(KNN)去除误匹配,统计分析不同阈值的随机抽样一致算法(RANSAC)和最小中值方差估计算法(LMEDS)与配准结果的相关性。本研究建立了基于特征点的医学图像配准算法程序实验平台,实现了多算法融合的医学图像特征匹配,对进一步探讨和改进医学图像配准提供了研究基础。

[关键词]SIFT;SURF;图像匹配;K最近邻算法

医学图像配准是指对两幅或多幅医学图像求解最优空间几何变换,使匹配图像经过该变换与被匹配图像达到空间上的对齐。医学图像是临床诊断信息的重要来源,随着医学成像技术的持续进步和医学成像设备的不断发展,可供利用的医学图像模式也在快速增加。序列图像和多种模态图像提供了比单幅图像更丰富的信息,有利于全面获取患者身体某部位或某器官的信息。现代医学的临床应用需要将不同视场、不同时间、不同模态的多幅图像结合起来进行分析,用非刚性变换来描述图像之间的空间关系,以实现多模医学图像的融合、序列图像的配准及拼接,从而获取更多的医疗信息。目前医学图像配准主要应用于CT、MR、PET等医学图像的配准融合、显微图像的配准拼接、实际医学图像和标准图谱的比较、外科手术导航、心脏运动估计等方面。

图像特征点匹配是基于局部特征的医学图像配准的基础,特征点的提取和描述又是进行图像匹配的基础和关键步骤。传统技术采用人工提取特征点的方法,工作量大且精确度较低,医学图像的自动配准是长期以来一直未能很好解决的一个重要问题。图像工程领域经典的局部特征点有Harris角点[1]、K-L角点[2]、HASAN角点[3]等,目前国内外比较流行的是David G.Lowe提出并改进的尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)算法[4-5]及其多种改进算法[6-7],该算法对图像缩放、旋转、位移等几何变化具有不变性,对仿射变换、视角变化、光照变化及噪声也保持较为稳定的适应性。Bay等人[8]提出的快速鲁棒特征(Speeded up Robust Features,SURF)算法[9]与SIFT稍有不同,其核心是用黑塞矩阵代替SIFT的高斯差分尺度空间检测特征值。作为图像配准领域的热门研究方向,SIFT和SURF系列算法在医学图像自动提取特征和匹配方面的应用尚有待于深入研究[10-12]

1 特征点提取与配准算法

基于SIFT和SURF算法的图像配准流程包括:① 特征点描述:检测特征点,确定特征点主方向,归一化为一个多维的特征向量;② 特征点匹配:采用K最近邻算法(K-Nearest Neighbor,KNN)保留最近邻距离与次近邻距离比值小于比例阈值的匹配关系;③ 去除误匹配:采用随机参数估计算法计算出数据的数学模型参数,使得尽量多的匹配特征点间符合这个变换关系,得到有效配准数据。

1.1 SIFT算法

SIFT是一种检测局部特征的算法,该算法通过求一幅图中的特征点及其描述子得到特征,整个算法分为以下几个部分[4-5]

1.1.1 构建尺度空间

尺度空间的目的是模拟图像数据的多尺度特征。一副二维图像的尺度空间定义为:

式中是尺度可变高斯函数:

x,y)是空间坐标代表图像的像素位置,符号*表示卷积,是尺度空间因子。为了有效的在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间(DOG Scale-space),利用不同尺度的高斯差分核与图像卷积生成:

图像金字塔的建立:对于一幅图像建立其在不同尺度(Scale)的图像,也称为子八度(Octave),这是为了Scale-invariant,也就是在任何尺度都能够有对应的特征点,第一个子八度的Scale为原图大小,后面每个Octave为上一个Octave降采样的结果,即原图的1/4(长宽分别减半),构成下一个子八度(高一层金字塔)。金字塔建立见图1,每一层相邻的高斯图像相减,就得到了高斯差分图像。

1.1.2 检测DOG尺度空间极值点

每一个采样点和所有相邻点比较,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点比较,以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个邻域中是最大或最小值时,就认为该点是图像在该尺度下的一个特征点,点X的所有相邻点,见图2。

图1 高斯金字塔中相邻尺度两幅高斯图像相减得到DOG尺度空间图像

图2 DoG尺度空间局部极值检测

1.1.3 除去不好的特征点

通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度),同时去除低对比度的关键点和不稳定的边缘响应点,以增强匹配稳定性、提高抗噪声能力。

去除低对比度的点:在DoG尺度空间的极值点处取值,只取前两项可得:该特征点就保留下来,否则丢弃。

边缘响应的去除:一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率。为了检测主曲率是否在某域值r下,只需检测默认参数取r=10。

1.1.4 关键点方向分配

为了使描述符具有旋转不变性,需要利用图像的局部特征为每一个关键点分配一个方向。在以关键点为中心的邻域窗口内采样,并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0°~360°,其中每10°一个方向,总共36个方向。直方图的峰值则代表了该关键点处邻域梯度的主方向,即作为该关键点的方向。简化为8个方向的梯度直方图,见图3。

图3 梯度直方图

1.1.5 关键点描述子(特征向量)的生成

首先将坐标轴旋转为关键点的方向,以确保旋转不变性。以关键点为中心取8×8的窗口。计算特征点周围的16×16的窗口中每一个像素的梯度,而且使用高斯下降函数降低远离中心的权重,见图4。

图4 由关键点邻域梯度信息生成特征向量

1.2 SURF算法

SURF和SIFT的主要区别是图像多尺度空间的构建方法不同:SIFT建立一幅图像的金字塔,在每一层进行高斯滤波并求取图像差进行特征点的提取,而SURF采用的是Hessian Matrix黑森矩阵;SIFT特征建立图像金字塔处理尺度不变特性,而SURF特征将高斯核近似为一个方波滤波,SURF金字塔仅仅用来作特征点的检测。

1.3 K最近邻算法

当两幅图像的特征点和特征向量生成后,下一步采用特征向量的欧式距离Dj来作为两幅图像中特征点MN的相似性判定度量[13-14]

式中,TM=[a1a2…a128]和TN=[b1b2…b128]分别是MN的特征向量。K最近邻算法(k取2)比较最近邻距离与次近邻距离:如果图像2的特征点NP,分别是与图像1中的特征点M欧式距离最近和次近的两个特征点,欧式距离分别为Dj=‖TMˉTN1Dk=‖TMˉTP1,则保留的匹配,其中最大比例阈值一般取0.8。

1.4 随机参数估计算法

随机参数估计算法是根据包含异常数据的样本数据集,计算出数据的数学模型参数,从而得到有效样本数据。目前有两种随机参数估计算法:随机抽样一致算法(Random Sample Consensus,RANSAC)和最小中值方差估计算法(LMEDS)。

RANSAC算法从样本中随机抽选出一个样本子集计算模型参数,然后计算所有样本与该模型的偏差,再使用一个预先设定好的阈值与偏差比较,当偏差小于阈值时,该样本点属于模型内点,否则为模型外点,重复迭代这一过程,最终的模型参数估计值就是最佳模型参数[15]

LMEDS算法与RANSAC不同的是:LMEDS记录的是所有样本中偏差值居中的那个样本的偏差,以及本次计算得到的模型参数,因此LMEDS不需要预先设定阈值。

2 实验方法与结果分析

测试数据集来自于“哈佛大学医学图像库”连续序列MRI图像,11幅分辨率为256×256的序列脑图像。相邻图像两两建立匹配关系,共计10组配准实验,见表1。

表1 10组配准实验用图

实验开发和运行环境:Intel i7-3537U CPU、8GB计算机;Windows8 64bit操作系统;Microsoft Visual Studio 2010、Opencv2.4、C++开发环境。

算法流程:① SIFT/SURF进行特征提取;② K最近邻算法对特征进行匹配;③ RANSAC和LMEDS算法筛选正确匹配关系(图5)。

图5 程序算法基本流程

2.1 SIFT/SURF特征提取对比

分别采用SIFT和SURF算法进行特征提取,提取出的特征点,见图6~7。11幅实验用图提取特征点数量,见表2。10组实验匹配SIFT/SURF特征点提取时间,见表3。

图6 MR-T1-62:SIFT特征点

图7 MR-T1-62:SURF特征点

表2 11幅实验用图SIFT/SURF特征点数(个)

表3 10组实验匹配SIFT/SURF特征点提取时间(ms)

由表2和表3可知,11幅实验用图提取的SURF特征点数量均多于SIFT特征点数,相应10组匹配程序运行时间也多于SIFT特征提取时间。理论上SURF特征点生成速度远快于SIFT算法,但是当特征点数量变化时,特征向量计算耗时会随之增减。

2.2 特征匹配

采用K最近邻算法对提取的特征点和特征向量进行匹配,按照表1的10组配准图分别进行实验(图8),可以看到,在相邻的两幅序列图像特征点中,采用K最近邻算法可以建立大量的匹配对,但是其中存在明显的误匹配,需要进一步剔除。

图8 实验组1(MR-T1-62:MR-T1-63)的SIFT特征点匹配

对10组配准实验图的SIFT和SURF特征分别进行K最近邻匹配,结果见表4。

2.3 去除误匹配

使用RANSAC算法计算参数模型时,需要预设阈值,对实验组1~5的特征匹配结果测试RANSAC阈值不同取值时去除误匹配的性能,阈值取1~19中的奇数。以实验组1的SIFT特征匹配为例,阈值取1时模型区分出内点(符合模型视为正确匹配)和外点(不符合模型视为错误匹配)见图9(a)~(b),观察可知内点保留了正确的匹配,但是外点中也存在大量的正确匹配。实验对象不变,调整阈值为7,结果见图9(c)~(d),内点中基本保留了全部正确匹配,而外点中除极个别外均为需要剔除的误匹配。

对实验组1~5的SIFT和SURF特征匹配结果进行实验,不同RANSAC阈值下结果,见图10~11。通过对内外点图和结果折线图进行观察可知,阈值在1~7时,内点数随之明显上升;阈值>9时,内点数基本保持稳定,而内点图中开始出现部分误匹配。

图9 实验组1的SIFT特征匹配

图10 实验组1~5的SIFT特征匹配内点数随RANSAC阈值变化情况

表4 10组配准实验图SIFT/SURF特征点匹配数

对10组实验组的SIFT和SURF特征匹配,分别采用LMEDS算法和阈值取9的RANSAC算法去除误匹配,正确匹配的数量见图12,两种随机参数估计算法结果相近,SURF特征正确匹配数量多于SIFT特征正确匹配数量。由于实验用图为相邻序列医学图像,K近邻算法生成的匹配正确率较高,故简洁的LMEDS算法依然保持了与RANSAC算法相似的高性能。若处理对象偏差或干扰较大,LMEDS算法性能可能随之快速下降,使用可调阈值的RANSAC算法可获得更好的性能。

图11 实验组1~5的SURF特征匹配内点数随RANSAC阈值变化情况

图12 LMEDS与RANSAC(Th=9)计算正确匹配数量

3 结论

本文选择MR序列图像作为实验研究对象,分别采用SIFT和SURF算法自动提取特征点,对比两种算法可生成特征点的数量和算法运行时间;使用特征点之间的欧式距离作为相似性判定度量,采用K最近邻法建立匹配关系;分别采用两种随机参数估计算法:随机抽样一致算法和最小中值方差估计算法得到全局最优的参数估计,从匹配中去除错误匹配,分析RANSAC阈值选择与匹配筛选之间的关系,对比两种随机参数估计算法的实验结果;在实验结果分析基础上建立一套可行的医学图像特征自动提取和配准的程序方案,为后续深入研究基于特征的医学图像配准提供了基础数据和平台条件。

[参考文献]

[1]Harris C,Stephens M.A combined corner and edge detector[A].Proceding of the Fourth Alvey Vision Conference[C].Manchester,UK,1988:147-151.

[2]Tomasi C,Kanade T.Detection and Tracking of Point Features[R].Carnegie Mellon University Technical Report CMU-CS-91-132,1991.

[3]Smith SM,Brady JM.SUSAN:A new approach to low level image Processing[J].Int J Comput Vis,1997,23(1):45-78.

[4]Lowe DG.Object recognition from local scale-invariant features[A].International Conference on Computer Vision[C].Corfu,Greece,1999:1150-1157.

[5]Lowe DG.Distinctive image features from scale-invariant keypoints[J].Int J Comput Vis,2004,60(2):91-110.

[6]Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors[C].Conf Proc Computer Vision and Pattern Recognition,2004:511-517.

[7]Mikolajczyk K,Schmid C.A performance evaluation of local descriptor[J].IEEE Trans Pattern Anal Mach Intell,2005,27(10):1615-1630.

[8]Bay H,Ess A,Tuytelaars T,et al.SURF:Speeded-up robust features[J].Comput Vis Image Underst,2008,110(3):346-359.

[9]Juan L,Gwun O.A Comparison of SIFT,PCA-SIFT and SURF[J].Int J Image Proc,2009,3(4):143-152.

[10]王如杰.基于特征融合的医学图像检索[D].南京:南京理工大学,2013.

[11]王玉亮,沈建新,廖文和.基于SIFT特征的眼底图像自动拼接[J].中国图象图形学报,2011,16(4):654-659.

[12]张少敏,支力佳,赵大哲,等.融合SIFT特征的熵图估计医学图像非刚性配准[J].中国图象图形学报,2012,17(3):412-418.

[13]余小鹏,周德翼.一种自适应k-最近邻算法的研究[J].计算机应用研究,2006,23(2):70-72.

[14]王晓哗,王正欧.K-最近邻分类技术的改进算法[J].电子与信息学报,2005,27(3):487-491.

[15]曲天伟,安波,陈桂兰.改进的RANSAC算法在图像配准中的应用[J].计算机应用,2010,30(7):1849-1851.

Research on Medical Image Matching Based on SIFT and SURF Features

Abstract:The paper adopted the matching algorithm based on characteristic points to accomplish image matching in experimental medicine.The two algorithms: scale-invariant feature transform (SIFT) and speeded up robust features (SURF) were compared in aspects of characteristic points,characteristic extraction time and matching veracity.Then the K-nearest neighbor (KNN) algorithm was used to eliminate mismatching points.The paper also carried on statistical analysis of the results of random sample consensus (RANSAC) and least median of squres (LMEDS) as well as the correlation between matching veracity and algorithms.This research established a medical image matching platform based on characteristic points in order to provide a research basis for the further research and improvement of medical image matching.

Key words:scale-invariant feature transform;speeded up robust features;image matching;K-nearest neighbor algorithm

LU Yu-wei,HU Jun
Department of Medical Engineering and Information,the Second Affiliated Hospital of Anhui Medical University,Hefei Anhui 230601,China

[中图分类号]TN911.23

[文献标识码]A

doi:10.3969/j.issn.1674-1633.2016.04.008

[文章编号]1674-1633(2016)04-0040-05

收稿日期:2015-11-11

基金项目:安徽省级质量工程项目(2015sjjd008、2015jyxm191)。

通讯作者:胡峻,安徽医科大学第二附属医院医学工程与信息部部长,正高级工程师。