形變醫(yī)學(xué)圖像配準(zhǔn)方法設(shè)計(jì)與仿真

劉云翔,陳 劍,張強(qiáng)博

(上海應(yīng)用技術(shù)大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院,上海 201418)

1 引言

如今在醫(yī)學(xué)領(lǐng)域中圖像配準(zhǔn)[1]得到了廣泛應(yīng)用,大多醫(yī)學(xué)圖像[2]在處理中都會(huì)經(jīng)過(guò)圖像配準(zhǔn)過(guò)程,它可以對(duì)不同圖像進(jìn)行拼接及融合,從融合的圖像中找尋到更加豐富的數(shù)據(jù)信息,以此幫助醫(yī)生解決疑難雜癥。在臨床手術(shù)中,臨床醫(yī)生都會(huì)依據(jù)配準(zhǔn)的圖像中取得更加詳盡的病變信息,例如2D圖像X光進(jìn)行圖像融合后能夠更好地追蹤到手術(shù)器械與人體組織相對(duì)應(yīng)的空間位置信息,這無(wú)疑給人類帶來(lái)巨大的貢獻(xiàn)。因此為了提升圖像配準(zhǔn)在醫(yī)學(xué)領(lǐng)域的應(yīng)用效果,需要對(duì)形變醫(yī)學(xué)圖像配準(zhǔn)方法進(jìn)行進(jìn)一步研究。

曹國(guó)剛[3]等人提出基于改進(jìn)頭腦風(fēng)暴優(yōu)化算法的醫(yī)學(xué)圖像匹配方法,該方法預(yù)先對(duì)需要匹配的圖像進(jìn)行分解,再采用IBSO算法對(duì)分辨率較低的圖像進(jìn)行全局配準(zhǔn),而分辨率較高的圖像則是利用搜索法進(jìn)行配準(zhǔn),將兩種算法結(jié)合,并對(duì)醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)測(cè)試,以此驗(yàn)證了結(jié)合后的算法對(duì)圖像配準(zhǔn)的精度更高,該方法的分解效果存有誤差,存在圖像配準(zhǔn)效果差的問(wèn)題。陳向前[4]等人提出基于深度學(xué)習(xí)的2D/3D醫(yī)學(xué)圖像配準(zhǔn)方法,該方法采用普通的2D/3D配準(zhǔn)方法對(duì)圖像進(jìn)行配準(zhǔn)時(shí),發(fā)現(xiàn)該方法對(duì)圖像的灰度匹配依賴性過(guò)高,導(dǎo)致配準(zhǔn)的時(shí)間長(zhǎng),針對(duì)這一不足對(duì)其進(jìn)行改進(jìn),利用深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練醫(yī)學(xué)圖像數(shù)據(jù),從中取得醫(yī)學(xué)圖像特征,并對(duì)醫(yī)學(xué)圖像中的各個(gè)參數(shù)進(jìn)行預(yù)測(cè),以此實(shí)現(xiàn)配準(zhǔn),該方法的訓(xùn)練結(jié)果不夠完善,存在圖像配準(zhǔn)時(shí)間長(zhǎng)的問(wèn)題。張家崗[5]等人提出基于深度卷積特征光流的形變醫(yī)學(xué)圖像配準(zhǔn)算法,該方法首先利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像中的特征進(jìn)行提取,并根據(jù)圖像與圖像間的差異性,利用特征差異獲取圖像光流場(chǎng)數(shù)據(jù),使圖像光流場(chǎng)與實(shí)際形變醫(yī)學(xué)圖像更加相似,以此提升了形變醫(yī)學(xué)圖像配準(zhǔn)精度,實(shí)現(xiàn)圖像配準(zhǔn)方法,該方法的特征提取效果存有欠缺,存在特征點(diǎn)的獲取結(jié)果與實(shí)際結(jié)果相差較多的問(wèn)題。

為了解決上述方法中存在的問(wèn)題,提出基于角點(diǎn)檢測(cè)與SIFT的形變醫(yī)學(xué)圖像配準(zhǔn)方法。

2 基于角點(diǎn)檢測(cè)與SIFT的圖像特征提取

2.1 醫(yī)學(xué)圖像特征點(diǎn)提取

為了提升醫(yī)學(xué)診斷效果,采用角點(diǎn)檢測(cè)與SIFT相結(jié)合的方法對(duì)中藥醫(yī)學(xué)圖像特征進(jìn)行提取。

1)尺度空間極值點(diǎn)檢測(cè)

在尺度空間中,各個(gè)尺度的搜索可以在尺度空間內(nèi)獲取[6,7],這時(shí)的尺度空間表示為:L(x,y,σ)。通常情況下,中醫(yī)藥學(xué)圖像的尺度空間定義為

L(x,y,σ)=G(x,y,σ)?I(x,y)

(1)

式中,?描述的是卷積運(yùn)算,I(x,y)描述的是中醫(yī)藥學(xué)輸入圖像,G(x,y,σ)描述的是二維高斯函數(shù)。

G(x,y,σ)也可定義為

(2)

式中,σ描述的是尺度因子,(x,y)描述的是空間坐標(biāo)點(diǎn),w描述的是權(quán)值。

由于中藥醫(yī)學(xué)圖像的L(x,y,σ)主要由I(x,y)與σ相互卷積而成,所以卷積后的圖像需要利用高斯金字塔進(jìn)行表示。

對(duì)高斯金字塔中的中藥醫(yī)學(xué)圖像設(shè)定完成后,需要檢測(cè)高斯金字塔中的極值點(diǎn),將其用作初始特征點(diǎn),便于后續(xù)對(duì)中醫(yī)藥學(xué)圖像的配準(zhǔn),極值點(diǎn)[10,11]的檢測(cè)流程如下所示:

①首先對(duì)中藥醫(yī)學(xué)圖像進(jìn)行卷積操作,從中產(chǎn)生與中藥醫(yī)學(xué)圖像相對(duì)應(yīng)的尺度空間,即G(x,y,σ)。

②利用高斯金字塔對(duì)G(x,y,σ)進(jìn)行表示,并對(duì)高斯金字塔中的鄰近層次進(jìn)行相減操作,以此形成差分高斯金字塔。

③對(duì)同一層次的2.5*2.5鄰域與鄰近2.5*2.5鄰域進(jìn)行檢測(cè),主要檢測(cè)鄰域中的極值點(diǎn)。

通過(guò)上述流程完成中藥醫(yī)學(xué)圖像極值點(diǎn)的檢測(cè),將檢測(cè)結(jié)果用作初始特征點(diǎn),并把初始特征點(diǎn)中具有高灰度差異的交點(diǎn)作為最終關(guān)鍵點(diǎn)[12]。

2)Harris角點(diǎn)生成

角點(diǎn)特征容易受到醫(yī)學(xué)圖像像素、紋理等信息的影響,導(dǎo)致不能完整地反映出角點(diǎn)特征,因此為了避免這種問(wèn)題的發(fā)生,利用向量對(duì)圖像特征點(diǎn)的方向特征進(jìn)行描述,具體表現(xiàn)如下:

①找一個(gè)2.5*2.5的鄰域窗口,該窗口的主要中心為Harris角點(diǎn),采用直方圖[13]對(duì)鄰域窗口中的中醫(yī)藥學(xué)圖像像素梯度方向進(jìn)行計(jì)算,以此獲取梯度大小及梯度方向等信息。

②直接對(duì)中醫(yī)藥學(xué)圖像像素點(diǎn)進(jìn)行生成,從而形成梯度方向直方圖,并對(duì)圖像特征點(diǎn)的正方向進(jìn)行計(jì)算。設(shè)置直方圖中的梯度范圍在0°～360°之間,將該范圍劃分成36段,其中每一段表示為10°。那么這時(shí)梯度中的加權(quán)函數(shù)wn就可以定義為:

wn=G(kx,ky,3/2σ)

(3)

③直接在直方圖中選取累加值最大的梯度方向點(diǎn),共選取三個(gè),它們也被稱作方向特征,主要用來(lái)反映角點(diǎn)特征。

通過(guò)極值點(diǎn)檢測(cè)與Harris角點(diǎn)特征的生成,可以得到基于角點(diǎn)檢測(cè)與SIFT方法的中醫(yī)藥學(xué)圖像特征點(diǎn)提取流程,表示如下:

①基于尺度空間極值點(diǎn)檢測(cè)流程之后,需要對(duì)每個(gè)初始特征點(diǎn)所對(duì)應(yīng)的Harris角點(diǎn)算子進(jìn)行計(jì)算,并對(duì)計(jì)算結(jié)果進(jìn)行排序。

②將Harris角點(diǎn)算子計(jì)算結(jié)果中的前z個(gè)點(diǎn)用作最終特征點(diǎn)。

③對(duì)z個(gè)特征點(diǎn)的方向進(jìn)行描述,以此完成對(duì)中醫(yī)藥學(xué)圖像特征點(diǎn)的提取。

3 基于深度學(xué)習(xí)的形變醫(yī)學(xué)圖像配準(zhǔn)方法

深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)可以更好地對(duì)中藥醫(yī)學(xué)圖像進(jìn)行配準(zhǔn),因此,構(gòu)建一個(gè)深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型,該模型的具體流程如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)模型配準(zhǔn)流程

圖2 醫(yī)學(xué)圖像

卷積神經(jīng)網(wǎng)絡(luò)[14]模型會(huì)根據(jù)角點(diǎn)檢測(cè)與SIFT方法提取的中醫(yī)藥學(xué)圖像特征對(duì)醫(yī)學(xué)圖像進(jìn)行預(yù)測(cè),以此獲取圖像中的各個(gè)參數(shù)。該模型相當(dāng)于一個(gè)專家系統(tǒng),對(duì)圖像各項(xiàng)參數(shù)獲取后會(huì)依據(jù)患者的具體病癥,直接輸出與其對(duì)應(yīng)的藥方,在實(shí)現(xiàn)形變醫(yī)學(xué)圖像配準(zhǔn)的同時(shí)還可以達(dá)到藥方輸出的效果,具體表現(xiàn)如下所示:

把角點(diǎn)檢測(cè)與SIFT方法提取的中醫(yī)藥學(xué)圖像特征輸入到卷積神經(jīng)網(wǎng)絡(luò)模型中,對(duì)形變醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)時(shí),需要對(duì)提取的特征進(jìn)行訓(xùn)練,同時(shí)還要對(duì)不同的損失函數(shù)進(jìn)行優(yōu)化,以此降低圖像之間的差異,提升最終匹配效果。

1)損失函數(shù)

(4)

對(duì)中藥醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)時(shí),共有兩種匹配方式。第一種是對(duì)正確的中醫(yī)藥學(xué)圖像進(jìn)行匹配,而第二種是對(duì)非正確的中醫(yī)藥學(xué)圖像進(jìn)行匹配。所以在醫(yī)學(xué)圖像特征匹配網(wǎng)絡(luò)中,特征匹配的損失函數(shù)用Ldescriptor進(jìn)行表示,其方程表達(dá)式定義如下

(5)

式中,DISpositive描述的是正確的中醫(yī)藥學(xué)圖像匹配差異,DISnegative描述的是非正確的中醫(yī)藥學(xué)圖像匹配差異,E描述的是圖像到中心點(diǎn)的歐氏距離。

根據(jù)式(4)、式(5)可以得知,當(dāng)非正確中醫(yī)藥學(xué)圖像匹配期間的歐式距離E小于設(shè)定閾值,就需要對(duì)中醫(yī)藥學(xué)圖像進(jìn)行掩模。

2)形變醫(yī)學(xué)圖像配準(zhǔn)

將基于角點(diǎn)檢測(cè)與SIFT結(jié)合方法提取到的中藥醫(yī)學(xué)圖像特征輸入到構(gòu)建的模型中,可以有效提升形變醫(yī)學(xué)圖像的配準(zhǔn)精度,同時(shí)也能夠優(yōu)化圖像特征提取及配準(zhǔn)效果。

當(dāng)一個(gè)待配準(zhǔn)的中藥醫(yī)學(xué)圖像輸入到模型中時(shí),根據(jù)提取的特征點(diǎn)對(duì)像素點(diǎn)為30×30的中藥醫(yī)學(xué)圖像進(jìn)行裁剪,這時(shí)把該圖像的輸入特征匹配點(diǎn)對(duì)裁剪后的圖像進(jìn)行匹配。利用損失函數(shù)對(duì)特征點(diǎn)進(jìn)行訓(xùn)練,以此實(shí)現(xiàn)對(duì)Ldetector與Ldescriptor的優(yōu)化,從而降低中醫(yī)藥學(xué)圖像的錯(cuò)誤匹配率,完成形變醫(yī)學(xué)圖像的配準(zhǔn)。

4 實(shí)驗(yàn)與分析

為了驗(yàn)證基于角點(diǎn)檢測(cè)與SIFT的形變醫(yī)學(xué)圖像配準(zhǔn)方法的整體有效性,需要對(duì)該方法進(jìn)行對(duì)比測(cè)試。采用基于角點(diǎn)檢測(cè)與SIFT的形變醫(yī)學(xué)圖像配準(zhǔn)方法(方法1)、基于改進(jìn)頭腦風(fēng)暴優(yōu)化算法的醫(yī)學(xué)圖像配準(zhǔn)方法(方法2)和基于深度學(xué)習(xí)的2D/3D醫(yī)學(xué)圖像配準(zhǔn)研究方法(方法3)進(jìn)行對(duì)比測(cè)試。

1)選取一張大小相等的醫(yī)學(xué)圖像,對(duì)其進(jìn)行尺度、旋轉(zhuǎn)、平移等變換后,采用方法1、方法2和方法3分別對(duì)該圖像的特征點(diǎn)進(jìn)行獲取,根據(jù)獲取結(jié)果與實(shí)際值進(jìn)行對(duì)比,以此驗(yàn)證該方法的圖像配準(zhǔn)效果。

分析圖3中的數(shù)據(jù)發(fā)現(xiàn),三種方法在各個(gè)時(shí)間段內(nèi)所獲取的特征點(diǎn)都有所不同。但整個(gè)測(cè)試期間,方法1與實(shí)際值的特征點(diǎn)始終保持一致,而其余兩種方法特征點(diǎn)上下浮動(dòng)較大,與實(shí)際值相差較遠(yuǎn),由此可見(jiàn)方法1的特征點(diǎn)與實(shí)際值相同,驗(yàn)證了方法1的醫(yī)學(xué)圖像配準(zhǔn)效果最優(yōu)。

圖3 特征點(diǎn)與實(shí)際特征點(diǎn)的對(duì)比測(cè)試

2)采用方法1、方法2和方法3對(duì)醫(yī)學(xué)圖像進(jìn)行配準(zhǔn),將配準(zhǔn)結(jié)果與實(shí)際配準(zhǔn)結(jié)果進(jìn)行比較,配準(zhǔn)結(jié)果與實(shí)際結(jié)果越相近,說(shuō)明該方法的配準(zhǔn)結(jié)果準(zhǔn)確率越高,反之則越低,測(cè)試結(jié)果如圖4所示。

圖4 配準(zhǔn)結(jié)果測(cè)試

根據(jù)圖4可知,方法1的匹配結(jié)果與實(shí)際匹配結(jié)果相同,表明方法1的配準(zhǔn)精度最高。而方法2進(jìn)行配準(zhǔn)時(shí),有一處位置圖像沒(méi)有配準(zhǔn)成功,說(shuō)明方法2的配準(zhǔn)效果較差,而方法3進(jìn)行配準(zhǔn)時(shí),與實(shí)際圖像相比,方法3的圖像配準(zhǔn)位置有三處沒(méi)有配準(zhǔn)成功,說(shuō)明三種方法中方法3的配準(zhǔn)效果最差、配準(zhǔn)準(zhǔn)確率最低。

綜上所述,方法1的配準(zhǔn)效果與實(shí)際結(jié)果更為相似,這是因?yàn)榉椒?提取了醫(yī)學(xué)圖像特征點(diǎn),以此提升了方法1的配準(zhǔn)效果,同時(shí)提高了方法1的配準(zhǔn)準(zhǔn)確率。

3)基于上述實(shí)驗(yàn),采用方法1、方法2和方法3分別對(duì)形變醫(yī)學(xué)圖像的配準(zhǔn)時(shí)間進(jìn)行測(cè)試,測(cè)試結(jié)果如圖5所示。

圖5 配準(zhǔn)時(shí)間測(cè)試

分析圖5中的數(shù)據(jù)發(fā)現(xiàn),對(duì)圖像進(jìn)行配準(zhǔn)時(shí),方法1、方法2與方法3的初始時(shí)間均不相同,可明顯發(fā)現(xiàn),方法1的初始配準(zhǔn)時(shí)間要低于其余兩種方法,而后上升速度運(yùn)動(dòng)軌跡較慢,配準(zhǔn)時(shí)間持續(xù)低于方法2和方法3,表明方法1的配準(zhǔn)時(shí)間最短,配準(zhǔn)速度最快。

5 結(jié)束語(yǔ)

針對(duì)形變醫(yī)學(xué)圖像配準(zhǔn)方法存在的問(wèn)題,提出基于角點(diǎn)檢測(cè)與SIFT的形變醫(yī)學(xué)圖像配準(zhǔn)方法。該方法采用角點(diǎn)檢測(cè)與SIFT結(jié)合的方法提取醫(yī)學(xué)圖像特征點(diǎn),通過(guò)構(gòu)建深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)中藥醫(yī)學(xué)圖像進(jìn)行配準(zhǔn),實(shí)現(xiàn)形變醫(yī)學(xué)圖像配準(zhǔn)方法。該方法在醫(yī)學(xué)圖像配準(zhǔn)方法中占據(jù)著重要地位,為今后的醫(yī)學(xué)圖像配準(zhǔn)方法奠定了重要基礎(chǔ)。