基于超像素重建的多尺度B樣條醫(yī)學(xué)圖像配準

劉 晨， 張龍波， 王 雷， 盧海濤

(山東理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 山東 淄博 255049)

0 引 言

醫(yī)學(xué)圖像配準是指采用適當(dāng)?shù)目臻g變換方法，使一幅醫(yī)學(xué)圖像與另一幅醫(yī)學(xué)圖像上的對應(yīng)點達到空間上的一致，或至少是具有診斷意義的點及手術(shù)感興趣的點都達到匹配的技術(shù)[1]，是近年來醫(yī)學(xué)圖像處理領(lǐng)域中的關(guān)鍵技術(shù)之一，具有很高的臨床和實踐意義。

目前醫(yī)學(xué)圖像配準主要分為剛性醫(yī)學(xué)圖像配準和非剛性醫(yī)學(xué)圖像配準2類。剛性配準領(lǐng)域，目前應(yīng)用較多的是基于特征的圖像配準方法[2-4]。非剛性醫(yī)學(xué)圖像配準是醫(yī)學(xué)圖像配準的重要分支，也是當(dāng)前醫(yī)學(xué)圖像配準領(lǐng)域的熱點和難點[5]。當(dāng)前常見的非剛性配準方法有基于樣條的配準方法[7]、彈性配準模型和光流場模型[8]等。由于醫(yī)學(xué)圖像的大部分研究對象都是非剛性的，在非剛性形變過程中具有局部形變存在，而B樣條[9-10]由于具有很好的局部控制性，一個控制點的移動只影響到相鄰的控制點，與其它控制點無關(guān)，一個控制點移動只對圖像局部產(chǎn)生影響，不會對整體圖像形變產(chǎn)生影響。

但如果待配準圖像與參考圖像之間存在較大的仿射變換時，基于B樣條的算法存在局部極值問題，導(dǎo)致配準失敗。針對這一問題本文結(jié)合SIFT與B樣條算法，提出了基于超分辨率重建的多尺度B樣條配準算法。

1 算法框架

首先通過SIFT對醫(yī)學(xué)圖像進行仿射變換，然后利用高斯金字塔對圖像進行尺度變換，得到低尺度下的圖像，用該圖像進行B樣條配準后最后經(jīng)過超分辨率重建還原到原始圖像分辨率大小，該算法不僅減少了配準時間同時也保證了圖像質(zhì)量。算法流程如圖1所示。

圖1 本文算法流程圖

2 SIFT配準

SIFT是文獻[11]提出的一種基于特征的圖像配準算法，該方法在尺度縮放、光照變化、圖像旋轉(zhuǎn)和仿射變換等條件下都能獲得良好的匹配結(jié)果。

SIFT算法的主要步驟包括：

(1)提取2幅圖像的SIFT特征點；

(2)匹配這些特征點；

(3)通過匹配的特征點計算仿射變換矩陣；

(4)對需要配準的圖像進行仿射變換。

為了讓計算機在不同的圖像尺度下感知是同一物體，需要讓計算機預(yù)先知道圖片在不同視覺程度上的信息。在實際中如果離物體遠，則在視覺上感覺很小，隨著距離的縮小，視覺上就逐漸變大，最后變模糊，所以可以用高斯核函數(shù)來描述這一過程。

用9個尺度不同的高斯掩模分別對中值濾波之后的圖像卷積，得到9種在不同高斯掩模處理的圖片，利用的高斯掩模函數(shù)如下：

(1)

其中，Gi(x,y)代表第i個高斯掩模；Ki表示第i個高斯掩模的權(quán)值；σi表示第i個高斯掩模的標準差。

然后將2個相鄰尺度的高斯圖像相減，得到高斯差分(difference of gaussian,DoG)的多尺度空間。在DoG尺度空間金字塔中，如果一個點的值是上下2層26個近鄰像素值的最大或最小值，就認為該點是該尺度的一個特征點，特征點所在16×16鄰域內(nèi)像素梯度方向峰值為其主方向。以特征點為中心取16×16的窗口，分成16個4×4的子塊，每個子塊上統(tǒng)計8個梯度方向可以得到SIFT的128維的特征向量。

圖2為顱腦核磁共振圖像配準過程中獲取SIFT特征向量的結(jié)果。

圖2 特征匹配和向量生成

3 B樣條配準方法

B樣條配準算法的思想就是通過控制一個覆蓋在二維圖像上的控制點網(wǎng)絡(luò)，使圖像產(chǎn)生形變。由于B樣條具有良好的局部形變模擬效果，可以使二維圖像上的某些控制點移動只影響其附近的點，避免了重復(fù)的全局計算，減少了時間花費。

將二維圖像表示為Q={(x,y)|0≤x≤X,0≤y≤Y}，網(wǎng)格中每一個網(wǎng)絡(luò)交叉點代表一個控制點。假定在X方向上網(wǎng)格間距為δx，共有nx個控制點，Y方向上的網(wǎng)格間距為δy，共有ny個控制點，則單個控制點記為φi,j=(0≤i≤nx,0≤j≤ny)，用向量Φ表示整個控制點網(wǎng)格，Φ的維數(shù)是2nxny。對于待配準圖像中的每個控制點，設(shè)其在周圍4個控制點網(wǎng)格范圍內(nèi)移動，每移動到一個新位置，根據(jù)B樣條理論，相應(yīng)網(wǎng)絡(luò)中的點(x,y)移動到新的位置(x+Δx,y+Δy)，其位移量(Δx,Δy)T可表示為：

基于精確度和時間上的考慮，這里選取3次B樣條基函數(shù)，表達式如下：

B樣條由于其具有局部支撐性，在計算偏移量的過程中只與該控制點周圍4×4個控制點有關(guān)，控制點φi,j位置的改變影響的僅是該控制點周圍網(wǎng)格區(qū)域內(nèi)臨近點的位移情況，而圖像中其它區(qū)域的控制點則不受該控制點移動的影響。

4 基于深度學(xué)習(xí)的超分辨率重建

為了更好地捕捉輪廓信息，可以將原始圖像多尺度變換后選擇小尺度圖像作為圖像配準的輸入，然后將小尺度(降采樣)的圖像進行B樣條配準后，再利用深度學(xué)習(xí)進行超像素重建[12-13]恢復(fù)到以前的分辨率大小。

4.1 超分辨率重建問題描述

單張圖像超分重建問題的解決可以被闡述成：輸入低分影像，通過對一系列高低分影像對的學(xué)習(xí)，生成重建后的高分影像。每一個高分圖像塊的生成不僅和相對應(yīng)的低分圖像塊有關(guān)，還和相鄰的高分圖像塊有關(guān)。前者決定準確性，后者決定局部兼容性和平滑性。為了滿足以上設(shè)想，算法具有3個屬性：

(1)每一個高分塊都與多個轉(zhuǎn)化方式(訓(xùn)練集中學(xué)習(xí)中得來)相對應(yīng)；

(2)局部低分塊之間的關(guān)系應(yīng)該在高分集中體現(xiàn)出來；

(3)高分集中的相鄰塊通過重疊約束來增強局部的兼容性和平滑性。

4.2 基于ResNet網(wǎng)絡(luò)的超像素重建

深度可分離卷積(Xception)[14-15]技術(shù)自CVPR 2017(Computer Vision and Pattern Recognition) 后便受到了廣泛的關(guān)注。Inception模塊結(jié)構(gòu)在深度學(xué)習(xí)技術(shù)中已是眾人皆知的，其在ImageNet上頻頻取得的突破和成果也是令人矚目的。Inception模塊通過組合不同卷積核和池化等結(jié)構(gòu)，以更少的參數(shù)和計算量就能學(xué)習(xí)到豐富的特征表示。

Xception模型的思想是：先使用1*1的卷積核將特征圖的各個通道映射到一個新的空間，在這一過程中學(xué)習(xí)通道間的相關(guān)性；再通過常規(guī)的3*3或5*5的卷積核進行卷積運算，來同時學(xué)習(xí)空間上的相關(guān)性和通道間的相關(guān)性。此時的3*3或5*5的卷積運算仍是多通道輸入的，如果將所有的3*3或5*5的卷積核都作用在只有一個通道的特征圖上，這樣通道間的相關(guān)性和空間上的相關(guān)性就達到了完全分離的效果。

深度可分離卷積方式如圖3所示。首先進行通道的空間卷積，然后進行1*1的卷積，之后輸出。值得注意的是，用于學(xué)習(xí)通道間相關(guān)性的卷積與用于學(xué)習(xí)空間相關(guān)性的卷積之間不需要加入任何的激活函數(shù)。

圖3 Xception模塊[15]

5 實驗結(jié)果及分析

5.1 實驗環(huán)境

本次實驗的軟件環(huán)境在matlab 2018a中進行，硬件配置28核心，56線程，內(nèi)存大小為64 G，GPU為4塊GTX1080TI 11G。對2幅頭部圖像進行配準，參考圖像和浮動圖像分辨率為598×598，如圖4所示。

圖4 參考圖像(左)與浮動圖像(右)

5.2 實驗過程

首先，把2幅測試圖像輸入，進行SIFT仿射變換，結(jié)果如圖5所示。

圖5 參考圖像(左)與SIFT配準結(jié)果(右)

由圖5可以看出，雖然對圖像進行了旋轉(zhuǎn)、尺度等變化，但局部形變依然沒有得到很好的配準。將經(jīng)過SIFT特征配準后的圖像作為基于深度學(xué)習(xí)的B樣條配準的輸入，同時也作為傳統(tǒng)B樣條配準的輸入，最后對比二者與原圖的NMI(互信息)和SSIM(結(jié)構(gòu)相似性)作為評價指標。

由圖6(a)可知，由于圖像存在較大仿射變換，傳統(tǒng)B樣條局部會嚴重扭曲，導(dǎo)致配準失敗。圖5(c)為多尺度B樣條配準結(jié)果，雖然在形變上做到了配準的要求，但是由于多尺度和降采樣的原因使得圖像模糊不清。圖(d)基于深度學(xué)習(xí)的配準算法，通過超像素重建，圖像在清晰度上獲得了較大質(zhì)量的提升，實驗結(jié)果見表1。

圖6 實驗結(jié)果對比

配準算法SSIMNMI直接B樣條0.4020.433多尺度B樣條0.8741.759本文算法0.8751.868

6 結(jié)束語

針對醫(yī)學(xué)采集的圖像中同時存在剛性形變和非剛性形變的圖像配準問題，本文提出基于超像素重建的多尺度B樣條配準方法。實驗證明，該方法在提高配準魯棒性的同時，提高了圖像質(zhì)量。