基于局部方差的醫(yī)學(xué)圖像配準(zhǔn)模型

王金澤

（華北電力大學(xué)控制與計算機(jī)工程學(xué)院，北京，102206）

0 引言

傳統(tǒng)的醫(yī)學(xué)影像科室已經(jīng)無法滿足患者的診療需求，基于醫(yī)學(xué)影像的病理分析、病灶的診斷是一個需要大量的閱片經(jīng)驗支持的工作，由于不同醫(yī)生對于影像理解存在主觀差異性，并且缺乏定量的分析，導(dǎo)致在診斷時存在一定偏差。醫(yī)學(xué)圖像配準(zhǔn)是數(shù)字醫(yī)學(xué)圖像智能分析處理的重要環(huán)節(jié)，指將兩幅或多幅圖像的相同解剖結(jié)構(gòu)、區(qū)域進(jìn)行變換，使之達(dá)到空間上的匹配，建立解剖結(jié)構(gòu)一致性，為精確的圖像信息獲取以及深入的量化研究提供保障?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)憑借其參數(shù)共享，效率高等優(yōu)點成為了近年來的研究熱點。Guha等人提出配準(zhǔn)框架VoxelMorph[1]，實現(xiàn)了體素到體素的無監(jiān)督配準(zhǔn)。Mok[2]等人受到傳統(tǒng)配準(zhǔn)方法SyN[3]的啟發(fā)，提出一種對稱微分同胚圖像配準(zhǔn)網(wǎng)絡(luò)SYM-Net，該網(wǎng)絡(luò)考慮參考圖像與浮動圖像之間的逆映射，保證了圖像的拓?fù)浔３中耘c變換可逆性。

然而，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)存在局部形變配準(zhǔn)效果差、魯棒性差、抗噪聲能力弱等缺陷，通過分析發(fā)現(xiàn)造成此現(xiàn)象的原因是由于訓(xùn)練樣本不均衡所導(dǎo)致。針對這個問題，本文參考目標(biāo)檢測領(lǐng)域的樣本均衡機(jī)制，以圖像的局部方差作為樣本難易程度的評價指標(biāo)，對無監(jiān)督配準(zhǔn)模型中的損失函數(shù)進(jìn)行改進(jìn)，以體素塊為單位對困難樣本施加權(quán)重，加強(qiáng)對于局部形變的學(xué)習(xí)能力，從而提升深度學(xué)習(xí)配準(zhǔn)模型的精度。

1 相關(guān)理論

■1.1 深度學(xué)習(xí)配準(zhǔn)模型Voxelmorph

圖1 Voxelmorph配準(zhǔn)流程

■1.2 樣本均衡機(jī)制

對于深度學(xué)習(xí)而言，數(shù)據(jù)集的質(zhì)量直接影響到模型的學(xué)習(xí)程度，然而大多數(shù)算法在設(shè)計過程中都假設(shè)訓(xùn)練樣本的分布情況是均勻的，因此將這些算法應(yīng)用到實際數(shù)據(jù)中時，常常會遇到訓(xùn)練樣本不均衡導(dǎo)致模型泛化性差的問題，該現(xiàn)象在單階段目標(biāo)檢測領(lǐng)域尤為明顯， Li[6]等人將其總結(jié)為訓(xùn)練樣本難易程度不均衡，大量的簡單樣本會主導(dǎo)梯度會使得模型識別精度降低，針對此問題，Li等人在經(jīng)典的交叉熵?fù)p失函數(shù)(CE Loss)上進(jìn)行改進(jìn)，提出Focal Loss，其核心思想為對樣本建立難易指標(biāo)，并根據(jù)難易指標(biāo)設(shè)置權(quán)重因子，減小簡單樣本對于總Loss的貢獻(xiàn)，以達(dá)到樣本均衡的目的。

■1.3 局部方差

局部方差[7](Local Variance，LV)是醫(yī)學(xué)圖像領(lǐng)域經(jīng)典的評估方法，能夠體現(xiàn)圖像的結(jié)構(gòu)信息，單幅圖像的局部方差的計算過程如公式(1)所示：

2 基于局部方差加權(quán)的損失函數(shù)FMSE-LV

基于無監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)存在大部分樣本形變較為簡單、易學(xué)習(xí)，而復(fù)雜形變樣本數(shù)量少的特點，使得模型在處理復(fù)雜性變時往往效果不理想。因此本文參考Focal Loss的思路，對所有訓(xùn)練樣本以難易為標(biāo)準(zhǔn)建立評價指標(biāo)，并設(shè)計權(quán)重因子來為困難樣本添加權(quán)重。無監(jiān)督配準(zhǔn)模型的損失函數(shù)由圖像相似性測度以及變形場平滑性約束組成，其中相似性測度損失函數(shù)常用經(jīng)典的均方誤差LMSE懲罰變形后圖像與參考圖像間的相似度，LMSE如公式(2)所示。

LMSE能夠指導(dǎo)模型在訓(xùn)練中更新參考圖像與浮動圖像之間的灰度差異，從而使得其相似性測度達(dá)到最高，是較為廣泛使用的一種損失函數(shù)。然而，單個體素塊的灰度差異由于其不能夠體現(xiàn)結(jié)構(gòu)信息，存在錯誤匹配，對噪聲敏感等缺陷，使得其無法正確反饋變形場的形變難度?？紤]到局部方差具有體現(xiàn)空間鄰域性的特點，本文對原LV函數(shù)進(jìn)行改進(jìn)，改進(jìn)成為適用于配準(zhǔn)問題的局部方差函數(shù)RLV，如公式(3)所示：

從公式(4)可以看出，權(quán)重ω可以根據(jù)局部方差平滑地調(diào)節(jié)體素塊樣本對于總Loss的貢獻(xiàn)值，為困難樣本增加訓(xùn)練權(quán)重，加強(qiáng)模型對于局部形變的學(xué)習(xí)能力。此外，融合了局部方差后的損失函數(shù)由于考慮了鄰域體素塊的灰度信息，使得在配準(zhǔn)過程中體素塊錯誤匹配的幾率降低并且具有較好的抗噪聲能力。

3 實驗與分析

■3.1 數(shù)據(jù)集

本文選取公開數(shù)據(jù)集Mindboggle-101[9]中的80張3D腦部MRI圖像進(jìn)行實驗，將全部圖像進(jìn)行預(yù)處理操作，包括像素值以及亮度歸一化、體素間距統(tǒng)一等，并裁剪成160×192×160的尺寸，使用OASIS-30中的Atlas圖像作為參考圖像，其他圖像作為浮動圖像進(jìn)行訓(xùn)練，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)比例為0.75:0.25。

■3.2 實驗環(huán)境與參數(shù)設(shè)置

本文的實驗在Linux操作系統(tǒng)上進(jìn)行，GPU使用NVIDIA/GeForce RTX 2080 Ti，內(nèi)存為16GB，模型基于Pytorch框架編寫，所有實驗均使用Adam優(yōu)化器，以3e-4學(xué)習(xí)率進(jìn)行模型訓(xùn)練， Batch_Size設(shè)為1，局部方差的鄰域窗口n大小設(shè)置為3，調(diào)節(jié)速率的因子σ設(shè)置為0.3，訓(xùn)練次數(shù)為5000次，共訓(xùn)練7小時。

■3.3 實驗結(jié)果

為了更好地驗證算法的有效性，本文從圖像相似性測度，標(biāo)簽重疊度、變形場折疊程度三個方面進(jìn)行評測，其中圖像相似性測度使用互相關(guān)系數(shù)(CC)，標(biāo)簽重疊度使用經(jīng)過專業(yè)手工標(biāo)注的大腦皮質(zhì)區(qū)域標(biāo)記之間的Dice系數(shù)，Dice和CC越高，代表圖像配準(zhǔn)結(jié)果越好。在變形場折疊度方面，使用雅克比行列式(Jac)中值為負(fù)數(shù)的體素塊比例作為評價指標(biāo)，Jac為負(fù)數(shù)的體素塊數(shù)量越少，代表變形場越接近實際情況。分別將本文算法結(jié)果與傳統(tǒng)仿射配準(zhǔn)和未添加權(quán)重的MSE作為損失函數(shù)的深度學(xué)習(xí)算法進(jìn)行對比，結(jié)果如表1所示。

表1 不同配準(zhǔn)方法結(jié)果對比

從表1可以看出，在標(biāo)簽重疊度與相似性測度方面，本文算法在Dice與CC兩個評價指標(biāo)上都有所提升，在變形場折疊程度方面，本文算法得到的變形場的Jac負(fù)值比例較MSE僅提升了0.005%，說明為MSE添加了權(quán)重因子后，對模型預(yù)測的變形場質(zhì)量并沒有明顯的影響，圖2分別展示了測試集中某張病例的參考圖像、浮動圖像、MSE配準(zhǔn)結(jié)果以及本文算法配準(zhǔn)結(jié)果，可以看出，本文算法在局部細(xì)節(jié)(標(biāo)注位置)的配準(zhǔn)上更加接近于參考圖像。

圖2 配準(zhǔn)結(jié)果對比

4 結(jié)論

本文通過對深度學(xué)習(xí)模型中的優(yōu)化策略展開深入研究，將局部方差的空間鄰域性以樣本均衡機(jī)制加權(quán)的方式融入到MSE損失函數(shù)中，借助局部方差的結(jié)構(gòu)信息引導(dǎo)權(quán)重配置，從而使所有訓(xùn)練樣本的權(quán)重得到均衡分配，提升模型對于局部形變的學(xué)習(xí)能力，改善配準(zhǔn)精度。然而由于在設(shè)置權(quán)重的過程中添加了超參數(shù)，使得模型在訓(xùn)練時缺乏一定的靈活性，后續(xù)工作將考慮設(shè)計出能夠通過圖像內(nèi)部信息自適應(yīng)調(diào)節(jié)權(quán)重的方法。