基于無監(jiān)督深度學(xué)習(xí)的心臟PET/CT和MRI圖像配準(zhǔn)

毋曉萌，劉帥，霍力，趙錫海，尚斐

1.北京理工大學(xué)生命學(xué)院，生物醫(yī)學(xué)工程系，北京 100081；2.中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)學(xué)院，北京協(xié)和醫(yī)院核醫(yī)學(xué)科，北京 100730；3.清華大學(xué)醫(yī)學(xué)院，生物醫(yī)學(xué)工程系，生物醫(yī)學(xué)影像研究中心，北京 100084；*通信作者 尚斐 bit552sf@bit.edu.cn

MRI和PET已廣泛應(yīng)用于心臟疾病的檢測(cè)和診斷[1-3]，其中MRI可以提供心臟高分辨率的結(jié)構(gòu)信息，PET可以實(shí)現(xiàn)心肌活性、血流灌注和代謝的定量評(píng)估。目前，核醫(yī)學(xué)常用的影像設(shè)備為PET/CT，而PET/MRI由于成本較高，無法在各級(jí)醫(yī)療機(jī)構(gòu)普及[4]。聯(lián)合MRI和PET/CT成像評(píng)估病情時(shí)，兩種技術(shù)得到的圖像會(huì)因定位不同、呼吸運(yùn)動(dòng)和心跳的影響而產(chǎn)生差異。因此，實(shí)現(xiàn)非同機(jī)MRI和PET多模態(tài)圖像配準(zhǔn)對(duì)于準(zhǔn)確診斷心臟疾病具有重要意義[5-6]。

傳統(tǒng)的配準(zhǔn)方法主要包括基于特征的配準(zhǔn)和基于灰度相似性的配準(zhǔn)[7-8]，相應(yīng)的工具包Elastix[9]等已廣泛應(yīng)用于醫(yī)學(xué)圖像的配準(zhǔn)。近年來，深度學(xué)習(xí)逐漸應(yīng)用于醫(yī)學(xué)圖像配準(zhǔn)領(lǐng)域[10]。早期研究主要通過深度學(xué)習(xí)網(wǎng)絡(luò)提取圖像間的相似性度量，而形變場(chǎng)的求解則在傳統(tǒng)配準(zhǔn)框架下進(jìn)行[11-12]，未能充分發(fā)揮神經(jīng)網(wǎng)絡(luò)在配準(zhǔn)中的優(yōu)勢(shì)。隨后，有研究者采用有監(jiān)督的神經(jīng)網(wǎng)絡(luò)求解形變場(chǎng)，將求解的形變場(chǎng)與真實(shí)形變場(chǎng)間的誤差作為損失函數(shù)進(jìn)行模型訓(xùn)練[13-14]。鑒于在圖像配準(zhǔn)中，真實(shí)的形變場(chǎng)通常難以獲得，Balakrishnan等[15]提出無監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)——Voxelmorph。該方法采用圖像間的灰度相似性作為損失函數(shù)，實(shí)現(xiàn)了不同人腦部T1WI圖像和標(biāo)準(zhǔn)腦的配準(zhǔn)。目前，國內(nèi)外研究多關(guān)注腦部MRI和PET圖像的配準(zhǔn)[16-17]，鮮有學(xué)者研究心臟MRI和PET圖像配準(zhǔn)。心臟圖像易受心跳和呼吸運(yùn)動(dòng)的影響，配準(zhǔn)會(huì)變得更加復(fù)雜。因此，本研究針對(duì)上述問題，提出了一種基于無監(jiān)督深度學(xué)習(xí)的配準(zhǔn)方法，為臨床聯(lián)合MRI和PET成像進(jìn)行心臟疾病的鑒別診斷提供技術(shù)基礎(chǔ)。

1 資料與方法

1.1 研究對(duì)象 實(shí)驗(yàn)數(shù)據(jù)來源于清華大學(xué)與北京協(xié)和醫(yī)院合作項(xiàng)目[18]。研究納入30例男性受試者[年齡36～74歲，平均（51.6±11.1）歲]的MRI和PET/CT數(shù)據(jù)，圖像參數(shù)與示例圖像見表1、圖1。

表1 基于無監(jiān)督深度學(xué)習(xí)的心臟MRI及PET/CT圖像參數(shù)

圖1 基于無監(jiān)督深度學(xué)習(xí)的心臟MRI及PET/CT采集得到的示例圖像。A.CT橫軸位圖像；B.MRI定位像橫軸位圖像；C.CINE短軸位圖像；D.PET橫軸位圖像；CINE：MRI心臟電影成像

MRI檢查在清華大學(xué)生物醫(yī)學(xué)影像研究中心采用飛利浦Achieva TX 3.0T MRI和32通道心臟線圈完成。MRI包括定位像及心臟電影成像（CINE）序列。CINE序列掃描參數(shù)：TR 3.2 ms，TE 1.6 ms，視野320 mm×320 mm，翻轉(zhuǎn)角40°。

PET/CT圖像采集在北京協(xié)和醫(yī)學(xué)院核醫(yī)學(xué)科完成，采用賽諾聯(lián)合醫(yī)療PoleStar m660 PET/CT掃描儀進(jìn)行成像檢查。每例患者完成低劑量CT掃描（管電壓120 kV，管電流140 mA）后，靜脈注射11C-乙酸鹽740 MBq，隨后進(jìn)行40 min PET掃描。所有PET數(shù)據(jù)均進(jìn)行必要的校正，采用有序子集最大期望值法和飛行時(shí)間方法進(jìn)行非門控圖像重建，共重建出53個(gè)時(shí)刻的圖像（15×10 s、15×30 s、16×60 s和7×120 s）。在PET重建的53個(gè)時(shí)刻中，將第17個(gè)到第24個(gè)時(shí)刻平均后的PET圖像作為待配準(zhǔn)圖像。由1名具有10年以上臨床經(jīng)驗(yàn)的放射科主治醫(yī)師在CINE不同時(shí)相的圖像中選擇與PET圖像在結(jié)構(gòu)上具有較高相似性的圖像進(jìn)行配準(zhǔn)。

1.2 配準(zhǔn)方法

1.2.1 配準(zhǔn)流程 本研究的配準(zhǔn)流程見圖2，主要包括全局配準(zhǔn)和局部配準(zhǔn)兩個(gè)步驟。全局配準(zhǔn)利用MRI定位像與CT的平移矩陣和MRI定位像與CINE圖像的坐標(biāo)變換矩陣，消除非同機(jī)MRI和PET圖像之間定位和軸位的差異，局部配準(zhǔn)采用無監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)獲得短軸位PET/CT融合圖像與CINE圖像之間的形變場(chǎng)，最終實(shí)現(xiàn)不同模態(tài)圖像間心臟的精確配準(zhǔn)。

圖2 基于無監(jiān)督深度學(xué)習(xí)的心臟MRI及PET/CT圖像配準(zhǔn)流程。CINE：MRI心臟電影成像

1.2.2 預(yù)處理 采用先腐蝕后膨脹的形態(tài)學(xué)方法去除CT圖像上的掃描床，通過3次B樣條插值將MRI定位像、CT 和PET 圖像統(tǒng)一至相同的圖像尺寸（256×256）、分辨率（1.25 mm×1.25 mm）和層間厚度（2 mm）；隨后，分別對(duì)CINE、CT和PET圖像進(jìn)行中值濾波；最后將所有圖像的灰度歸一化到[0,255]。

1.2.3 全局配準(zhǔn) 全局配準(zhǔn)解決CINE圖像與PET圖像間定位和軸位的不同。MRI定位像與CINE圖像定位相同，CT和PET圖像定位相同，因此可以利用MRI定位像和CT圖像作為媒介實(shí)現(xiàn)CINE圖像與PET圖像的配準(zhǔn)。然而，MRI定位像與CINE圖像的軸位不同，需通過坐標(biāo)變換矩陣R進(jìn)行坐標(biāo)變換。對(duì)MRI定位像和CT圖像采用基于互信息最大化的三維配準(zhǔn)，可得到平移矩陣S。最終得到位置變換矩陣M=S×R，將M分別作用于CT和PET圖像，即得到與CINE圖像位置一致的短軸位CT和PET圖像。

1.2.4 局部配準(zhǔn) 在CINE圖像上選取圖像大小為144×144×9的心臟區(qū)域，并將區(qū)域信息同時(shí)應(yīng)用于CT和PET圖像。由于CT圖像心外膜邊緣清晰，但無法顯示心內(nèi)膜；PET圖像心肌與血池對(duì)比明顯，但心肌邊界較為模糊。因此，將CT和PET圖像等比例融合作為待配準(zhǔn)圖像，增加待配準(zhǔn)圖像的細(xì)節(jié)信息。隨后，采用無監(jiān)督深度學(xué)習(xí)計(jì)算CINE圖像與融合圖像之間的形變場(chǎng)，實(shí)現(xiàn)CINE和PET圖像中心臟的配準(zhǔn)。由于全局配準(zhǔn)已經(jīng)實(shí)現(xiàn)了層面的配準(zhǔn)，因此在形變場(chǎng)的求解中僅考慮X、Y方向的形變。

深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)采用Voxelmorph網(wǎng)絡(luò)結(jié)構(gòu)，卷積核大小為3×3×3，卷積步長為2×2×1，激活函數(shù)為LeakyReLU。本研究中的損失函數(shù)見式（1），由相似性度量和形變場(chǎng)懲罰項(xiàng)兩部分組成。其中，相似性度量LMI采用互信息，形變場(chǎng)懲罰項(xiàng)Lsmooth為X、Y方向形變場(chǎng)梯度的二范數(shù)之和。

對(duì)每例數(shù)據(jù)單獨(dú)訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練學(xué)習(xí)率設(shè)置為0.000 1，優(yōu)化器采用Adam優(yōu)化器，迭代次數(shù)為800次，同時(shí)采用早停止策略，當(dāng)損失函數(shù)的變化連續(xù)30次<0.000 1時(shí)停止優(yōu)化。

1.2.5 評(píng)價(jià)方法 由1名具有10年以上臨床經(jīng)驗(yàn)的放射科主治醫(yī)師在短軸位CINE圖像上勾畫心臟左心室內(nèi)膜、左心室外膜、右心室外膜輪廓，另由1名核醫(yī)學(xué)科主治醫(yī)師在PET圖像相同區(qū)域上勾畫輪廓（圖3）。

圖3 短軸位CINE圖像和PET圖像及勾畫的心臟輪廓。A.CINE圖像及其心臟輪廓；B.旋轉(zhuǎn)至短軸位的PET圖像及其心臟輪廓；CINE：MRI心臟電影成像

采用戴斯相似性系數(shù)（dice similarity coefficient，DSC）和修正的豪斯多夫距離（modified hausdorff distance，MHD）作為量化指標(biāo)評(píng)價(jià)配準(zhǔn)的效果，見公式（2）、（3）。

其中，S1、S2分別表示CINE和PET圖像上標(biāo)記的心臟區(qū)域；?A、?B表示對(duì)應(yīng)輪廓的點(diǎn)集，d(p，?B)表示體素p到輪廓B的最小距離。

Elastix是目前解決醫(yī)學(xué)圖像配準(zhǔn)問題的常用工具包，多作為對(duì)照與新配準(zhǔn)方法進(jìn)行比較[13,19]，本研究采用Elastix工具包作為對(duì)比。在采用Elastix工具包進(jìn)行配準(zhǔn)時(shí)，優(yōu)化的目標(biāo)函數(shù)也采用互信息和形變場(chǎng)約束，優(yōu)化方法為自適應(yīng)梯度下降，變換為3次B樣條變換。

1.3 統(tǒng)計(jì)學(xué)方法 使用SPSS 25.0軟件，符合正態(tài)分布的計(jì)量資料以表示，采用Wilcoxon秩和檢驗(yàn)比較本研究方法與Elastix工具包在局部配準(zhǔn)中的性能。P<0.05為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

基于無監(jiān)督深度學(xué)習(xí)的分步配準(zhǔn)在不同層面圖像上配準(zhǔn)效果見圖4，全局配準(zhǔn)、基于深度學(xué)習(xí)的局部配準(zhǔn)、基于Elastix的局部配準(zhǔn)結(jié)果見表2、圖5。在左心室外膜、右心室外膜、全心的DSC和MHD采用深度學(xué)習(xí)網(wǎng)絡(luò)的配準(zhǔn)均優(yōu)于Elastix，差異有統(tǒng)計(jì)學(xué)意義（P均<0.05）；在左心室內(nèi)膜兩者差異無統(tǒng)計(jì)學(xué)意義（P均>0.05）。融合CT和PET圖像進(jìn)行配準(zhǔn)，在左心室外膜DSC和MHD、右心室外膜DSC及全心DSC和MHD上均優(yōu)于PET單模態(tài)圖像配準(zhǔn)結(jié)果（P均<0.05），在左心室外膜和全心的DSC和MHD值均優(yōu)于CT單模態(tài)圖像配準(zhǔn)結(jié)果（P均<0.05）。

圖4 基于無監(jiān)督深度學(xué)習(xí)方法在不同層面上的配準(zhǔn)結(jié)果。圖中所有的輪廓為CINE圖像上勾畫的心臟輪廓；CINE：MRI心臟電影成像

表2 基于無監(jiān)督深度學(xué)習(xí)的分步配準(zhǔn)與基于Elastix的局部配準(zhǔn)結(jié)果評(píng)價(jià)（±s）

表2 基于無監(jiān)督深度學(xué)習(xí)的分步配準(zhǔn)與基于Elastix的局部配準(zhǔn)結(jié)果評(píng)價(jià)（±s）

注：DSC：戴斯相似性系數(shù)；MHD：修正的豪斯多夫距離；DL：深度學(xué)習(xí)。對(duì)CT和PET作為融合圖像時(shí)，與基于Elastix的局部配準(zhǔn)比較，aP<0.01，bP<0.05；與基于PET單模態(tài)圖像的配準(zhǔn)結(jié)果比較，cP<0.01，dP<0.05；與基于CT單模態(tài)圖像的配準(zhǔn)結(jié)果比較，eP<0.01，fP<0.05

配準(zhǔn)方法左心室內(nèi)膜左心室外膜右心室外膜全心DSC MHD（mm）DSC MHD（mm）DSC MHD（mm）DSC MHD（mm）全局配準(zhǔn) 0.63±0.16 8.18±3.72 0.75±0.12 7.80±3.70 0.67±0.12 7.59±3.28 0.79±0.09 8.11±3.77局部配準(zhǔn)-DL PET 0.78±0.12 5.07±2.87 0.89±0.04 3.78±1.27 0.79±0.05 4.67±1.22 0.89±0.03 4.32±1.25 4.45±1.37 PET+CT 0.81±0.08 4.37±1.77 0.90±0.03ace 3.22±0.09ade 0.81±0.05bd 4.36±1.53b 0.91±0.03acf 3.88±0.12adf CT 0.80±0.07 4.58±1.47 0.87±0.04 4.14±1.37 0.80±0.06 4.84±1.82 0.89±0.03局部配準(zhǔn)-Elastix PET 0.67±0.19 7.47±4.42 0.78±0.13 6.92±4.40 0.70±0.17 6.56±4.61 0.83±0.09 6.66±3.92 6.31±2.50 PET+CT 0.80±0.08 4.50±1.75 0.86±0.05 4.58±1.76 0.78±0.07 5.05±1.98 0.87±0.05 5.06±2.00 CT 0.77±0.09 5.30±1.84 0.83±0.06 5.73±2.10 0.75±0.09 5.85±2.31 0.84±0.07

圖5 基于無監(jiān)督深度學(xué)習(xí)方法與基于Elastix的局部配準(zhǔn)結(jié)果。圖中所有的輪廓為CINE圖像上勾畫的心臟輪廓；CINE：MRI心臟電影成像

3 討論

本研究采用以MRI定位像和CT圖像為媒介的分步配準(zhǔn)策略，并基于深度學(xué)習(xí)的網(wǎng)絡(luò)框架實(shí)現(xiàn)了非同機(jī)心臟CINE和PET圖像的配準(zhǔn)。CINE圖像不僅可以提供心臟的結(jié)構(gòu)信息，也可以提供心肌梗死信息[20]。PET成像可以定量評(píng)估心肌血流量和心肌代謝。因此，將CINE圖像和PET圖像進(jìn)行配準(zhǔn)融合可以為疾病診斷提供更多的信息。

本研究先采用分級(jí)配準(zhǔn)策略。在全局配準(zhǔn)中，主要利用圖像中的胸廓信息實(shí)現(xiàn)圖像層面的對(duì)齊。在MRI和PET圖像中，心臟僅占約圖像1/4的區(qū)域，大量的背景信息在進(jìn)行彈性配準(zhǔn)的過程中會(huì)降低配準(zhǔn)的精度。因此，本研究通過對(duì)心臟區(qū)域進(jìn)行局部配準(zhǔn)提高配準(zhǔn)的效果。

本研究采用無監(jiān)督機(jī)器學(xué)習(xí)進(jìn)行CINE圖像和融合圖像的局部配準(zhǔn)。在既往基于深度學(xué)習(xí)的配準(zhǔn)研究中，為保證模型的泛化能力，需采用數(shù)量較大的訓(xùn)練集進(jìn)行模型訓(xùn)練[21-23]。同時(shí)，數(shù)據(jù)的多樣性（如成像參數(shù)、設(shè)備生產(chǎn)商、磁場(chǎng)強(qiáng)度等）會(huì)對(duì)訓(xùn)練結(jié)果產(chǎn)生較大的影響。目前，多模態(tài)影像采集難度大、成本高，不易獲得。本研究對(duì)每例數(shù)據(jù)單獨(dú)訓(xùn)練模型，可以避免對(duì)大數(shù)據(jù)的依賴，且對(duì)單個(gè)數(shù)據(jù)的適應(yīng)性更強(qiáng)。同時(shí)，基于深度學(xué)習(xí)網(wǎng)絡(luò)的配準(zhǔn)能夠直接得到像素級(jí)別的形變場(chǎng)，因此其配準(zhǔn)效果顯著優(yōu)于Elastix。此外，本研究將3D相似性度量和2D形變場(chǎng)相結(jié)合。3D相似性度量以心臟整體的結(jié)構(gòu)信息為約束，利用相鄰層間圖像信息的相關(guān)性保證配準(zhǔn)效果。由于圖像層間間隔較大，采用2D形變場(chǎng)避免了圖像在Z軸上過度形變。本研究還將CT和PET融合后的圖像作為待配準(zhǔn)圖像，與單獨(dú)使用CT或PET圖像相比，融合后的圖像能夠提供更多的細(xì)節(jié)信息。

本研究的局限性：①在局部配準(zhǔn)之前需要人工定位心臟區(qū)域，增加了操作的復(fù)雜度。在下一步的工作中，可通過深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行心臟的自動(dòng)識(shí)別，并將其融入配準(zhǔn)流程，形成端到端的全自動(dòng)心臟多模態(tài)圖像配準(zhǔn)方法。②采用11C-乙酸鹽心臟PET圖像進(jìn)行配準(zhǔn)，PET圖像的質(zhì)量和對(duì)比度受示蹤劑的影響較大，本方法的魯棒性和穩(wěn)定性還需要通過其他示蹤劑的PET圖像進(jìn)一步驗(yàn)證。③僅實(shí)現(xiàn)了心臟CINE一個(gè)時(shí)相圖像和PET圖像的配準(zhǔn)。在未來的研究中，將利用心電門控信號(hào)進(jìn)行不同時(shí)相的PET圖像重建，并基于本研究方法實(shí)現(xiàn)一個(gè)心跳周期中不同時(shí)相CINE圖像和PET圖像的配準(zhǔn)融合。

本研究針對(duì)不同機(jī)掃描的心臟MRI CINE圖像和PET圖像，提出了以MRI定位像、CT圖像為媒介的分步配準(zhǔn)策略，基于無監(jiān)督深度學(xué)習(xí)框架，實(shí)現(xiàn)了CINE圖像和PET圖像的配準(zhǔn)，為臨床采用多模態(tài)圖像進(jìn)行疾病的診斷提供了技術(shù)基礎(chǔ)。