基于SA-CycleGAN的3T磁共振圖像生成方法

李琳　浦貴陽　李楊　王樹超　蔣明峰

關(guān)鍵詞：磁共振成像;生成對抗網(wǎng)絡(luò);自注意力機制;譜歸一化;組合損失函數(shù)

中圖分類號：TP391 文獻標志碼：A

0 引言（Introduction）

磁共振成像（MRI）是臨床醫(yī)學常見的影像檢查手段，其具有無電離輻射和非侵入性無創(chuàng)傷等特點，因此在臨床醫(yī)學的病理檢查和診斷中得到廣泛應用[1]。對于磁共振成像設(shè)備來說，高場強能帶來更好的成像質(zhì)量，磁共振成像的信噪比與主磁場強度通常成正比，3T的圖像質(zhì)量和信噪比均比1.5T的高，并且能顯示更好的解剖細節(jié)和組織對比。在神經(jīng)放射學中使用3T磁體的優(yōu)勢遠遠大于其劣勢，更高強度的磁體在結(jié)構(gòu)和血管掃描、彌散和灌注成像等方面的診斷潛力正在提高，但是使用3T磁體就意味著高場強的成本會大幅增加。超場強磁共振圖像生成可以在不升級硬件的情況下，通過算法實現(xiàn)由1.5TMRI生成近似3T MRI，較大幅度地提高了MRI的圖像質(zhì)量。

1 相關(guān)工作（Related work）

生成對抗網(wǎng)絡(luò)[2]（Generative Adversarial Networks， GAN）常用來實現(xiàn)超場強圖像生成，它結(jié)合了生成器和判別器兩個神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，上述神經(jīng)網(wǎng)絡(luò)通過在零和博弈框架中相互競爭得以實現(xiàn)。自推出以來，人們對與大腦相關(guān)的GAN框架的應用產(chǎn)生了濃厚的興趣，SRGAN[3]首次將GAN應用于單圖像的超分辨率重建，JIANG等[4]也將GAN應用到MRI領(lǐng)域。此外GAN已經(jīng)成功運用到數(shù)據(jù)增強、圖像翻譯及圖像分割等領(lǐng)域，這些研究證實了GAN網(wǎng)絡(luò)具有廣泛的應用前景[5-12]。本文將CycleGAN作為研究的基本網(wǎng)絡(luò)，并且專注于研究提高生成醫(yī)學圖像的準確性和真實性[13]。

近年來，圖像合成在醫(yī)學成像界獲得了很大的關(guān)注，由低場強MRI向高場強MRI的生成、合成技術(shù)日益完善。ROY等[14]使用基于字典的稀疏重建處理圖像合成，并且使用基于示例的方法進行稀疏表示，該方法已經(jīng)成功運用到3T MRI合成7T MRI[15]。DAR等[16]提出了基于條件生成對抗網(wǎng)絡(luò)的多對比MRI合成新方法，保留了生成圖像的中高頻細節(jié)。目前，研究人員可以使用基于學習的方法合成高場強圖片，例如線性回歸、稀疏學習和隨機森林等[17-19]。隨著深度學習的發(fā)展，高場強MRI的合成也有了新的方法，不僅減輕了對手工制作特征的需求，而且已成功應用于各種圖像合成問題。XIANG等[20]提出了一種深度嵌入CNN，即基于3T磁共振圖像合成計算機斷層掃描（CT）圖像的方法。QU等[21]利用空間域和小波域的互補信息完成了低場強到高場強MRI的合成，目前基于CNN的方法通常直接確定復雜的3T到7T映射，而不需要顯式利用多尺度信息。有研究表明，通過整合有價值的先驗信息可以改善網(wǎng)絡(luò)學習[22]。

綜上研究表明，目前基于深度學習的MRI超場強重建方面的研究不足，針對現(xiàn)有理論，本文提出了一種基于生成對抗網(wǎng)絡(luò)融合自注意力機制的生成方法SA-CycleGAN，用于從1.5T MRI生成3T MRI。首先以CycleGAN的損失函數(shù)為基礎(chǔ)，在生成器中加入先驗信息對網(wǎng)絡(luò)進行約束，提出了新的組合損失函數(shù);其次將自注意力引入生成對抗網(wǎng)絡(luò)作為卷積的補充，有助于生成器生成圖像的細節(jié)表達，判別器可以更準確地對全局圖像結(jié)構(gòu)執(zhí)行復雜的幾何約束;最后使用非局部模型將自注意力模塊引入生成對抗網(wǎng)絡(luò)框架，以便生成器和判別器都可以有效地在空間區(qū)域之間建立關(guān)系依賴。

2 MRI樣本數(shù)據(jù)庫 （MRI sample database）

每一張3D磁共振圖像的大小是256×256×176像素值，其中（a）橫斷面的尺寸為176×256，（b）冠狀面的尺寸為176×256，（c）矢狀面的尺寸為256×256。本文使用3D Slicer中的Slicer Elastix模塊，以3T MRI作為模板，將1.5T MRI配準到3T圖像模板上，實現(xiàn)空間域圖像配準，經(jīng)過配準后，使用MRIcro將每一張3D圖像切割成3種不同截面的2D圖片，建立樣本數(shù)據(jù)庫。現(xiàn)有60對3D 磁共振圖像，經(jīng)切片后共有41 300對2D樣本圖片，其中橫斷面和冠狀面分別有15 360對圖片，矢狀面有10 580對圖片。

在深度學習中，用于訓練和測試的數(shù)據(jù)可能會不足且不平衡，深度網(wǎng)絡(luò)模型容易過度擬合且泛化能力很差，由于醫(yī)院和患者的狀況并不總是適合于收集數(shù)據(jù)，并且具有相同疾病的患者數(shù)據(jù)也并非總是可用。此外，神經(jīng)網(wǎng)絡(luò)需要在大量準確而可靠的數(shù)據(jù)上進行訓練，數(shù)據(jù)不正確或表示不正確可能會導致系統(tǒng)的性能變差。所以，本文使用數(shù)據(jù)擴增方法生成足夠多且平衡的圖像。

對于具有很多重要信息的圖片，例如醫(yī)學圖像，最好執(zhí)行不會增加或丟失圖片信息的圖像增強變換。因此，本文選擇使用無損變換、非剛性變換和先進擴增技術(shù)完成醫(yī)學圖像擴增。如圖1所示，無損變換是借助Python實現(xiàn)，具體方法主要包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和隨機旋轉(zhuǎn)。

經(jīng)過數(shù)據(jù)擴增，建立了一個標準數(shù)據(jù)庫。該數(shù)據(jù)庫共有10萬組2D樣本數(shù)據(jù)對，其中橫斷面和冠狀面切片有40 000對圖片，矢狀面切片有20 000對圖片。

3 基于SA-CycleGAN的3T磁共振圖像生成算法（3T MRI generation algorithm based onSA-CycleGAN）

SA-CycleGAN網(wǎng)絡(luò)主要包含四個模塊，分別為兩個生成器結(jié)構(gòu)模塊、兩個判別器結(jié)構(gòu)模塊，如圖2所示。SA-CycleGAN網(wǎng)絡(luò)對輸入數(shù)據(jù)要求較低，適用性強。

為了直觀地對比不同方法的生成性能，選取一張典型的MRI圖像。在圖6至圖8中可以看出，SRGAN生成的MRI丟失了較多細節(jié)，Pix2pix和CycleGAN生成的MRI雖然保留了一些細節(jié)，但是與全采樣MRI相比，仍有較大的差異。本文所提方法生成的結(jié)果則恢復了大部分圖像細節(jié)，也有較為清晰的紋理，更加接近于全采樣MRI。

為了定量比較不同方法的生成效果，研究人員在測試集上計算了不同方法生成MRI的平均PSNR 和SSIM ，結(jié)果如表1所示，PSNR 和SSIM 的值是均值±標準差的形式，加粗項為每行最優(yōu)值。從表1中可以看出，本文所提方法生成的MRI的PSNR 和SSIM 均值均高于其他三種方法，PSNR 的標準差與其他方法相差不大，而SSIM 的標準差則略優(yōu)于其他方法，這表明本文所提方法在保持生成效果相對穩(wěn)定的情況下，能明顯提高生成圖像的質(zhì)量。

4.2 消融實驗結(jié)果討論

為了評估本文所提方法中不同組成部分對訓練過程和生成質(zhì)量的影響，研究人員進行了如下消融實驗：（1）不將自注意力機制嵌入GAN框架中（No SA）;（2）在判別器網(wǎng)絡(luò)層中取消譜歸一化處理（No SN）;（3）組合損失函數(shù)中不加入先驗信息（No Prior）。消融實驗結(jié)果對比如表2所示，本文所提方法的實驗結(jié)果大部分優(yōu)于消融實驗的其他結(jié)果。這表明本文所提方法的各個組成部分均能有效改善網(wǎng)絡(luò)的生成性能，提高生成MRI的質(zhì)量。

大部分圖像生成的GAN網(wǎng)絡(luò)都是使用卷積結(jié)構(gòu)，傳統(tǒng)卷積層擅長分析空間的局部性信息，但無法獲知圖像上較遠距離的依賴關(guān)系。為解決上述問題，本文在網(wǎng)絡(luò)中加入了自注意力模塊，使模型能夠自適應地感知到對生成圖像起到作用的區(qū)域，增強生成MRI的細節(jié)，提高成像質(zhì)量。如圖9所示，對比矢狀面切片在無自注意機制嵌入情況下生成的MRI，整體上看，兩者的生成效果差不多，但從局部放大圖中可以看出，本文所提方法的生成細節(jié)更加豐富，紋理還原也更加準確。

訓練不穩(wěn)定問題仍是生成對抗網(wǎng)絡(luò)方法存在的主要問題，如圖10所示，SA-CycleGAN方法損失函數(shù)的收斂速度過慢且具有不穩(wěn)定的性質(zhì)，加入譜歸一化之后，SA-CycleGAN（SN）方法的損失值呈單調(diào)下降，而且損失函數(shù)收斂速度加快，表明結(jié)合譜歸一化的SA-CycleGAN（SN）方法使訓練變得更加穩(wěn)定。與之前沒有加入先驗損失的結(jié)果相比，納入先驗損失信息后，PSNR 提升了12 dB，SSIM 也提高了1%～3.8%。

5 結(jié)論（Conclusion）

本文提出了一種基于生成對抗網(wǎng)絡(luò)融合自注意力機制的磁共振圖像超場強生成的新方法，本文所提方法的核心之處在于將自注意力機制和譜歸一化整合到CycleGAN框架中，并且重新構(gòu)造了組合損失函數(shù)。自注意力機制可確保高場強圖像的成像質(zhì)量和細節(jié)，與其他方法相比，本文所提方法獲得的超場強圖像具有更高的PSNR 和SSIM ，圖像細節(jié)更接近原始高場強圖像，而譜歸一化則限制了函數(shù)變化的劇烈程度，使模型更穩(wěn)定;在網(wǎng)絡(luò)中引入先驗信息，使得生成圖像的真實性和準確性有所提升。此外，消融實驗驗證了組合損失函數(shù)、自注意力機制和譜歸一化的有效性，通過這些模塊可以有效地提高圖像生成質(zhì)量。未來，研究人員會將本文所提出的SA-CycleGAN（SN）應用于從3T圖像生成7T場強甚至更高場強的磁共振圖像，實現(xiàn)可用于臨床的超場強圖像生成，這是未來需要進一步研究與解決的問題。

作者簡介：

李 琳（1997-），男，碩士生。研究領(lǐng)域：計算機視覺，磁共振圖像重構(gòu)。

浦貴陽（1977-），男，博士，高級工程師。研究領(lǐng)域：人工智能，智能物聯(lián)。

李 楊（1986-），男，博士，講師。研究領(lǐng)域：深度學習算法，醫(yī)學圖像處理。

王樹超（1974-），男，碩士，副主任醫(yī)師。研究領(lǐng)域：腦神經(jīng)外科，磁共振圖像分析。

蔣明峰（1977-），男，博士，教授。研究領(lǐng)域：生物醫(yī)學圖像處理，磁共振圖像重構(gòu)。