用于腫瘤調(diào)強放射治療影像分析與轉(zhuǎn)換的深度學習方法

劉國才 顧冬冬 劉 驍 劉勁光 劉焰飛 張毛蛋

1(湖南大學電氣與信息工程學院，長沙 410082)

2(機器人視覺感知與控制技術(shù)國家工程研究中心，長沙 410082)

引言

惡性腫瘤(癌癥)已成為嚴重威脅中國人群健康的主要公共衛(wèi)生問題之一。 中國癌癥負擔總體仍呈現(xiàn)持續(xù)上升趨勢，癌癥防控形勢依然嚴峻。 根據(jù)2019年發(fā)布的“2015年中國癌癥統(tǒng)計報告”[1]:惡性腫瘤死亡占居民全部死因的23.91%，近十幾年來惡性腫瘤的發(fā)病和死亡均呈持續(xù)上升態(tài)勢，惡性腫瘤發(fā)病率保持每年約3.9%的增幅，死亡率保持每年2.5%的增幅，惡性腫瘤所致的醫(yī)療花費每年超過2 200 億，防控形勢嚴峻。 2015年中國惡性腫瘤新發(fā)病約392.9 萬人，死亡約233.8 萬人，平均每天超過1 萬人被確診為癌癥。 根據(jù)2019年發(fā)布的“2016年美國癌癥統(tǒng)計報告”[2]:2016年美國新增約176.2 萬癌癥患者，死亡約60.6 萬人，占死亡患者的22%。 根據(jù)2019年發(fā)布的“2018年全球癌癥統(tǒng)計報告”[3]:2018年全球185 個國家共新增約1 810萬癌癥患者，死亡約960 萬人，中國位居第一。惡性腫瘤現(xiàn)代臨床放射治療(簡稱放療)，是一個由多模態(tài)醫(yī)學影像引導(dǎo)的，從腫瘤分期、定位、治療到療效評估的復(fù)雜診療過程[4]，精確定位、精確計劃和精確治療是百余年來一直追求的臨床放療目標。

計算機斷層掃描(computerized tomography，CT)影像開創(chuàng)了現(xiàn)代臨床三維適形放療(3－dimentional conformal radiotherapy，3DCRT)技術(shù)時代。 正電子發(fā)射斷層掃描(positron emission tomography，PET)功能分子影像，開啟了以腫瘤分子生物學特性為基礎(chǔ)的生物調(diào)強放療(biological intensity-modulated radiotherapy，BIMRT)技術(shù)時代。 PET/CT，PET/MRI(magnetic resonance imaging，磁共振成像)，錐形束CT(cone beam CT，CBCT)/Linac(線性電子加速器)、MRI/Linac 與深度學習技術(shù)相結(jié)合，使腫瘤放療技術(shù)進入到一個嶄新的個體化、高精度、自適應(yīng)和智能化新時代。

影像圖像引導(dǎo)調(diào)強放療(intensity modulated radiotherapy，IMRT)是當前主要的腫瘤患者臨床放療技術(shù)。 設(shè)計和制定臨床可接受、可執(zhí)行的腫瘤調(diào)強放療計劃，涉及大量臨床任務(wù)。 目前，主要由臨床放療物理師，根據(jù)患者的模擬放療定位CT 影像勾畫放療危及器官(organs at risks，OARs)，并根據(jù)臨床放療醫(yī)生勾畫的放療靶區(qū)﹝包括:大體腫瘤區(qū)(gross tumor volume，GTV)、臨床靶區(qū)(clinical target volume ，CTV)、計劃靶區(qū)(planned target volume，PTV)﹞和放療處方劑量、各種放療劑量學目標和約束，以及其它臨床放療先驗知識，通過逆向IMRT 計劃系統(tǒng)軟件，對IMRT 計劃進行優(yōu)化。

最近幾年，人工智能方法已經(jīng)用于腫瘤IMRT計劃和自適應(yīng)放療計劃研究[5]，以便提高工作效率和質(zhì)量。 前期研究發(fā)現(xiàn)，通過深度學習技術(shù)[6-15]，可更好地實現(xiàn)放療計劃設(shè)計優(yōu)化過程的智能化。 無監(jiān)督深度學習[13]和生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)[14]已經(jīng)成為該領(lǐng)域的研究熱點。 基于深度學習、采用CT/CBCT/MRI/PET聯(lián)合引導(dǎo)的智能放療是當前腫瘤精確放療的前沿研究內(nèi)容。

盡管近幾年采用深度學習方法進行惡性腫瘤的CT、MRI、CBCT 和PET 影像配準、放療靶區(qū)分割、放療計劃MRI-CT 影像轉(zhuǎn)換合成已取得很大進展，但當前的配準、分割和影像轉(zhuǎn)換精度在多數(shù)情況下還不能滿足臨床精確放療的要求。

1 腫瘤放療靶區(qū)分割深度學習方法

高精度自適應(yīng)智能調(diào)強放療計劃，既需要高空間分辨率的組織解剖結(jié)構(gòu)CT 和MRI 成像系統(tǒng)，提供腫瘤放療靶區(qū)和危及器官精確的位置信息，還需要高靈敏性及高特異性的腫瘤生物學和放射腫瘤學特性PET 成像系統(tǒng)，提供腫瘤葡萄糖代謝、增殖、乏氧等生物學特性和放射敏感性(抗輻射)的特性信息。 因此，臨床放療專家通常需要聯(lián)合使用腫瘤放療模擬定位CT 或診斷CT、MRI、PET/CT、 PET/MRI、機載CBCT、MRI 等影像，手動或半自動分割腫瘤放療靶區(qū)和危及器官。

目前，大多數(shù)情況下，多數(shù)基于深度學習的放療危及器官分割結(jié)果和臨床物理師勾畫的相應(yīng)危及器官的Dice 相似性系數(shù)已經(jīng)超過了80%。 但是，聯(lián)合腫瘤CT/CBCT/MRI/PET 影像自動分割放療靶區(qū)的方法還缺乏一致性和有效性，多數(shù)情況下，基于深度學習的腫瘤放療靶區(qū)高精度分割問題仍沒有取得突破性進展，自動分割結(jié)果和臨床醫(yī)師勾畫的靶區(qū)Dice 相似性系數(shù)不足60%，仍無法滿足臨床放療精度要求。

近幾年生成對抗網(wǎng)絡(luò)(generative adversarial networks， GAN) 和深度卷積神經(jīng)網(wǎng)絡(luò)( deep convolutional neural network，DCNN)在腫瘤放療靶區(qū)分割中的主要研究成果和進展，如表1 所示。

表1 主要的腫瘤放療靶區(qū)分割深度學習方法匯總表Tab.1 Summary of tumor segmentation methods based on deep learning

1.1 基于GAN 的腫瘤靶區(qū)分割方法

由于CT 影像軟組織的對比度低，對位于縱隔等部位軟組織附近或周圍的肺癌組織很難準確分割，因此臨床上通常需要聯(lián)合軟組織對比度高的MRI 影像對肺癌靶區(qū)進行高精度分割。 最近，Jue 等[16]等提出了一種聯(lián)合腫瘤MRI 和CT 影像進行訓練學習的肺癌CT 分割方法。 作者聯(lián)合條件生成對抗網(wǎng)絡(luò)cGAN[25]和循環(huán)一致生成對抗網(wǎng)絡(luò)CycleGAN[26]訓練兩個生成對抗網(wǎng)絡(luò)，分別將CT 和MRI 轉(zhuǎn)換成對應(yīng)的pMRI 和pCT，并增加根據(jù)VGG19 網(wǎng)絡(luò)提取的MRI 和pMRI 的高層特征余弦相似性計算的對抗性損失正則項，迫使生成的pMRI 和MRI 具有相似的結(jié)構(gòu)。 與此同時，聯(lián)合訓練兩個類似U-Net 或密集全卷積網(wǎng)絡(luò)DFCN 的分割網(wǎng)絡(luò)，分別分割CT 和pMRI 中的肺癌組織，并在訓練時直接比較兩個分割網(wǎng)絡(luò)高層特征和分割結(jié)果，迫使兩個分割結(jié)果盡可能一致。 整個聯(lián)合訓練過程是無監(jiān)督的，轉(zhuǎn)換網(wǎng)絡(luò)和分割網(wǎng)絡(luò)輪流交替訓練優(yōu)化。 應(yīng)用非小細胞肺癌患者CT 影像測試表明，聯(lián)合T2 加權(quán)MRI 影像訓練的肺癌靶區(qū)分割方法比僅使用CT 影像的分割方法更精確，平均Dice 相似系數(shù)分別為0.72±0.14(U-Net)、0.73±0.12(D-FCN)，相應(yīng)提高4%～5%。

為了實現(xiàn)跨模態(tài)(MRI，CT)影像的前列腺癌放療靶區(qū)高精度分割，Girum 等[17]提出了一種嵌入式生成網(wǎng)絡(luò)，用于前列腺形狀學習，生成前列腺區(qū)域標注影像。 他們將形狀生成網(wǎng)絡(luò)嵌入類似U-Net 的分割主網(wǎng)絡(luò)，采用分割網(wǎng)絡(luò)編碼層高層特征作為輸入，通過有監(jiān)督的訓練，自動生成前列腺區(qū)域標注影像，并將其和分割網(wǎng)絡(luò)解碼高層進行像素級的融合，最終分割前列腺。 在聯(lián)合訓練形狀網(wǎng)絡(luò)時，采用少量的、有4 個前列腺外輪廓標志點坐標的高對比度MRI 影像作為訓練樣本，通過形狀生成網(wǎng)絡(luò)預(yù)測每個切片上相應(yīng)的標志點位置，并最終生成前列腺區(qū)域標注影像。 采用交叉熵切片分類和標志點位置絕對誤差光滑近似作為形狀生成網(wǎng)絡(luò)損失函數(shù)，同時，采用交叉熵和Dice 相似性系數(shù)作為分割網(wǎng)絡(luò)損失函數(shù)。 測試結(jié)果表明，采用MRI 影像聯(lián)合訓練好的形狀和分割網(wǎng)絡(luò)，可直接應(yīng)用于低對比度的CT 影像前列腺高精度分割，平均Dice 相似性系數(shù)達到CT:89%，MRI:93%，優(yōu)于現(xiàn)有其他方法。

目前，放療直線加速器機載的錐形束CT(CBCT)已被廣泛應(yīng)用于腫瘤精確放療前的患者在線擺位驗證和自適應(yīng)放療腫瘤和危及器官定位。然而，由于CBCT 影像質(zhì)量較差、軟組織對比度低、腫瘤和危及器官分割標簽難以獲取等原因，腫瘤和危及器官CBCT 影像分割非常困難，導(dǎo)致目前臨床上基于CBCT 的腫瘤自適應(yīng)放療難以有效實施。

最近，Jia 等[18]利用腫瘤放療模擬定位CT 影像及其臨床醫(yī)師勾畫的腫瘤和危及器官CT 標簽信息，提出了一個無監(jiān)督的跨域(CT，CBCT)腫瘤和危及器官分割網(wǎng)絡(luò)。 采用循環(huán)一致生成對抗網(wǎng)絡(luò)CycleGAN[26]將CT 轉(zhuǎn)換合成sCBCT，同時，將CBCT轉(zhuǎn)換合成sCT，在聯(lián)合訓練合成網(wǎng)絡(luò)時，增加解剖結(jié)構(gòu)不變轉(zhuǎn)換對抗性損失正則項，以便將CT 結(jié)構(gòu)信息轉(zhuǎn)換到合成的sCBCT。 與此同時，利用高質(zhì)量的放療模擬定位CT 影像及其臨床醫(yī)師勾畫的腫瘤和危及器官CT 標簽信息，訓練學習一個生成對抗性域自適應(yīng)腫瘤和危及器官分割網(wǎng)絡(luò)。 訓練該分割網(wǎng)絡(luò)時，同時將有標簽的CT 合成的sCBCT 和無標簽的CBCT 影像作為訓練樣本，通過CT 相應(yīng)的腫瘤和危及器官標簽信息監(jiān)督訓練，提供sCBCT 分割Dice 相似系數(shù)度量對抗性損失正則項，而且，通過CBCT 和sCBCT 分割結(jié)果判別網(wǎng)絡(luò)，提供分割網(wǎng)絡(luò)對抗性損失。 膀胱癌CBCT 分割實驗表明，與現(xiàn)有方法相比，采用對抗性域自適應(yīng)的CBCT 分割方法，平均Dice 相似性系數(shù)為83.6%，而僅基于CBCT 的分割結(jié)果平均Dice 相似性系數(shù)為70.1%。

Yuan 等[19]基于StarGAN 和U-Net 提出了多模態(tài)影像生成對抗轉(zhuǎn)換－ 分割雙流聯(lián)合網(wǎng)絡(luò)(UAGAN)，聯(lián)合非配對的多模態(tài)影像訓練學習統(tǒng)一的腦腫瘤多模態(tài)影像分割網(wǎng)絡(luò)模型。 UAGAN 生成對抗的多模態(tài)影像轉(zhuǎn)換網(wǎng)絡(luò)和分割網(wǎng)絡(luò)通過共享相同的編碼器最高層，實現(xiàn)語義分割信息共享和轉(zhuǎn)換－分割任務(wù)相互約束。 在訓練多模態(tài)影像轉(zhuǎn)換網(wǎng)絡(luò)時，引入目標域影像模態(tài)類別標簽，和源域模態(tài)影像一起，同時作為條件生成對抗轉(zhuǎn)換網(wǎng)絡(luò)cGAN前向生成網(wǎng)絡(luò)通道的條件輸入，而在其反向源域模態(tài)影像重建網(wǎng)絡(luò)通道，引入源域影像模態(tài)類別標簽作為輸入，但采用相同的前向生成網(wǎng)絡(luò)，因此，提供模態(tài)分類和影像重建兩個對抗性損失正則項，從而實現(xiàn)多模態(tài)影像之間的任意相互轉(zhuǎn)換。 與此同時，為了在模態(tài)轉(zhuǎn)換時保留腫瘤的結(jié)構(gòu)信息，通過分割網(wǎng)絡(luò)提供腫瘤形狀對抗性損失正則項。 在訓練條件生成對抗轉(zhuǎn)換網(wǎng)絡(luò)cGAN 的判別網(wǎng)絡(luò)時，采用多任務(wù)訓練方式，判別網(wǎng)絡(luò)同時輸出轉(zhuǎn)換后影像的真實性和模態(tài)分類概率，提供影像真實性和模態(tài)分類兩個對抗性損失正則項。 另一方面，多模態(tài)影像轉(zhuǎn)換－分割雙流聯(lián)合網(wǎng)絡(luò)采用兩個改進的U-Net，并且，通過引入注意力機制，使分割網(wǎng)絡(luò)解碼層融合學習聚焦于轉(zhuǎn)換網(wǎng)絡(luò)各相應(yīng)編碼層的腫瘤語義分割特征，提高分割精度。 同時，使轉(zhuǎn)換網(wǎng)絡(luò)解碼層融合學習聚焦于分割網(wǎng)絡(luò)各相應(yīng)編碼層的腫瘤語義分割特征，從而使轉(zhuǎn)換后的影像保留模態(tài)不變的腫瘤形狀特征。 在推理測試時，分割網(wǎng)絡(luò)不僅接受被測試影像作為輸入，而且接收影像的模態(tài)類別作為輸入，因此，同一個分割網(wǎng)絡(luò)可以對同一個目標腫瘤的多個不同模態(tài)的影像進行正確分割。 T1Gd、FLAIR 和T2 MRI 影像的腦腫瘤分割實驗表明，不同模態(tài)影像越相似，UAGAN 分割精度相互提高越多。

1.2 基于DCNN 的腫瘤靶區(qū)分割方法

核磁共振影像中鼻咽癌放療靶區(qū)的自動分割仍然具有挑戰(zhàn)性，因為鼻咽癌是浸潤性的，通常體積很小，甚至是微小，使其與周圍緊密相連的組織難以區(qū)分。 針對這一問題，最近，Huang 等[20]提出了一種具有遞歸注意力機制(recurrent attention mechanism，RAM)的鼻咽癌靶區(qū)分割殘差網(wǎng)絡(luò)。 他們將高層語義特征引入長短期記憶(long short term memory，LSTM)注意力遞歸神經(jīng)網(wǎng)絡(luò)，級聯(lián)生成特征通道級和空間區(qū)域級注意力映射，逐層指導(dǎo)較低層特征的學習，最終聚焦于腫瘤語義分割特征的提取。 在訓練分割網(wǎng)絡(luò)時，采用到腫瘤的距離加權(quán)的交叉熵作為損失函數(shù)。 聯(lián)合腫瘤T1、T1c 和T2 MRI進行訓練和測試，實驗結(jié)果表明:鼻咽癌分割Dice相似性系數(shù)達到0.796 3，而經(jīng)典SE 注意力機制Dice 相似性系數(shù)為0.697 6。

Chen 等[27]提出了一種新的聯(lián)合FLAIR、T1、T1c 和T2 MRI 影像進行腦腫瘤分割的多組變分編碼－解碼網(wǎng)絡(luò)。 他們使用每個模態(tài)相應(yīng)的解碼網(wǎng)絡(luò)將影像分解成依賴于模態(tài)類型的外觀編碼和獨立于模態(tài)類型的內(nèi)容編碼。 然后將所有模態(tài)影像的內(nèi)容編碼通過一個共享的融合子網(wǎng)絡(luò)合成為一個共享的內(nèi)容編碼，并以此作為輸入，通過一個腫瘤分割編碼子網(wǎng)絡(luò)生成腫瘤分割標簽。 在編碼－解碼網(wǎng)絡(luò)訓練時，同時為每種模態(tài)影像構(gòu)建一個相應(yīng)的編碼子網(wǎng)絡(luò)。 采用類似U-Net 的殘差網(wǎng)絡(luò)構(gòu)建編碼－解碼網(wǎng)絡(luò)。 通過一個兩層的卷積網(wǎng)絡(luò)構(gòu)建內(nèi)容編碼融合子網(wǎng)絡(luò)，并隨機的將某些模態(tài)的內(nèi)容編碼設(shè)置為0，以增加網(wǎng)絡(luò)對缺失模態(tài)影像的魯棒性。聯(lián)合Dice 和加權(quán)交叉熵進行端到端的訓練，并增加所有模態(tài)影像解碼子網(wǎng)絡(luò)重建誤差損失正則項。測試結(jié)果表明:在各種模態(tài)影像缺失的情況下，分割網(wǎng)絡(luò)性能的魯棒性好。 聯(lián)合所有4 種模態(tài)影像腦腫瘤分割平均Dice 相似性系數(shù)比現(xiàn)有最好的分割方法高出6%。

腫瘤放療臨床靶區(qū)(CTV)包含CT 影像上可見的大體腫瘤區(qū)(GTV)和亞臨床腫瘤區(qū)(通常CT 影像上不可見)，因此，通常不能完全基于CT 影像勾畫CTV。 Jin 等[21]提出了一個簡單、有效的3 D 漸進整體嵌套網(wǎng)絡(luò)(progressive global nested network，PHNN)[28]，采用到食管癌患者腫瘤、淋巴結(jié)和放療危及器官的符號距離對這些解剖結(jié)構(gòu)先驗上下文信息進行編碼，并將這些上下文信息編碼信息和CT影像一起作為PHNN 的輸入訓練網(wǎng)絡(luò)，使深度網(wǎng)絡(luò)能夠更好地學習和模擬人類醫(yī)生基于腫瘤邊緣和外觀進行CTV 勾畫。 實驗表明，編碼解剖結(jié)構(gòu)先驗上下文信息可以提高食管癌放療臨床靶區(qū)CTV 分割性能，平均Dice 相似性達到83.9%。

Men 等[22]提出DDNN 網(wǎng)絡(luò)用于鼻咽癌CT 影像放療大體腫瘤區(qū)GTV 和臨床靶區(qū)CTV 分割。DDNN 網(wǎng)絡(luò)由兩個重要組件組成，包括編碼器部分和解碼器部分。 編碼器基于VGG－16 架構(gòu)，與VGG－16 不同的是，在解碼器網(wǎng)絡(luò)上執(zhí)行反卷積操作，從低分辨率逐層重建高分辨率特征圖，在網(wǎng)絡(luò)最后采用全卷積層代替全連接層。 鼻咽癌測試表明:GTVnx、GTVnd 和CTV 的Dice 相似性系數(shù)均值分別為80.9%、62.3%和82.6%。

Chen 等[23]提出了一種新的半監(jiān)督腦膠質(zhì)瘤MRI 重建和分割U-Net 網(wǎng)絡(luò)。 該網(wǎng)絡(luò)共享一個編碼子網(wǎng)絡(luò)，但包含一個分割子網(wǎng)絡(luò)和一個重建子網(wǎng)絡(luò)。 采用有監(jiān)督的Dice 損失函數(shù)訓練分割子網(wǎng)絡(luò)，而采用無監(jiān)督方式訓練重建子網(wǎng)絡(luò)。 訓練時，采用同樣數(shù)量有標注的樣本和無標注的樣本，輪流訓練分割子網(wǎng)絡(luò)和重建子網(wǎng)絡(luò)，并且，采用分割子網(wǎng)絡(luò)預(yù)測的腫瘤目標區(qū)域和背景區(qū)域掩膜，對影像重建均方誤差損失按目標和背景區(qū)域進行加權(quán)(注意機制)。 測試結(jié)果表明:注意力機制和無監(jiān)督訓練的重建網(wǎng)絡(luò)有助于提高分割性能。

Huang 等[24]提出了3 D 磁共振MRI 結(jié)直腸腫瘤區(qū)域定位和分割多任務(wù)多尺度網(wǎng)絡(luò)3 D RU-Net，兩個任務(wù)共享一個編碼子網(wǎng)絡(luò)。 利用腫瘤區(qū)域定位子網(wǎng)絡(luò)預(yù)測的區(qū)域掩膜，從編碼子網(wǎng)絡(luò)中裁剪出多層次感興趣區(qū)域特征，作為分割解碼子網(wǎng)絡(luò)的輸入。 進一步，通過集成多尺度特征分割結(jié)果，提高最終分割精度。 測試結(jié)果表明:聯(lián)合腫瘤區(qū)域檢測和分割的結(jié)直腸腫瘤分割性能優(yōu)于U-Net，分割精度平均Dice 相似性系數(shù)達到75.5%，而U-Net 僅為61.7%，而且速度更快，占GPU 內(nèi)存更少。

2 腫瘤影像配準深度學習方法

為了聯(lián)合利用腫瘤多模態(tài)影像對腫瘤放療靶區(qū)和危及器官進行高精度地定位和分割，進行腫瘤自適應(yīng)放療計劃設(shè)計優(yōu)化和療效評估，需要對腫瘤多模態(tài)影像進行高精度的配準。 7～10 周的腫瘤放療過程中，腫瘤和危及器官一般都會因治療而發(fā)生大的形變，經(jīng)典影像配準方法配準位置誤差一般達不到腫瘤臨床放療計劃時靶區(qū)和危及器官定位誤差小于2 mm 的要求，而且配準速度也不能滿足腫瘤影像在線配準和在線自適應(yīng)放療計劃設(shè)計與優(yōu)化。 基于深度學習的配準方法，目前大多針對單模態(tài)的醫(yī)學影像配準，而腫瘤放療全過程放療靶區(qū)和危及器官形變很大，所需影像模態(tài)多樣，在線自適應(yīng)放療計劃要求實時且高精度地配準多模態(tài)影像，因此，至今臨床上還沒有一種高效高精度的腫瘤放療多模態(tài)影像配準方法。

GAN 配準、分割與弱監(jiān)督配準多任務(wù)、無監(jiān)督深度學習配準，在腫瘤放療多模態(tài)影像中的主要研究進展，如表2 所示。

表2 主要的腫瘤放療影像配準深度學習方法及性能總結(jié)Tab.2 Summary of deep learning registration methods for tumor radiotherapy and their performance

2.1 生成對抗網(wǎng)絡(luò)GAN 配準方法

由于影像配準是一個不適定的問題，通常使用正則化來約束形變場和防止形變后的影像出現(xiàn)折疊等不真實的形變。 常用的正則化項包括形變場光滑約束、反折疊約束和雙向一致性約束。 然而，這些人工設(shè)計的配準正則化約束并不能保證形變的物理真實性。 另一方面，對于多模態(tài)醫(yī)學影像的配準，通過深度卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測形變場時，配準性能不如單模態(tài)影像配準，這是因為不同模態(tài)間的巨大差異導(dǎo)致不同模態(tài)影像之間的相似性度量更加困難。 最近，基于生成對抗網(wǎng)絡(luò)GAN 的醫(yī)學影像配準研究表明，GAN 有望更好地解決復(fù)雜醫(yī)學影像形變配準問題，其核心思想是訓練一個生成對抗網(wǎng)絡(luò)。 一方面，通過生成器網(wǎng)絡(luò)直接生成預(yù)測形變場，或者形變速度場實現(xiàn)微分同胚形變配準，這是腫瘤自適應(yīng)放療多模態(tài)影像配準臨床應(yīng)用特別期待的配準變換特性。 另一方面，通過判別器網(wǎng)絡(luò)，引入一個基于學習的配準對抗性損失形變場正則化約束項，用于解決配準算法中手動設(shè)計正則項的問題。 基于GAN 的影像轉(zhuǎn)換，還可有效地將更具挑戰(zhàn)性的多模態(tài)配準問題轉(zhuǎn)化為相對容易的單模態(tài)影像配準問題，使得許多現(xiàn)有的單模態(tài)配準算法可以應(yīng)用于多模態(tài)影像的配準。

Elmahdy 等[29]最近開展的一項基于對抗生成網(wǎng)絡(luò)的前列腺癌放療計劃模擬定位CT 和放療全過程7～10 個分次放療前CT 影像聯(lián)合配準和靶區(qū)分割研究表明，該方法不僅配準速度快(0.6 s)，能夠滿足在線自適應(yīng)放療計劃要求，而且配準精度高﹝靶區(qū)定位平均位置誤差為(1.13 ± 0.4)mm ﹞，基本能夠滿足靶區(qū)和危及器官定位精度要求。 該配準方法不僅在配準速度上大大超過經(jīng)典配準方法(13 s)，而且配準精度也超過了經(jīng)典的Elastix 配準方法的精度(4.0 ± 1.7)mm。 具體地，先通過配準生成網(wǎng)絡(luò)直接預(yù)測形變場，再通過空間形變網(wǎng)絡(luò)實現(xiàn)放療計劃CT 到每個分次放療前CT 影像的無監(jiān)督配準和腫瘤放療靶區(qū)與危及器官輪廓的形變演化。 采用更利于網(wǎng)絡(luò)訓練的Wasserstein GAN 損失函數(shù)進行配準網(wǎng)絡(luò)訓練，通過PatchGAN 訓練配準判別網(wǎng)絡(luò)。 不僅通過配準判別網(wǎng)絡(luò)直接判斷影像塊之間是否已經(jīng)配準、配準演化后的放療靶區(qū)與危及器官輪廓是否與臨床專家手工勾畫的輪廓相似，為配準生成網(wǎng)絡(luò)提供配準對抗性損失項，而且通過配準影像塊之間的歸一化互相關(guān)NCC 度量和放療靶區(qū)與危及器官分割Dice 相似性系數(shù)度量，為配準生成網(wǎng)絡(luò)提供間接、附加的形變場正則項，同時提高配準和分割的精度。

Lei 等[30]最近一項基于對抗生成網(wǎng)絡(luò)的胰腺癌放療過程腫瘤和危及器官定位、運動跟蹤和放療門控4 D-CT 10 個時相中任意兩個時相影像配準研究表明，胰腺癌標記點配準誤差均值為2.48 mm，配準時間小于1 min。 他們通過配準生成網(wǎng)絡(luò)直接預(yù)測形變場，通過空間形變網(wǎng)絡(luò)層實現(xiàn)任意兩個時相影像的無監(jiān)督配準，通過配準判別網(wǎng)絡(luò)判斷影像塊之間是否已經(jīng)配準，為配準生成網(wǎng)絡(luò)提供對抗性配準損失度量(交叉熵)。 該方法有望用于肺癌、胰腺癌等受呼吸運動影響較大的腫瘤實時定位、運動跟蹤和放療門控計劃與自適應(yīng)放療計劃。

2.2 配準和分割多任務(wù)DCNN 方法

目前，國內(nèi)外許多相關(guān)研究表明，聯(lián)合臨床專家勾畫的正常組織器官和腫瘤輪廓等解剖學信息，可提高無監(jiān)督配準網(wǎng)絡(luò)性能。 同時，配準形變場既可以直接用于解剖結(jié)構(gòu)輪廓的演化，也可以用于提高分割網(wǎng)絡(luò)性能，這對腫瘤放療臨床應(yīng)用尤其重要。 臨床上腫瘤自適應(yīng)放療計劃優(yōu)化時，需要將放療計劃時在放療模擬定位CT 上分割的腫瘤放療靶區(qū)和危及器官高精度演化到每次放療時在線獲取的CTCT，或MRI 影像上，同時，還需要將每次放療時患者每個靶區(qū)和危及器官實際接受的照射劑量反向高精度地映射到計劃CT 上，進行各分次放療劑量的累計計算和評估。 因此，聯(lián)合配準和分割等多個不同但相關(guān)的任務(wù)，相互約束，訓練多個相關(guān)的深度神經(jīng)網(wǎng)絡(luò)，是一種非常好的多任務(wù)學習方法。

Hu 等[31-32]最先提出利用組織解剖結(jié)構(gòu)標注等更高層語義結(jié)構(gòu)信息進行配準網(wǎng)絡(luò)訓練。 他們認為這樣的解剖結(jié)構(gòu)信息更可靠，更符合臨床實際。他們在訓練T2－MR-US 前列腺影像配準深度神經(jīng)網(wǎng)絡(luò)時，使用高質(zhì)量標注的前列腺區(qū)域掩膜，采用多尺度Dice 相似性度量配準誤差，但測試推理階段不需要任何解剖結(jié)構(gòu)標簽信息。 他們采用改進的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)，引入多尺度融合的解碼網(wǎng)絡(luò)，實現(xiàn)較大的剛性和形變配準。 測試表明:標志點配準中位絕對誤差為3.6 mm，中位Dice0.87。 配準性能大大優(yōu)于其它基于影像強度相似性的配準方法。 進一步考慮到臨床影像配準的主要目的是通過影像配準空間變換演化腫瘤(病灶)和相關(guān)解剖結(jié)構(gòu)等感興趣區(qū)域(region of interest，ROI)的輪廓，ROI 之外的點對應(yīng)關(guān)系通常臨床價值較小，Hu 等[33]提出了一種條件分割網(wǎng)絡(luò)，以移動影像及其某個ROI 輪廓作為條件，通過該條件分割網(wǎng)絡(luò)對固定目標影像進行分割(分類)預(yù)測，直接將移動影像中的ROI 輪廓映射(演化)到固定影像中，而不需要通過配準空間變換，因此訓練時也不需要配準形變場正則化約束。 訓練U-Net 分割網(wǎng)絡(luò)時，他們采用固定影像多ROI 分割加權(quán)交叉熵損失函數(shù)，網(wǎng)絡(luò)輸入為待配準影像對和移動影像ROI 標簽，每次輸入一對影像對應(yīng)的單個解剖結(jié)構(gòu)或區(qū)域ROI。 訓練集的ROI 無需配對，單個影像對可具有不同的多個ROI 對。 在推理過程中，給定一對新的影像和一個移動影像的ROI，訓練好的網(wǎng)絡(luò)可以預(yù)測該ROI 在固定的影像空間中位置。 前列腺治療前MRI(移動影像)和治療中超聲(固定影像)測試結(jié)果表明:專家勾畫的超聲前列腺輪廓ROI 與治療前MR 前列腺輪廓演化得到的輪廓中位標志點絕對誤差(target registration error，TRE)為2.1 mm，中位Dice 相似性系數(shù)為0.92。 與基于配準網(wǎng)絡(luò)預(yù)測的空間變換演化ROI輪廓方法[31-32]相比，相應(yīng)的TRE顯著降低(>34%)。

為實現(xiàn)前列腺癌自適應(yīng)放療靶區(qū)和危及器官高精度和魯棒的自動分割，Elmahdy 等[34]聯(lián)合預(yù)先訓練好的膀胱分割深度神經(jīng)網(wǎng)絡(luò)U-Net，提出了一個三階段的前列腺癌質(zhì)子調(diào)強放療靶區(qū)和危及器官分割與配準網(wǎng)絡(luò)，實現(xiàn)從放療計劃CT 到每天放療時CT 的前列腺癌、膀胱、淋巴結(jié)和精囊的自適應(yīng)輪廓演化(自動高精度魯棒分割)。 采用有監(jiān)督的訓練方法，先訓練膀胱CT 影像深度神經(jīng)網(wǎng)絡(luò)UNet，然后在迭代優(yōu)化放療計劃CT 到每天放療前CT的配準Elastix 算法過程中，先采用自動提取的患者人體掩膜作為解剖結(jié)構(gòu)先驗信息，基于互信息配準準則，實現(xiàn)仿射剛性變換；再采用訓練好的膀胱分割網(wǎng)絡(luò)預(yù)測分割計劃CT 影像中的膀胱掩膜，為第二階段形變配準網(wǎng)絡(luò)提供膀胱解剖學先驗信息正則項(采用膀胱輪廓距離均方差)，聯(lián)合互信息配準準則，實現(xiàn)前列腺癌、膀胱、淋巴結(jié)、直腸的形變配準和輪廓演化。 最后，在第三階段，采用分演化后的直腸輪廓作為解剖結(jié)構(gòu)先驗，高精度配準和演化(分割)直腸和精囊輪廓。 此外，為了提高分割配準方法的魯棒性，還通過訓練生成對抗測網(wǎng)絡(luò)，對CT影像膀胱、直腸和精囊中的空氣部分進行修復(fù)與處理，對CT 進行“加窗[－330，300]”對比度增強。 測試結(jié)果表明:膀胱分割Dice 相似性系數(shù)88%，前列腺，精囊，淋巴結(jié)的平均表面距離配準誤差分別達到(1.29 ±0.39)mm ，(1.48±1.16)mm，(1.49 ±0.44)mm，滿足臨床放療高精度定位要求(小于2 mm)。由于配準過程由膀胱和直腸解剖結(jié)構(gòu)(分割)驅(qū)動，該靶區(qū)和危及器官演化(分割)結(jié)果更準確和更魯棒。 相應(yīng)的前列腺靶區(qū)和危及器官調(diào)強放療計劃劑量覆蓋指標V95 和V107 明顯優(yōu)于僅基于影像強度相似性配準演化輪廓的相應(yīng)計劃，基于該方法自動輪廓演化結(jié)果自動生成的放療計劃80%臨床上可以直接接受，無需人工修正，系統(tǒng)的魯棒性有了很大的提高。

2.3 無監(jiān)督DCNN 配準方法

無監(jiān)督的深度學習影像配準方法，可以避免臨床醫(yī)學影像配準真實形變場無法獲取的問題。 在無監(jiān)督訓練學習配準網(wǎng)絡(luò)參數(shù)時，只需要提供配準影像對作為形變場預(yù)測網(wǎng)絡(luò)模型輸入，不需要提供真實形變場。 訓練過程中，直接采用預(yù)測的形變場，通過空間變換網(wǎng)絡(luò)( spatial transformation network，STN)對移動影像進行形變插值，獲得配準后的影像，并通過直接計算配準前后影像的相似性度量值作為預(yù)測網(wǎng)絡(luò)模型損失函數(shù)值，進行誤差反向傳播學習。 各種配準正則化約束項的提出也使得配準網(wǎng)絡(luò)能夠預(yù)測到盡可能合理的形變場，但是，目前大多數(shù)無監(jiān)督醫(yī)學影像配準方法的研究都集中在某個單一模態(tài)影像的配準，無監(jiān)督的多模態(tài)影像配準深度神經(jīng)網(wǎng)絡(luò)有待深入研究。

Kearney 等[35]提出了一種用于頭頸患者CBCT到CT 影像配準高層特征提取的深度神經(jīng)網(wǎng)絡(luò)DCIGN，網(wǎng)絡(luò)結(jié)構(gòu)類似自編碼－解碼網(wǎng)絡(luò)。 首先，他們使用分布式、無監(jiān)督方式訓練DCIGN，然后，采用訓練好的DCIGN 編碼網(wǎng)絡(luò)最高層提取的8 通道CBCT 和CT 特征，通過經(jīng)典的尺度不變特征轉(zhuǎn)換SIFT 算法提取用于配準的特征點集。 最后，采用多通道微分同胚Demons 配準算法實現(xiàn)形變配準。 測試表明:該方法配準性能優(yōu)于現(xiàn)有經(jīng)典配準算法，配準后的平均互信息為0.653，平均配準時間3.5 s。

臨床腫瘤自適應(yīng)放療計劃中，要求配準每次放療前的CBCT 影像到放療計劃時的模擬定位CT 影像的形變場是可逆的、光滑的，并應(yīng)保持腫瘤和危及器官解剖結(jié)構(gòu)的一致性。 經(jīng)典配準方法可通過微分同胚形變配準實現(xiàn)，但計算量大、耗時長。 最近，顧冬冬等[36]提出了一種新的無監(jiān)督深度學習配準方法，在訓練配準網(wǎng)絡(luò)時，引入雙向和多級形變一致性約束和循環(huán)形變一致性損失正則項，實現(xiàn)可逆、一致的配準。 與現(xiàn)有的配準方法相比，該方法具有較高的配準一致性和較好的配準精度。 顧冬冬等[37]進一步提出了基于形變場w-PCA 先驗投影圖像的多級配準框架，通過高維形變場統(tǒng)計分布先驗?zāi)Ｐ蜕上闰瀳D像來增強彈性配準的魯棒性和精度。 通過高維形變場的w-PCA 分析估計高維形變場的先驗分布，利用先驗分布分別生成與兩個輸入圖像相似的中間先驗圖像，使得任意兩個圖像的配準能夠以兩個中間圖像為橋梁，將輸入圖像對的配準轉(zhuǎn)換成采用可逆一致的深度配準網(wǎng)絡(luò)分別配準對應(yīng)的中間生成圖像和輸入圖像。 由于中間圖像在形狀上和對應(yīng)輸入圖像更為相似，該方法可以達到較高的準確性和較好的一致性，尤其是在形狀外觀差別較大的輸入圖像之間，能夠產(chǎn)生平滑一致的形變場。 顧冬冬等[38]提出利用形變場先驗知識進行數(shù)據(jù)增強的配準網(wǎng)絡(luò)。 從一組由微分同胚配準方法SyN 生成的有效形變，通過訓練變分編解碼網(wǎng)絡(luò)，得到形變場在隱空間的流形，然后對隱空間進行統(tǒng)計采樣，并將解碼器重構(gòu)后的形變和對應(yīng)形變后的圖像作為金標準，對配準網(wǎng)絡(luò)進行有監(jiān)督訓練。 此外，顧冬冬等[39]提出了一種兩階段級聯(lián)的無監(jiān)督深度學習配準方法，第一階段的深度卷積網(wǎng)絡(luò)學習影像級的全局仿射變換參數(shù)，第二階段深度卷積網(wǎng)絡(luò)學習體素級的局部形變場。 該方法由于加入第一階段的仿射配準網(wǎng)絡(luò)，預(yù)處理階段無需進行影像剛性配準，可提高實際臨床配準中的效率。 結(jié)果表明，配準精度和效率優(yōu)于現(xiàn)有配準方法。

3 腫瘤放療多模態(tài)影像轉(zhuǎn)換方法

調(diào)強放療計劃優(yōu)化過程中放射治療計劃系統(tǒng)(therapy planning system，TPS)需要根據(jù)腫瘤組織和正常器官的電子密度值計算(估計)腫瘤放療靶區(qū)和危及器官接收到的累計劑量值(放療高能射線照射輻射能量)。 目前，臨床上主要根據(jù)腫瘤患者的放療模擬定位CT 影像HU 值進行放療劑量計算。

最近幾年，國內(nèi)外腫瘤醫(yī)院都在部署新一代集成的MRI/Linac 核磁加速器放療系統(tǒng)，這使得直接利用MRI 影像取替CT 影像進行腫瘤放療靶區(qū)與危及器官定位和放療劑量計算的臨床需求更加緊迫。這不僅可以通過MRI 更加準確地定位腫瘤和危及器官，而且可避免MRI/CT 配準，使在線實時進行MRI 引導(dǎo)的自適應(yīng)放療計劃更加容易實現(xiàn)，同時減少患者使用CT 進行模擬放療定位和使用放療加速器機載CTCB 擺位時受到額外的輻射照射。 但是MRI 不能提供放療劑量計算時需要的各組織器官和腫瘤組織的電子密度定量信息。 目前，臨床上采用MRI/Linac 進行放療計劃時通常還需要獲取患者的放療模擬定位CT 影像。

為克服以上不足，國內(nèi)外研究人員嘗試了很多不同的從腫瘤放療MRI 影像到CT 影像的轉(zhuǎn)換方法[40]。 Maspero 等[41]較早提出利用深度學習方法，根據(jù)MRI 影像快速生成放療模擬定位CT 影像，實現(xiàn)盆腔腫瘤在線自適應(yīng)放療。 幾乎同時，Nie 等[42]提出利用3 D 全卷積網(wǎng)絡(luò)(FCN)根據(jù)MRI 來生成CT 影像，更好地保留和預(yù)測CT 影像中的鄰域信息。 目前，研究人員提出了許多改進的深度學習類影像轉(zhuǎn)換方法，如表3 所示。 目前，僅少數(shù)研究基于轉(zhuǎn)換合成的CT 進行了放療計劃劑量計算的對比評估研究，結(jié)果表明基本能滿足相應(yīng)的臨床放療計劃要求，但還缺乏大規(guī)模、多中心的臨床實驗，因此，這些影像轉(zhuǎn)換方法并未得到臨床應(yīng)用。

表3 主要的腫瘤放療影像轉(zhuǎn)換深度學習方法及性能總結(jié)Tab.3 Summary of deep learning image translation methods for tumor radiotherapy and their performance

3.1 基于GAN 的影像轉(zhuǎn)換方法

最近幾年，基于GAN 的腫瘤MRI 影像到腫瘤放療模擬定位CT 影像的轉(zhuǎn)換合成，取得了很大的進展，主要包括改進的經(jīng)典GAN 方法、循環(huán)一致的GAN 方法、條件GAN 方法三大類。 下面分別綜述如下:

1)改進的經(jīng)典GAN 方法

Emami 等[43]將殘差網(wǎng)絡(luò)加入到經(jīng)典GAN，其生成器為殘差網(wǎng)絡(luò)，鑒別器為經(jīng)典CNN 網(wǎng)絡(luò)。 15名患者腦部MR 及CT 影像數(shù)據(jù)集作為該網(wǎng)絡(luò)的訓練和測試集。 實驗結(jié)果表明:該網(wǎng)絡(luò)合成的CT 影像與真實的CT 影像之間的平均絕對誤差(mean absolute error，MAE)為(89.30 ± 10.25)HU，平均峰值信噪比(peak signal to noise ratio，PSNR)為26.64±1.17，平均結(jié)構(gòu)相似性(structural similarity，SSIM)為0.83 ± 0.03，效果好于經(jīng)典U-Net 網(wǎng)絡(luò)。 Armanious等[44]對GAN 網(wǎng)絡(luò)進行了改進，提出了MedGAN。作者將鑒別器作為一個可訓練的特征提取器，以便于懲罰轉(zhuǎn)換后的影像與目標影像之間的CNN 視覺特征差異，同時利用影像紋理結(jié)構(gòu)轉(zhuǎn)換損失項，使轉(zhuǎn)換后的影像和目標影像的紋理和精細結(jié)構(gòu)匹配。 同時，作者提出了名為CasNet 的新型生成器網(wǎng)絡(luò)結(jié)構(gòu)，通過級聯(lián)的編碼－解碼U 形網(wǎng)絡(luò)塊，逐步提升轉(zhuǎn)換后影像的銳度。 實驗結(jié)果表明，MAE為264.6 HU，效果遠好于一般GAN 網(wǎng)絡(luò)的313.2 HU。

2)循環(huán)一致的GAN 方法

在多模態(tài)或多序列MR 影像轉(zhuǎn)換網(wǎng)絡(luò)中，通常需要預(yù)先對患者的多序列MR 影像或單序列MR 影像和CT 影像樣本對進行配準，但是，在實際臨床應(yīng)用中，高精度的多模態(tài)影像和多序列MR 影像配準本身也很困難。 為了解決該問題，研究人員基于CycleGAN 框架，提出了MRI 到CT 影像的轉(zhuǎn)換網(wǎng)絡(luò)模型。 最近，Wu 等[45]通過改進的U-Net 作為生成網(wǎng)絡(luò)，采用CycleGAN，提出了MRI 到CT 的自動生成網(wǎng)絡(luò)UC-GAN，測試表明，MAE 為(76.7 ± 4.5)HU，PSNR 為46.1 ± 1.5，性能優(yōu)于原CycleGAN 方法。 由于輸入影像與輸出影像之間缺乏直接的約束，Cycle GAN 不能保證輸入－輸出影像之間的結(jié)構(gòu)一致性，而這種一致性在醫(yī)學成像中極為重要，因此Yang 等[46]提出了一種局部結(jié)構(gòu)約束的CycleGAN(structure-constrained CycleGAN)。 該網(wǎng)絡(luò)使用未配準的MRI-CT 影像數(shù)據(jù)集，基于影像模態(tài)獨立鄰域描述方法(MIND)提取影像的局部結(jié)構(gòu)特征，并構(gòu)建局部結(jié)構(gòu)一致性損失項，使轉(zhuǎn)換后的影像和目標影像局部結(jié)構(gòu)保持一致，測試表明，MAE 為122.7 HU，性能優(yōu)于一般的CycleGAN 網(wǎng)絡(luò)。 Prokopenko 等[47]則采用非配準的MRI 和CT樣本集訓練兩個生成對抗網(wǎng)絡(luò)(DualGAN)，以便保證MRI-CT 影像雙向轉(zhuǎn)換的一致性，并通過一個預(yù)訓練的VGG16 提取合成CT 影像的高層視覺特征，從而引入視覺感知特征損失對抗性正則項。 測試表明，MAE 為60.83 HU ，PSNR 為17.21 dB， 結(jié)構(gòu)相似性為0.8。

3)條件GAN 方法及不同GAN 方法對比研究

條件生成對抗網(wǎng)絡(luò)(cGAN)也是一種常見的影像轉(zhuǎn)換網(wǎng)絡(luò)，但需要有配對的影像作為輸入進行訓練。 Peng 等[48]比較了cGAN 網(wǎng)絡(luò)和CycleGAN 網(wǎng)絡(luò)合成CT 影像的性能。 作者使用普通的U-Net 作為cGAN 網(wǎng)絡(luò)的生成器，使用殘差U-Net 作為CycleGAN 的生成器。 173 例鼻咽癌患者頭頸部的T1 加權(quán)MR 影像和相應(yīng)的CT 影像作為訓練和測試樣本集。 對于cGAN 網(wǎng)絡(luò)，使用形變配準后的MRCT 影像對進行訓練。 而對于CycleGAN 網(wǎng)絡(luò)，則使用未配準的MR 和CT 影像進行訓練。 實驗結(jié)果表明:cGAN 和CycleGAN 生成CT 影像的MAE 分別為(69.67±9.27)HU 和(100.62±7.39)HU。 當MR 和CT 影像已配準時，訓練好的cGAN 網(wǎng)絡(luò)可以合成質(zhì)量更好的CT 影像。 Hemsley 等[49]對cGAN 進行了改進使得該網(wǎng)絡(luò)可以預(yù)測轉(zhuǎn)換合成影像CT 值的不確定性。 該網(wǎng)絡(luò)使用貝葉斯神經(jīng)網(wǎng)絡(luò)來對模型不確定性進行估計。 105 組腦部MR 及CT 影像數(shù)據(jù)集實驗結(jié)果表明，轉(zhuǎn)換合成的CT 影像與真實CT 影像間的MAE 為(89 ± 8) HU，并且能夠同時生成合成影像CT 值的不確定性估計值。 Li 等[50]比較了有監(jiān)督與無監(jiān)督深度學習網(wǎng)絡(luò)在生成CT 影像效果上的差異。 采用經(jīng)典的U-Net 網(wǎng)絡(luò)代表有監(jiān)督深度學習網(wǎng)絡(luò)，CycleGAN 網(wǎng)絡(luò)代表無監(jiān)督深度學習網(wǎng)絡(luò)，Leaky ReLU 函數(shù)作為卷積之前的激活函數(shù)對UNet 網(wǎng)絡(luò)進行了改進。 34 組頭部T2 加權(quán)MR 影像和CT 影像對作為網(wǎng)絡(luò)訓練和測試樣本集，其中剛性配準樣本對作為U-Net 訓練的數(shù)據(jù)集，然后再將這些已配準的MRI-CT 影像集進行隨機配對作為CycleGAN 的訓練數(shù)據(jù)集。 實驗結(jié)果表明，MAE:UNet 為65.36 ± 4.08、CycleGAN 為93.95 ± 5.89；SSIM:U-Net 為0.972 ± 0.004、CycleGAN 為0.955 ±0.007；PSNR:U-Net 為28.84 ± 0.57、CycleGAN 為26.32 ± 0.55。 合成CT 影像的質(zhì)量總體上有監(jiān)督的U-Net 網(wǎng)絡(luò)優(yōu)于無監(jiān)督的CycleGAN 網(wǎng)絡(luò)。 Zhang等[51]發(fā)現(xiàn)聯(lián)合訓練影像轉(zhuǎn)換和影像分割網(wǎng)絡(luò)，可同時提供兩個任務(wù)的性能。 特別地，將影像轉(zhuǎn)換CycleGAN 網(wǎng)絡(luò)與分割網(wǎng)絡(luò)相結(jié)合，在訓練時將轉(zhuǎn)換網(wǎng)絡(luò)生成的合成CT 影像和真實的CT 影像一同送入分割網(wǎng)絡(luò)，可實現(xiàn)生成CT 影像時分割目標對象的體積與形狀約束。 實驗結(jié)果表明:聯(lián)合轉(zhuǎn)換合成的CT 影像質(zhì)量更好。

3.2 基于U-Net 的影像轉(zhuǎn)換方法

Han 等[52]較早提出了一個基于U-Net 的2 D MRI 到CT 影像轉(zhuǎn)換合成模型，其MAE 為85 HU，而基于圖譜方法合成CT 的MAE 為95 HU。 Xiang等[53]提出了深度嵌入卷積神經(jīng)網(wǎng)絡(luò)(DECNN)轉(zhuǎn)換方法，將轉(zhuǎn)換網(wǎng)絡(luò)CNN 中間層的特征圖合成出相應(yīng)的中間層CT 影像，并將其和相應(yīng)的中間層特征圖進行級聯(lián)作為后續(xù)中間層的輸入進一步提取高層特征。 腦部數(shù)據(jù)集和前列腺數(shù)據(jù)集實驗結(jié)果表明，MAE 分別為85.4 和42.3 HU，而基于圖譜的合成方法分別為169.5 HU 以及64.6 HU。 Dinkla 等[54]提出了基于影像塊的3 D U-Net 影像轉(zhuǎn)換網(wǎng)絡(luò)，實驗結(jié)果表明，MAE 為(75 ± 9) HU。 Wu 等[55]將UNet 影像轉(zhuǎn)換網(wǎng)絡(luò)與CycleGAN 轉(zhuǎn)換網(wǎng)絡(luò)相結(jié)合，提出了UC-GAN 影像轉(zhuǎn)換網(wǎng)絡(luò)，其MAE 為(76.7 ±4.5) HU，而經(jīng)典CycleGAN 的MAE 為(94.0 ±4.3) HU。 Baydoun 等[56]則研究了U-Net 與cGAN結(jié)合之后的影像轉(zhuǎn)換性能，其平均絕對百分比誤差MAPE 為75.25 ± 25.42，均方根 誤差RMSE 為115.74 ± 21.84，PSNR 為63.41 ± 1.67，SSIM 為0.839 ± 0.044。 Han 等[52]參考U-Net 網(wǎng)絡(luò)結(jié)構(gòu)提出了DCNN 網(wǎng)絡(luò)，在編碼部分作者使用了VGG 16網(wǎng)絡(luò)，其MAE 值可達84.8 HU。

3.3 多序列MR 影像到CT 影像的轉(zhuǎn)換方法

MRI 影像具有多種不同序列的掃描方式，不同的掃描序列表征不同的組織病理信息，聯(lián)合多個序列MRI 的CT 影像合成方法取得了較大的進展。 Qi等[57]針對鼻咽癌患者頭頸部多個序列MRI 合成CT影像進行了對比研究。 作者收集了45 例鼻咽癌患者的4 個MR 序列影像(T1、T2、T1C、T1DixonCwater)，聯(lián)合4 種MRI 序列影像訓練轉(zhuǎn)換網(wǎng)絡(luò)cGAN合成的CT 影像，其MAE 僅為(69.98 ± 12.02)HU，效果遠好于僅采用單一MR 序列影像訓練的結(jié)果。 Tie 等[58]在U-Net 網(wǎng)絡(luò)的基礎(chǔ)上提出了多路徑多通道生成對抗影像轉(zhuǎn)換網(wǎng)絡(luò)(MCMP-GAN)。 該網(wǎng)絡(luò)將經(jīng)典U-Net 網(wǎng)絡(luò)的網(wǎng)絡(luò)塊全部替換為殘差卷積塊，并且將網(wǎng)絡(luò)的編碼路徑從原先的單通道擴展為了三通道，分別用于3 個不同序列的MRI 影像，并進行聯(lián)合網(wǎng)絡(luò)訓練，但每個通道都有各自的特征提取網(wǎng)絡(luò)層，并在分別進行四層的殘差塊操作后將這3 個通道提取的不同序列MRI 影像特征信息進行級聯(lián)后再送入四層的解碼網(wǎng)絡(luò)進行解碼，以獲得合成的CT 影像，同時將合成CT 影像送入判別器進行對抗性鑒別。 32 名鼻咽癌患者頭頸部MR 和CT影像作為訓練測試數(shù)據(jù)集，其中MR 影像包括了3種不同序列的影像:T1 加權(quán)、T1 加權(quán)脂肪飽和、T2加權(quán)。 結(jié)果表明，其MAE 為(79.2 ± 13.0) HU，PSNR 為28.8 ± 1.2，影像轉(zhuǎn)換性能好于經(jīng)典的UNet 影像轉(zhuǎn)換網(wǎng)絡(luò)。

3.4 合成CT 影像對放療計劃劑量計算的影響評估

臨床上，MR 影像轉(zhuǎn)換為CT 影像的目的是為了放療計劃劑量計算和劑量分布優(yōu)化。 因此通過患者合成CT 影像計算的放療計劃劑量值是否準確是關(guān)鍵。 近期Chen 等[59]對采用U-Net 網(wǎng)絡(luò)合成的CT 影像計算腫瘤放療計劃劑量的準確性進行了評估:根據(jù)合成CT 影像計算的91 例前列腺癌患者調(diào)強放療(IMRT)計劃劑量分布，其1%1 和2%2 mm準則下的γ 通過率[62]分別超過98.03%和99.36%，平均絕對點劑量差分別小于0.4%和0.6%。 Neppl等[60]比較了根據(jù)2 D U-Net 和3 D U-Net 網(wǎng)絡(luò)合成的CT 影像計算的快速容積弧形旋轉(zhuǎn)調(diào)強放療(volumetric arc intensity modulated radiotherapy，VMAT)對應(yīng)的計劃劑量可行性:光子治療計劃1%1 mm和質(zhì)子治療計劃2%2 mm 三維伽馬通過率均可達95%以上。 Maspero 等[41]研究了同一轉(zhuǎn)換網(wǎng)絡(luò)cGAN 生成的相同部位的CT 影像在不同腫瘤類型VMAT 放療計劃劑量計算上的差異，其中包括59名前列腺癌患者、18 名直腸癌患者和14 名宮頸癌患者。 隨機使用32 名前列腺癌患者的影像數(shù)據(jù)進行訓練，并隨機使用每種癌癥中的10 名患者影像數(shù)據(jù)作為測試集。 實驗結(jié)果表明:3 種癌癥患者放療計劃劑量分布的2%2 和3%3 mm 三維伽馬通過率均可達94%以上。

Largent 等[61]比較了根據(jù)不同的MRI 到CT 影像轉(zhuǎn)換合成網(wǎng)絡(luò)(U-Net 或GAN)和同一網(wǎng)絡(luò)在使用不同損失函數(shù)訓練后合成的CT 影像，計算39 組前列腺癌患者放療計劃劑量:根據(jù)GAN 或者U-Net 網(wǎng)絡(luò)轉(zhuǎn)換合成的CT 影像計算的放療劑量不確定度均小于0.6%。 1%1 mm 三維伽馬通過率均可達99%以上。

4 未來研究方向和研究內(nèi)容

目前，惡性腫瘤放療先進技術(shù)主要包括IMRT、VMAT、螺旋斷層調(diào)強放療Tomotherapy、IGRT、劑量引導(dǎo)放療、質(zhì)子和重離子放療。 智能化、個性化、精確化、自適應(yīng)放療計劃是腫瘤放療的未來趨勢。

腫瘤智能放療IRT 建立在腫瘤CT、CBCT、MRI、PET/CT、PET/MRI 等現(xiàn)代醫(yī)學影像和人工智能技術(shù)之上。 成功實施智能放療，可以獲得高度物理和生物學適形的劑量分布和陡峭的劑量梯度，最大限度地提高腫瘤局控率和避免正常組織器官損傷，但其前提條件是精確的靶區(qū)分割、精確的放療計劃和精確的計劃執(zhí)行。

由于復(fù)雜和多樣的惡性腫瘤生物學特性、5～7周時間內(nèi)分多次執(zhí)行的放療方式和復(fù)雜的腫瘤與危及器官放療響應(yīng)生化和物理機理，目前，還沒有一個臨床上高效可行的惡性腫瘤CT、CBCT、MRI 、PET 放療靶區(qū)分割、影像配準與轉(zhuǎn)換方法，這是當前實施高精度智能調(diào)強放療的技術(shù)瓶頸之一，也是未來的研究重點內(nèi)容之一。 未來智能放療的主要研究方向是:聯(lián)合腫瘤放療計劃過程中的所有可用醫(yī)學影像，通過深度學習等新一代人工智能技術(shù)和方法，建立腫瘤多模態(tài)影像高質(zhì)量成像模型、配準與轉(zhuǎn)換模型和放療靶區(qū)分割模型，進一步提出放療劑量分布預(yù)測模型和放療療效預(yù)測模型，實現(xiàn)實時自適應(yīng)放療計劃多目標智能優(yōu)化和精確執(zhí)行，解決腫瘤智能放療關(guān)鍵技術(shù)瓶頸的科學問題。 未來幾年腫瘤放療靶區(qū)分割、多模態(tài)影像配準和轉(zhuǎn)換的重點研究內(nèi)容如下:

1) 跨模態(tài)影像腫瘤靶區(qū)高精度分割生成對抗網(wǎng)絡(luò)學習建模方法；

2) 聯(lián)合多模態(tài)影像腫瘤靶區(qū)高精度分割生成對抗網(wǎng)絡(luò)學習建模方法；

3) 腫瘤放療多模態(tài)影像高精度配準的多級深度神經(jīng)網(wǎng)絡(luò)無監(jiān)督學習建模方法；

4) 腫瘤放療多模態(tài)影像高精度配準、轉(zhuǎn)換和分割多任務(wù)的生成對抗網(wǎng)絡(luò)學習建模方法。

5 結(jié)論

本文基于近十年相關(guān)學者對腫瘤精確放療計劃領(lǐng)域的研究分析和近幾年國內(nèi)外最新的有關(guān)研究成果，系統(tǒng)性地綜述了惡性腫瘤放射治療的現(xiàn)狀與發(fā)展趨勢，重點論述了深度學習技術(shù)和方法在多模態(tài)影像引導(dǎo)腫瘤精確放射治療計劃中的應(yīng)用研究的成果，并分析了存在的關(guān)鍵科學問題和發(fā)展趨勢，隨后提出了未來幾年腫瘤放療靶區(qū)分割、多模態(tài)影像配準與轉(zhuǎn)換的重要研究方向和重點研究內(nèi)容。