醫(yī)學(xué)圖像合成方法研究進(jìn)展

謝 凱，陸正大，李春迎，孫鴻飛，林 濤， 高留剛，眭建鋒，倪昕曄 *

(1.南京醫(yī)科大學(xué)附屬常州第二人民醫(yī)院放療科，江蘇 常州 213003；2.南京醫(yī)科大學(xué)醫(yī)學(xué)物理中心實(shí)驗(yàn)室，江蘇 常州 213003；3.常州市醫(yī)學(xué)物理重點(diǎn)實(shí)驗(yàn)室，江蘇 常州 213003)

隨著信息技術(shù)與計(jì)算機(jī)水平不斷發(fā)展，MRI、CT、US和PET等醫(yī)學(xué)影像學(xué)檢查方法在疾病診斷和治療中發(fā)揮重要作用。不同模態(tài)醫(yī)學(xué)圖像提供的信息可互為補(bǔ)充，臨床實(shí)踐中常需對(duì)多模態(tài)醫(yī)學(xué)圖像進(jìn)行綜合分析；但由于存在輻射、價(jià)格昂貴或設(shè)備缺乏等原因，可能無法獲取某種特定圖像，此時(shí)通過圖像合成可滿足臨床需求。圖像合成指將某種變換作用于一組給定的輸入圖像，生成與真實(shí)圖像足夠接近的新圖像[1]。醫(yī)學(xué)圖像合成既可用于不同模態(tài)圖像之間，如將MRI合成CT圖像[2]，也可用于相同模態(tài)不同參數(shù)的圖像，如MR T1WI與T2WI之間、3T與7T MRI之間、錐形束CT(cone beam CT, CBCT)與CT之間；然而由源圖到靶圖的變換往往為高維非線性，導(dǎo)致醫(yī)學(xué)圖像合成并非易事[3]。

近年來，醫(yī)學(xué)圖像合成相關(guān)研究[4-5]多關(guān)注分析合成圖像與真實(shí)圖像的差異，以評(píng)價(jià)圖像合成方法的性能，但對(duì)于醫(yī)學(xué)圖像合成方法的分類尚無統(tǒng)一標(biāo)準(zhǔn)。本研究結(jié)合相關(guān)文獻(xiàn)將其主要分為4類：①基于地圖集配準(zhǔn)方法；②基于強(qiáng)度變換方法；③基于學(xué)習(xí)方法；④基于深度學(xué)習(xí)方法；并針對(duì)其存在問題和發(fā)展方向進(jìn)行綜述。

1 基于地圖集配準(zhǔn)方法

地圖集配準(zhǔn)方法由MILLER等[6]提出，通過聯(lián)合空間對(duì)齊模態(tài)m1與m2配準(zhǔn)圖像集a1與a2(稱為地圖集)，之后設(shè)定模態(tài)m1的測試圖像b1，將a1形變配準(zhǔn)到b1以獲得形變場，并將形變場作用于a2，獲得m2模態(tài)的合成圖像b2。BERKER等[7]提出將圖像合成作為一種分割任務(wù)處理，將MRI分割成不同組織類別(骨、空氣、軟組織和脂肪)，對(duì)每個(gè)類別分配1個(gè)已知的衰減值，得到重建的PET圖像。CATANA等[8]建議，在分割圖像基礎(chǔ)上，將帶有衰減圖(μ-map)的地圖集配準(zhǔn)到測試集MRI上，再將相應(yīng)地圖集的μ-map形變至其MR圖像上，作為預(yù)估μ-map。BURGOS等[9]采用多地圖集配準(zhǔn)和強(qiáng)度融合對(duì)基于地圖集配準(zhǔn)的方法進(jìn)行擴(kuò)展，基于MRI生成CT，再基于生成CT的μ-map重建合成PET圖像。CARDOSO等[10]結(jié)合概率分布描述，應(yīng)用多個(gè)地圖集學(xué)習(xí)的生成模型完成MRI到CT合成、離群點(diǎn)分類及病變定位等任務(wù)。SUN等[11]以Elastix軟件獲得2次放射治療(簡稱放療)過程中采集的超聲聲像圖之間的形變場，之后將其作用于定位CT，得到合成CT圖像用于自適應(yīng)放療。

基于地圖集配準(zhǔn)分割方法操作簡單，結(jié)果明了，但對(duì)于配準(zhǔn)精度和分割精度十分敏感，需手動(dòng)操作才能得到較為準(zhǔn)確的結(jié)果，故對(duì)大腦皮層等較精細(xì)區(qū)域可能出現(xiàn)較大偏差。另外，由于地圖集不能完全因病變種類和不同位置等，合成異常組織解剖結(jié)構(gòu)時(shí)，亦可能存在偏差。

2 基于強(qiáng)度變換方法

在基于地圖集方法的基礎(chǔ)上，基于強(qiáng)度變換醫(yī)學(xué)圖像合成方法考慮了強(qiáng)度變換。HERTZMANNN等[12]采用圖像類比法作為強(qiáng)度變換進(jìn)行圖像合成以獲得圖像B′，而B′相對(duì)圖像B的形式同于圖像A′對(duì)于A。假設(shè)地圖集圖像a1和a2以1個(gè)未知變換函數(shù)h關(guān)聯(lián)，即a2=h(a1)。給定1個(gè)源圖b1以合成b2時(shí)，理想情況下b2應(yīng)等于h(b1)，通過patch映射patch實(shí)現(xiàn)合成b2。假設(shè)需要合成b1中的1個(gè)patch，且在a1中提取的patch集合中找到其最鄰近patch；選取對(duì)應(yīng)a2中的patch，作為b2中對(duì)應(yīng)位置的patch，此過程稱為patch匹配(patch-matching)。上述合成方法常封裝于1個(gè)多分辨率框架中，并試圖模擬變換函數(shù)h的作用。IGLESIAS等[13]應(yīng)用此法基于質(zhì)子密度加權(quán)MRI合成MR T1WI，發(fā)現(xiàn)合成另一種組織對(duì)比度的MRI可改善配準(zhǔn)結(jié)果。

另一個(gè)強(qiáng)度變換方法是將圖像合成作為解決稀疏字典重建問題的方法，稱為字典學(xué)習(xí)方法。于地圖集圖像a1中提取眾多patch組成1個(gè)字典，將源圖b1中的1個(gè)patch描述為字典中眾多patch的稀疏線性組合，之后將地圖集圖像a2中相對(duì)應(yīng)的patch按相同線性系數(shù)進(jìn)行變換，得到靶圖b2中的patch?；趐atch匹配方法和字典學(xué)習(xí)方法統(tǒng)稱為基于范例方法[13]，ROY等[14]稱之為MRI基于范例的對(duì)比合成(MR image example-based contrast synthesis, MIMECS)，將其用于MRI強(qiáng)度標(biāo)準(zhǔn)化、自動(dòng)分割和配準(zhǔn)改進(jìn)。強(qiáng)度變換方法亦包括直方圖匹配法(histogram matching, HM)[15]和局部圖像相似性測試(local image similarity, LIS)[16]等。采用圖像類比法合成圖像過程中，使用合成的鄰近體素時(shí)，須為每個(gè)體素找到1個(gè)最鄰近的patch，而對(duì)該過程不能并行計(jì)算，圖像類比和MIMECS常需較長的運(yùn)行時(shí)間。另外，基于強(qiáng)度變換方法存在一定局限性，如需大量數(shù)據(jù)推導(dǎo)映射函數(shù)h或構(gòu)成字典；而MIMECS法不適用于合成FLAIR圖像等，限制了其應(yīng)用。

3 基于學(xué)習(xí)方法

基于學(xué)習(xí)方法指在源圖與靶圖之間建立非線性映射[17-20]，主要包括隨機(jī)森林、字典學(xué)習(xí)、稀疏表示及主成分分析等方法，其中多數(shù)方法屬于機(jī)器學(xué)習(xí)范疇，目前基于學(xué)習(xí)方法用于超分辨率圖像重建的研究[17-18,20]較為多見。MANJON等[17]基于自相似性和圖像先驗(yàn)，利用同一對(duì)象其他模態(tài)共面高分辨率圖像的信息，自低分辨率圖像中重建高分辨率MRI，結(jié)果優(yōu)于經(jīng)典插值方法。JOY等[18]采用隨機(jī)森林(random forest, RF)非線性回歸方法由低分辨率圖像合成高分辨率MRI，所獲圖像質(zhì)量優(yōu)于MANJON等[17]的結(jié)果，且提高了計(jì)算效率。HUYNH等[20]采用RF方法和非監(jiān)督方法，將給定MRI分割成一組patch，以結(jié)構(gòu)化RF方法獲得每個(gè)patch預(yù)測對(duì)應(yīng)的CT patch，采用自動(dòng)上下文模型(auto-context model, ACM)進(jìn)一步優(yōu)化預(yù)測結(jié)果，實(shí)現(xiàn)了基于MRI合成CT?；趯W(xué)習(xí)方法往往先提取特征表示源圖像，后建立映射而生成目標(biāo)圖像，故其性能取決于人工構(gòu)造的特征及基于提取特征的源圖像的質(zhì)量。

4 基于深度學(xué)習(xí)方法

近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺和圖像處理方面取得較大進(jìn)展，并解決了手動(dòng)選擇特征的難題，在醫(yī)學(xué)影像領(lǐng)域中發(fā)揮著巨大作用[21-22]。

DONG等[23]采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)提高單幅圖像分辨率。KIM等[24]基于遞歸CNN，在不增加參數(shù)的前提下改進(jìn)了超分辨率算法。LI等[25]設(shè)計(jì)了一種三維CNN模型，輸入MRI后得到預(yù)測PET圖像，并與真實(shí)PET圖像進(jìn)行分類評(píng)估，結(jié)果優(yōu)于K鄰近方法(K-nearest neighbor, KNN)和均值評(píng)估法。HUANG等[26]提出弱監(jiān)督聯(lián)合卷積稀疏編碼以同時(shí)解決超分辨率和交叉模態(tài)圖像合成的問題，對(duì)整個(gè)圖像域而非圖像塊進(jìn)行運(yùn)算，保留了圖像的局部鄰域；將該法用于3D MRI超分辨率重建和跨模態(tài)圖像合成，結(jié)果優(yōu)于MIMECS法和監(jiān)督及非監(jiān)督方法。CNN的潛在問題是易忽略預(yù)測目標(biāo)圖像中的鄰域信息，尤其在輸入量較小情況下，而采用能保存結(jié)構(gòu)信息的全卷積網(wǎng)絡(luò)合成圖像有助于解決該問題。

深度學(xué)習(xí)方法中，生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)[27]是近年來用于復(fù)雜分布上無監(jiān)督學(xué)習(xí)的最具前景的方法之一。原始GAN存在模型崩塌和梯度爆炸等固有缺陷，而條件生成對(duì)抗網(wǎng)絡(luò)(conditional GAN, CGAN)和深度卷積生成對(duì)抗網(wǎng)絡(luò)(deep convolutional GAN, DCGAN)等改良版GAN可在圖像合成方面發(fā)揮更大作用。

KAISER等[28]分別采用U-net網(wǎng)絡(luò)和pix2pix(pixel to pixel, pix2pix)網(wǎng)絡(luò)進(jìn)行基于MRI合成CT。NIE等[3]將GAN結(jié)合自動(dòng)上下文模型和全卷積神經(jīng)網(wǎng)絡(luò)，以MRI合成CT、以3T MRI合成7T MRI，合成圖像質(zhì)量均優(yōu)于直方圖匹配法和局部圖像相似性測試等。

圖像合成通常在配準(zhǔn)成對(duì)的圖像之間進(jìn)行。針對(duì)缺乏配對(duì)圖像的問題，WOLTERINK等[29]提出基于循環(huán)生成式對(duì)抗網(wǎng)絡(luò)(cycle generative adversarial networks, CycleGAN)模型，用于由MRI合成CT，其中MRI與CT圖像無需配對(duì)訓(xùn)練。JIN等[30]基于CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)，以配對(duì)和非配對(duì)數(shù)據(jù)提出MR-GAN模型，嘗試解決非配對(duì)訓(xùn)練圖像內(nèi)容不對(duì)齊問題，弱化配對(duì)訓(xùn)練的嚴(yán)格配準(zhǔn)要求、改善結(jié)果模糊，實(shí)現(xiàn)由CT合成MRI。目前仍有多項(xiàng)研究[31-33]基于深度學(xué)習(xí)方法進(jìn)行醫(yī)學(xué)圖像合成，主要針對(duì)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)、多通道多信息輸入、調(diào)整損失函數(shù)和三維擴(kuò)展等方面。

5 小結(jié)

圖像合成可為解決臨床缺乏的模態(tài)圖像提供可行方案，但合成與原圖像完全相同的靶圖像是不可能的，將合成圖像用于診斷目的之前，應(yīng)進(jìn)行嚴(yán)格測試評(píng)估。為使合成模型得到廣泛應(yīng)用，除生成高質(zhì)量的合成圖像外，還考慮臨床實(shí)際中常出現(xiàn)的特殊條件(如數(shù)據(jù)丟失和數(shù)據(jù)未配對(duì))具有魯棒性。

作為一種補(bǔ)充手段，圖像合成可為臨床研究提供路徑，但仍面臨著挑戰(zhàn)，如深度學(xué)習(xí)合成圖像方法在取得優(yōu)異結(jié)果的同時(shí)面臨模型的可解釋性[34]，以及對(duì)數(shù)據(jù)量要求較高、卻缺乏統(tǒng)一的多中心大樣本[35]等問題，期待通過改進(jìn)方法合成質(zhì)量更好的醫(yī)學(xué)圖像。