王 偉, 黃興鴻, 丁 偕, 劉全祥, 王培軍
(1.同濟大學(xué)附屬同濟醫(yī)院醫(yī)學(xué)影像科,上海 200065;2.萬達(dá)信息股份有限公司,上海 201112)
前列腺癌(prostate cancer, PCa)是僅次于肺癌排名第二的常見男性惡性腫瘤[1]。隨著人們年齡的增長,我國前列腺癌呈明顯高發(fā)趨勢[2-3],早期前列腺癌的診斷和治療可以使患者獲得較大收益并可有效降低前列腺癌的死亡率[4]。目前早期PCa的篩查主要是依賴血清前列腺特異性抗原(prostate specific antigen, PSA)的監(jiān)測、直腸指診以及臨床癥狀。但血清PSA水平、直腸指檢及臨床癥狀對PCa診斷的靈敏度和特異度較低[5-7]。磁共振成像(magnetic resonance imaging, MRI)在PCa的檢查中有其軟組織分辨率較高的優(yōu)勢,且為非侵入式檢查,在臨床診斷中有一定價值。其中,擴散加權(quán)成像(diffusion weighted imaging, DWI)與表觀擴散系數(shù)圖(apparent diffusion coefficient, ADC)是MRI中診斷PCa的主要序列。擴散敏感系數(shù)(b值)是DWI序列的一個重要參數(shù)。有研究表明,在前列腺癌的檢測中,高b值的DWI比低b值診斷效能更高[8]。
當(dāng)前利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)對醫(yī)學(xué)影像進(jìn)行檢測成為一種趨勢。醫(yī)學(xué)影像常見的檢測網(wǎng)絡(luò)包括全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks, FCN)[9],U-Net[10]以及V-Net[11]等。生成對抗網(wǎng)絡(luò)[12](generative adver-sarial networks, GAN)因其對樣本數(shù)據(jù)的有效學(xué)習(xí)近來被使用在圖像分割領(lǐng)域,該網(wǎng)絡(luò)結(jié)構(gòu)由兩個網(wǎng)絡(luò)部分組成,生成網(wǎng)絡(luò)(generative networks)和判別網(wǎng)絡(luò)(adversarial networks)。利用GAN網(wǎng)絡(luò)對圖像進(jìn)行分割,進(jìn)而就可以實現(xiàn)目標(biāo)的檢測工作。
本研究提出了一種基于GAN的多b值DWI影像前列腺癌自動檢測模型,該網(wǎng)絡(luò)模型利用前列腺癌MRI影像數(shù)據(jù)進(jìn)行模型訓(xùn)練,其中影像數(shù)據(jù)包括ADC圖像以及多b值DWI。所使用的GAN檢測網(wǎng)絡(luò)基于SegAN[13]并進(jìn)行改進(jìn):(1)將生成網(wǎng)絡(luò)用性能更佳的DenseVoxNet[14]取代;(2)判別網(wǎng)絡(luò)用一個5層的特征提取結(jié)構(gòu)提取每一層的特征信息,最后使用多尺度損失函數(shù)L對網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練。通過該網(wǎng)絡(luò)實現(xiàn)對前列腺癌病灶區(qū)域的精確定位,并對數(shù)據(jù)的靈敏度和特異度進(jìn)行高效評估。
回顧性收集2012年1月—2018年6月在同濟大學(xué)附屬同濟醫(yī)院就診的前列腺疾病病例446例,其中PCa 174例、BPH 272例,所有病例均經(jīng)直腸超聲引導(dǎo)下前列腺穿刺活檢或前列腺根治術(shù)后病理證實,且隨訪半年以上。所有病例均行多參數(shù)磁共振(multiparametric-MRI,Mp-MRI)檢查。前列腺穿刺需在Mp-MRI檢查后1個月內(nèi)或Mp-MRI檢查前2~ 6個月內(nèi);前列腺根治術(shù)在Mp-MRI檢查后1個月內(nèi)進(jìn)行。
所有病例均采用Siemens Verio 3.0T MRI及16通道體部線圈掃描。MR掃描前囑患者排便、適量留尿,定位時線圈中心位于恥骨聯(lián)合,用束帶固定以減少呼吸運動產(chǎn)生的偽影。成像序列主要包括快速自旋回波序列(turbo spin-echo, TSE)橫斷位、矢狀位高分辨T2WI,掃描參數(shù)分別為重復(fù)時間(repetition time, TR)4280ms,回波時間(echo time, TE)96ms,分辨率為0.7mm×0.4mm×3.0mm;回波平面成像(echo planar imaging, EPI)序列橫斷位DWI(DWI)及相應(yīng)表觀彌散系數(shù)(apparent diffusion coefficient, ADC)圖,掃描參數(shù)分別為TR 3000ms,TE 90ms,分辨率為1.6mm×1.2mm×3.0mm,b值分別為0、500、1000s/mm2,獲得DWI0,DWI500,DWI1000的圖像;vibe序列橫斷位動態(tài)對比增強,掃描參數(shù)分別為TR 4.7ms,TE 1.8ms,分辨率為0.8mm×0.6mm×2.0mm,時間分辨率為8s,持續(xù)約4.5min,增強掃描對比劑采用釓噴酸葡胺(gadolinium-diethylenetriamine pentaacetic acids, Gd-DTPA),劑量為0.15mmol/kg,流率為2.5mL/s。
前列腺癌病灶區(qū)域由2名放射科醫(yī)生對照病理結(jié)果交叉標(biāo)注得到,每一張標(biāo)注圖像的二值掩膜圖像作為模型訓(xùn)練和測試的金標(biāo)準(zhǔn)。
所有直接采集獲得的DWI圖像及ADC圖像均以DICOM格式文件導(dǎo)入Matlab軟件中依據(jù)ADC值公式與信號強度公式計算化合成高b值DWI圖像,最終分別獲得的b=1500、2000s/mm2時的DWI圖像,即DWI1500、DWI2000。
在模型訓(xùn)練前需要對圖像進(jìn)行預(yù)處理。為了優(yōu)化模型訓(xùn)練,對圖像進(jìn)行重采樣,使用固定的圖像分辨率對圖像進(jìn)行調(diào)整,調(diào)整后的圖像層間分辨率為0.3mm×0.3mm,層厚度為2mm。經(jīng)過預(yù)處理后,圖像的尺寸為192像素×192像素,為了提高模型的訓(xùn)練精度,只選擇其中20張含有前列腺器官的切片。由于BPH和PCa數(shù)據(jù)樣本的不平衡,對PCa進(jìn)行擴充,將174例PCa數(shù)據(jù)經(jīng)過隨機重采樣擴充到272例。對數(shù)據(jù)樣本隨機選取訓(xùn)練集、驗證集和測試集,為了保證樣本的均衡性,在PCa與BPH數(shù)據(jù)集中各隨機取出訓(xùn)練集210例,驗證集31例以及測試集31例。
生成對抗網(wǎng)絡(luò)(GAN)是由Goodfellow在2014年提出的,該網(wǎng)絡(luò)結(jié)構(gòu)同時訓(xùn)練2個模型: 生成網(wǎng)絡(luò)G通過學(xué)習(xí)得到訓(xùn)練數(shù)據(jù)的概率分布,并生成類似于訓(xùn)練樣本的數(shù)據(jù);對抗網(wǎng)絡(luò)D用于判別樣本來自于訓(xùn)練集或者生成網(wǎng)絡(luò)G的概率,目標(biāo)是將G生成的數(shù)據(jù)與訓(xùn)練集中的數(shù)據(jù)分開。整個網(wǎng)絡(luò)的訓(xùn)練過程是最小最大化的博弈過程。本研究基于GAN網(wǎng)絡(luò)模型框架,通過對模型和損失函數(shù)的優(yōu)化,設(shè)計了多b值的前列腺癌病灶識別網(wǎng)絡(luò)SegDenseAN。
本研究提出的網(wǎng)絡(luò)模型SegDenseAN基于SegAN[13],并且內(nèi)部使用DenseBlock結(jié)構(gòu)進(jìn)行優(yōu)化。該模型由生成網(wǎng)絡(luò)(generative networks)G和判別網(wǎng)絡(luò)(discriminating networks)D兩部分組成,其結(jié)構(gòu)圖1和圖3所示。其中生成網(wǎng)絡(luò)G為一個端對端的DenseVoxNet網(wǎng)絡(luò)模型,該網(wǎng)絡(luò)包含了一個下采樣模塊和一個上采樣模塊,最后通過一個預(yù)先設(shè)定好閾值的softmax分類器輸出分割圖像,具體的網(wǎng)絡(luò)設(shè)計如圖1所示,該網(wǎng)絡(luò)的輸入為前列腺MRI圖像,輸出為前列腺癌病灶識別結(jié)果。生成網(wǎng)絡(luò)G中還包含兩個與DenseNet[15]相似的DenseBlock結(jié)構(gòu),其結(jié)構(gòu)如圖2所示。Dense模塊內(nèi)部實現(xiàn)從一層到后續(xù)層的直接連接,以在獲得額外的監(jiān)督信息,減少冗余特征學(xué)習(xí)。模塊中每一層的輸入都來自于前面所有層的輸出,這種結(jié)構(gòu)具有減輕梯度消失,加強特征傳遞,高效地利用特征以及減少參數(shù)的優(yōu)點[15]。
圖1 生成網(wǎng)絡(luò)結(jié)構(gòu)示意
圖2 DenseBlock結(jié)構(gòu)示意
判別網(wǎng)絡(luò)D是一個多維特征提取網(wǎng)絡(luò),其輸入為生成網(wǎng)絡(luò)G的輸出或影像科醫(yī)生標(biāo)注的金標(biāo)準(zhǔn)(ground truth,GT),其目的是判斷D網(wǎng)絡(luò)的輸入是來自于生成網(wǎng)絡(luò)G的輸出還是影像科醫(yī)生標(biāo)注的金標(biāo)準(zhǔn)。該網(wǎng)絡(luò)的具體結(jié)構(gòu)圖3所示,判別網(wǎng)絡(luò)D提取分層特征,并用來計算損失函數(shù),利用這些多層特征,損失函數(shù)能夠得到像素點間的空間聯(lián)系。
圖3 判別網(wǎng)路結(jié)構(gòu)示意
生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D使用聯(lián)合的損失函數(shù)L,兩者以對抗的方式交替訓(xùn)練: 生成網(wǎng)絡(luò)最小化多尺度損失函數(shù)L,而判別網(wǎng)絡(luò)則要最大化該損失函數(shù)。
GAN的損失函數(shù)為多尺度損失函數(shù)L(The Multi-scale Loss L),其定義為:
(1)
該損失函數(shù)中,x代表真實分布Pdata中的圖像,z為滿足隨機分布Pz的隨機數(shù),這里被引入用來學(xué)習(xí)生成網(wǎng)絡(luò)的分布。G(z)表示產(chǎn)生網(wǎng)絡(luò)的差分函數(shù),D(x)表示圖像來自于訓(xùn)練樣本而不是生成網(wǎng)絡(luò)產(chǎn)生的圖像的概率。
本論文在損失函數(shù)中引入預(yù)測區(qū)域與真實區(qū)域之間的平均絕對誤差(MAE),具體的將生成網(wǎng)絡(luò)輸出的掩膜與金標(biāo)準(zhǔn)分別與前列腺MRI圖像疊加,生成的病灶區(qū)域與真實的病灶區(qū)域作為判別網(wǎng)絡(luò)D的輸入,這樣判別網(wǎng)絡(luò)D可以通過CNN學(xué)習(xí)到病灶區(qū)域多尺度的特征進(jìn)行分類。同時還引入相似度系數(shù)DICE,使得分割結(jié)果更加接近金標(biāo)準(zhǔn),實現(xiàn)前列腺癌病灶區(qū)域分割的最優(yōu)化。本文提出的SegDenseAN對前列腺癌的病灶區(qū)域進(jìn)行分割的目標(biāo)函數(shù)最終定義如下式所示:
(2)
其中N是訓(xùn)練集圖像的數(shù)量,xn和yn分別是MRI圖像與對應(yīng)的金標(biāo)準(zhǔn),符號“·”代表圖像之間的點乘(即相互疊加)。fD是判別網(wǎng)絡(luò)D的函數(shù),用于提取輸入數(shù)據(jù)x的分層特征。lmae表示預(yù)測區(qū)域與真實區(qū)域之間的平均絕對誤差(MAE),ldice表示生成的掩膜與金標(biāo)準(zhǔn)之間的相似度系數(shù)。λ是一個調(diào)節(jié)系數(shù),用于優(yōu)化ldice與lmae之間的權(quán)重關(guān)系。其中l(wèi)mae的計算公式如下:
(3)
(4)
式中S代表圖像中總的像素數(shù)量,xi為預(yù)測的特征圖概率,x′i為真實mask的像素值,取值為0或1,ε則為穩(wěn)定性常數(shù),用來防止分母為0。
整個模型訓(xùn)練和測試,運行在NVIDIA Tesla P40 GPU,128GB的RAM和Intel Xeon E5-2650型CPU上,模型基于開源深度學(xué)習(xí)框架PyTorch。為節(jié)省內(nèi)存和加快模型訓(xùn)練速度,利用最近鄰近插值算法對MRI影像進(jìn)行重采樣,將圖像的尺寸被調(diào)整為128像素×128像素,切片數(shù)為32。由于Dense結(jié)構(gòu)可以共享權(quán)重,有效的防止過擬合[14],因此在研究模型中沒有考慮dropout。模型使用Adam優(yōu)化器來提升訓(xùn)練效果。初始學(xué)習(xí)率(learning rate)為0.00003,學(xué)習(xí)衰減率(learning rate of decay)為0.5,直到學(xué)習(xí)率固定為0.00000001??紤]到機器的性能與訓(xùn)練的速度,訓(xùn)練集的批尺寸設(shè)置為16。
將不同b值DWI與ADC影像的組合作為SegDenseAN網(wǎng)絡(luò)的輸入,各組合分別如下。組合1: ADC圖;組合2: ADC+DWI0+DWI500;組合3: ADC+DWI0+DWI1000;組合4: ADC+DWI0+DWI1500;組合5: ADC+DWI1000+DWI1500;組合6: ADC+DWI1000+DWI2000。
通過SegDenseAN網(wǎng)絡(luò)對不同組合的測試集中PCa的檢測結(jié)果進(jìn)行分析。以病灶檢出為陽性進(jìn)行計算各組合對PCa檢測的靈敏度,特異度以及準(zhǔn)確率。
實驗中,利用訓(xùn)練好的SegDenseAN網(wǎng)絡(luò)對多b值的MRI圖像組合模式進(jìn)行識別精度評估。在此次具體研究中,首先使用SegDenseAN對前列腺癌病灶區(qū)域進(jìn)行分割,然后根據(jù)分割的結(jié)果對病灶區(qū)域進(jìn)行識別,進(jìn)而分析不同的組合模式對識別精度的影響,典型病例病灶區(qū)域的檢測結(jié)果如圖4所示。
圖4顯示,不同b值DWI加ADC的組合對于前列腺癌病灶區(qū)域的檢測效果變化比較大,隨著組合b值的增高,檢測出的前列腺癌病灶區(qū)域越來越接近金標(biāo)準(zhǔn)結(jié)果,ADC+DWI1000+DWI2000組合模式的前列腺癌病灶區(qū)域識別最接近于原始的金標(biāo)準(zhǔn)。
圖4 SegDenseAN網(wǎng)絡(luò)檢測結(jié)果
多參數(shù)組合模式的準(zhǔn)確率、靈敏度和特異度明顯高于單獨的ADC模式,且當(dāng)?shù)蚥值與高b值組合時(ADC+DWI0+DWI1000)相比低b值與非高b值的組合(ADC+DWI0+DWI500),靈敏度和準(zhǔn)確率都得到提升。但當(dāng)b值進(jìn)一步提高時,靈敏度、特異度和準(zhǔn)確率都沒有進(jìn)一步提升,該結(jié)果可能是由于DWI影像在低b值時具有高信噪比的特點導(dǎo)致部分特征的丟失,以及DWI1000和DWI1500信號強度類似從而影像特征具有一定的重疊性,以至于PCa檢出的準(zhǔn)確率沒有進(jìn)一步提升。但是當(dāng)b值進(jìn)一步提升,將DWI1000與DWI2000進(jìn)行組合時,由于更高b值的DWI影像使得病灶與背景的對比度得到增強,因此準(zhǔn)確率再次提升,見表1。
表1 MRI分類結(jié)果
在本研究中,對比分析了不同b值的DWI與ADC圖像的組合在深度學(xué)習(xí)網(wǎng)絡(luò)模型SegDenseAN下的識別精度。DWI是MRI中診斷前列腺癌的主要序列,DWI在前列腺良惡性病變的鑒別診斷中發(fā)揮重要作用。ADC影像由計算機處理后得出,用于判斷擴散信號是否異常,可一定程度反映前列腺癌的惡性程度?;诙郻值DWI的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)SegDenseAN可以充分利用不同成像條件下的成像優(yōu)勢,融合多維特征信息,有效的進(jìn)行病灶識別,提高診斷精度,這與具體的定量和定性的檢測結(jié)果相一致。
受到掃描設(shè)備、掃描協(xié)議、以及成像條件等等的影響,MRI圖像本身具有很大的噪聲和信號強度不均勻性,因此前列腺MRI病灶識別具有非常大的困難。針對這個問題,本研究設(shè)計了SegDenseAN網(wǎng)絡(luò)模型來進(jìn)行前列腺病灶區(qū)域的識別處理。Seg-DenseAN基于傳統(tǒng)的生成對抗網(wǎng)絡(luò),該網(wǎng)絡(luò)模型由生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)組成。生成網(wǎng)絡(luò)能夠很容易得到輸入圖像的分布特征,而鑒別網(wǎng)絡(luò)通過額外的監(jiān)督層對網(wǎng)絡(luò)施加強大的約束,通過這些設(shè)計使得圖像的特征學(xué)習(xí)更加準(zhǔn)確,同時還對損失函數(shù)進(jìn)行優(yōu)化,在目標(biāo)函數(shù)中引入相似度系數(shù)DICE和預(yù)測區(qū)域與真實區(qū)域之間的平均絕對誤差,使得分割結(jié)果更加接近醫(yī)生標(biāo)注的金標(biāo)準(zhǔn)。為了進(jìn)一步的優(yōu)化分割的效果和提升模型的訓(xùn)練性能,在SegDenseAN的生成網(wǎng)絡(luò)中使用DenseBlock結(jié)構(gòu)。Denseblock結(jié)構(gòu)能夠?qū)崿F(xiàn)當(dāng)前層到后面所有層的直接連接,這樣能夠獲得更多的附加監(jiān)控信息,進(jìn)而減少冗余的特征的學(xué)習(xí),緩解梯度消失的問題,防止模型的過度擬合。另外,在鑒別網(wǎng)絡(luò)中,多尺度連接的使用,使得鑒別網(wǎng)絡(luò)能夠利用層級結(jié)構(gòu)特征來計算損失函數(shù),通過這些多層特征,損失函數(shù)能夠捕捉像素之間的空間關(guān)系,進(jìn)而提升識別效果。通過對識別結(jié)果的定性和定量分析發(fā)現(xiàn),SegDenseAN能有效的實現(xiàn)前列腺病灶區(qū)域的識別。
當(dāng)前利用DWI的前列腺癌檢測系統(tǒng)大多是基于單一b值。有研究表明,多b值的DWI影像既可以突出病灶區(qū)域,又可以保持較高的信噪比,這對提高前列腺癌檢測精度具有重要的意義[16]。同時又有研究表明,將ADC與DWI結(jié)合在一起作為輸入可以有效地提高前列腺癌檢測中的靈敏度與特異度[17]。但是利用多高b值DWI和ADC圖來對前列腺癌進(jìn)行檢測的研究比較少,尤其是在深度學(xué)習(xí)領(lǐng)域。本次前列腺癌檢測識別研究中選取多b值DWI結(jié)合ADC圖像進(jìn)行聯(lián)合判斷,b值范圍從0~2000s/mm2,覆蓋b值范圍較大,能夠充分考慮低、中、高b值的影響,高b值圖像可以有效顯示病灶與背景的對比度,而低b值DWI可以使得影像有較高的信噪比,保證成像質(zhì)量。
通過利用SegDenseAN網(wǎng)絡(luò)模型對多b值MRI圖像組合模式對前列腺癌病灶檢測的定性和定量分析,發(fā)現(xiàn)多b值DWI影像結(jié)合ADC圖像應(yīng)用在SegDenseAN上可以提高前列腺癌的檢測精度,尤其是多高b值DWI和ADC的組合模式,能夠顯著的提升檢測效果。SegDenseAN網(wǎng)絡(luò)模型正可以利用利用不同成像模式下不同的病灶特征表示,提高模型的訓(xùn)練和測試精度。
本研究使用b值為0、500、1000、1500、2000 的DWI影像與ADC影像進(jìn)行多參數(shù)組合,并且對比單一的ADC影像的檢測效果,比較不同的組合方式對于識別精度的影響。研究發(fā)現(xiàn),相比于單一的ADC成像模式,ADC結(jié)合DWI成像能夠提升檢測的效果,準(zhǔn)確率、靈敏度和特異度都得到了提升。進(jìn)一步的研究發(fā)現(xiàn),不同b值的DWI與ADC影像的組合對檢測精度的影響也比較大,通過對比分析發(fā)現(xiàn),ADC影像與更高b值的DWI進(jìn)行組合,檢測效果與分類效果得到進(jìn)一步提升,有效地對前列腺癌病灶區(qū)域進(jìn)行檢測并對其作出精確的分類。
本文采用了新提出的卷積神經(jīng)網(wǎng)絡(luò)SegDenseAN實現(xiàn)前列腺癌的高精度自動檢測。本文提出了將多b值尤其是高b值DWI與ADC影像相結(jié)合的方法,對算法的檢測效果進(jìn)行研究,根據(jù)高b值DWI具有高對比度的特點,實現(xiàn)前列腺癌的高精度檢測。該方法對于癌癥區(qū)域的檢測以及患者是否患癌的分類有較大的性能提升。在接下來的研究中,將進(jìn)一步分析如何更好的結(jié)合多高b值與多參數(shù)分析,實現(xiàn)前列腺癌檢測分類的進(jìn)一步提升。