基于對(duì)抗學(xué)習(xí)和多尺度特征融合的前列腺M(fèi)R圖像分割*

陳愛(ài)蓮，丁正龍，詹 曙

(1.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 231009； 2.安徽信息工程學(xué)院，安徽 蕪湖 241000)

1 引言

相關(guān)研究表明，前列腺癌是近幾十年來(lái)最常見(jiàn)的癌癥之一，已成為導(dǎo)致美國(guó)男性癌癥死亡的第二大疾病，中國(guó)男性前列腺癌的發(fā)病率近年來(lái)也呈上升趨勢(shì)[1]。磁共振MR(Magnetic Resonance)圖像由于其良好的空間分辨率和對(duì)比度成為了檢測(cè)前列腺形狀和位置的主要手段。在前列腺癌的臨床診斷中，醫(yī)生需要將感興趣區(qū)域從整個(gè)MR圖像中分離出來(lái)，這個(gè)分割的過(guò)程可以提取包括器官的相對(duì)位置、形狀、體積和異常等有意義的信息。然而經(jīng)驗(yàn)豐富的放射科醫(yī)師的手動(dòng)分割是基于目視的逐個(gè)切片的檢查，這個(gè)過(guò)程不僅費(fèi)時(shí)費(fèi)力，而且不適用于大樣本的評(píng)估[2]。在過(guò)去的幾十年里，相關(guān)研究者們已經(jīng)提出了許多用于醫(yī)學(xué)圖像中各種器官或組織的分割算法，但是由于以下原因，前列腺M(fèi)R圖像的分割仍是一個(gè)具有挑戰(zhàn)性的任務(wù)：(1) 前列腺組織的大小、形狀和位置在不同病患或者相同病患不同時(shí)間的不同切片中是變化的；(2) 醫(yī)學(xué)成像裝置和病人的特異性共同作用產(chǎn)生的強(qiáng)度不均勻場(chǎng)會(huì)使前列腺與鄰近組織的對(duì)比度較低，導(dǎo)致它們的邊界難以區(qū)分；(3) 前列腺M(fèi)R圖像中屬于前列腺的區(qū)域較小，相對(duì)來(lái)說(shuō)能夠提取到的有效信息較少。

針對(duì)上述問(wèn)題，研究者們提出了多種針對(duì)前列腺M(fèi)R圖像的分割方法，但傳統(tǒng)的基于邊緣、區(qū)域或形狀模型的分割方法嚴(yán)重依賴(lài)手工特征的質(zhì)量或先驗(yàn)知識(shí)的引入。Ding等人[3]使用基數(shù)樣條從位于前列腺邊界的3個(gè)或更多個(gè)手動(dòng)選擇的點(diǎn)構(gòu)造了前列腺的初始輪廓，某個(gè)切片的最終輪廓將用于初始化相鄰切片。Skalski等人[4]使用基于圖形的活動(dòng)輪廓，并結(jié)合形狀先驗(yàn)知識(shí)分割前列腺磁共振圖像。張永德等人[5]根據(jù)前列腺M(fèi)R圖像的特征信息及其病變好發(fā)特定區(qū)域等先驗(yàn)知識(shí)，提出基于邊緣距離調(diào)整水平集演化的前列腺M(fèi)R圖像兩步分割方法，完成前列腺內(nèi)外輪廓的分割。最近，基于卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Networks)的深度學(xué)習(xí)方法在各種任務(wù)中表現(xiàn)出了優(yōu)異的性能。全卷積網(wǎng)絡(luò)FCN(Fully Convolutional Networks)[6]將全連接層轉(zhuǎn)換為卷積層，將低層次的形狀信息與高層次的語(yǔ)義信息相結(jié)合，利用該模型可得到準(zhǔn)確的分割結(jié)果。隨后，研究人員提出了多種基于FCN的醫(yī)學(xué)圖像分割方法，然而，這些方法對(duì)圖像細(xì)節(jié)不敏感，不能識(shí)別一些小的目標(biāo)區(qū)域，導(dǎo)致分割結(jié)果不夠精細(xì)。Kooi等人[7]提出了一種基于CNN的分塊分割方法，他們從圖像中提取了許多小塊來(lái)訓(xùn)練CNN，而重疊的小塊會(huì)使網(wǎng)絡(luò)產(chǎn)生很多冗余信息，此外，感受野的大小受到塊大小的限制，導(dǎo)致網(wǎng)絡(luò)只能提取局部特征。Lin等人[8]結(jié)合CNN和條件隨機(jī)場(chǎng)CRF(Conditional Random Field)來(lái)探索像素之間的空間相關(guān)性并取得了相對(duì)較好的分割結(jié)果，但是這種方法還需要另外實(shí)現(xiàn)密集的CRF來(lái)優(yōu)化CNN的輸出，不能實(shí)現(xiàn)端到端的自動(dòng)分割。

由Goodfellow等人[9]在2014年提出的生成對(duì)抗網(wǎng)絡(luò)GAN(Generative Adversarial Networks)在多種計(jì)算機(jī)視覺(jué)問(wèn)題上表現(xiàn)優(yōu)異，且具有巨大的潛力。Luc等人[10]首先將GAN的思想應(yīng)用于自然圖像的語(yǔ)義分割，提出了一種對(duì)抗性學(xué)習(xí)的方法來(lái)訓(xùn)練分割模型。受此啟發(fā)，本文提出了一種基于對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)的前列腺M(fèi)R圖像端到端分割方法，本文搭建了一個(gè)在GAN中作為生成器的分割網(wǎng)絡(luò)來(lái)生成分割預(yù)測(cè)圖，判別網(wǎng)絡(luò)判斷輸入是來(lái)自手工分割的真實(shí)標(biāo)簽還是來(lái)自分割網(wǎng)絡(luò)生成的分割預(yù)測(cè)。同時(shí)，針對(duì)前列腺M(fèi)R圖像中前列腺所占區(qū)域較小導(dǎo)致訓(xùn)練過(guò)程中特征提取不充分、細(xì)節(jié)特征容易丟失的問(wèn)題，在分割網(wǎng)絡(luò)中，本文采用了多尺度特征融合的方法來(lái)捕獲圖像中的多尺度特征信息，提高提取特征的魯棒性，充分利用有效特征來(lái)提高分割的準(zhǔn)確性。

本文主要?jiǎng)?chuàng)新點(diǎn)如下：(1)在前列腺M(fèi)R圖像分割任務(wù)中使用對(duì)抗學(xué)習(xí)的方法，讓分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)進(jìn)行對(duì)抗訓(xùn)練，使得分割網(wǎng)絡(luò)輸出的結(jié)果盡可能地與真實(shí)標(biāo)簽接近，提升模型前列腺 MR
圖像的分割性能；(2)將多尺度特征融合的方法用于分割網(wǎng)絡(luò)，來(lái)獲取并融合圖像深度特征的多尺度信息，提高特征的魯棒性和識(shí)別力，進(jìn)一步提高模型對(duì)前列腺 MR
圖像的分割準(zhǔn)確性。

2 相關(guān)工作

近年來(lái)，最新的語(yǔ)義分割方法幾乎都是基于不斷發(fā)展的CNN。FCN將全連接層轉(zhuǎn)換為卷積層，結(jié)果表明經(jīng)過(guò)端到端、像素對(duì)像素訓(xùn)練的語(yǔ)義分割方法相比之前的方法效果提升明顯。SegNet[11]使用一種基于編解碼結(jié)構(gòu)的深度學(xué)習(xí)方法，將低分辨率特征圖映射到語(yǔ)義標(biāo)簽。DeepLab[12]通過(guò)構(gòu)建多孔空間金字塔池化ASPP(Atrous Spatial Pyramid Pooling)結(jié)構(gòu)來(lái)穩(wěn)健地分割多個(gè)尺度的目標(biāo)，并且使用全連接CRF來(lái)精確地定位像素點(diǎn)語(yǔ)義。具有級(jí)聯(lián)架構(gòu)的RefineNet[13]能夠有效地結(jié)合高級(jí)語(yǔ)義和低級(jí)特征以生成高分辨率的分割圖像。DFN結(jié)構(gòu)[14]包含平滑網(wǎng)絡(luò)和邊界網(wǎng)絡(luò)2個(gè)子網(wǎng)絡(luò)，利用雙向分階段機(jī)制，該結(jié)構(gòu)可以捕獲利于語(yǔ)義分割的有識(shí)別力的特征。同時(shí)，由于CNN具有較強(qiáng)的圖像特征表示能力，其在醫(yī)學(xué)圖像分割任務(wù)中也得到了成功的應(yīng)用。Zhang等人[15]對(duì)CNN進(jìn)行改進(jìn)，利用多模態(tài)MR圖像對(duì)嬰幼兒腦組織進(jìn)行分割，該模型明顯優(yōu)于已有的方法。在實(shí)踐中，很難收集足夠大的有標(biāo)記的數(shù)據(jù)集，尤其是醫(yī)學(xué)圖像數(shù)據(jù)集，為了解決這一問(wèn)題并使模型快速收斂到最小值，一種有效的替代方法是對(duì)經(jīng)過(guò)大量自然圖像預(yù)訓(xùn)練的CNN進(jìn)行微調(diào)。PSNet[16]將經(jīng)過(guò)微調(diào)的預(yù)訓(xùn)練FCN應(yīng)用于前列腺M(fèi)R圖像的分割，取得了滿(mǎn)意的分割結(jié)果。因此，本文的分割網(wǎng)絡(luò)同樣采用預(yù)訓(xùn)練模型來(lái)從小數(shù)據(jù)集中提取豐富的特征，提高模型的收斂速度。

生成對(duì)抗網(wǎng)絡(luò)在圖像生成、超分辨率重建、目標(biāo)檢測(cè)和語(yǔ)義分割等任務(wù)中取得了巨大的成功并展示了極大的潛力。生成對(duì)抗網(wǎng)絡(luò)主要包含2個(gè)部分：生成器和判別器。生成器的目的是盡量學(xué)習(xí)真實(shí)的數(shù)據(jù)分布來(lái)生成足夠真實(shí)的虛假樣本；而判別器一般情況下是一個(gè)二分類(lèi)器，目的是盡量正確地判別輸入數(shù)據(jù)是來(lái)自真實(shí)的數(shù)據(jù)分布還是來(lái)自生成器所生成的虛假樣本數(shù)據(jù)。生成器和判別器通過(guò)對(duì)抗學(xué)習(xí)的方式在模型訓(xùn)練和優(yōu)化的過(guò)程中各自提高自身的生成能力和判別能力，經(jīng)過(guò)多次訓(xùn)練迭代優(yōu)化后，兩者之間達(dá)到一個(gè)平衡點(diǎn)，即納什平衡(Nash Equilibrium)，此時(shí)判別器不能確定數(shù)據(jù)是來(lái)自真實(shí)數(shù)據(jù)分布還是來(lái)自生成器，生成器估測(cè)到數(shù)據(jù)樣本的分布或生成期望的數(shù)據(jù)樣本，這時(shí)得到了一個(gè)了解真實(shí)數(shù)據(jù)分布的生成器模型。本文采用了類(lèi)似的方法，并在生成對(duì)抗網(wǎng)絡(luò)框架中使用新設(shè)計(jì)的分割網(wǎng)絡(luò)作為生成器來(lái)生成分割預(yù)測(cè)圖。與傳統(tǒng)的利用噪聲矢量生成圖像的方法不同，本文的分割網(wǎng)絡(luò)輸出的是與輸入MR圖像大小相同的前列腺分割預(yù)測(cè)圖。同時(shí)，判別器的輸入結(jié)合原始的前列腺圖像對(duì)應(yīng)的分割預(yù)測(cè)圖和原始的前列腺圖像對(duì)應(yīng)的真實(shí)標(biāo)簽圖，然后判別器來(lái)分辨輸入的分割圖是來(lái)自于分割網(wǎng)絡(luò)的分割預(yù)測(cè)圖還是來(lái)自醫(yī)生手工勾勒的真實(shí)標(biāo)簽。

受人類(lèi)視覺(jué)系統(tǒng)中感受野的啟發(fā)，感受野模塊RFB(Receptive Field Block)最初被提出并應(yīng)用于目標(biāo)檢測(cè)任務(wù)中。由于感受野模塊可以關(guān)注除中心以外的附近區(qū)域的重要性，并增加了對(duì)小的空間變化的敏感性，感受野模塊對(duì)分割任務(wù)的特征提取有很大幫助，因此本文將其應(yīng)用于分割網(wǎng)絡(luò)，以捕獲識(shí)別力和魯棒性更強(qiáng)的多尺度特征。

3 本文方法

本節(jié)主要介紹所提出的模型架構(gòu)及其訓(xùn)練過(guò)程。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該模型從整體上可分為2個(gè)部分：分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。分割網(wǎng)絡(luò)可看做生成對(duì)抗網(wǎng)絡(luò)中的生成器，分割網(wǎng)絡(luò)的輸入為前列腺M(fèi)R圖像，輸出為分割預(yù)測(cè)圖。判別網(wǎng)絡(luò)的輸入為2個(gè)圖像對(duì)，即：前列腺M(fèi)R圖像-生成器生成的分割預(yù)測(cè)圖和前列腺M(fèi)R圖像-真實(shí)標(biāo)簽。判別網(wǎng)絡(luò)的輸出為0或1，0代表圖像來(lái)自分割預(yù)測(cè)圖，1代表圖像來(lái)自真實(shí)標(biāo)簽。訓(xùn)練過(guò)程中分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互競(jìng)爭(zhēng)，進(jìn)行最小-最大的零和博弈，且損失函數(shù)由對(duì)抗損失和二進(jìn)制交叉熵?fù)p失共同組成。判別網(wǎng)絡(luò)對(duì)分割網(wǎng)絡(luò)進(jìn)行反向傳播訓(xùn)練，促使分割網(wǎng)絡(luò)盡可能輸出與真實(shí)標(biāo)簽相似的分割預(yù)測(cè)來(lái)使判別網(wǎng)絡(luò)難以判斷，而判別網(wǎng)絡(luò)則要盡可能地判斷輸入是來(lái)自于真實(shí)標(biāo)簽還是分割網(wǎng)絡(luò)輸出的分割預(yù)測(cè)。

Figure 1 Overview of architecture圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)

3.1 分割網(wǎng)絡(luò)

圖1頂部虛線(xiàn)框內(nèi)為本文提出的分割網(wǎng)絡(luò)結(jié)構(gòu)，由多層深度卷積網(wǎng)絡(luò)構(gòu)成的分割網(wǎng)絡(luò)2端分別為輸入和輸出，即原始的前列腺M(fèi)R圖像和預(yù)測(cè)的分割結(jié)果。該網(wǎng)絡(luò)結(jié)構(gòu)首先將前列腺M(fèi)R圖像輸入到一個(gè)由帶有空洞卷積的殘差網(wǎng)絡(luò)組成的預(yù)訓(xùn)練模型中，該模型是在ImageNet上進(jìn)行預(yù)訓(xùn)練的，其中空洞卷積可以增大輸出特征圖的感受野且不會(huì)改變特征圖的大小，使得每一個(gè)卷積的輸出都具有更多的特征信息，殘差網(wǎng)絡(luò)的作用是優(yōu)化網(wǎng)絡(luò)的訓(xùn)練，使網(wǎng)絡(luò)能夠保持良好的學(xué)習(xí)能力。預(yù)訓(xùn)練模型不僅可以提升網(wǎng)絡(luò)的收斂速度，還可以使得分割網(wǎng)絡(luò)從較小的數(shù)據(jù)集中提取到豐富的多層次上下文信息。輸入圖像經(jīng)過(guò)預(yù)訓(xùn)練模型后，所得的特征圖尺寸變?yōu)樵驾斎氲?/8。然后，感受野模塊則可以從特征圖中提取和融合特征圖的多尺度特征，充分利用深度特征的多尺度信息。最后，經(jīng)過(guò)雙線(xiàn)性插值上采樣層，低維特征圖被向上采樣至與原始輸入的MR圖像相同尺寸，然后輸出得到分割結(jié)果，即分割預(yù)測(cè)圖。

由前所述，前列腺M(fèi)R圖像中前列腺所占區(qū)域較小且與鄰近結(jié)構(gòu)的對(duì)比度較低，這些問(wèn)題使得提取包含圖像細(xì)節(jié)的多尺度特征變得困難，而這些特征可以更加有效地提升模型對(duì)前列腺M(fèi)R圖像的分割性能。因此，本文采用感受野模塊對(duì)經(jīng)過(guò)預(yù)訓(xùn)練模型所得的特征圖進(jìn)一步地提取包含更多細(xì)節(jié)的多尺度特征。圖2為感受野模塊的結(jié)構(gòu)，從圖中可以看到其整體由多條路徑組成，每條路徑包含2種不同的卷積:內(nèi)核大小不同的常規(guī)卷積和具有不同擴(kuò)張率的擴(kuò)張卷積。常規(guī)卷積用來(lái)提取特征圖的多尺度信息，擴(kuò)張卷積可以增大輸出特征圖的感受野且不會(huì)改變特征圖的尺寸。如圖2所示，每條路徑中的1×1卷積用來(lái)降低特征圖的通道數(shù)。同時(shí)，為了減少參數(shù)的數(shù)量，本文將3×3卷積層所在的路徑用2條分別包含1×3卷積和3×1卷積的路徑來(lái)替換，在最下面一條路徑中，原來(lái)的5×5卷積被替換成了2個(gè)堆疊的3×3卷積。常規(guī)卷積層之后是分別具有1，3，5的擴(kuò)張率的擴(kuò)張卷積層，然后將卷積層輸出的不同尺度的特征進(jìn)行融合，感受野模塊再次使用1×1卷積來(lái)降低融合后的通道數(shù)量。最后，感受野模塊使用跳躍連接的方式連接整個(gè)模塊的輸入特征圖和輸出特征圖。

Figure 2 Structure of RFB圖2 感受野模塊的結(jié)構(gòu)

3.2 判別網(wǎng)絡(luò)

上述分割網(wǎng)絡(luò)相當(dāng)于生成對(duì)抗網(wǎng)絡(luò)中的生成器，生成前列腺M(fèi)R圖像的分割結(jié)果，生成對(duì)抗網(wǎng)絡(luò)的另一部分，判別網(wǎng)絡(luò)用于約束生成器生成的方向。在圖1中，分割網(wǎng)絡(luò)的輸入是以原始前列腺圖為條件的，保證了生成的分割預(yù)測(cè)圖和輸入的前列腺圖像是匹配的。因此，與傳統(tǒng)的判別網(wǎng)絡(luò)不同，本文判別網(wǎng)絡(luò)的輸入是以前列腺圖為條件的2個(gè)圖像對(duì)，即前列腺M(fèi)R圖-生成器生成的分割預(yù)測(cè)MR圖和前列腺圖-真實(shí)標(biāo)簽，使得真實(shí)標(biāo)簽和分割預(yù)測(cè)圖都有與之相匹配的前列腺M(fèi)R圖。判別網(wǎng)絡(luò)一般為一個(gè)對(duì)輸入進(jìn)行分類(lèi)識(shí)別的二進(jìn)制分類(lèi)器，將來(lái)自真實(shí)標(biāo)簽的圖判斷為1，將來(lái)自分割預(yù)測(cè)的圖判斷為0。判別網(wǎng)絡(luò)將判斷結(jié)果反饋給分割網(wǎng)絡(luò)，分割網(wǎng)絡(luò)根據(jù)判別結(jié)果調(diào)整自身的參數(shù)，促進(jìn)分割網(wǎng)絡(luò)生成與真實(shí)標(biāo)簽更接近的分割預(yù)測(cè)。

3.3 損失函數(shù)

用x表示原始MR圖像，y表示對(duì)應(yīng)的真實(shí)標(biāo)簽，S和D分別代表分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。訓(xùn)練分割網(wǎng)絡(luò)學(xué)習(xí)從x到y(tǒng)的映射S(x→y)。判別網(wǎng)絡(luò)將輸入的一對(duì)(x,y)映射到二值分類(lèi)，0代表圖像來(lái)自分割預(yù)測(cè)，1代表圖像來(lái)自真實(shí)標(biāo)簽。故本文中的對(duì)抗損失函數(shù)如式(1)所示：

Ladv(S,D)=Ex,y～pdata(x,y)[lbD(x,y)]+

Ex～pdata(x)[lb(1-D(x,S(x)))]

(1)

其中,Ex,y～pdata(x,y)表示對(duì)(x,y)對(duì)數(shù)似然的期望，從實(shí)對(duì)pdata(x,y)的潛在概率分布中抽取樣本，Ex,y～pdata(x)表示對(duì)x對(duì)數(shù)似然的期望，pdata(x)表示MR圖像的分布。為了使判別網(wǎng)絡(luò)盡可能地做出準(zhǔn)確判斷，訓(xùn)練過(guò)程中應(yīng)通過(guò)最大化D(x,y)來(lái)最大化真實(shí)標(biāo)簽預(yù)測(cè)，通過(guò)最小化D(x,S(x))來(lái)最小化生成的分割預(yù)測(cè)。

分割任務(wù)的損失函數(shù)常用分割預(yù)測(cè)圖與真實(shí)標(biāo)簽間的差異來(lái)定義，如二進(jìn)制交叉熵BCE(Binary Cross Entropy)損失。因此，本文將二進(jìn)制交叉熵?fù)p失應(yīng)用于分割網(wǎng)絡(luò)中，二進(jìn)制交叉熵?fù)p失函數(shù)定義如式(2)所示：

Lseg=Ex,y～pdata(x,y)-y·lbS(x)-

(1-y)·lb(1-S(x))

(2)

本文模型訓(xùn)練過(guò)程的目標(biāo)函數(shù)結(jié)合了對(duì)抗損失和二進(jìn)制交叉熵?fù)p失，即：

(3)

其中，λ表示權(quán)重參數(shù)，用于平衡2個(gè)損失函數(shù)。由于本文的最終目標(biāo)是使分割網(wǎng)絡(luò)能輸出更加準(zhǔn)確的分割預(yù)測(cè)圖，所以訓(xùn)練過(guò)程中損失函數(shù)需要被最小化。分割網(wǎng)絡(luò)訓(xùn)練過(guò)程將最小化對(duì)抗損失和Lseg損失，目的是得到一個(gè)從前列腺M(fèi)R圖像到分割預(yù)測(cè)的更好的映射，而判別網(wǎng)絡(luò)則通過(guò)最大化式(3)中的損失來(lái)進(jìn)行分類(lèi)識(shí)別。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)預(yù)處理

本文實(shí)驗(yàn)環(huán)境如下：顯卡為NVIDIA GTX TITAN X；內(nèi)存為12 GB；操作系統(tǒng)為Ubuntu 16.04；深度學(xué)習(xí)平臺(tái)為PyTorch。

本文采用的前列腺M(fèi)R圖像實(shí)驗(yàn)數(shù)據(jù)均來(lái)自MICCAI Grand Challenge：PROstate MR Image SEgmentation 2012(PROMISE12)[17]，該數(shù)據(jù)集包含前列腺橫截面T2加權(quán)MR圖像和對(duì)應(yīng)的真實(shí)分割標(biāo)簽圖像：橫截面圖像尺寸共有256*256，320*320和512*512 3種大?。欢嗝?jīng)驗(yàn)豐富的專(zhuān)業(yè)醫(yī)生對(duì)前列腺M(fèi)R圖像進(jìn)行準(zhǔn)確分割，將手工標(biāo)記結(jié)果作為標(biāo)簽圖像。

為解決數(shù)據(jù)集中圖像尺寸分布不均勻的問(wèn)題，本文采用了隨機(jī)裁剪的策略，即先將512*512和320*320調(diào)整到300*300的尺寸，再在300*300尺寸的圖像上隨機(jī)裁剪256*256區(qū)域圖像。該策略能夠有效地去除部分非前列腺組織的背景區(qū)域，并且在保證保留充足信息的前提下節(jié)省大量的訓(xùn)練時(shí)間。不同于自然圖像的數(shù)據(jù)集，大醫(yī)學(xué)圖像數(shù)據(jù)集往往難以收集到足夠的標(biāo)注，而有限數(shù)量的可用醫(yī)學(xué)圖像會(huì)導(dǎo)致訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合的問(wèn)題。為抑制過(guò)擬合現(xiàn)象，提高模型的學(xué)習(xí)能力，本文采用數(shù)據(jù)增強(qiáng)策略對(duì)原始前列腺數(shù)據(jù)集進(jìn)行擴(kuò)增。數(shù)據(jù)增強(qiáng)策略包含水平和垂直翻轉(zhuǎn)、角度旋轉(zhuǎn)以及對(duì)比度、飽和度和亮度增強(qiáng)操作。

4.2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性，本文采用MR圖像測(cè)試集對(duì)模型進(jìn)行測(cè)試，并依據(jù)定量的評(píng)價(jià)指標(biāo)與定性的視覺(jué)分析對(duì)結(jié)果進(jìn)行分析。表1對(duì)比了本文方法與其他分割方法的分割結(jié)果。為統(tǒng)一不同方法的衡量標(biāo)準(zhǔn)，本文采用3個(gè)常用的評(píng)價(jià)指標(biāo)定量地分析對(duì)比不同方法的分割結(jié)果。如表1所示，本文方法的相似性系數(shù)DSC(Dice Similarity Coefficient)最高，達(dá)到了89.56%(越高越好)；豪斯多夫距離HD(Hausdorff Distance)最短，達(dá)到了7.65 mm(越低越好)；平均表面距離ASD(Average Surface Distance)較小，為1.82 m(越低越好)，表明本文方法較之前前列腺圖像分割方法有著出色的表現(xiàn)。圖3定性地展示了本文方法對(duì)于多個(gè)患者前列腺M(fèi)R圖像分割的結(jié)果，圖中第1行為真實(shí)標(biāo)簽的分割結(jié)果，第2行為本文方法的分割結(jié)果。如圖3所示，本文方法分割結(jié)果的輪廓線(xiàn)平滑且無(wú)鋸齒，在前列腺M(fèi)R圖像上有著優(yōu)秀的分割效果。

Table 1 Quantitative comparison with other methods in DSC,HD and ASD

Figure 3 Segmentation results of prostate MR images in this paper圖3 本文方法對(duì)前列腺M(fèi)R圖像的分割結(jié)果

本文實(shí)驗(yàn)利用顯卡進(jìn)行加速，使得分割時(shí)間更短，表2對(duì)比了本文方法與其它幾種前列腺M(fèi)R圖像分割方法所耗費(fèi)的分割時(shí)間，其中專(zhuān)業(yè)醫(yī)生的分割時(shí)間是根據(jù)對(duì)相關(guān)醫(yī)院的專(zhuān)業(yè)醫(yī)生進(jìn)行調(diào)研得出的。從表2中可以看出，本文方法的分割用時(shí)更短，速度更快，滿(mǎn)足了實(shí)際的臨床要求，對(duì)醫(yī)生的診斷效率有了一定的提升。

Table 2 Comparison of test time with other segmentation methods表2 不同分割方法測(cè)試時(shí)間的對(duì)比 min

4.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法的有效性，本節(jié)進(jìn)行了相關(guān)的消融實(shí)驗(yàn)，表3為消融實(shí)驗(yàn)多個(gè)指標(biāo)的結(jié)果對(duì)比。其中第1行數(shù)據(jù)為無(wú)對(duì)抗學(xué)習(xí)的結(jié)果，第2行數(shù)據(jù)為無(wú)多尺度特征融合的結(jié)果，第3行數(shù)據(jù)為本文方法的結(jié)果。從第1行和第3行數(shù)據(jù)的對(duì)比中可以看出對(duì)抗學(xué)習(xí)的有效性，從第2行和第3行數(shù)據(jù)的對(duì)比中可以看出多尺度特征融合的有效性。從DSC指標(biāo)上可以看出，本文方法相比沒(méi)有對(duì)抗學(xué)習(xí)的方法高出1.86%，相比沒(méi)有多尺度特征融合的方法高出0.95%；從HD指標(biāo)上可以看出，本文方法相比沒(méi)有對(duì)抗學(xué)習(xí)的方法低1.21 mm，相比沒(méi)有多尺度特征融合的方法低0.70 mm；從ASD指標(biāo)上可以看出，本文方法相比沒(méi)有對(duì)抗學(xué)習(xí)的方法低0.13 mm，相比沒(méi)有多尺度特征融合的方法低0.07 mm。

Table 3 Comparison of segmentation performance in ablation experiments

圖4為消融實(shí)驗(yàn)中的分割結(jié)果的可視化對(duì)比。其中第1行～第3行代表3個(gè)不同的病例；第1列代表原始前列腺M(fèi)R圖像所對(duì)應(yīng)的真實(shí)標(biāo)簽圖，第2列代表本文方法的分割結(jié)果，第3列代表在本文方法基礎(chǔ)上去除多尺度特征融合的分割結(jié)果，第4列代表在本文方法基礎(chǔ)上去除對(duì)抗學(xué)習(xí)的分割結(jié)果。如圖4所示，3種方法中去除對(duì)抗學(xué)習(xí)的方法表現(xiàn)最差，對(duì)于形狀較小或是形狀扭曲稍大的前列腺M(fèi)R圖像，該方法難以找到前列腺組織的邊界位置；而本文方法表現(xiàn)最優(yōu)，相較于其他2種方法，本文方法分割結(jié)果的輪廓線(xiàn)更加接近于真實(shí)標(biāo)簽的輪廓線(xiàn)，分割準(zhǔn)確性更高。消融實(shí)驗(yàn)的結(jié)果驗(yàn)證了本文所提出的基于對(duì)抗學(xué)習(xí)和多尺度特征融合網(wǎng)絡(luò)對(duì)前列腺M(fèi)R圖像分割的有效性。

Figure 4 Segmentation results of ablation experiment圖4 消融實(shí)驗(yàn)的分割結(jié)果

5 結(jié)束語(yǔ)

本文提出了一種基于對(duì)抗學(xué)習(xí)和多尺度特征融合的前列腺M(fèi)R圖像自動(dòng)分割方法，相比傳統(tǒng)分割方法，這種基于深度學(xué)習(xí)的前列腺M(fèi)R圖像分割方法避免了手工特征的提取或先驗(yàn)知識(shí)的引入，且可以進(jìn)行端到端的訓(xùn)練。本文以一種對(duì)抗學(xué)習(xí)的方式訓(xùn)練分割網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，使分割網(wǎng)絡(luò)輸出的分割結(jié)果越來(lái)越接近真實(shí)標(biāo)簽的結(jié)果，提升了前列腺M(fèi)R圖像的分割準(zhǔn)確性。同時(shí)，本文在分割網(wǎng)絡(luò)中采用多尺度特征融合的方法來(lái)提取并融合圖像深度特征的多尺度信息，增強(qiáng)了特征的魯棒性和識(shí)別率，提升了網(wǎng)絡(luò)對(duì)前列腺M(fèi)R圖像的特征提取能力，進(jìn)一步提高了網(wǎng)絡(luò)的分割性能。本文在前列腺M(fèi)R圖像數(shù)據(jù)集上驗(yàn)證了本文方法的有效性，取得了較好的分割結(jié)果，同時(shí)相比于其他分割方法及專(zhuān)業(yè)醫(yī)生，一定程度上縮短了分割時(shí)間，可以滿(mǎn)足前列腺M(fèi)R圖像分割的實(shí)際臨床應(yīng)用要求。但是，對(duì)于前列腺區(qū)域的輪廓較為扭曲的MR圖像，分割效果還有待進(jìn)一步提升，也是后續(xù)研究有待解決的問(wèn)題。