劉 東,陳境宇,王生生**
(1. 湘南學(xué)院 醫(yī)學(xué)影像人工智能湖南省重點(diǎn)實(shí)驗(yàn)室,湖南 郴州 423300;2. 湘南學(xué)院 計(jì)算機(jī)與人工智能學(xué)院,湖南 郴州 423300;3. 吉林大學(xué) 符號計(jì)算與知識工程教育部重點(diǎn)實(shí)驗(yàn)室,吉林 長春 130012;4. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,吉林 長春 130012)
根據(jù)世界衛(wèi)生組織國家癌癥研究機(jī)構(gòu)(International Agency for Research on Cancer,IARC)2020 年發(fā)布的最新數(shù)據(jù),乳腺癌已取代肺癌成為全球第一大高發(fā)癌. 基于醫(yī)學(xué)影像的輔助診斷技術(shù)可有效提升癌癥的篩查效率[1],對于腫瘤早篩診斷具有重要意義. 乳腺腫塊是乳腺篩查過程中重要的病理特征,精確分割出乳腺腫塊區(qū)域能夠?yàn)槿橄倌[塊的良性惡性分類以及精準(zhǔn)診斷提供可靠依據(jù)[2-3].
隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,大量關(guān)于乳腺腫塊分割的算法被提出,大致可劃分為兩類. ①人工特征提取的方法,包括基于區(qū)域的方法、基于邊緣輪廓的方法和聚類方法. 例如,文獻(xiàn)[4]從優(yōu)化動(dòng)態(tài)規(guī)劃的角度提出乳腺圖像腫塊邊界區(qū)域跟蹤方法;Rahmati 等[5]則采用伽馬分布估計(jì)思想,設(shè)計(jì)了一種基于水平集的腫塊輪廓?jiǎng)討B(tài)分割方法;文獻(xiàn)[6]基于紋理特征采用模糊C 均值聚類算法實(shí)現(xiàn)乳腺腫塊的半自動(dòng)分割. 上述基于人工特征提取的分割方法設(shè)計(jì)較為簡單,攜帶一定的語義特性,但分割性能受到一定限制,在復(fù)雜場景中難以滿足需求. ②深度學(xué)習(xí)方法. 深度網(wǎng)絡(luò)模型的出現(xiàn)將圖像分割模型在泛化性和分割精度方面提升了一個(gè)層次[7]. 文獻(xiàn)[8]提出基于U-Net 的深度網(wǎng)絡(luò)結(jié)構(gòu)在乳腺圖像軟組織病灶區(qū)域分割中獲得較好的性能. 文獻(xiàn)[9]則提出兩階段學(xué)習(xí)網(wǎng)絡(luò),分別對乳腺病灶區(qū)域進(jìn)行粗分割、細(xì)粒度優(yōu)化. 文獻(xiàn)[10]改進(jìn)了U-Net 分割模型應(yīng)用于乳腺腫瘤邊界的分割.Hai 等[11]則通過多尺度信息的刻畫提升深度網(wǎng)絡(luò)的乳腺腫塊分割性能. 最近提出的一項(xiàng)代表性工作是AUNet 方法[12],其綜合利用密集上采樣和注意力機(jī)制思想,設(shè)計(jì)了一種新的網(wǎng)絡(luò)在乳腺腫塊分割中取得良好的效果. 上述方法在一定程度上提升了乳腺腫塊分割的精度,但依然存在一些待解決的問題:①分割過程對掩碼的像素是分開區(qū)分的,造成分割結(jié)果的空間連續(xù)性不夠理想;②掩碼中的一些細(xì)節(jié)存在模糊不清,需要借助后處理進(jìn)行修正,但是計(jì)算復(fù)雜性較高;③深度模型依賴海量數(shù)據(jù),語義特征利用不夠充分.
因此,針對以上問題,本文研究在對抗網(wǎng)絡(luò)中引入語義信息刻畫的分割方法,提出一種基于空間自適應(yīng)和混合損失對抗網(wǎng)絡(luò)的乳腺腫塊分割方法.在兩個(gè)公開數(shù)據(jù)集上對所提出的方法進(jìn)行了大量乳腺腫塊分割實(shí)驗(yàn),多個(gè)客觀性指標(biāo)表明了本文方法的優(yōu)越性和有效性. 主要貢獻(xiàn)包括:
(1)采用條件生成對抗網(wǎng)絡(luò)對分割模型輸出的結(jié)果進(jìn)行精細(xì)化處理,使得像素之間空間連續(xù)性得到一定程度改善;
(2)在對抗網(wǎng)絡(luò)判別器中,結(jié)合空間自適應(yīng)歸一化模塊學(xué)習(xí)乳腺腫塊的高級特征,以捕捉更多蘊(yùn)含的語義特性;
(3)提出一種混合損失函數(shù),分別添加Dice 損失和感知損失,以期改善類別不平衡問題,并減小預(yù)測掩碼和對應(yīng)的真實(shí)標(biāo)簽在卷積過程中特征圖之間的距離.
本文提出一種基于空間自適應(yīng)的輕量級混合損失對抗分割網(wǎng)絡(luò)模型,其工作流程如圖1 所示,主要包括兩個(gè)步驟:訓(xùn)練生成器和添加判別器. 首先,對乳腺X 光圖像進(jìn)行預(yù)處理并送入生成器,通過一系列降采樣和上采樣操作得到初始的粗略結(jié)果. 其次,將對抗訓(xùn)練框架加入模型,把粗略結(jié)果和對應(yīng)的真實(shí)標(biāo)簽送入判別器,通過判別器的輸出以及相應(yīng)的損失回傳幫助生成器改善生成結(jié)果,即對初步分割結(jié)果進(jìn)行優(yōu)化. 整體而言,所提模型的訓(xùn)練類似于生成對抗網(wǎng)絡(luò)訓(xùn)練過程,將輕量級的可分離卷積U-Net 作為生成器進(jìn)行粗略結(jié)果的生成,添加判別器構(gòu)成對抗訓(xùn)練的基本條件.
圖1 乳腺腫塊圖像分割流程圖Fig. 1 The flow chart of breast mass image segmentation
1.1 數(shù)據(jù)預(yù)處理 首先,對乳腺X 光圖像數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、對稱等數(shù)據(jù)增強(qiáng)操作,并將圖像數(shù)據(jù)調(diào)整為統(tǒng)一的尺寸便于實(shí)驗(yàn). 然后,采用基于像素值的算法去除不相關(guān)的黑色背景區(qū)域,僅保留與乳房影像相關(guān)的區(qū)域. 最后,將紋理特征相似的圖像進(jìn)行分離,以確保它們不會同時(shí)作為一個(gè)批量被輸入到模型中.
1.2 可分離卷積U-Net 模型 目前流行的U-Net模型在醫(yī)學(xué)圖像分割領(lǐng)域取得較優(yōu)異的性能[13].然而,U-Net 計(jì)算量很大,作為生成器與生成對抗網(wǎng)絡(luò)結(jié)合后可能導(dǎo)致模型運(yùn)算效率不高. 因此,本文提出采用可分離卷積U-Net 模型以降低深度網(wǎng)絡(luò)計(jì)算時(shí)間.
圖2 可分離卷積示意圖Fig. 2 The computing process of separable convolution model
以一幅5×5 的RGB 三通道彩色圖像為例,以常規(guī)卷積計(jì)算,經(jīng)過3×3 卷積核的卷積層,輸出通道為4,最終輸出4 個(gè)Feature Map,則卷積層參數(shù)數(shù)量為4×3×3×3=108. 而若采用深度可分離卷積,則首先經(jīng)過3 個(gè)3×3 的卷積,再經(jīng)過3 個(gè)1×1 的卷積,輸出通道同樣為4,其卷積層參數(shù)數(shù)量為3×3×3+1×1×3×4=39. 不難發(fā)現(xiàn),相比常規(guī)卷積操作,可分離卷積模型的參數(shù)數(shù)量和運(yùn)算成本大大降低.
1.3 基于空間自適應(yīng)和混合損失的對抗分割網(wǎng)絡(luò)模型 對抗網(wǎng)絡(luò)結(jié)構(gòu)可以良好地捕捉到圖像的高級特征,從而提升醫(yī)學(xué)圖像病灶分割性能[14]. 本文提出一種新的輕量級混合損失對抗分割網(wǎng)絡(luò)模型應(yīng)用于乳腺腫塊分割,即在分離卷積U-Net 分割模型后增加判別器,使用對抗訓(xùn)練的方式對U-Net 分割出來的結(jié)果進(jìn)行后處理優(yōu)化,并提出一種空間自適應(yīng)層替換原始的歸一化層,以獲取更多的語義和本質(zhì)特征.
圖3 展示了所提模型的完整架構(gòu),對抗網(wǎng)絡(luò)結(jié)構(gòu)中的生成器采用可分離卷積U-Net,原始圖像經(jīng)過3×3 的卷積獲取高級特征,進(jìn)而經(jīng)過3×3 的卷積層和2×2 的上采樣層映射為分割掩碼,圖中的藍(lán)線表示“跳躍連接”. 判別器則采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),由若干卷積和歸一化操作構(gòu)成,完成對輸入圖像真假的判別.
圖3 基于空間自適應(yīng)和混合損失的對抗分割網(wǎng)絡(luò)模型Fig. 3 The adversarial networks model based on spatial adaptive and mixed loss
1.3.1 空間自適應(yīng)歸一化層 深度神經(jīng)網(wǎng)絡(luò)中一般具有一個(gè)歸一化層,對于加速網(wǎng)絡(luò)收斂和避免梯度消失具有重要的意義. 但是,當(dāng)蘊(yùn)含語義信息的分割掩碼被歸一化操作后,可能導(dǎo)致掩碼中隱含的語義信息被過濾掉. 特別是對于在乳腺腫塊分割這類語義分割任務(wù),掩碼只有一個(gè)標(biāo)簽(1 表示目標(biāo)區(qū)域,0 表示非目標(biāo)區(qū)域),進(jìn)行歸一化后值將全變?yōu)?,從而丟失了語義信息. 因此,本文提出空間自適應(yīng)策略保持輸入圖像的語義信息,不僅將卷積后的特征圖作為歸一化層輸入,同時(shí)將判別器的輸入圖像也作為補(bǔ)充信息,如圖4 所示. 對圖像進(jìn)行逐通道歸一化,并用學(xué)習(xí)到的調(diào)節(jié)參數(shù),即縮放平移變量進(jìn)行調(diào)節(jié). 同時(shí),調(diào)整判別器的輸入圖像尺寸使其和特征圖大小保持一致.
圖4 空間自適應(yīng)歸一化層示意圖Fig. 4 The schematic diagram of spatial adaptive normalization layer
假定第i次卷積后的特征圖高度和寬度分別為Hi和Wi,下面給出空間自適應(yīng)歸一化的形式化過程.
步驟 1 計(jì)算特征圖像素的均值 μic:
步驟 2 計(jì)算特征圖像素的方差:
步驟 3 對輸入數(shù)據(jù)進(jìn)行歸一化:
步驟 4 進(jìn)行尺度變化和偏移,獲取最終特征圖:
其中,參數(shù)γ和β是經(jīng)過卷積層學(xué)習(xí)得到的,并且隨著輸入的改變而改變. 以這種方式學(xué)習(xí)得到的參數(shù)將保留更多圖像中的語義信息. 使用一個(gè)兩層的卷積網(wǎng)絡(luò)來訓(xùn)練這兩個(gè)參數(shù),并通過學(xué)習(xí)得到的這兩個(gè)參數(shù)來進(jìn)行變化重構(gòu),從而保持圖片中的語義信息.
1.3.2 混合損失函數(shù)設(shè)計(jì) 為進(jìn)一步提升乳腺腫塊分割性能,提出一種混合損失函數(shù),主要由對抗損失、特征映射之間的附加損失和分割損失3部分組成.
(1)對抗損失 假定模型輸入為乳腺圖像x,S(x)表 示分割網(wǎng)絡(luò)輸出的乳腺圖像掩碼,D(x,y)為判別器判斷輸入y是原始乳腺圖像x真實(shí)標(biāo)簽的概率. 那么,模型訓(xùn)練目的主要在于生成器盡可能生成能夠欺騙判別器的分割結(jié)果,同時(shí),判別器盡可能把生成的圖像和真實(shí)的圖像區(qū)分開來. 按照原始GAN 的基本思想,其對抗訓(xùn)練的結(jié)果則是判別器盡可能地最大化D(x,y)、 最小化D(x,S(x)),同時(shí)生成器想最大化D(x,S(x)),因此,對抗損失函數(shù)如下:
其中,α是平衡因子.
(3)分割損失 通過對乳腺圖像數(shù)據(jù)的分析,可以發(fā)現(xiàn)乳腺背景等占據(jù)了圖像很大一部分,如果僅使用L1 損失指導(dǎo)訓(xùn)練方向,將使圖像中的目標(biāo)和背景像素得到同樣的重視程度,顯然不夠合理.因此,進(jìn)一步采用Dice 損失督促分割網(wǎng)絡(luò)并把注意力放在感興趣區(qū)域,提高腫塊區(qū)域的重視程度,以提升特征的學(xué)習(xí)能力,命名這種損失為分割損失LSEG.
其中,n表示預(yù)測分割掩碼中的像素?cái)?shù)量,i代表像素的位置,yi和S(x)i則表示i位置的像素在真實(shí)標(biāo)簽中的值和在預(yù)測分割掩碼中的值.
最終,提出融合3 個(gè)損失的混合損失函數(shù)如下:
2.1 實(shí)驗(yàn)數(shù)據(jù)與設(shè)置 實(shí)驗(yàn)采用兩種公開、來源合法的乳腺圖像數(shù)據(jù)集. ①INbreast 數(shù)據(jù)集[15],是葡萄牙波爾圖乳腺癌中心獲取并公開給學(xué)術(shù)界用于科學(xué)研究的數(shù)據(jù)集,共有410 張圖像,其中包含鈣化、不對稱、腫塊等多種類型的乳腺疾病. 針對本文腫塊分割任務(wù),選取其中107 張圖像作為實(shí)驗(yàn)數(shù)據(jù). ②CBIS-DDSM[16],為一種大型醫(yī)學(xué)數(shù)據(jù)集,選取其中800 個(gè)乳腺腫塊影像作為實(shí)驗(yàn)數(shù)據(jù). 上述數(shù)據(jù)均由放射科專家進(jìn)行標(biāo)注與識別,具有準(zhǔn)確的分割標(biāo)簽. 圖5 顯示了部分樣本.
圖5 乳腺腫塊樣本圖像示例Fig. 5 Sample image of breast mass
實(shí)驗(yàn)采用NVIDIA GeForce GTX 1080Ti GPU(11 GB)平臺,并使用PyTorch 框架. 在訓(xùn)練過程中,交替訓(xùn)練生成器和判別器以達(dá)到平衡狀態(tài).
實(shí)驗(yàn)參數(shù)設(shè)置訓(xùn)練批量大小為4,學(xué)習(xí)率初始固定為0.005,使用Adam 優(yōu)化器改變學(xué)習(xí)率. 由于分割損失在腫塊分割任務(wù)中用于衡量最終的分割結(jié)果和相應(yīng)的標(biāo)簽之間的相似度,直接決定了分割效果的好壞,因此給予分割損失平衡因子λ分配較大的權(quán)重,而附加損失主要用于優(yōu)化分割網(wǎng)絡(luò)輸出的粗分割結(jié)果,則給α分配相對較小的權(quán)重,因此最終將λ和α分別設(shè)為10 和1.
評價(jià)標(biāo)準(zhǔn)選取準(zhǔn)確率(Accuracy)、靈敏度(Sensitivity)、特異度(Specificity)和集合相似度(Dice)[17]4 個(gè)常用指標(biāo)進(jìn)行實(shí)驗(yàn)性能評估.
2.2 實(shí)驗(yàn)結(jié)果分析 為客觀驗(yàn)證本文方法的性能,在實(shí)驗(yàn)中對比了目前醫(yī)學(xué)圖像分割領(lǐng)域的幾種流行方法:FCNs[7]、U-Net[8]、CGAN 和AUNet[12]. 其中,F(xiàn)CNs 和U-Net 常作為醫(yī)學(xué)圖像分割領(lǐng)域的基準(zhǔn)模型. CGAN 是指在U-Net 的基礎(chǔ)上,以原始乳腺X 光圖像作為原始輸入,以對抗訓(xùn)練方式訓(xùn)練的分割模型. AUNet 則是最新提出的基于注意力的分割模型. 下面分別在INbreast 和CBIS-DDSM 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)評估.
2.2.1 INbreast 數(shù)據(jù)集實(shí)驗(yàn)評估 所有對比方法在INbreast 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表1 所示,圖6展示了測試數(shù)據(jù)關(guān)于4 組評價(jià)指標(biāo)的箱線圖. 同時(shí),給出了不同方法的分割效果圖,如圖7 所示.
圖6 準(zhǔn)確率、集合相似度、靈敏度、特異度4 組評價(jià)指標(biāo)的箱線圖Fig. 6 The boxplots of the four evaluation criterions for accuracy, dice, sensitivity and specificity
圖7 對比方法在INbreast 數(shù)據(jù)集上的分割效果圖Fig. 7 The segmentation results of compared methods on INbreast dataset
表1 對比方法在INbreast 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab. 1 The experimental results of compared methods on INbreast dataset
分析上述實(shí)驗(yàn)結(jié)果可以得到如下結(jié)論:①從分割精度上看,本文方法在4 個(gè)評價(jià)指標(biāo)上均取得最高的性能,尤其是在集合相似度指標(biāo)上獲得較大提升,這說明使用Dice 損失替代原有的L1 損失,能夠有效提升對抗學(xué)習(xí)的性能;②從箱線圖來看,相比其他方法而言,本文所提方法具有最小的范圍波動(dòng). 其中集合相似度指標(biāo),結(jié)果處于78%到83%范圍之內(nèi),遠(yuǎn)小于其他方法的范圍;③從分割效果上來看,所提模型獲取的分割結(jié)果相比其他方法更接近真實(shí)標(biāo)簽,取得更令人滿意的效果. 通過實(shí)驗(yàn)對比發(fā)現(xiàn),形狀規(guī)則、面積較大的腫塊分割效果較好,而不規(guī)則、面積小的腫塊則在分割過程中面臨更大的挑戰(zhàn);④值得說明的是,所有對比方法均獲得很高的準(zhǔn)確率,這是由于數(shù)據(jù)集中圖像的腫塊區(qū)域相比背景很小,這導(dǎo)致目標(biāo)區(qū)域的像素被錯(cuò)誤分類時(shí),并不會對準(zhǔn)確率產(chǎn)生較大影響. 同理,特異度也遠(yuǎn)高于靈敏度.
2.2.2 CBIS-DDSM 數(shù)據(jù)集實(shí)驗(yàn)評估 在CBISDDSM 數(shù)據(jù)集中進(jìn)行評估. 表2 展示了對比方法在4 個(gè)指標(biāo)上的分割結(jié)果,圖8 給出了幾組樣本的分割效果圖.
圖8 對比方法在CBIS-DDSM 數(shù)據(jù)集上的分割效果圖Fig. 8 The segmentation results of compared methods on CBIS-DDSM dataset
表2 對比方法在CBIS-DDSM 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab. 2 The experimental results of compared methods on CBIS-DDSM dataset
通過CBIS-DDSM 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),本文方法在4 個(gè)評價(jià)指標(biāo)上獲得最高的性能,這說明所提模型可以適應(yīng)于不同乳腺影像數(shù)據(jù),具備較強(qiáng)的泛化能力. 從分割效果上看,本文方法針對不同形狀和尺寸的乳腺腫塊,均取得較好效果.此外,CBIS-DDSM 數(shù)據(jù)集中背景區(qū)域更大,這意味著類別不平衡問題更為嚴(yán)重,本文方法依然取得顯著的性能提升.
2.2.3 消融實(shí)驗(yàn) 最后,在INbreast 數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn),以評估每個(gè)附加組件的性能,設(shè)置如下4 個(gè)基準(zhǔn)模型:① L1:在U-Net 模型的基礎(chǔ)上添加條件對抗訓(xùn)練,使用原始乳腺圖像作為條件信息,即U-Net+CGAN;② L2:在L1 的基礎(chǔ)上添加多重?fù)p失函數(shù),即L1+ Mixed loss;③ L3:在L1 的基礎(chǔ)上添加空間自適應(yīng)歸一化層,即L1+ SGN;④ L4:在L3 的基礎(chǔ)上添加多重?fù)p失函數(shù),即本文提出的方法:L3+Mixed loss.
上述4 個(gè)模型的實(shí)驗(yàn)結(jié)果如表3 所示.此外,為進(jìn)一步驗(yàn)證所提方法在計(jì)算復(fù)雜度方面的優(yōu)勢,分別采用經(jīng)典卷積和可分離卷積部署L4 模型,得到兩種操作下的參數(shù)量和計(jì)算量如表4 所示.
表3 4 個(gè)基準(zhǔn)模型在INbreast 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab. 3 The experimental results of four bechmark models on INbreast dataset
表4 經(jīng)典卷積和可分離卷積的參數(shù)量及計(jì)算量對比Tab. 4 The parameter number and computation cost of clasical and separable convolution MB
從實(shí)驗(yàn)結(jié)果可以看出,每個(gè)部件的增加都在一定程度上提升了分割的性能,具體分析如下:①添加了混合損失函數(shù)后的L2 優(yōu)于L1,這歸因于在多重?fù)p失函數(shù)中引入了蘊(yùn)含特征表達(dá)的損失,使得模型更加關(guān)注感興趣區(qū)域,而不是將注意力均勻分散到反映大量背景的每個(gè)像素;②添加了空間自適應(yīng)歸一化層后的L3 模型在準(zhǔn)確率、靈敏度、特異度、集合相似度等指標(biāo)上相較于L1 均有明顯提升,這說明空間自適應(yīng)歸一化層能有效保持一定的語義信息,提升模型訓(xùn)練性能;③提出的L4 模型取得最好的實(shí)驗(yàn)結(jié)果,這說明基于空間自適應(yīng)歸一化和混合損失的對抗網(wǎng)絡(luò)方法綜合了優(yōu)化訓(xùn)練方向、語義特征保持等多方面的優(yōu)勢,能夠有效提升乳腺腫塊的分割性能;④由表4 可知,深度可分離卷積相比經(jīng)典卷積,參數(shù)量和計(jì)算量分別減少了50%和58%,有效地提升了計(jì)算效率.
本文主要研究乳腺腫塊分割問題,提出一種基于空間自適應(yīng)和混合損失函數(shù)的對抗網(wǎng)絡(luò)分割模型,即使用卷積可分離U-Net 作為生成器,通過對抗訓(xùn)練中判別器優(yōu)化生成器的分割結(jié)果. 通過引入空間自適應(yīng)歸一化模塊提升語義信息的表達(dá)能力,并設(shè)計(jì)了一種混合損失函數(shù)規(guī)避不利因素帶來的影響. 在兩個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)表明,所提方法的各個(gè)模塊有機(jī)連接、互相支撐,在多個(gè)評價(jià)指標(biāo)上取得優(yōu)于其他模型的性能. 通過對分割結(jié)果的主觀觀察亦可發(fā)現(xiàn),所提方法獲取的分割結(jié)果與醫(yī)生的診斷標(biāo)注十分接近,有望應(yīng)用于臨床實(shí)際應(yīng)用.
由于X 光成像中乳腺腫塊尺寸差異較大、邊界模糊問題較為嚴(yán)重,本文方法在不規(guī)則小腫塊分割中還存在少許的誤差,如何進(jìn)一步提高分割模型的魯棒性,尤其是提升不規(guī)則小病灶區(qū)域的分割性能,是未來研究工作需要重點(diǎn)解決的問題.