一種改進(jìn)的雙通道多尺度醫(yī)學(xué)圖像分割網(wǎng)絡(luò)模型

王燕貞

（漳州職業(yè)技術(shù)學(xué)院 電子信息學(xué)院，福建 漳州 363000)

卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺任務(wù)中一直扮演著重要角色。由于計(jì)算能力爆發(fā)式的提升，使得很多復(fù)雜的網(wǎng)絡(luò)模型，如AlexNet[1]、VGG-Net[2]得以運(yùn)用于實(shí)際場(chǎng)景。UNet[3]由于所需訓(xùn)練樣本量少而備受學(xué)者們青睞，將其作為卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像處理的一種主流方法。近年來，基于UNet的改進(jìn)算法層出不窮，UNet++[4]采用密集卷積塊連接代替UNet中編碼器和解碼器之間的跳躍連接，從而解決了跳躍連接中語(yǔ)義差距而導(dǎo)致的分割性能下降問題。但UNet++仍缺乏全尺度連接，這使得模型在學(xué)習(xí)感興趣區(qū)域的位置和邊界過程中略顯不足。UNet3+[5]的全尺度設(shè)計(jì)，每層解碼器均包含低層編碼器特征和高層解碼器特征，以獲取細(xì)粒度細(xì)節(jié)和粗粒度語(yǔ)義。文獻(xiàn)[6]針對(duì)氣胸分割，以UNet為基礎(chǔ)架構(gòu)進(jìn)行改進(jìn)，并應(yīng)用于實(shí)際醫(yī)用場(chǎng)景。該模型采用EfficientNet[7]中的編碼模塊MBConvBlock，解碼器則是由3*3卷積塊和注意力機(jī)制模塊構(gòu)成，同時(shí)提出一種改進(jìn)的混合損失函數(shù)，以常用的Dice損失函數(shù)結(jié)合Focal[8]損失函數(shù)，提升微小氣胸的分割精度。醫(yī)學(xué)圖像包含多種臟器，且病灶類型多樣，這些感興趣區(qū)域通常具有不同規(guī)模和形態(tài)，因此多尺度的應(yīng)用增強(qiáng)了模型的健壯性。文獻(xiàn)[9]深入研究醫(yī)學(xué)圖像中病變組織大小變化，提出多尺度思想，并行使用大小不同的卷積濾波器，改變編碼器與解碼器之間的連接方式，用改進(jìn)殘差連接代替跳躍連接。實(shí)驗(yàn)證明，多尺度的引入在多種成像設(shè)備（皮膚鏡、內(nèi)窺鏡、熒光顯微鏡、電子顯微鏡和核磁共振）上產(chǎn)生的數(shù)據(jù)集的分割精度與經(jīng)典UNet相比，有了一定幅度的提高，同時(shí)也減少了參數(shù)數(shù)量。胡屹杉等[10]運(yùn)用多尺度思想對(duì)超聲甲狀腺圖像進(jìn)行分割，采用動(dòng)態(tài)多尺度特征提取獲取全局信息，解碼器采用混合上采樣，對(duì)高維特征和低維特征分別采用最大反池化上采樣和空洞反卷積，并引入特征融合注意力模塊，專注于關(guān)鍵信息的獲取，提升模型對(duì)感興趣區(qū)域的分割能力。

上述UNet改進(jìn)的算法中，在不同程度上引入了全尺度或多尺度思想，對(duì)不同規(guī)模和類型的病灶組織的分割精度有了一定的提高，但對(duì)于復(fù)雜模糊邊界的處理還略顯欠缺。為了提高不同形態(tài)規(guī)模病灶的分割精度，提出一種改進(jìn)的雙通道多尺度分割模型，受文獻(xiàn)[11-12]的思想啟發(fā)，在MultiResUNet[9]的基礎(chǔ)上，將編碼器的多尺度模塊分解為雙通道，每個(gè)通道包含大小不同的卷積塊，將每個(gè)通道的卷積塊連接后再進(jìn)行相加操作，最后加入擠壓激勵(lì)塊增加模型對(duì)相關(guān)特征的敏感度，降低無關(guān)特征的干擾。

1 雙通道多尺度卷積網(wǎng)絡(luò)模型（DMSEUNet）

醫(yī)學(xué)圖像具有臟器類別多、病變組織規(guī)模形態(tài)各異、成像技術(shù)多樣化等特點(diǎn)，給分割模型的泛化能力提出了挑戰(zhàn)。受文獻(xiàn)[11-12]啟發(fā)，本研究提出一種針對(duì)不同規(guī)模形態(tài)病變組織的分割模型。該模型采用雙通道多尺度獲取特征值，并使用殘差連接盡可能保留低維特征，避免由于跳過連接造成的語(yǔ)義差異，同時(shí)在編碼器層中加入擠壓激勵(lì)塊，用于抑制無關(guān)特征的影響。

1.1 多尺度卷積濾波器

在UNet架構(gòu)中，在每個(gè)池化層和轉(zhuǎn)置卷積層之后，使用兩個(gè)3*3卷積層的序列。為了提高模型的魯棒性，將UNet架構(gòu)中的3*3卷積塊進(jìn)行多尺度擴(kuò)展，使用大小分別為3*3、5*5和7*7的卷積塊并行連接，形成多尺度卷積濾波器代替UNet中的3*3卷積塊，以提高模型對(duì)不同形態(tài)大小的病灶組織的分割魯棒性，具體如圖1所示。

圖1 多尺度卷積濾波器

在實(shí)際的訓(xùn)練過程中，5*5和7*7的卷積計(jì)算開銷昂貴，為了降低其對(duì)內(nèi)存的需求，本研究借鑒文獻(xiàn)[13]的方法，將5*5和7*7的卷積塊分解成多個(gè)輕量級(jí)的3*3卷積塊。如圖2所示，多尺度卷積濾波器中的5*5卷積塊和7*7卷積塊分別被分解為2個(gè)3*3和3個(gè)3*3的卷積塊，并加入了Batch歸一化處理。

圖2 多尺度卷積濾波器分解圖

1.2 雙通道路徑

使用多尺度卷積濾波器獲取特征映射雖然在一定程度上優(yōu)化了UNet網(wǎng)絡(luò)結(jié)構(gòu)的輸出，但對(duì)于模糊邊界以及背景、噪聲等干擾的處理表現(xiàn)仍有不足。從上述多尺度卷積濾波器的結(jié)構(gòu)可以看出，不同尺度特征的引入對(duì)于分割不同大小的病灶組織具有優(yōu)勢(shì)，由此假設(shè)，加大不同尺度特征的規(guī)模，能夠提高邊界分割能力?；谏鲜黾僭O(shè)，修改多尺度卷積濾波器，在編碼器層引入雙通道路徑，將原來的多尺度卷積濾波器擴(kuò)展為雙通道，將雙通道的相加結(jié)果作為輸出，如圖3所示。

圖3 雙通道多尺度卷積濾波器

UNet結(jié)構(gòu)中的跳過連接可以將池化過程中丟失的空間信息從編碼器傳遞到解碼器。但由于合并的兩組特征一組來自編碼器的低層，另外一組來自解碼器的高層，這兩組不兼容的特征融合極有可能產(chǎn)生語(yǔ)義差異，使預(yù)測(cè)結(jié)果受到影響。為了減輕這種編碼器和解碼器之間的差異，引入殘差思想[15]將UNet跳過連接中的卷積操作進(jìn)行連接合并。

1.3 擠壓激勵(lì)塊

在神經(jīng)網(wǎng)絡(luò)中，由卷積產(chǎn)生的特征映射只關(guān)注局部信息，這就意味著局部接受域以外的其他視野將被忽略。擠壓激勵(lì)塊[14]通過建模通道之間的相互依賴關(guān)系，來校準(zhǔn)通道級(jí)別的特征響應(yīng)。通過全局空間信息來學(xué)習(xí)信道權(quán)值，從而提高有效特征的靈敏度，抑制無關(guān)特征。在本研究中，采用全局平均池對(duì)特征映射進(jìn)行壓縮操作來生成全局表示。如圖4所示，擠壓激勵(lì)塊包含全局池化、兩個(gè)全連接層、ReLu激活函數(shù)和Sigmoid激活函數(shù)。其中c代表通道數(shù)，r代表比率，通過調(diào)整輸出通道數(shù)量構(gòu)成一個(gè)瓶頸結(jié)構(gòu)，以實(shí)現(xiàn)對(duì)有效特征和無效特征的取舍控制。

圖4 擠壓激勵(lì)塊結(jié)構(gòu)圖

1.4 DMSEUNet結(jié)構(gòu)圖

結(jié)合上述內(nèi)容，本研究提出一種基于UNet的改進(jìn)網(wǎng)絡(luò)模型DMSEUNet，該模型采用多尺度接受域，獲取不同形態(tài)規(guī)模的病灶組織，并行雙通道提升模糊復(fù)雜邊界的分割效果，在每層雙通道多尺度濾波器（DMBlock）之間，添加擠壓激勵(lì)塊（Squeeze&Excite），抑制無關(guān)特征，專注于相關(guān)特征的提取。編碼器層與解碼器層之間由簡(jiǎn)單的跳過連接轉(zhuǎn)換為殘差連接（Res Path），使學(xué)習(xí)過程更加容易，并避免了梯度爆炸，如圖5。

圖5 DMSEUNet結(jié)構(gòu)圖

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

由于醫(yī)學(xué)成像設(shè)備昂貴、圖像采集管道多樣化，且需要醫(yī)學(xué)專家的人工注釋，再加上病人隱私等問題，使得醫(yī)學(xué)圖像數(shù)據(jù)集的生成相比于其他計(jì)算機(jī)視覺數(shù)據(jù)集更具難度。因此，具有標(biāo)準(zhǔn)分割的公共數(shù)據(jù)集數(shù)量較少，且單個(gè)數(shù)據(jù)集包含樣本數(shù)量也有限。為了測(cè)試模型的泛化能力，本研究使用公開的Kvasir-SEG、CVC-ClinicDB和ISIC2018 3個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。由于數(shù)據(jù)集中樣本數(shù)量有限，故在實(shí)驗(yàn)過程中，對(duì)訓(xùn)練集采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方法，擴(kuò)大樣本數(shù)量。數(shù)據(jù)集Kvasir-SEG和CVC-ClinicDB中的圖像為腸道內(nèi)窺鏡圖，ISIC2018數(shù)據(jù)集為皮膚鏡圖像，Kvasir-SEG數(shù)據(jù)集中圖像大小為192*256，CVC-ClinicDB和ISIC2018數(shù)據(jù)集中圖像大小均不同，為達(dá)到實(shí)驗(yàn)過程統(tǒng)一標(biāo)準(zhǔn)，將各個(gè)數(shù)據(jù)集中的圖像均轉(zhuǎn)換為256*256。實(shí)驗(yàn)過程中，從各數(shù)據(jù)集中隨機(jī)抽取80%的數(shù)據(jù)樣本，進(jìn)行數(shù)據(jù)增強(qiáng)，用于訓(xùn)練，10%作為驗(yàn)證集，10%作為測(cè)試集。使用二進(jìn)制交叉熵作為損失函數(shù)，選擇Nadam優(yōu)化器進(jìn)行優(yōu)化，batchsize設(shè)置為16，學(xué)習(xí)率設(shè)置為1e-5，所有的訓(xùn)練模型都訓(xùn)練了300個(gè)epho，在訓(xùn)練過程中使用了EarlyStop。本研究采用召回率（Recall）、精確度（Precision）和AUC值作為評(píng)價(jià)指標(biāo)。召回率和精確度的計(jì)算公式如式（1～2）：

其中，TP代表正類被預(yù)測(cè)為正類的像素個(gè)數(shù)，F(xiàn)N代表正類被預(yù)測(cè)為負(fù)類的像素個(gè)數(shù)，TP+FN則代表標(biāo)準(zhǔn)分割中所有正類的像素個(gè)數(shù)。FP代表負(fù)類被預(yù)測(cè)為正類的像素個(gè)數(shù)，TP+FP代表預(yù)測(cè)結(jié)果中所有正類的像素個(gè)數(shù)。除了精確度和召回率以外，ROC曲線圖是評(píng)價(jià)模型優(yōu)劣的另一種評(píng)價(jià)指標(biāo)。ROC曲線下面積（AUC值）越大，代表模型分割效果越好，反之亦然。

2.2 實(shí)驗(yàn)結(jié)果和分析

由上述實(shí)驗(yàn)結(jié)果可知，圖6～8和表1～3為UNet[3]、ResUNet++[12]、MultiResUNet[9]、DCUNet[11]和DMSEUNet這幾種模型在Kvasir-SEG、CVC-ClinicDB、ISIC2018數(shù)據(jù)集上的分割效果和分割精度對(duì)比情況。由圖6和表1可知，對(duì)比五種模型，UNet在Kvasir-SEG數(shù)據(jù)集上的分割精確度最低，ResUNet++和MultiResUNet兩種模型的精確度接近，在93%左右，比UNet高了近3個(gè)百分點(diǎn)，DCUNet則比Multi-ResUNet和ResUNet++在精確度上表現(xiàn)更佳，而本文設(shè)計(jì)的模型DMSEUNet在精確度上與UNet相比，提高了6個(gè)百分點(diǎn)，與其他3種UNet改進(jìn)模型相比，精確度提升了1.8～3.3個(gè)百分點(diǎn)。在召回率方面，ResUNet++略顯不足，其他四種模型的召回率較為接近。圖9、圖10和圖11分別使用AUC指標(biāo)對(duì)Kvasir-SEG、CVC-ClinicDB和ISIC2018測(cè)試集進(jìn)行分割評(píng)價(jià)。從圖9-11可以看出，四種改進(jìn)UNet模型中，DCUNet表現(xiàn)最差，AUC值為93.58%，ResUNet++和MultiResUNet的AUC值較接近，在94.5%左右，而本文設(shè)計(jì)的模型DMSEUNet表現(xiàn)最佳，達(dá)到了95.94%，其他3種UNet改進(jìn)模型相比，AUC值提升了1.3～2.3個(gè)百分點(diǎn)。

圖6 Kvasir-SEG數(shù)據(jù)集分割效果對(duì)比圖

圖7 CVC-ClinicDB數(shù)據(jù)集分割效果對(duì)比圖

圖8 ISIC2018數(shù)據(jù)集分割效果對(duì)比圖

圖9 Kvasir-SEG數(shù)據(jù)集上4種UNet改進(jìn)算法的ROC對(duì)比

圖10 CVC-ClinicDB數(shù)據(jù)集上4種UNet改進(jìn)算法的ROC對(duì)比

表1 Kvasir-SEG數(shù)據(jù)集分割指標(biāo)對(duì)比

由圖7和表2可知，對(duì)CVC-ClinicDB數(shù)據(jù)集的分割，UNet和ResUNet++的精確度較低，MultiResUNet和DCUNet兩種模型的精確度較為接近，比UNet和ResUNet++高了3～4個(gè)百分點(diǎn)，DMSEUNet在5種模型中，精確度最高，達(dá)到了98.38%。隨著精確度的提高，DMSEUNet的召回率有所下降。從CVC-ClinicDB數(shù)據(jù)集的ROC對(duì)比圖可以看出，4種基于UNet的改進(jìn)模型中，ResUNet++模型表現(xiàn)最差，AUC值為96.70%；其次是DCUNet和MultiResUNet，分別是98.00%和98.34%。而本文設(shè)計(jì)的DMSEUNet模型AUC值為98.68%，與對(duì)比模型相比，提升了0.3～2個(gè)百分點(diǎn)。

表2 CVC-ClinicDB數(shù)據(jù)集分割指標(biāo)對(duì)比

由圖8和表3可知，雖然ResUNet++的召回率在5種模型中是最高的，但是其精確度只有89.82%，結(jié)合圖11的ROC對(duì)比綜合判斷，ResUNet++在ISIC2018數(shù)據(jù)集的分割效果較差。MultiResUNet、DCUNet和本文設(shè)計(jì)的模型DMSEUNet 3種模型對(duì)比，DCUNet的召回率最高，而精確度最低；而本文設(shè)計(jì)的模型DMSEUNet的精確度最高，但在召回率上表現(xiàn)不佳。結(jié)合圖11評(píng)價(jià)4種UNet改進(jìn)模型的整體性能，ResUNet++的AUC值最低，為94.18%，DCUNet、MultiResUNet和DMSEUNet 3種模型的AUC值則較為接近，分別為96.77%、96.95%和97.08%，從AUC值來看，設(shè)計(jì)的模型略優(yōu)于其它UNet改進(jìn)模型。

圖11 ISIC2018數(shù)據(jù)集上4種UNet改進(jìn)算法的ROC對(duì)比

表3 ISIC2018數(shù)據(jù)集分割指標(biāo)對(duì)比

3 結(jié)論

本研究提出一種基于醫(yī)學(xué)圖像分割的改進(jìn)UNet算法。該模型沿用UNet的U型網(wǎng)絡(luò)結(jié)構(gòu)，將UNet網(wǎng)絡(luò)結(jié)構(gòu)中編碼器和解碼器中的卷積塊進(jìn)行改進(jìn)，使用雙通道多尺度卷積塊進(jìn)行替換，這種改進(jìn)使得模型在不同類型樣本間的泛化能力得到提升。同時(shí)，在編碼器層之間引入擠壓激勵(lì)塊，并使用殘差路徑替換簡(jiǎn)單的跳過連接，這種結(jié)構(gòu)不但提高了模型對(duì)有效特征的關(guān)注度，而且讓訓(xùn)練更為容易。實(shí)驗(yàn)表明，本研究方法與經(jīng)典的UNet結(jié)構(gòu)相比，在很大程度上提高了精確度，與其它3種改進(jìn)UNet算法相比，精確度也有了不同程度的提高。雖然在整體性能上優(yōu)于其他算法，但在精度提高的同時(shí)，召回率有所下降。如何進(jìn)一步提高召回率將是后續(xù)研究的方向。