基于改進(jìn)MultiRcsUNct網(wǎng)絡(luò)的甲狀腺超聲圖像分割

石 威，李昕澤，黃文昌，王寧浩1;，焦 陽，崔崤峣

（1. 中國科學(xué)技術(shù)大學(xué)生物醫(yī)學(xué)工程學(xué)院（蘇州） 生命科學(xué)與醫(yī)學(xué)部，安徽合肥 230026；2. 中國科學(xué)院蘇州醫(yī)學(xué)工程技術(shù)研究所醫(yī)用聲學(xué)室，江蘇蘇州 215163）

0 引 言

甲狀腺是人體重要的器官，其大小形態(tài)的變化在臨床醫(yī)學(xué)的診斷中有很重要的意義。目前，臨床上常用超聲來檢查甲狀腺[1-3]，但是由于甲狀腺周圍結(jié)構(gòu)復(fù)雜，且甲狀腺的形狀和大小具有多樣性[4]，導(dǎo)致對(duì)甲狀腺的分割比較困難。

隨著醫(yī)學(xué)影像技術(shù)的發(fā)展，臨床檢查普及了計(jì)算機(jī)輔助診斷手段，促進(jìn)了醫(yī)學(xué)圖像分割技術(shù)的發(fā)展，Long等[5]提出了全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Nctwork， FCN），該網(wǎng)絡(luò)將圖像級(jí)的分類網(wǎng)絡(luò)應(yīng)用到圖像分割領(lǐng)域，實(shí)現(xiàn)了像素級(jí)分類；Ronncbcrgcr等[6]基于FCN分割結(jié)果較粗糙的缺點(diǎn)，提出了U-Nct，該網(wǎng)絡(luò)采用了對(duì)稱式的編碼-解碼結(jié)構(gòu)，并采用跳躍連接將編碼階段與解碼階段的特征相融合，從而實(shí)現(xiàn)了更精確的分割；Ding等[7]提出了一種改進(jìn)的U-Nct模型（RcAgU-Nct），該網(wǎng)絡(luò)模型將改進(jìn)后的殘差單元嵌入編碼和解碼路徑之間的跳躍連接中，并引入注意力機(jī)制將淺層和深層獲得的權(quán)值特征映射加倍；Ibtchaz 等[8]提出了MultiRcsUnct網(wǎng)絡(luò)，將原有的卷積層替換成改進(jìn)的Inccption塊，能比較好解決圖像不同尺度的問題，并引入Rcs Path模塊，減小了編碼器與解碼器對(duì)應(yīng)階段之間可能存在的語義鴻溝；Chcn等[9]提出一種即插即用的新型卷積 Octavc卷積，將特征圖分為高低頻通道，減少空間冗余，且該卷積可以在不改變網(wǎng)絡(luò)結(jié)構(gòu)的前提下替換傳統(tǒng)卷積；沈雪雯等[10]提出了一種基于 U-Nct++ 的空間分頻超聲圖像分割注意力網(wǎng)絡(luò)（SFDA-Nct），該網(wǎng)絡(luò)引入了 Octavc卷積、CBAM注意力模塊等實(shí)現(xiàn)超聲圖像的分割；唐柳等[11]在U-Nct架構(gòu)的基礎(chǔ)上，結(jié)合Octavc卷積，提出了一種用于超聲心動(dòng)圖的分割網(wǎng)絡(luò)。

由于超聲圖像存在大量的固有缺陷，如斑噪聲嚴(yán)重、對(duì)比度低、偽影等，自動(dòng)準(zhǔn)確分割超聲圖像非常困難。這些缺陷綜合起來，使得分割效果不理想[12-14]。本研究針對(duì)甲狀腺超聲圖像的特性，以MultiRcsUNct網(wǎng)絡(luò)為基線，利用其MultiRcs模塊實(shí)現(xiàn)對(duì)不同大小和形態(tài)的甲狀腺的分割，并結(jié)合Octavc卷積，將訓(xùn)練過程的特征圖按通道分為高頻和低頻部分。高頻部分描述了灰度劇烈變化的邊緣和細(xì)節(jié)信息，低頻部分描述了灰度平穩(wěn)變化的輪廓信息[15]，對(duì)兩部分設(shè)置不同的權(quán)重，重點(diǎn)關(guān)注高頻的邊緣和細(xì)節(jié)信息，可有效地從信噪比較低的超聲圖像中分割出甲狀腺，且對(duì)于邊緣的分割更加精細(xì)。

1 方 法

1.1 MultiRcsUNct網(wǎng)絡(luò)

MultiRcsUNct網(wǎng)絡(luò)是基于U-Nct提出的一種新型的網(wǎng)絡(luò)結(jié)構(gòu)[8]，與U-Nct網(wǎng)絡(luò)結(jié)構(gòu)相似，網(wǎng)絡(luò)分為編碼和解碼兩部分，如圖1所示。該網(wǎng)絡(luò)在U-Nct的基礎(chǔ)上引入多殘差（MultiRcs）模塊和殘差路徑（Rcs Path）模塊。MultiRcs模塊的結(jié)構(gòu)如圖2所示，該模塊借鑒了Inccption網(wǎng)絡(luò)的思想，分別使用3×3、5×5、7×7不同尺寸的卷積核來提取特征，并將輸出結(jié)果按通道方向拼接，以學(xué)習(xí)不同尺寸的空間特征，該模塊使用2個(gè)3×3的卷積層來代替5×5的卷積層，使用3個(gè)3×3的卷積層代替7×7的卷積層，減少了網(wǎng)絡(luò)參數(shù)量且可以加速網(wǎng)絡(luò)訓(xùn)練，同時(shí)，引入了使用1×1卷積的殘差結(jié)構(gòu)。使用該模塊替換了U-Nct的卷積層。

圖1 MultiRcsUNct網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The architecture of MultiResUNet network

圖2 MultiRcs 模塊結(jié)構(gòu)Fig.2 The structure of MultiRes module

Rcs Path模塊結(jié)構(gòu)如圖3所示，沒有直接將編碼器的特征圖與解碼器特征圖簡單拼接在一起，而是通過一系列卷積層傳遞編碼器特征。這些額外的非線性操作可以減少編碼器和解碼器特征之間的語義差距。此外，還引入了使訓(xùn)練更容易、并且在深度卷積網(wǎng)絡(luò)中非常有用的殘差連接。

圖3 Rcs Path 模塊結(jié)構(gòu)Fig.3 The structure of Res Path module

1.2 Octavc卷積方法

Octavc卷積借鑒了自然圖像中高頻信息描述圖像的細(xì)節(jié)特征、低頻信息描述圖像的輪廓特征的思想。該方法指出對(duì)于普通卷積，所有輸入和輸出特征圖具有相同的分辨率是沒有必要的，因?yàn)橐恍┨卣鲌D表示低頻信息，存在空間冗余，可以進(jìn)一步壓縮。為了減少空間冗余，將特征圖按通道方向分為高頻XH和低頻XL兩個(gè)組，并且將低頻特征圖的空間分辨率降低為高頻特征圖的一半[9]。Octavc卷積層如圖4所示。

圖4 Octavc卷積模塊結(jié)構(gòu)Fig.4 The structure of Octave Convolution module

圖4中，C表示通道數(shù)，h、w表示特征圖的尺寸，α∈[0，1]表示高低頻信息的比例，所以，最終的輸出可表示為

YH和YL的表達(dá)式為

其中：upsamplc（X，n）表示系數(shù)為n的上采樣操作，pool（X，n）表示參數(shù)為n的池化操作，f（X，W）表示卷積核為W的卷積操作。

Octavc卷積被設(shè)計(jì)為即插即用，無需調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，也不用調(diào)整參數(shù)，即可用在常用的卷積神經(jīng)網(wǎng)絡(luò)中，該方法在第一層 Octavc卷積中設(shè)置αin=0、α°ut=1，實(shí)現(xiàn)將輸入的特征轉(zhuǎn)化為多頻特征表示，在最后一層 Octavc卷積中設(shè)置αin=1、α°ut=0，實(shí)現(xiàn)最終的單個(gè)頻率特征的輸出。在其他特征層，設(shè)置αin=α°ut=α。

1.3 Oct-MRU-Nct網(wǎng)絡(luò)

由于甲狀腺超聲圖像形態(tài)不確定，且信噪比低，斑點(diǎn)噪聲較多，導(dǎo)致使用常規(guī)的分割算法無法準(zhǔn)確分割出甲狀腺。MultiRcsUNct網(wǎng)絡(luò)針對(duì)形態(tài)不確定的問題有了較好的解決方案，但是無法解決圖像噪聲等問題。本研究將 MultiRcsUNct網(wǎng)絡(luò)與Octavc卷積相結(jié)合，提出了改進(jìn)的 MultiRcsUNct網(wǎng)絡(luò)（簡稱 Oct-MRU-Nct）。

Oct-MRU-Nct網(wǎng)絡(luò)在網(wǎng)絡(luò)特征提取部分，將MultiRcsNct網(wǎng)絡(luò)的傳統(tǒng)卷積替換為Octavc卷積，有針對(duì)性地對(duì)圖像的高低頻特征進(jìn)行學(xué)習(xí)，并降低低頻特征的空間冗余，在能學(xué)習(xí)不同空間尺度特征的前提下，可以有效地從信噪比較低的圖像中分割出待測目標(biāo)。Oct-MRU-Nct網(wǎng)絡(luò)的結(jié)構(gòu)如圖5所示。

圖5 Oct-MRU-Nct網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The architecture of Oct-MRU-Net network

Oct-MRU-Nct網(wǎng)絡(luò)保留 U-Nct網(wǎng)絡(luò)的基本結(jié)構(gòu)，對(duì)輸入圖像做平均池化，將其分辨率降低為原圖的一半，并將其和原圖同時(shí)作為Octavc MultiRcs模塊的輸入。在下采樣階段，使用了 4個(gè) Octavc MultiRcs模塊進(jìn)行特征提取，Octavc MultiRcs模塊的結(jié)構(gòu)如圖6所示。對(duì)每個(gè)Octavc MultiRcs模塊得到的特征進(jìn)行Rclu激活以及批歸一化操作。在上采樣階段，使用轉(zhuǎn)置卷積增大特征圖的分辨率，然后再經(jīng)過Octavc MultiRcs模塊進(jìn)行特征提取，并通過Octavc Rcs Path模塊將下采樣階段與上采樣階段的特征進(jìn)行融合，Octavc Rcs Path模塊如圖7所示。編碼器特征和解碼器特征映射之間的語義差距可能會(huì)隨著網(wǎng)絡(luò)加深而減小，所以在Octavc Rcs Path1、2、3、4中逐漸減少了Octavc卷積模塊的數(shù)量，分別使用了4、3、2、1個(gè)Octavc卷積模塊。

圖6 Octavc MultiRcs模塊結(jié)構(gòu)Fig.6 The structure of Octave MultiRes module

圖7 Octavc Rcs Path模塊結(jié)構(gòu)Fig.7 The structure of Octave Res Path module

最后，將Octavc MultiRcs模塊的低頻輸出進(jìn)行上采樣，增大其分辨率，與高頻通道的輸出相加，并使用1×1卷積融合其通道間的差異，最終輸出同時(shí)包含高低頻信息的結(jié)果。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)準(zhǔn)備

本實(shí)驗(yàn)使用的數(shù)據(jù)集為Wundcrling等[16]提供的甲狀腺公開數(shù)據(jù)集，其中包括以11～16 MHz頻段超聲換能器采集的16位健康志愿者的甲狀腺圖像，并通過手動(dòng)標(biāo)記得到對(duì)應(yīng)的標(biāo)簽。經(jīng)過數(shù)據(jù)清洗，去除一些缺失值，即沒有甲狀腺的圖像，保證所有參與訓(xùn)練的數(shù)據(jù)都是有效的，最終保留了1 000個(gè)訓(xùn)練圖像和200個(gè)測試圖像作為數(shù)據(jù)集。

本文的實(shí)驗(yàn)在 Windows10平臺(tái)下進(jìn)行，基于Tcnsorflow2.1.0和Kcras2.3.1深度學(xué)習(xí)框架搭建了訓(xùn)練環(huán)境。在訓(xùn)練網(wǎng)絡(luò)時(shí)，選擇了二值交叉熵作為損失函數(shù)，選擇了Adam作為優(yōu)化器，初始學(xué)習(xí)率設(shè)置為 1×10-4。

本文采用圖像的平均交并比（Mcan Intcrscction ovcr Union， mIoU），Dicc 系數(shù)（Dicc cocfficicnt）以及靈敏度（Scnsitivity， SE）作為算法評(píng)價(jià)指標(biāo)。評(píng)價(jià)指標(biāo)如式（4）～（6）所示：

式中：c表示類別數(shù)（前景或者背景），PT表示正確分類的正樣本數(shù)，即預(yù)測為正樣本，實(shí)際也是正樣本；PF被錯(cuò)誤地標(biāo)記為正樣本的負(fù)樣本數(shù)，即實(shí)際為負(fù)樣本而被預(yù)測為正樣本；NF指被錯(cuò)誤地標(biāo)記為負(fù)樣本的正樣本數(shù)，即實(shí)際為正樣本而被預(yù)測為負(fù)樣本。

2.2 實(shí)驗(yàn)及結(jié)果

分別使用 U-Nct網(wǎng)絡(luò)、MultiRcsUNct網(wǎng)絡(luò)與Oct-MRU-Nct網(wǎng)絡(luò)針對(duì)甲狀腺數(shù)據(jù)集進(jìn)行訓(xùn)練及測試。α越大，低頻通道所占比例就越大，網(wǎng)絡(luò)參數(shù)量會(huì)相應(yīng)地變小。為了研究不同的α值對(duì)網(wǎng)絡(luò)性能的影響，本實(shí)驗(yàn)選擇了3個(gè)α進(jìn)行測試，測試結(jié)果如表1所示。

表1 不同參數(shù)α的網(wǎng)絡(luò)性能Table 1 The performances of the networks with different parametersα

由表1可以看出，當(dāng)α=0.25時(shí)，mIoU=0.911，當(dāng)α=0.75時(shí)，mIoU=0.895，α從0.75變?yōu)?.25時(shí)，模型參數(shù)量僅增加了 104 731，但性能有較大的提升。α越小，網(wǎng)絡(luò)模型參數(shù)量越大，網(wǎng)絡(luò)性能相對(duì)越好，但是如果α=0時(shí)，此時(shí)全部是高頻通道，網(wǎng)絡(luò)無法學(xué)習(xí)低頻特征，失去了Octavc卷積的意義。所以本實(shí)驗(yàn)選擇α=0.25探究網(wǎng)絡(luò)的性能。

訓(xùn)練過程中的mIoU如圖8所示，可以看出，Oct-MRU-Nct網(wǎng)絡(luò)在第35次左右收斂，mIoU最終收斂在為0.91，MultiRcsUNct網(wǎng)絡(luò)在第45次左右收斂，mIoU最終收斂在為0.89，U-Nct網(wǎng)絡(luò)在第65次左右收斂，mIoU最終收斂在為 0.87，所以O(shè)ct-MRU-Nct網(wǎng)絡(luò)收斂后的mIoU相較于U-Nct網(wǎng)絡(luò)和 MultiRcsUNct網(wǎng)絡(luò)都有明顯的提升，且Oct-MRU-Nct網(wǎng)絡(luò)收斂速度較快。

圖8 訓(xùn)練過程中三個(gè)不同網(wǎng)絡(luò)的平均交并比（mIoU）Fig.8 The mIoUs of three different networks in training process

測試結(jié)果如圖9、10 所示，其中，圖9（a）、10（a）表示原始圖像，圖9（b）、10（b）表示標(biāo)簽圖像（Ground Truth），圖9（c）、10（c）表示使用 U-Nct網(wǎng)絡(luò)分割結(jié)果，圖9（d）、10（d）表示使用 MultiRcsUNct網(wǎng)絡(luò)分割的結(jié)果，圖9（c）、10（c）表示使用本文方法（Oct-MRU-Nct網(wǎng)絡(luò)）分割的結(jié)果。從圖9中可以看出，相較于MultiRcsUNct網(wǎng)絡(luò)和U-Nct網(wǎng)絡(luò)，Oct-MRU-Nct網(wǎng)絡(luò)由于使用高低分頻的思想，對(duì)高頻細(xì)節(jié)信息更加敏感，分割的邊緣比較精細(xì)，如圖中藍(lán)色框標(biāo)注處所示。從圖10中可以看出，U-Nct網(wǎng)絡(luò)對(duì)小目標(biāo)無法實(shí)現(xiàn)有效分割，而 Oct-MRU-Nct網(wǎng)絡(luò)和MultiRcsUNct網(wǎng)絡(luò)由于使用了多尺度特征提取的思想，對(duì)小目標(biāo)表現(xiàn)更加友好，相對(duì)MultiRcsUNct網(wǎng)絡(luò)，由于 Oct-MRU-Nct網(wǎng)絡(luò)較多地關(guān)注高頻細(xì)節(jié)信息，對(duì)小目標(biāo)分割效果更好。

圖9 三種不同算法的結(jié)果對(duì)比（1）Fig.9 Comparison of three different algorithms (1)

圖10 三種不同算法的結(jié)果對(duì)比（2）Fig.10 Comparison of three different algorithms (2)

測試集在三個(gè)模型上針對(duì)上述指標(biāo)進(jìn)行了分析，并且結(jié)合了冉冬梅等[14]提出的針對(duì)甲狀腺超聲圖像分割的傳統(tǒng)算法進(jìn)行對(duì)比，結(jié)果如表2所示。從表2中可以看出，在參數(shù)量相差不大的情況下，Oct-MRU-Nct網(wǎng)絡(luò)模型性能較好，在各個(gè)評(píng)價(jià)指標(biāo)上都有提升，相比MultiRcsUNct網(wǎng)絡(luò)，Oct-MRU-Nct網(wǎng)絡(luò)在mIoU提高了0.017左右，Dicc系數(shù)提高了0.013左右，在SE指標(biāo)上提高了0.021左右。說明本文算法對(duì)于甲狀腺超聲圖像分割有較好的效果。

表2 三種算法性能比較的結(jié)果Table 2 The performance comparison results of the three algorithms

3 結(jié) 論

本文提出了一種基于 Oct-MRU-Nct網(wǎng)絡(luò)的甲狀腺超聲圖像分割算法。該算法通過引入MultiRcs模塊，更好地學(xué)習(xí)了不同的空間特征；通過引入Rcs Path模塊，減少編碼器和解碼器特征之間的語義差距；通過引入Octavc卷積的分頻機(jī)制，對(duì)高頻細(xì)節(jié)更加敏感，分割的邊緣更加精細(xì)。實(shí)驗(yàn)結(jié)果表明，本文算法在相同的硬件環(huán)境及相同量級(jí)的參數(shù)量下，mIoU，Dicc系數(shù)，SE等指標(biāo)都有明顯的提升。這說明該算法對(duì)甲狀腺超聲圖像有較好的分割效果。從分割結(jié)果可知，本文算法具有檢測小目標(biāo)的能力，且對(duì)邊緣和細(xì)節(jié)的分割效果更加精細(xì)。

本文中的算法對(duì)甲狀腺超聲圖像具有通用性，可針對(duì)甲狀腺不同的疾病進(jìn)行檢測，且有較高的準(zhǔn)確率和魯棒性。但由于Octavc卷積中的參數(shù)α需要人為設(shè)定，缺乏自適應(yīng)性，一定程度上影響了甲狀腺超聲圖像的分割效率。因此，在今后的研究中，將考慮如何自適應(yīng)設(shè)置參數(shù)α，提高甲狀腺分割效率。