基于跨模態(tài)注意力機(jī)制特征B型超聲與彈性超聲融合模塊聯(lián)合診斷乳腺良、惡性腫瘤

王 彤，蘇 暢，何 萍，王心怡，崔立剛，林偉軍

(1.中國科學(xué)院聲學(xué)研究所超聲學(xué)實(shí)驗(yàn)室，北京 100190；2.中國科學(xué)院大學(xué)電子電氣與通訊工程學(xué)院，北京 100049；3.北京大學(xué)第三醫(yī)院超聲診斷科，北京 100191；4.北京大學(xué)腫瘤醫(yī)院 北京市腫瘤防治研究所乳腺中心惡性腫瘤發(fā)病機(jī)制及轉(zhuǎn)化研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100142)

乳腺癌為女性發(fā)病率較高的惡性腫瘤[1]，影像學(xué)檢查為常用早期診斷方法。乳腺超聲(breast ultrasound, BUS)安全性和實(shí)效性均較佳，是早期篩查乳腺疾病的重要影像學(xué)手段。超聲彈性成像主要通過獲取組織彈性信息進(jìn)行成像，近年逐漸用于診斷乳腺疾病[2]。有學(xué)者[3]基于深度學(xué)習(xí)相關(guān)算法將超聲彈性圖像與B型圖像(即灰階圖像)模態(tài)信息相結(jié)合，據(jù)此判斷乳腺腫瘤的性質(zhì)，且直接串聯(lián)融合二者的多模態(tài)特征的效果較佳[4]。本研究對(duì)提取超聲圖像的網(wǎng)絡(luò)加以改進(jìn)，設(shè)計(jì)跨模態(tài)注意力機(jī)制特征融合模塊，以融合B型超聲圖像與彈性超聲圖像，并觀察其診斷乳腺良、惡性腫瘤的價(jià)值。

1 資料與方法

1.1 一般資料 收集2011年10月23日—2012年4月6日及2019年1月—9月北京大學(xué)第三醫(yī)院接受常規(guī)超聲檢查及超聲彈性成像的371例女性乳腺腫瘤患者，年齡11～85歲，平均(39.0±22.0)歲；共466處乳腺病灶，包括良性230處、惡性236處病灶。納入標(biāo)準(zhǔn)：①超聲聲像圖清晰、完整顯示腫瘤；②病理學(xué)資料完整。

1.2 儀器與方法 采用Hitachi Vision Preirus/Samsung RS80A 超聲診斷儀，頻率5.0～13.0 MHz的L5-13/L4-18探頭，均具備應(yīng)變彈性成像能力[5]。囑患者仰臥，多切面掃查雙側(cè)乳腺各象限并重點(diǎn)觀察病灶，獲取其灰階圖像及彈性圖像。之后按3∶1∶1將466組病灶圖像分為訓(xùn)練集(n=280)、驗(yàn)證集(n=93)及測(cè)試集(n=93)，并盡量使每組數(shù)據(jù)集中乳腺良、惡性腫瘤占比約為1∶1。

1.3 網(wǎng)絡(luò)模型 采用卷積神經(jīng)網(wǎng)絡(luò)分支模型分別提取B型超聲圖像和彈性超聲圖像的特征，之后以基于跨模態(tài)注意力機(jī)制的多模態(tài)特征融合網(wǎng)絡(luò)進(jìn)行特征融合，整體結(jié)構(gòu)見圖1。

圖1 基于跨模態(tài)注意力機(jī)制的多模態(tài)特征融合網(wǎng)絡(luò)示意圖

1.3.1 特征提取網(wǎng)絡(luò) 提取特征過程中，在DenseNet模型[6]基礎(chǔ)上增加卷積塊注意力模塊(convolutional block attention module, CBAM，圖2)[7]，即將CBAM添加到DenseNet第一層卷積層，以突出學(xué)習(xí)灰階圖像的底層特征；見圖3。訓(xùn)練過程中均采用預(yù)訓(xùn)練模型參數(shù)提取網(wǎng)絡(luò)。

圖2 CBAM

圖3 基于B型圖像的改進(jìn)DenseNet模型

1.3.2 多模態(tài)特征融合網(wǎng)絡(luò) 參考SE模塊(squeeze-and-excitation module)[8]，采用跨模態(tài)注意力機(jī)制的特征融合方式(圖4)，根據(jù)全局信息調(diào)整不同特征通道的權(quán)值，以實(shí)現(xiàn)特征通道的自適應(yīng)校準(zhǔn)，并突出兩模態(tài)間的重要特征。輸入B型超聲圖像和彈性超聲圖像分別經(jīng)卷積神經(jīng)網(wǎng)絡(luò)分支提取特征后，采用跨模態(tài)注意力機(jī)制特征融合方法加以融合，并以尾端兩層全連接層為分類器；見圖5。

圖4 跨模態(tài)注意力機(jī)制模塊結(jié)構(gòu)圖 圖5 基于跨模態(tài)注意力特征融合的整體模型結(jié)構(gòu)

1.4 訓(xùn)練環(huán)境 在python3.7的Keras環(huán)境下，采用64位Ubuntu18.04操作系統(tǒng)，以TensorFlow為后端；以交叉熵(cross entropy)為目標(biāo)優(yōu)化函數(shù)、Adam為優(yōu)化器，采用ReduceLROnPlateau監(jiān)控驗(yàn)證集loss以調(diào)整學(xué)習(xí)率，設(shè)置初始學(xué)習(xí)率為0.000 3，batch size為32。

1.5 評(píng)價(jià) 采用Python 3.7軟件。繪制受試者工作特征(receiver operating characteristic, ROC)曲線，計(jì)算曲線下面積(area under the curve, AUC)。

2 結(jié)果

2.1 特征提取網(wǎng)絡(luò) 改進(jìn)后的DenseNet用于B型超聲診斷乳腺良、惡性腫瘤的準(zhǔn)確率為88.43%，敏感度為88.96%，特異度為87.31%，效能略優(yōu)于改進(jìn)前。見圖6及表1。

表1 B型超聲基于改進(jìn)與未改進(jìn)DenseNet121模型診斷乳腺良、惡性腫瘤的效能

2.2 多模態(tài)特征融合網(wǎng)絡(luò) 基于跨模態(tài)注意機(jī)制特征融合的B型超聲與彈性超聲診斷乳腺良、惡性腫瘤的準(zhǔn)確率為94.23%，敏感度為95.11%，特異度為93.28%，效能優(yōu)于決策加權(quán)融合模型、直接串聯(lián)融合模型及單模態(tài)模型。見表2。

表2 B型超聲與彈性超聲基于不同模型診斷乳腺良、惡性腫瘤的效能

3 討論

本研究主要觀察B型超聲圖像與彈性超聲圖像聯(lián)合判斷乳腺腫瘤良、惡性的效能，并對(duì)單模態(tài)特征提取網(wǎng)絡(luò)及多模態(tài)特征融合方式加以改進(jìn)。既往研究[4]表明，B型超聲基于計(jì)算機(jī)診斷乳腺良、惡性腫瘤的效能低于彈性超聲。為此，本研究針對(duì)B型超聲圖像特性及相應(yīng)臨床表現(xiàn)設(shè)計(jì)了改進(jìn)DenseNet模型，旨在使該模型網(wǎng)絡(luò)能更準(zhǔn)確可靠地提取圖像中的腫瘤特征信息；而彈性超聲圖像具有較高的對(duì)比度，且展現(xiàn)信息簡單、直觀，基于普通DenseNet121模型即可提取其特征，故未予以改進(jìn)。

乳腺良、惡性腫瘤并非均具備典型表現(xiàn)，如本組B型超聲發(fā)現(xiàn)多例良性腫瘤形狀不規(guī)則、邊界不清晰且無完整包膜等?；趩文B(tài)B型超聲圖像診斷乳腺良、惡性腫瘤時(shí)，改進(jìn)后的DenseNet121僅有助于區(qū)分典型良、惡性表現(xiàn)，故本研究將改進(jìn)后的DenseNet121用于B型超聲診斷乳腺良、惡性腫瘤的效能僅略優(yōu)于改進(jìn)前。

MISRA等[9]將超聲B模式與應(yīng)變彈性成像融合，利用AlexNet和ResNet進(jìn)行特征提取、添加分類層而形成集成模型，其對(duì)乳腺癌進(jìn)行分類的準(zhǔn)確率、敏感度及特異度分別為90.00%、88.89%及91.10%。DING等[10]開發(fā)了雙通道ResNet-GAP網(wǎng)絡(luò)，基于此將B型超聲與彈性超聲相結(jié)合，其對(duì)乳腺癌進(jìn)行分類的準(zhǔn)確率、敏感度、特異度及AUC分別為88.60%、95.30%、84.60%及0.936。LIAO等[11]利用卷積神經(jīng)網(wǎng)絡(luò)VGG19提取B型超聲圖像及彈性超聲圖像特征，并將二者結(jié)合用于判斷乳腺良、惡性腫瘤，其準(zhǔn)確率、敏感度、特異度及AUC分別為92.95%、91.39%、94.71%及0.98。上述研究所用多模態(tài)特征融合方式多為直接串聯(lián)融合，未充分考慮不同模態(tài)的特征及其相關(guān)性，而合理、高效地融合多模態(tài)信息十分重要。本研究對(duì)特征提取及特征融合進(jìn)行了有針對(duì)性的改進(jìn)，提出跨模態(tài)注意力機(jī)制的特征融合模塊，以更加突出2種模態(tài)的重要特征，從而在一定程度上增強(qiáng)特征的表征能力；基于此，本組B型超聲與彈性超聲診斷乳腺良、惡性腫瘤的準(zhǔn)確率為94.23%、敏感度為95.11%、特異度為93.28%、AUC為0.98，表明其效能優(yōu)于決策加權(quán)融合模型、直接串聯(lián)融合模型及單模態(tài)模型。

綜上所述，基于本研究提出的跨模態(tài)注意力機(jī)制特征融合模塊可在一定程度上提高B型超聲與彈性超聲聯(lián)合診斷乳腺良、惡性腫瘤的效能。但本研究樣本量不足，有待后續(xù)擴(kuò)大樣本量后進(jìn)一步加以完善。