基于超聲內(nèi)鏡的智能胰腺癌變檢測(cè)網(wǎng)絡(luò)

文曉媚， 黃丹平*， 胡珊珊， 寧波

(1.四川輕化工大學(xué)機(jī)械工程學(xué)院， 宜賓 644000； 2.四川省人民醫(yī)院， 成都 610000； 3.重慶醫(yī)科大學(xué)附屬第二醫(yī)院， 重慶 400000)

人體胰腺是一個(gè)具有外分泌功能的腺體，它的生理作用和病理變化與人體生命息息相關(guān)。胰腺癌作為惡性程度最高的腫瘤之一，在醫(yī)學(xué)界被稱為“癌癥之王”。其手術(shù)治愈率主要取決于胰腺癌分期，早期癌變可以采取手術(shù)治療切除，但正由于其病變?cè)缙谌狈μ禺愋缘呐R床癥狀，導(dǎo)致早期診斷極為困難，絕大多數(shù)患者在確診時(shí)已屬晚期，錯(cuò)過最佳治療機(jī)會(huì)，病死率較高[1]。故合理利用相關(guān)影像學(xué)手段和智能方法研發(fā)一個(gè)能在患者患癌早期就給出準(zhǔn)確診斷的檢測(cè)平臺(tái)，對(duì)醫(yī)師、患者，對(duì)醫(yī)學(xué)領(lǐng)域胰腺癌的發(fā)現(xiàn)和診治都是一種福音。

影像學(xué)檢查是臨床診斷胰腺癌的最重要依據(jù)，其在胰腺癌術(shù)前分期和可切除性評(píng)估、新輔助治療及治療后監(jiān)測(cè)等方面具有重要價(jià)值[2]。目前常用的影像學(xué)檢查方法一般包括計(jì)算機(jī)斷層掃描(computed tomography, CT)、磁共振成像(magnetic resonance imaging, MRI)和超聲內(nèi)鏡(endoscopic ultrasonography, EUS)等。CT和MRI對(duì)于早期胰腺癌診斷雖有一定效果，但其敏感性太低，在病變癥狀不明顯的情況下診斷不夠精確。而超聲內(nèi)鏡結(jié)合了超聲與內(nèi)窺鏡，可將探頭深入消化道，緊貼胰腺表面進(jìn)行檢查，在對(duì)胰腺癌分期診斷以及對(duì)腸系膜上靜脈和門靜脈是否受累以及浸潤(rùn)范圍的判斷上優(yōu)于CT、MRI[3]。同時(shí)CT、MRI價(jià)格昂貴，受放射性、造影劑的過敏性等因素影響，對(duì)于體內(nèi)有金屬異物者、腎功能不全者使用受限。而超聲內(nèi)鏡檢查憑借其費(fèi)用較低、無放射性、可重復(fù)性等優(yōu)點(diǎn)，成為胰腺局部性病變的常用檢查手段。但由于技術(shù)要求高、設(shè)備普及率低等多因素的影響，現(xiàn)實(shí)中絕大部分醫(yī)院對(duì)于胰腺癌診斷是由醫(yī)師針對(duì)超聲內(nèi)鏡檢查結(jié)果來人為判定，而EUS的高難度操作性和返回超聲圖像的難讀性，就高度要求了操作者的操作技能以及識(shí)圖能力。此外，由于確診結(jié)果受操作者主觀性與經(jīng)驗(yàn)的影響，也導(dǎo)致判斷結(jié)果的準(zhǔn)確性和可靠性不能得到保證。

隨著科學(xué)技術(shù)的發(fā)展，“機(jī)器學(xué)習(xí)”逐漸被引入應(yīng)用在醫(yī)療領(lǐng)域，在疾病的診治中顯現(xiàn)出重要地位，眾多基于“機(jī)器學(xué)習(xí)”的智能醫(yī)學(xué)診斷方法相繼提出。針對(duì)胰腺癌的智能診斷方法，此前已有學(xué)者進(jìn)行研究，并獲得了一些結(jié)論性成果。如陳鈺瑩等[4]綜述了影像組學(xué)在胰腺癌檢測(cè)的應(yīng)用，表明影像組學(xué)在胰腺癌的診斷、療效評(píng)估、預(yù)后預(yù)測(cè)等方面具有巨大的潛在價(jià)值；蔡哲元等[5]使用類間距作為依據(jù)篩選出較優(yōu)特征，并組合特征訓(xùn)練分類器，獲得了可用于判別胰腺是否病變且準(zhǔn)確率(96.11%)較高的模型；Zhu等[6]對(duì)胰腺癌和慢性胰腺炎患者的EUS圖像進(jìn)行分析，選擇出16個(gè)特征并利用支持向量機(jī)(support vector machine, SVM) 模型對(duì)胰腺癌進(jìn)行識(shí)別，其敏感度、特異度、準(zhǔn)確度可達(dá)91.6%、95.0%、94.2%；Ozkan等[7]提出將基于年齡分類的多層感知器(multilayered perceptron, MLP)模型用于對(duì)胰腺EUS圖像進(jìn)行癌變檢測(cè)，結(jié)果表明其敏感度、特異度、準(zhǔn)確度為83.3%、93.3%、87.5%，優(yōu)于普通MLP檢測(cè)；唐思源等[8]采用一種多尺度特征融合的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)輸入CT圖像是否患胰腺癌實(shí)現(xiàn)了檢測(cè)，其準(zhǔn)確率可達(dá)96.8%；Marya等[9]為實(shí)現(xiàn)區(qū)分自身免疫性胰腺炎(autoimmune pancreatitis, AIP)與胰管腺癌(pancreatic ductal adenocarcinoma, PDAC)、慢性胰腺炎和正常胰腺，創(chuàng)建了一種基于內(nèi)鏡超聲圖像的卷積神經(jīng)網(wǎng)絡(luò)模型，結(jié)果表明所建立模型能夠較準(zhǔn)確地鑒別AIP與PDAC及胰腺良性病變，提供更早、更準(zhǔn)確的診斷能力；Liu等[10]利用基于ImageNet預(yù)訓(xùn)練的VGG16作為主干特征提取網(wǎng)絡(luò)，使用胰腺癌患者的CT圖像訓(xùn)練基于區(qū)域的卷積網(wǎng)絡(luò)FasterRcnn，結(jié)果顯示其鑒別胰腺癌的曲線下面積(area under the curve, AUC)為0.963 2，檢測(cè)時(shí)間僅需0.2 s，大大少于專家診斷所需時(shí)間；Si等[11]通過研究胰腺癌患者的增強(qiáng)CT影像特征，建立了完全端對(duì)端式的深度學(xué)習(xí)檢測(cè)模型，用于診斷是否患胰腺癌，其檢測(cè)準(zhǔn)確率可達(dá)87.6%；楊樹建等[12]基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的胰腺癌增強(qiáng)CT自動(dòng)識(shí)別系統(tǒng)，利用自主整理的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，測(cè)得其模型準(zhǔn)確性、特異度、靈敏度分別可達(dá)90.2%、91.3%、80.1%，具有一定的臨床應(yīng)用價(jià)值；Gao等[13]評(píng)估了生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)輔助深度學(xué)習(xí)在MRI圖像上鑒別胰腺疾病的能力，結(jié)果顯示，通過GAN合成圖像增強(qiáng)訓(xùn)練得到的模型，其內(nèi)外部驗(yàn)證集的平均準(zhǔn)確率和平均AUC分別為82%和0.895 0，表明GAN輔助深度學(xué)習(xí)對(duì)胰腺疾病檢測(cè)有一定幫助；Chung等[14]提出了一種將探針電噴霧電離質(zhì)譜與機(jī)器學(xué)習(xí)相結(jié)合的診斷系統(tǒng)。其通過機(jī)器學(xué)習(xí)算法分析5 μL的血清樣本以檢測(cè)識(shí)別PDAC，靈敏度和特異度分別為90.8%和91.7%。

現(xiàn)有針對(duì)胰腺癌變檢測(cè)的研究雖實(shí)現(xiàn)了智能檢測(cè)胰腺癌變，但近年來，大多已有方法均是以圖像特征更為顯著的CT掃描返回圖像作為研究對(duì)象，而超聲內(nèi)鏡圖像由于質(zhì)量差，特征模糊，難讀懂，而少有學(xué)者研究報(bào)道。此外，上述網(wǎng)絡(luò)模型方法雖對(duì)胰腺癌變檢測(cè)都表現(xiàn)出具有較好性能，但對(duì)于準(zhǔn)確檢出癌變，消除誤診漏診，仍存在提升空間，且模型功能較單一，具有較大的實(shí)用局限性。

通過分析發(fā)現(xiàn)，實(shí)現(xiàn)基于超聲內(nèi)鏡影像特征的智能胰腺癌診斷主要存在以下需要重點(diǎn)解決的難點(diǎn)：①研究使用的數(shù)據(jù)集收集困難，且樣本不均衡。數(shù)據(jù)集好壞將直接影響算法模型的訓(xùn)練效果和檢測(cè)性能；②檢測(cè)傳回圖像目標(biāo)輪廓不清晰、噪聲大、不穩(wěn)定。成像問題對(duì)學(xué)者研究圖像影像學(xué)特點(diǎn)、模型提取圖像中目標(biāo)特征造成了很大阻礙；③網(wǎng)絡(luò)模型選擇。針對(duì)不同數(shù)據(jù)集，采用網(wǎng)絡(luò)模型類型不同，得到的檢測(cè)結(jié)果與模型表現(xiàn)性能不同；④超聲內(nèi)鏡檢查時(shí)，由于胰腺腫瘤的異質(zhì)性和影像征象的重疊性特征，可能使得返回圖像送入模型得到的檢測(cè)結(jié)果存在假陰性，診斷效果不佳[15]。

針對(duì)上述難點(diǎn)，現(xiàn)提出一種基于機(jī)器學(xué)習(xí)分支即深度學(xué)習(xí)[16]的智能胰腺癌變檢測(cè)網(wǎng)絡(luò)，使用引入SE注意力機(jī)制后的改進(jìn)AlexNet分類網(wǎng)絡(luò)，即SE-AlexNet，對(duì)經(jīng)數(shù)字圖像預(yù)處理的原始超聲內(nèi)鏡返回圖像進(jìn)行癌變檢測(cè)，并判別正常胰腺圖像其確切所屬部位，為醫(yī)師準(zhǔn)確辨別癌變位置提供輔助性幫助。相較于傳統(tǒng)目標(biāo)檢測(cè)網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)，本文研究采用的網(wǎng)絡(luò)模型類別為分類網(wǎng)絡(luò)，其檢測(cè)時(shí)不易受圖像局部區(qū)域影響，而從全局特征進(jìn)行綜合判定，具有更高的準(zhǔn)確性。

1 數(shù)據(jù)與模型

SE-AlexNet對(duì)超聲內(nèi)鏡傳回圖像實(shí)現(xiàn)智能癌變檢測(cè)包含網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)預(yù)測(cè)兩大分支，其整體流程圖如圖1所示。網(wǎng)絡(luò)訓(xùn)練包括收集整理超聲內(nèi)鏡返回圖像并進(jìn)行數(shù)據(jù)增廣形成數(shù)據(jù)集、訓(xùn)練模型。網(wǎng)絡(luò)預(yù)測(cè)則是利用已訓(xùn)練模型對(duì)超聲傳回圖像進(jìn)行智能檢測(cè)，結(jié)果將顯示在用戶界面(user interface, UI)。

圖1 胰腺癌智能檢測(cè)流程圖Fig.1 Flow chart of intelligent detection of pancreatic cancer

1.1 數(shù)據(jù)集

本文算法使用的原始數(shù)據(jù)集來源于四川省人民醫(yī)院消化內(nèi)科2021年部分病患的超聲內(nèi)鏡檢查返回圖像，圖2為超聲內(nèi)鏡檢查現(xiàn)場(chǎng)圖。醫(yī)院所使用的超聲儀品牌及型號(hào)為FUJIFILM 富士su-9000，超聲探頭型號(hào)及頻率為EG-580UT和7.5 M，數(shù)據(jù)集總包含190張圖像，包括正常胰腺組織圖155張(含胰頭、胰頸、胰體尾部位各35、70、50張)，胰腺癌變圖像35張，如圖3所示。比例尺數(shù)據(jù)表示圖上區(qū)域與實(shí)際組織的大小比例關(guān)系。為保證后續(xù)網(wǎng)絡(luò)模型正常訓(xùn)練，所有圖片已由專業(yè)醫(yī)師做好分類處理，圖片擴(kuò)展名為.png，原始大小均為1 280×1 024。

圖2 超聲內(nèi)鏡檢查現(xiàn)場(chǎng)Fig.2 Endoscopic ultrasonography scene

圖3 數(shù)據(jù)集圖像Fig.3 Dataset images

從數(shù)據(jù)集中樣本分布情況可知，正常圖像與病變圖像數(shù)量相差較大，若直接對(duì)網(wǎng)絡(luò)進(jìn)行判別輸入圖像是否產(chǎn)生病變的二分類訓(xùn)練，模型的分類效果將受到顯著影響[17]。通過對(duì)數(shù)據(jù)集中各類圖像影像特征的研究發(fā)現(xiàn)：胰腺癌變?cè)诔暦祷貓D像中表現(xiàn)為大塊蟹足狀低回聲區(qū)域掩蓋原胰腺組織部分，與正常胰腺圖像差異明顯；正常胰頭、胰頸、胰體尾圖像表現(xiàn)各有特點(diǎn)，特征差異也較為明顯。故在本文研究中，將對(duì)正負(fù)樣本的二分類問題改進(jìn)為檢測(cè)癌變圖像、正常胰頭、正常胰頸、正常胰體尾圖像的四分類問題，使得各類別圖像數(shù)據(jù)量趨于均衡，有效緩解了樣本分布不均帶來的影響。

1.2 預(yù)處理

由于超聲圖像成像原理和過程較為特殊，導(dǎo)致其圖像自身具有高噪聲、低對(duì)比度及不均勻性等問題[18]，這對(duì)網(wǎng)絡(luò)有效提取圖像特征乃至后續(xù)分類檢測(cè)造成了較大阻礙。此外，胰腺癌變?cè)诔晥D像上的顯示特征也將對(duì)網(wǎng)絡(luò)正確識(shí)別造成干擾，故在將圖片數(shù)據(jù)送入模型進(jìn)行訓(xùn)練和預(yù)測(cè)前，對(duì)其進(jìn)行一定預(yù)處理十分有必要。

預(yù)處理的目標(biāo)包含以下幾點(diǎn)：去除原始圖像上的無用信息，使得處理后圖像僅包含對(duì)診斷識(shí)別有效的感興趣區(qū)域(regions of interest, ROI)；胰腺組織、腎、脾臟及血管等其他有助于胰腺區(qū)域輔助定位的目標(biāo)與背景對(duì)比度差異更顯著；胰腺及其他器官區(qū)域的紋理得到增強(qiáng)，不同組織間的紋理區(qū)別更加明顯。處理過程主要包括閾值分割、圖像降噪和圖像增強(qiáng)[19]。通過閾值分割，去除原圖中冗余黑色背景，裁剪獲得固定大小(512像素×512像素)的ROI區(qū)域，提高圖像質(zhì)量。本文研究中該過程借助HALCON(20.11)圖像處理軟件完成；圖像降噪主要消除圖像中存在的斑點(diǎn)噪聲，其無法像熱噪聲可通過硬件方式或用戶操作避免[20]，極大地影響了圖像的質(zhì)量和病灶的識(shí)別[21]。常使用的降噪算法有雙邊濾波、高斯濾波法等。本文研究分別采用了上述兩種濾波法進(jìn)行試驗(yàn)，結(jié)果顯示高斯濾波相對(duì)于雙邊濾波更易吞噬圖像紋理信息，模糊效果更強(qiáng)，故最終選用雙邊濾波法對(duì)數(shù)據(jù)集圖像降噪；對(duì)經(jīng)過降噪后的圖像進(jìn)行增強(qiáng)，可凸顯圖像特征，提升圖像質(zhì)量。增強(qiáng)的方法包括對(duì)比度增強(qiáng)、動(dòng)態(tài)范圍壓縮、銳化、邊緣增強(qiáng)等。本文研究試驗(yàn)了6種增強(qiáng)算法(直方圖均衡化、Clahe、Retinex-SSR、Laplace變換、對(duì)數(shù)變換和伽馬變換[22])，并對(duì)其處理效果進(jìn)行了對(duì)照比較，實(shí)驗(yàn)效果如圖4所示，Clahe算法的圖像增強(qiáng)效果最好。

1.3 數(shù)據(jù)增廣

針對(duì)數(shù)據(jù)集中樣本數(shù)量少的問題，在考慮各類別圖像顯示特點(diǎn)后，采用水平翻轉(zhuǎn)方法對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行擴(kuò)充，讓有限的數(shù)據(jù)產(chǎn)生更多的數(shù)據(jù)，增加訓(xùn)練樣本的數(shù)量以及多樣性，從而提升網(wǎng)絡(luò)模型魯棒性。由預(yù)處理增強(qiáng)過程的結(jié)果顯示可知，除Clahe算法外，Gamma變換和Laplace變換對(duì)圖像增強(qiáng)的效果也較好，為進(jìn)一步增加數(shù)據(jù)量及其多樣性，故也考慮將其作為數(shù)據(jù)擴(kuò)充的方式之一。預(yù)處理后各類別圖像效果如圖5所示。經(jīng)數(shù)據(jù)擴(kuò)充后，最終送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測(cè)的各類別圖像數(shù)量如表1所示。

1.4 模型結(jié)構(gòu)研究

本文提出在AlexNet網(wǎng)絡(luò)融入SE注意力機(jī)制的SE-AlexNet網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)胰腺癌變的在線診斷，該SE-AlexNet網(wǎng)絡(luò)模型總體結(jié)構(gòu)和相關(guān)參數(shù)如圖6所示。模型由兩部分組成，包括提取圖像特征和分類預(yù)測(cè)的深度學(xué)習(xí)分類網(wǎng)絡(luò)AlexNet和提升網(wǎng)絡(luò)預(yù)測(cè)性能的注意力模塊SE。

圖5 預(yù)處理后各類別圖像展示Fig.5 Pre-processed images for each category

表1 數(shù)據(jù)增廣前后數(shù)據(jù)量對(duì)比

圖6 SE-AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 SE-AlexNet network structure diagram

本文研究中使用數(shù)據(jù)集樣本量小。在選擇網(wǎng)絡(luò)模型時(shí)，深層卷積網(wǎng)絡(luò)參數(shù)量多，可能導(dǎo)致模型復(fù)雜度高，容易過擬合，故首先考慮淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行試驗(yàn)。AlexNet是卷積神經(jīng)網(wǎng)絡(luò)在圖像分類方向上的經(jīng)典模型，由Krizhevsky等[23]提出。相對(duì)于簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)LeNet，AlexNet加深了網(wǎng)絡(luò)結(jié)構(gòu)，使用層疊的卷積層提取圖像特征。此外，AlexNet采用Relu作為激活函數(shù)，相較Sigmoid加快了訓(xùn)練速度[24]，運(yùn)用了Dropout機(jī)制，可以防止由于數(shù)據(jù)集樣本量小帶來的網(wǎng)絡(luò)訓(xùn)練過擬合。但AlexNet有限的卷積次數(shù)也限制了其提取深層特征的能力。相較下，深層網(wǎng)絡(luò)提取到的特征更加高層，不同通道的側(cè)重點(diǎn)更加明顯，為了彌補(bǔ)這一不足，引入注意力機(jī)制加強(qiáng)AlexNet對(duì)于特征的感知，從而優(yōu)化網(wǎng)絡(luò)模型性能。

注意力機(jī)制的核心思想是通過一定手段獲取到每張?zhí)卣鲌D重要性的差異，而將神經(jīng)網(wǎng)絡(luò)的計(jì)算資源更多地投入更重要的任務(wù)當(dāng)中，并利用任務(wù)結(jié)果反向指導(dǎo)特征圖的權(quán)重更新，從而高效快速地完成相應(yīng)任務(wù)[25]。在AlexNet中，特征可從兩個(gè)維度進(jìn)行關(guān)注：一個(gè)是圖像尺寸，一個(gè)是圖像通道。故注意力機(jī)制也根據(jù)其關(guān)注維度可分為空間注意力機(jī)制和通道注意力機(jī)制?？臻g注意力機(jī)制主要通過圖像上下文信息突出目標(biāo)特征的空間位置信息，進(jìn)而對(duì)空間上的分布權(quán)重進(jìn)行增強(qiáng)或抑制。而超聲圖像由于其成像特點(diǎn)，目標(biāo)特征與背景差異并不明顯，不大適合使用空間注意力機(jī)制。而通道注意力機(jī)制通過分析特征各通道包含的特定響應(yīng)，能夠調(diào)整各通道的權(quán)重以強(qiáng)調(diào)網(wǎng)絡(luò)應(yīng)關(guān)注的特征，這對(duì)于準(zhǔn)確識(shí)別胰腺癌變能夠提供一定幫助，故選用通道注意力機(jī)制以提升模型分類性能。

通道注意力模塊SE(squeeze and excitation)主要關(guān)注特征圖(feature map)通道間的關(guān)系，通過學(xué)習(xí)獲取到特征圖各通道的重要性，使模型可以根據(jù)重要性自動(dòng)調(diào)整權(quán)值分配，有效提升網(wǎng)絡(luò)識(shí)別性能[26]。SE模塊主要包括擠壓(squeeze)和激勵(lì)(excitation)兩個(gè)操作：尺寸為h×w×c的輸入特征圖xc首先通過一個(gè)全局平均池化，各通道特征被壓縮為一個(gè)實(shí)數(shù)，此時(shí)得到尺寸大小為1×1×c的中間張量uc；uc再通過呈瓶頸結(jié)構(gòu)的兩次全連接擬合通道間相關(guān)性和一次sigmoid激活函數(shù)進(jìn)行歸一化，輸出張量vc。vc的尺寸大小與uc一致，但各通道數(shù)值已變更為表示各通道重要性的權(quán)重信息；最后，將獲取到的張量vc尺度變換至與xc相同后與xc上原始特征相乘，得到引入注意力后的特征圖yc。上述操作過程可用式(1)～式(3)及圖7表示。

(1)

vc=Fex(uc,W1,W2)=σ[W2δ(W1uc)]

(2)

yc=Fscale(vc)xc

(3)

圖7 SE模塊擠壓與激勵(lì)過程圖Fig.7 SE module extrusion and excitation process diagram

式中：Fsq()和Fex()分別為SE的擠壓和激勵(lì)過程；Fscale()為尺度變換過程；(i,j)為特征圖上數(shù)據(jù)坐標(biāo)值；σ為Sigmoid激活函數(shù)；δ為Relu激活函數(shù)；W1和W2為兩次全連接操作；r為降維系數(shù)，通過對(duì)r的調(diào)整，可控制模塊容量、節(jié)省參數(shù)開銷，本實(shí)驗(yàn)中該值設(shè)為16。

SE模塊具有很高的靈活性，可以直接應(yīng)用于現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中，但其插入位置不同，對(duì)網(wǎng)絡(luò)模型性能的影響也不盡相同。在本文研究中，SE模塊被安置于AlexNet主干特征提取部分與全連接層之間，特征層通過SE前后的特征差異如圖8所示。通過多次迭代訓(xùn)練后，網(wǎng)絡(luò)達(dá)到收斂狀態(tài)[27]，此時(shí)將圖像輸入SE-AlexNet，輸出結(jié)果即為該圖像為各類別的概率值，通過比較，概率值最大的對(duì)應(yīng)類則為預(yù)測(cè)的輸入圖像類別。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置

本文算法在Windows10 64位系統(tǒng)下操作，開發(fā)基于python語言，GPU型號(hào)為NVIDIA GeForce RTX 3070。算法運(yùn)行環(huán)境為PyCharm(community 2020.1.3)，相關(guān)配置為：pytorch1.7.1+python3.7，算法使用GPU運(yùn)算。網(wǎng)絡(luò)訓(xùn)練相關(guān)參數(shù)設(shè)置為：學(xué)習(xí)率Lr=0.01、訓(xùn)練迭代次數(shù)Epoch=100、批大小Batchsize=10。

圖8 SE前后特征層比較Fig.8 Comparison of feature maps before and after SE

采取隨機(jī)抽樣方式，將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集及測(cè)試集，各占比例為80%、10%、10%。數(shù)據(jù)集劃分后各集所含類別圖像數(shù)量分布如表2所示。

為表現(xiàn)所提算法的優(yōu)勝性，做了以下對(duì)比實(shí)驗(yàn)進(jìn)行驗(yàn)證：①在未引入注意力機(jī)制的情況下，使用本模型所用基礎(chǔ)分類網(wǎng)絡(luò)Alexnet與其他常見分類

表2 數(shù)據(jù)集劃分后各數(shù)據(jù)集信息

檢測(cè)網(wǎng)絡(luò)(如vgg系列、resnet系列、inception)針對(duì)本研究數(shù)據(jù)集同時(shí)進(jìn)行訓(xùn)練，橫向比較各網(wǎng)絡(luò)的模型表現(xiàn)；②在選定Alexnet作為分類網(wǎng)絡(luò)基礎(chǔ)上引入不同注意力機(jī)制，根據(jù)注意力機(jī)制類型與插入位置的不同組合訓(xùn)練不同網(wǎng)絡(luò)，比較各組合網(wǎng)絡(luò)對(duì)未引入注意力機(jī)制的原始網(wǎng)絡(luò)的影響，評(píng)價(jià)最優(yōu)組合模型。

2.2 評(píng)估指標(biāo)

為準(zhǔn)確評(píng)估實(shí)驗(yàn)中各網(wǎng)絡(luò)模型的表現(xiàn)性能，本研究采用了測(cè)試集精確率(Precisionmacro)、召回率(Recallmacro)、F1-scoremacro三個(gè)評(píng)估參數(shù)。在二分類問題中，精確率是指在所有預(yù)測(cè)為正類的樣本中，實(shí)際正類所占的比例；召回率是指在所有正類樣本中，被預(yù)測(cè)為正類的比例；F1-score即精確率和召回率的調(diào)和平均，用于衡量分類器的綜合性能。在解決本文的多分類問題時(shí)，通常把多分類問題分解成多個(gè)二分類問題，每次以其中一個(gè)類為正類，其余類統(tǒng)一為負(fù)類，計(jì)算每類的二分類指標(biāo)后再平均計(jì)算。本文研究中使用macro(宏)平均計(jì)算方式，其可增加小類別檢測(cè)效果在模型評(píng)估中的重要性，有助于綜合評(píng)價(jià)模型對(duì)于檢出病變圖像的性能表現(xiàn)。上述評(píng)價(jià)指標(biāo)的計(jì)算方法如式(4)～式(8)所示。

(4)

(5)

(6)

(7)

(8)

式中：TP為正樣本被正確預(yù)測(cè)為正樣本情況數(shù)量；FP為負(fù)樣本被錯(cuò)誤預(yù)測(cè)為正樣本情況數(shù)量；FN為正樣本被錯(cuò)誤預(yù)測(cè)為負(fù)樣本情況數(shù)量；i∈{1, 2, 3, 4}，分別為正常胰頭、正常胰頸、正常胰體尾、癌變類別；L為類別總數(shù)。

2.3 結(jié)果分析

將輸入圖像調(diào)整大小到各網(wǎng)絡(luò)要求分辨率尺寸后送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，為使網(wǎng)絡(luò)模型性能評(píng)估更為準(zhǔn)確，結(jié)果中各網(wǎng)絡(luò)數(shù)據(jù)均用多次訓(xùn)練的評(píng)估參數(shù)均值表示。未引入注意力機(jī)制時(shí)，AlexNet網(wǎng)絡(luò)與其他幾種分類網(wǎng)絡(luò)的模型性能比較結(jié)果如表3所示。

由表3可以看到，未進(jìn)行任何改進(jìn)的各分類網(wǎng)絡(luò)對(duì)本文研究數(shù)據(jù)集已產(chǎn)生了較好的檢測(cè)效果，F(xiàn)1-score 均能達(dá)93%以上，Precision和Recall也各自能達(dá)92%、93%。進(jìn)一步分析各網(wǎng)絡(luò)中評(píng)估參數(shù)表現(xiàn)可知，針對(duì)本文測(cè)試集中圖片檢測(cè)，綜合性能表現(xiàn)最優(yōu)的網(wǎng)絡(luò)為Alexnet，其F1-score高達(dá)97.53%，以將近1%的優(yōu)勢(shì)高于第二名的Inception網(wǎng)絡(luò)，同時(shí)其精確率和召回率也在所有網(wǎng)絡(luò)中保持最高，證明了其具有更優(yōu)的模型性能。

此外，實(shí)驗(yàn)引入SE、CBAM兩種不同的注意力機(jī)制，并嘗試研究注意力機(jī)制處于不同位置對(duì)訓(xùn)練模型的影響。注意力機(jī)制的插入位置設(shè)有兩處:①輸入圖像通過第一個(gè)卷積層后位置，此處處于主干特征提取網(wǎng)絡(luò)的淺層，F(xiàn)eature map為輸入圖像較原始的特征;②特征提取結(jié)束后，進(jìn)行全連接操作前的位置，此時(shí)網(wǎng)絡(luò)已獲取到輸入圖像更深層抽象特征，可接全連接層進(jìn)行特征映射。不同組合的分類模型效果如表4所示。

表3 基礎(chǔ)分類網(wǎng)絡(luò)性能比較

由表4中數(shù)據(jù)可知，注意力機(jī)制的引入的確對(duì)網(wǎng)絡(luò)模型性能產(chǎn)生了一定影響，且引入同一注意力機(jī)制但插入不同位置，將對(duì)網(wǎng)絡(luò)產(chǎn)生不同影響。引入SE和CBAM注意力機(jī)制且插入在位置②時(shí)，訓(xùn)練得到的網(wǎng)絡(luò)較原始網(wǎng)絡(luò)各評(píng)估參數(shù)值都得到了提高，但插入注意力機(jī)制為SE時(shí)優(yōu)化效果最好，其網(wǎng)絡(luò)F1-Score相較原始Alexnet提高了1.59%，同時(shí)精確率和召回率也各自提高了2.29%和0.9%，說明引入僅關(guān)注通道的注意力機(jī)制效果最好，再引入空間注意力機(jī)制反而會(huì)降低模型的檢測(cè)性能；引入SE和CBAM注意力機(jī)制且插入在位置①時(shí)，模型的總體性能都有了一定提高，但提升效果明顯低于同一注意力機(jī)制插入在另一位置時(shí)，此外，訓(xùn)練所得模型測(cè)試召回率相對(duì)原始模型甚至有所降低。綜合上述數(shù)據(jù)和分析可知，本文所采用的注意力機(jī)制與插入位置的選擇為最優(yōu)組合。

為進(jìn)一步驗(yàn)證本文所提網(wǎng)絡(luò)對(duì)于提升網(wǎng)絡(luò)檢測(cè)性能的優(yōu)勝性，表5展示了引入注意力機(jī)制后的各改進(jìn)網(wǎng)絡(luò)對(duì)于胰腺圖像4個(gè)類別各自檢測(cè)性能的影響。由表5可知，注意力機(jī)制的引入對(duì)于正常胰頭和胰體尾的檢測(cè)基本未產(chǎn)生影響，而改進(jìn)后網(wǎng)絡(luò)總體增強(qiáng)了對(duì)正常胰頸和癌變圖像的檢測(cè)性能，特別是SE_last和CBAM_last，其對(duì)于癌變的檢測(cè)精準(zhǔn)率和召回率都穩(wěn)定保持在100%，消除了癌變?cè)\斷的誤判和漏判可能，極大提升了模型應(yīng)用的現(xiàn)實(shí)意義。此外，從顯示數(shù)據(jù)可以看出，SE_last對(duì)于正常胰頸檢測(cè)性能的提升效果也為4個(gè)網(wǎng)絡(luò)最優(yōu)，其綜合性能仍排第一位。

表4 引入注意力機(jī)制后各網(wǎng)絡(luò)性能比較

表5 網(wǎng)絡(luò)單類別檢測(cè)性能比較

由以上分析可知，注意力機(jī)制的引用對(duì)模型性能的影響與其選用模塊類型與插入位置有關(guān)，而本文所提出的網(wǎng)絡(luò)模型—引入SE注意力機(jī)制并插入在AlexNet網(wǎng)絡(luò)特征提取結(jié)束后—對(duì)模型的提升效果最明顯。實(shí)驗(yàn)?zāi)Ｐ蛯?duì)部分類別圖像檢測(cè)效果比較如圖9所示。

圖9 部分類別圖像檢測(cè)效果比較Fig.9 Comparison of detection effects of partial category images

2.4 效果展示

利用SE-AlexNet網(wǎng)絡(luò)模型搭建出可實(shí)現(xiàn)胰腺癌智能檢測(cè)的可視化UI界面。界面可對(duì)患者信息、輸入影像圖片及檢測(cè)結(jié)果進(jìn)行顯示，具體效果如圖10所示。圖10(a)和圖10(b)分別為檢測(cè)結(jié)果為癌變與正常的UI顯示界面，疑似產(chǎn)生癌變圖像將用紅色背景顯示結(jié)果，同時(shí)懷疑區(qū)域被框選突出，而正常圖像結(jié)果則用綠色背景顯示。

3 結(jié)論

提出了專用于超聲內(nèi)鏡返回胰腺圖像癌變檢測(cè)的智能算法，填補(bǔ)了醫(yī)學(xué)領(lǐng)域在此方面的空白，為專業(yè)醫(yī)務(wù)人員精準(zhǔn)檢查胰腺癌提供了參考。根據(jù)實(shí)驗(yàn)所得結(jié)果，可得到以下結(jié)論。

(1)本文算法使用Alexnet和SE注意力機(jī)制的組合模型，在現(xiàn)有數(shù)據(jù)集上取得了很好的分類檢測(cè)效果，模型F1-score可達(dá)99.12%，模型準(zhǔn)確率和召回率分別為99.56%和98.69%，為所有實(shí)驗(yàn)?zāi)Ｐ妥顑?yōu)。

(2)SE-AlexNet在本文數(shù)據(jù)集上，對(duì)于癌變圖像可達(dá)到穩(wěn)定的準(zhǔn)確檢測(cè)，誤檢率和漏檢率保持為零，可實(shí)現(xiàn)超聲胰腺圖像智能癌變檢測(cè)。

(3)SE-AlexNet相對(duì)于其他學(xué)者所提網(wǎng)絡(luò)而言，模型結(jié)構(gòu)更簡(jiǎn)單，模型性能更優(yōu)異，功能更全面，具有更好的現(xiàn)實(shí)適用性。

本文算法雖獲得了一些成果，但仍存在以下改進(jìn)之處。

(1)由于超聲內(nèi)鏡操作的復(fù)雜性，采集圖像質(zhì)量容易受人員操作、設(shè)備參數(shù)等方面干擾，致使模型檢測(cè)效果容易受到影響，后期應(yīng)持續(xù)擴(kuò)展數(shù)據(jù)集，增加樣本多樣性，訓(xùn)練網(wǎng)絡(luò)以提升模型魯棒性。

(2)本文算法僅對(duì)模型性能進(jìn)行了內(nèi)部實(shí)驗(yàn)評(píng)估，若想應(yīng)用于實(shí)際操作環(huán)境中，后期應(yīng)引入更具信服力的外部驗(yàn)證，確保模型檢測(cè)結(jié)果的可靠性。

此外，后續(xù)研究可考慮擴(kuò)充算法實(shí)現(xiàn)在檢出病變的同時(shí)，模型能夠有效分割出病變產(chǎn)生區(qū)域，并對(duì)病變程度進(jìn)行評(píng)估，增強(qiáng)網(wǎng)絡(luò)的實(shí)用功能，使得整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)更加系統(tǒng)化。

圖10 UI顯示界面Fig.10 UI display interface