人工智能背景下影像圖像分析與應(yīng)用研究①

吳 俊

(宣城職業(yè)技術(shù)學(xué)院護理系,安徽 宣城 242000)

0 引 言

醫(yī)學(xué)圖像的自動分割是指在正常人體組織結(jié)構(gòu)和病灶等部位的醫(yī)學(xué)影像圖中提取感興趣區(qū)域。目前常見的影像圖圖像分割技術(shù)為人工分割、半人工分割、自動分割。深度神經(jīng)網(wǎng)絡(luò)避免了傳統(tǒng)圖像分割中計算復(fù)雜等問題,成為了目前影像圖像分割中最成熟的方法。Unet網(wǎng)絡(luò)是一種在醫(yī)學(xué)圖像分割領(lǐng)域最常用到的網(wǎng)絡(luò)結(jié)構(gòu),現(xiàn)階段Unet網(wǎng)絡(luò)已經(jīng)被優(yōu)化為Attention-Unet,Dense-Unet等。高翾等學(xué)者分析了深度學(xué)習(xí)方法的原理及其在醫(yī)學(xué)影像學(xué)領(lǐng)域的研究現(xiàn)狀,著重討論了其在醫(yī)學(xué)影像學(xué)領(lǐng)域運用的影響因素[3]。蔣啟紅等研究人員分析了目前影像組學(xué)在肝細胞癌診療中的研究進展,包括肝細胞癌的診斷及鑒別診斷、基因表型及分子標記物的預(yù)測、療效監(jiān)測及預(yù)后預(yù)測、基于深度學(xué)習(xí)應(yīng)用方面的研究[4]。鑒于醫(yī)學(xué)影像圖語義簡單、多模態(tài)、數(shù)據(jù)量少等特點,研究以腦部腫瘤影像為例,提出應(yīng)用改進Unet網(wǎng)絡(luò)進行圖像分割,旨在為影像圖像分析提供建設(shè)性的參考意見。

1 改進Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割

1.1 密集跳躍連接和殘差網(wǎng)絡(luò)改進

跳躍鏈接對完整空間分辨能力的恢復(fù)具有的積極的意義,它使得全卷積的方法在語義分割中具有較高的適用性。跳躍連接在密集網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)等神經(jīng)網(wǎng)絡(luò)中有著廣泛的應(yīng)用。傳統(tǒng)的L神經(jīng)網(wǎng)絡(luò)的連接個數(shù)為L,密集跳躍連接的連接L×(L+1)/2,每層和前面所有層進行緊密連接,即密集連接。密集跳躍連接認為,輸入為每個圖層前面圖層的要素圖,而每個圖層的要素圖可作為輸入傳遞給后續(xù)的圖層[5-7]。密集跳躍連接的正向傳播還包括跨層連接xl,計算公式為式(1):

xl=Hl([x0,x1,…xl])

(1)

式(1)中,[x0,x1,…xl]是指所有前面層的輸出串聯(lián)值,Hl是指l層的非線性變換。密集跳躍連接能極大程度避免學(xué)習(xí)復(fù)雜特征,通過低級和高級特征兩者之間的信息流得到更好的性能。與此同時,密集跳躍連接能處理梯度消失的問題,這能強化特征的傳播。

目前殘差網(wǎng)絡(luò)在網(wǎng)格深度優(yōu)化方面,訓(xùn)練集的準確率會隨著網(wǎng)絡(luò)層數(shù)的增加而增加,這種現(xiàn)象被稱為退化問題[8-10]。為了優(yōu)化梯度爆炸和梯度消失問題,研究提出了一種結(jié)合注意力機制、殘差網(wǎng)絡(luò)、軟閾值函數(shù)的改進殘差網(wǎng)絡(luò)。改進的殘差網(wǎng)絡(luò)通過注意力機制關(guān)注到非重要特征和軟閾值函數(shù)設(shè)置0方式,能有效從圖像中獲取有價值的特征。設(shè)置閾值階段需滿足正數(shù)、小于輸入的最大值兩個條件。軟閾值的計算公式為式(2):

(2)

式(2)中,x和y分別指輸入值和輸出值,τ是指閾值。根據(jù)軟閾值化導(dǎo)數(shù)公式可知,導(dǎo)數(shù)值為0和1,這和Relu函數(shù)的性質(zhì)相似。軟閾值化不僅能降低深度學(xué)習(xí)算法中的梯度彌散和梯度消散,還能避免網(wǎng)絡(luò)噪聲的影響。

圖1 注意力機制和改進殘差模塊的示意圖

研究采用的注意力機制為Squeeze-and- Excitation Networks(SENet)模型,該模型將小型網(wǎng)絡(luò)學(xué)習(xí)獲得的權(quán)值系數(shù)應(yīng)用在各個特征通道的加權(quán)。首先,利用Squeeze操作完成特征映射聚合,并形成channel描述符。然后利用Excitation操作完成對channel描述符的重新加權(quán),使得無用的信息能夠快速被排除和保障有用的信息。最后,通過scale操作的reweight channel完成特征圖輸入的加權(quán)。SENet模型的具體來說,輸入包含W*H*C的特征圖,其一,完成Squeeze操作。通過global average 池化層對特征圖進行壓縮處理,得到輸出結(jié)果為1*1*C。其二,完成Excitation操作。通過全連接層+Relu+全連接層+Sigmoid對特征圖進行非線性或線性變換得到每個channel的weight。采用兩個全連接層的目的是學(xué)習(xí)到每個channel的相關(guān)性。依據(jù)前人的研究經(jīng)驗,壓縮比例設(shè)置為16時,計算量和整體性能最為平衡。其三,利用channel的weight 進行處理,完成對特征圖的加權(quán)。注意力機制的結(jié)構(gòu)如圖1(a)所示。改進的殘差網(wǎng)絡(luò)為多層殘差,每一層都包括一個3×3的卷積層、歸一化層FRN(Filter Response NormaLization)、激活層TLU(Thresholded Linear Unit),具體結(jié)構(gòu)如圖1(b)所示。

1.2 改進Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割

腦部腫瘤分割目前的挑戰(zhàn)主要來源兩種,分別是采集圖像過程中核磁共振成像(Nuclear Magnetic Resonance Imaging,NMRI)中普遍存在噪聲和運動偽影和腫瘤的解剖變異和正常組織提升了分割難度。但相較于電子計算機斷層掃描圖像,NMIR圖像的圖像分割具有以下優(yōu)點。其一,NMRI圖像的三維圖像能獲取冠狀面、軸面、矢狀面的信息,最大程度確保相鄰切片間腦組織的信息連續(xù)性。其二,NMRI圖像通過多模態(tài)成像給每個體素提供多種模態(tài)信息。Unet網(wǎng)絡(luò)的核心思想是借助連續(xù)層擴充普通的收縮網(wǎng)絡(luò),包括特征提取和上采樣兩個部分,能將領(lǐng)域內(nèi)的狀態(tài)信息傳遞給更高分辨率層,這通過更大數(shù)量的特征通道實現(xiàn)。但Unet網(wǎng)絡(luò)的層數(shù)越深越容易導(dǎo)致網(wǎng)絡(luò)性能的退化,且不能很好排除拍攝角度或病灶區(qū)域等噪聲[11-13]。研究提出一種改進Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割方法,即殘差-密集跳躍連接-Unet網(wǎng)絡(luò)。將原始卷積模塊優(yōu)化為密集跳躍連接和殘差模塊,具體表現(xiàn)為解碼路徑、跳躍連接、編碼路徑,這不僅能提高網(wǎng)絡(luò)的性能,也能提升特征的采集率。網(wǎng)絡(luò)仍然為傳統(tǒng)的Unet網(wǎng)絡(luò)結(jié)構(gòu),即端對端的網(wǎng)絡(luò)結(jié)構(gòu)。編碼器組成為最大池化層和多個殘差模塊。每個殘差塊包括2個3×3的卷積層,2個FRN,2個TLU,1個軟閾值函數(shù),1個注意力機制。最大池化層設(shè)置為2×2,能對特定維度進行池化處理,大小設(shè)置為2×2,。跳躍連接采用密集跳躍連接,其可分為短連接和長連接。長連接可對同一行首尾的殘差塊進行連接;短連接能完成同一行中間部分的殘差塊連接。解碼器通過殘差塊、上采樣層組成,其中,上采樣的尺寸為2×2。

表1 改進Unet網(wǎng)絡(luò)的改進策略

卷積網(wǎng)絡(luò)訓(xùn)練分為向前傳播、損失計算、反向傳播、權(quán)重更新四個環(huán)節(jié)。目前常見的深度學(xué)習(xí)訓(xùn)練模型為批量歸一化 BN(Batch Normalization)層,但BN層在訓(xùn)練過程中過度依賴訓(xùn)練批次。當訓(xùn)練批次較小時,模型的性能較差[14-15]。但受限于硬件條件的限制,當訓(xùn)練模型較大時,訓(xùn)練批次難以增大。研究采用FRN作為標準層,FRN層包含激活層TLU和歸一化層FRN。FRN標準層能防止訓(xùn)練模型過程中對訓(xùn)練批次的依賴,且在較大訓(xùn)練模型的情況下表現(xiàn)出較大的優(yōu)勢。訓(xùn)練模型過程中,FRN層能很好完成縮放和平移。但由于FRN缺乏均值操作,這會造成歸一化處理的最終結(jié)果偏向0,基于此,研究采用閾值化的Relu 函數(shù),計算表達式為式(3):

z=max(y,τ)=Relu(y-τ)+t

(3)

式(3)中,可學(xué)習(xí)的參數(shù)為t。

模型的損失函數(shù)為結(jié)合Dice系數(shù)損失和交叉熵損失的混合損失函數(shù)?；旌蠐p失函數(shù)Loss的計算公式為式(4):

(4)

式(4)中,N指表示訓(xùn)練批次中的像素的數(shù)量,C是指類的數(shù)量,第n個像素和第c類的預(yù)測概率用pn,c指代,第n個像素和第c類的目標標簽用yn,c指代。

2 改進Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割效果

研究選取BraTS2018數(shù)據(jù)集中的部分數(shù)據(jù)進行腫瘤影像圖像分割效果分析,數(shù)據(jù)集包括低級別和高級別膠質(zhì)瘤兩種患者的NMRI圖像,數(shù)據(jù)集包括背景、壞死、水腫、增強腫瘤四個標簽。為了便于圖像分割效果評價,研究劃分為三個二元子區(qū)域,分別是增強腫瘤 (Enhancing tumor core,ET)、腫瘤核心(Tumor core,TC) 、全腫瘤(The whole tumor ,WT) 區(qū)域。設(shè)置訓(xùn)練批次為80,學(xué)習(xí)率為0.001。低級別和高級別膠質(zhì)瘤患者的分割圖如圖2所示。從圖中可知,Unet網(wǎng)絡(luò)能實現(xiàn)分割背景和分割任務(wù),但整體腫瘤區(qū)域邊緣模糊,部分腫瘤區(qū)域分割出現(xiàn)錯誤,分割效果一般。殘差-Unet網(wǎng)絡(luò)的分割效果在邊緣分割方面較為理想,但存在過度分割的現(xiàn)象。而研究提出的殘差-密集跳躍連接-Unet網(wǎng)絡(luò)具有極高的分割效率,能降低特征信息的丟失,有效分割出邊界區(qū)域。

研究采用Hausdorff距離、敏感度、特異性、Dice系數(shù)四個評價指標對腫瘤分割效果進行評價,結(jié)果如圖3所示。整體來看,相較于Unet、殘差-Unet兩種網(wǎng)絡(luò),殘差-密集跳躍-Unet在Hausdorff距離、敏感度、特異性、Dice四個指標方面均具有極高的性能,這是因為研究所提出的方法將解碼器和編碼器改進成了殘差網(wǎng)絡(luò),且通過密集跳躍連接避免學(xué)習(xí)復(fù)雜特征進而降低參數(shù)的數(shù)量,解決梯度消失的問題。分割結(jié)果顯示,WT,TC,ET的Dice分別為0.846,0.813,0.804。而對于Unet、殘差-Unet兩種網(wǎng)絡(luò)來說,殘差-Unet網(wǎng)絡(luò)的性能更優(yōu)于Unet網(wǎng)絡(luò),這主要表現(xiàn)為特異性、Dice,Hausdorff距離。

為了進一步驗證所提出的腫瘤影像圖像分割效果,研究采用的對比影像圖像分割方法為標記不確定的密集連接神經(jīng)網(wǎng)絡(luò)(方法1)、注意力信息和上下文信息的神經(jīng)網(wǎng)絡(luò)(方法2)、測試時間增強的神經(jīng)網(wǎng)絡(luò)(方法3),結(jié)果如圖4所示。相較于其他影像圖像分割算法,殘差-密集跳躍-Unet網(wǎng)絡(luò)(新方法)的Hausdorff距離、敏感度、特異性、Dice四個指標均更佳。Hausdorff距離的降低值范圍為0.139～1.061,靈敏度的提升取值范圍為0.006～0.999,特異性的提升取值范圍為0.017～0.092,Dice的提升取值范圍為0.013～0.110。因此,研究所提出的腫瘤影像圖像分割方法分割效果更為精細,其不僅能避免上下文信息遺漏,也能很好地處理過擬合和欠擬合的現(xiàn)象。

圖3 三種網(wǎng)絡(luò)的腫瘤影像圖像分割效果

圖4 四種影像圖像分割方法的對比效果

3 結(jié) 論

現(xiàn)階段自動分割憑借著優(yōu)秀的計算機圖像處理技術(shù)能提升分割速度,但成像技術(shù)中的噪聲多、對比度低等問題給醫(yī)學(xué)圖像分割帶來了極大的挑戰(zhàn)。研究提出一種改進Unet網(wǎng)絡(luò)的腦部腫瘤影像圖像分割。殘差-密集跳躍連接-Unet網(wǎng)絡(luò)在WT,TC,ET區(qū)域的Dice分別為0.846,0.813,0.804,特異性分別為0.868,0.887,0.829,靈敏度分別為0.888,0.925,0.832,Hausdorff距離分別為2.545,1.621,2.624。Hausdorff距離的降低值范圍為0.139～1.061,靈敏度的提升取值范圍為0.006～0.999,特異性的提升取值范圍為0.017～0.092,Dice的提升取值范圍為0.013～0.110。殘差-密集跳躍連接-Unet網(wǎng)絡(luò)能降低特征信息的丟失和快速分割出邊界區(qū)域,值得廣泛應(yīng)用于臨床醫(yī)學(xué)影像圖像的分割。