改進(jìn)雙向LSTM的肺結(jié)節(jié)分割方法

徐麒皓，李 波

武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430081

肺癌是世界上死因最高的癌癥，肺結(jié)節(jié)作為肺癌的早期表現(xiàn)形式，可在CT 圖像上觀察為直徑不超過3 cm的類圓形的肺部陰影，對其輪廓進(jìn)行準(zhǔn)確地分割能夠幫助醫(yī)生實(shí)現(xiàn)肺結(jié)節(jié)良惡性的診斷[1]。由于肺結(jié)節(jié)體積微小，其形態(tài)、亮度等特征與肺實(shí)質(zhì)中的血管等組織相似，僅通過肉眼觀察難以將其兩者分開，容易對醫(yī)生的判斷產(chǎn)生嚴(yán)重的干擾。

深度學(xué)習(xí)目前在計(jì)算機(jī)視覺取得出色的應(yīng)用效果。神經(jīng)網(wǎng)絡(luò)能夠自動地完成對特定物體的學(xué)習(xí)，如Kumar 等[2]利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對肺結(jié)節(jié)進(jìn)行良惡性分類，Wang 等[3]利用多尺度CNN對肺結(jié)節(jié)進(jìn)行有效檢測與分割。在圖像分割方面，Long 等[4]提出了全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）。該模型通過將CNN 的全連接層替換成卷積得到每個圖像中像素的分類結(jié)果以實(shí)現(xiàn)圖像分割。Ronneberger 等[5]在FCN 的基礎(chǔ)上提出了U-Net 網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有U 型對稱結(jié)構(gòu)，通過對圖像特征進(jìn)行編碼與解碼，同時融合網(wǎng)絡(luò)全局和局部語義特征得到了較好的分割效果[6-10]。在醫(yī)學(xué)圖像處理中，一般很難取得大量的高素質(zhì)批注醫(yī)學(xué)圖像，然而U-Net能夠在較少樣本量的情況下完成模型訓(xùn)練并實(shí)現(xiàn)圖像分割。因此該網(wǎng)絡(luò)經(jīng)常應(yīng)用于醫(yī)學(xué)圖像分割處理任務(wù)，然而醫(yī)學(xué)圖像中的肺結(jié)節(jié)具有邊緣模糊和目標(biāo)區(qū)域小等特點(diǎn)，僅使用原始U-Net 對其進(jìn)行訓(xùn)練存在梯度消失、特征利用率低等問題[11]，最終導(dǎo)致模型的分割準(zhǔn)確率難以提高。

為了解決這些問題，本文提出改進(jìn)雙向LSTM密集卷積網(wǎng)絡(luò)[12]，創(chuàng)新地將雙向LSTM 包含在跳躍連接中，并重用具有密集卷積的特征圖。對應(yīng)編碼層的特征圖包含更高的分辨率，而上一卷積層提取的特征圖包含更多的語義信息[12]。將這兩種特征圖與非線性函數(shù)相結(jié)合得到更精確的分割結(jié)果。利用多視圖密集卷積的特性緩解網(wǎng)絡(luò)特征冗余問題并增強(qiáng)了通過網(wǎng)絡(luò)的信息流[13]。該網(wǎng)絡(luò)利用結(jié)節(jié)的三維特征可以檢測到孤立、血管或與肺壁相連的結(jié)節(jié)。在收縮路徑的最后一層中，卷積通過信道級聯(lián)連接到該層中的所有后續(xù)塊，在每個塊中重新學(xué)習(xí)的特征被傳遞到下一個塊。此策略有助于該方法在前一層獲得的集合特征來學(xué)習(xí)一組不同的特征，從而避免學(xué)習(xí)冗余特征。在此基礎(chǔ)上利用上卷積濾波后的BN來加速網(wǎng)絡(luò)的收斂速度。

1 方法

受U-Net、BConvLSTM[14]和密集卷積[15]的啟發(fā)，提出了如圖1所示的改進(jìn)雙向LSTM網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用了雙向LSTM和密集卷積的優(yōu)點(diǎn)。

圖1 改進(jìn)雙向LSTM網(wǎng)絡(luò)在跳躍連接和密集卷積中的應(yīng)用Fig.1 Application of improved bidirectional LSTM network in skip connection and dense convolution

網(wǎng)絡(luò)輸入是大小為512×512的CT圖像，使用3×3卷積核將原圖轉(zhuǎn)成32個大小為512×512的特征圖，后通過池化操作后得到128 個大小為256×256 的特征圖，再經(jīng)過3×3 卷積得到64 個特征圖的大小為128×128 的特征層。最后得到480個大小8×8的特征圖。在上采樣過程中，特征圖通過2×2卷積核、步長為2的反卷積操作，得到512 個大小為8×8 的特征圖，通過特征融合將特征通過大小為3×3、步長為1 的卷積操作，得到1 600 個大小為32×32 的特征圖。因?yàn)榫W(wǎng)絡(luò)在跳躍連接中加入密集塊，為解決特征圖尺度不一樣的問題，在上采樣階段特征增大太多，通過盡量減少特征丟失保留更多上采樣中依賴的低級特征。經(jīng)過上采樣最終得到32 個大小為512×512 的特征圖，輸出與原圖像尺度、通道數(shù)一樣的圖像。

1.1 視圖數(shù)量

LIDC MATLAB 工具箱將CT 數(shù)據(jù)的XML 注釋信息作為輸入的起始真值數(shù)據(jù)。工具箱的輸出為每個切片創(chuàng)建一個單獨(dú)文件夾，其中包含四個放射科醫(yī)生提供的掩膜。將各個掩膜組合在一起對像素求和并歸一化生成最終的結(jié)節(jié)掩膜也稱為概率圖（pmap），以根據(jù)放射科醫(yī)生的意見顯示該像素對結(jié)節(jié)真值的貢獻(xiàn)概率。當(dāng)像素概率大于0.76 時特征圖標(biāo)記為結(jié)節(jié)掩膜。在創(chuàng)建3D PMAP 之后，從軸向、冠狀和矢狀視圖的結(jié)節(jié)中提取三個不同的視圖以及三維長方體邊之間不同平面的六個基本視圖[16]如圖2 所示，并保存在不同的文件夾中。不同切片中包含的肺結(jié)節(jié)區(qū)域不一樣，因此選擇一個準(zhǔn)確且通用的卷積核是很困難的，故采用3×3來提取多個尺度的信息，從而捕捉更多的特征。由于卷積核大小不變，在每層卷積中時間復(fù)雜度與輸出特征圖邊長平方和卷積核個數(shù)的乘積成正相關(guān)，空間復(fù)雜度與特征圖的大小平方成正相關(guān)，故編碼路徑逐層增加維數(shù)使網(wǎng)絡(luò)復(fù)雜度增加，復(fù)雜度的變化由輸入視圖設(shè)置的數(shù)量和大小決定。實(shí)驗(yàn)中采用三維分割獲得具有三維特性的結(jié)節(jié)，通過輸入多個視圖的結(jié)節(jié)同時代替整體結(jié)節(jié)來降低網(wǎng)絡(luò)復(fù)雜度，同時采集到多視圖的尺度信息數(shù)量能夠提升對小尺度物體的分割精度。

圖2 三維結(jié)節(jié)的不同視圖Fig.2 Different views of three-dimensional nodules

1.2 編碼路徑

網(wǎng)絡(luò)的收縮路徑包括四個步驟。每個步驟由兩個3×3 卷積濾波器、一個最大池化函數(shù)和ReLU 組成，每一步過后的特征圖數(shù)量翻倍。編碼路徑的最后一層產(chǎn)生具有高級語義信息的高維圖像。在編碼路徑的最后一步，原始U-Net包含一系列可以學(xué)習(xí)不同類型特征的卷積層，然而網(wǎng)絡(luò)可能在連續(xù)卷積中學(xué)習(xí)冗余特征。為了緩解這一問題，提出的密集連接卷積有助于通過網(wǎng)絡(luò)重用進(jìn)行特征圖的學(xué)習(xí)提高其網(wǎng)絡(luò)性能。每個密集塊中每一層和所有后續(xù)層直接連接，每個3×3卷積前面都包含一個1×1 卷積操作，目的是減少輸入的特征圖數(shù)量，使用ReLU 激活函數(shù)以及BN 操作進(jìn)行歸一化。在每個密集塊之間加入1×1 卷積來幫助網(wǎng)絡(luò)學(xué)習(xí)一組不同的特征圖而不是冗余特征來實(shí)現(xiàn)降維，此外該方法通過允許信息在網(wǎng)絡(luò)中流動并重用特征來提高網(wǎng)絡(luò)的性能。然而密集連接卷積可以從之前產(chǎn)生的所有特征中獲益從而促使網(wǎng)絡(luò)避免梯度爆炸或消失的風(fēng)險，另外梯度在反向路徑中可以被更快地發(fā)送到網(wǎng)絡(luò)中各自的位置，為此在網(wǎng)絡(luò)中引入一個包含兩個密集卷積的塊。在編碼路徑的最后一個卷積層中有N個緊密相連的序列塊如圖3 所示。將視為第i卷積塊的輸出。將之前所有卷積特征圖的級聯(lián)作為第i(i∈{1,2,…,N})卷積塊的輸入，即，輸出為

圖3 雙向LSTM中的密集卷積層Fig.3 Dense convolutional layer in bidirectional LSTM

1.3 解碼路徑

解碼路徑中每個步驟的開始是對前一層的輸出執(zhí)行上采樣功能。一般U-Net 使用對收縮路徑的對應(yīng)特征圖進(jìn)行剪裁并復(fù)制到解碼路徑，然后將這些特征圖與上采樣函數(shù)的輸出連接起來。在改進(jìn)雙向LSTM 網(wǎng)絡(luò)中，使用雙向LSTM 以更復(fù)雜的方式處理這兩種特征圖。設(shè)Xe∈RFl×Wl×Hl為編碼路徑中復(fù)制的特征圖集，為前一層卷積的特征圖集，其中Fl為第l層的特征圖數(shù)，Wl×Hl為第l層每個特征圖的大小，其中首先將Xd傳到上一層卷積后進(jìn)行上采樣如圖4 所示，通過2×2卷積將每個特征圖的大小翻倍，同時將特征信道的數(shù)量減半，即產(chǎn)生同樣在擴(kuò)展路徑中逐層增加特征圖的大小，為了在最終層達(dá)到輸入圖像的原始大小。

圖4 雙向LSTM網(wǎng)絡(luò)Fig.4 Bidirectional LSTM network

經(jīng)過上采樣后在插入BN得到，在訓(xùn)練步驟中的每一層都要適應(yīng)并學(xué)會新的激活函數(shù)分布，會導(dǎo)致中間層在訓(xùn)練過程中出現(xiàn)訓(xùn)練速度變慢的問題。該網(wǎng)絡(luò)的標(biāo)準(zhǔn)化通過減去批處理均值并除以批處理標(biāo)準(zhǔn)偏差使網(wǎng)絡(luò)中某一層的輸入可以提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速率和穩(wěn)定性能，同時適當(dāng)?shù)恼齽t化能改變提升網(wǎng)絡(luò)的性能。

負(fù)擔(dān)過重會導(dǎo)致網(wǎng)絡(luò)不收斂，故應(yīng)選擇較小的初始權(quán)值和閾值，同時隱藏層節(jié)點(diǎn)數(shù)減少可以使網(wǎng)絡(luò)結(jié)構(gòu)和運(yùn)算量減少。由于訓(xùn)練時間的限制，學(xué)習(xí)率過大或?qū)W習(xí)速率加快會引起網(wǎng)絡(luò)出現(xiàn)波動現(xiàn)象，導(dǎo)致不收斂的危險。通過實(shí)驗(yàn)發(fā)現(xiàn)隱藏層的數(shù)量選擇也會對網(wǎng)絡(luò)收斂速度產(chǎn)生影響，因此選擇一個合適的學(xué)習(xí)率是算法提升性能的關(guān)鍵問題。為了使學(xué)習(xí)速率足夠大，又不會產(chǎn)生震蕩，故在權(quán)值調(diào)整公式中加入動量項(xiàng)，可以對網(wǎng)絡(luò)起到一定的穩(wěn)定作用。若步長過小，收斂速度太慢，然而當(dāng)步長過大時，會引起誤差函數(shù)不下降導(dǎo)致最后網(wǎng)絡(luò)不收斂。為了加速網(wǎng)絡(luò)的收斂，同時考慮到數(shù)據(jù)集中圖像的體素值不一致，本文采用均值和標(biāo)準(zhǔn)差的方法對圖像進(jìn)行了歸一化?？紤]數(shù)據(jù)集中樣本數(shù)量較少，對CT 圖像采用剪裁、翻轉(zhuǎn)和復(fù)制的方法進(jìn)行了數(shù)據(jù)增強(qiáng)。該網(wǎng)絡(luò)用Overlap-tile 策略補(bǔ)全輸入圖像的上下文信息并對數(shù)據(jù)進(jìn)行增強(qiáng)，既可以解決訓(xùn)練數(shù)據(jù)不足的問題，也可以提高算法的魯棒性。

1.4 雙向LSTM網(wǎng)絡(luò)

上式中，*和°分別表示卷積函數(shù)和Hadamard 函數(shù)。Xt是輸入張量，H是隱性狀態(tài)張量，Ct是存儲單元張量，Wx*和Wh*分別對應(yīng)輸入和隱性狀態(tài)的二維卷積核，其中bi、bf、bo和bc是偏差項(xiàng)。

該網(wǎng)絡(luò)使用雙向LSTM 卷積對Xe和進(jìn)行編碼，雙向LSTM使用兩個LSTM將輸入數(shù)據(jù)處理成前后兩個方向的路徑，然后通過處理兩個方向的數(shù)據(jù)依賴關(guān)系來決定當(dāng)前的輸入。通常LSTM 只處理前向的依賴項(xiàng)，但是應(yīng)該充分考慮序列中的所有信息，因此考慮后向依賴項(xiàng)可能是有效的。事實(shí)證明分析前向和后向的視角都能提高預(yù)測性能，每一個前向和后向的卷積LSTM 都可以看作是一個標(biāo)準(zhǔn)LSTM，雙向LSTM 的輸出計(jì)算為：

上式中Hα和Hβ分別表示前向和后向的隱性狀態(tài)張量，b為偏置項(xiàng)，表示雙向信息的最終輸出。該方法利用雙曲正切tanh 通過非線性方式將前向和后向的輸出結(jié)合起來，使用原始U-Net網(wǎng)絡(luò)的能量函數(shù)來訓(xùn)練網(wǎng)絡(luò)。

標(biāo)準(zhǔn)的LSTM以時序順序處理只考慮了歷史信息，忽略了預(yù)測信息，然而同時考慮特征的歷史信息和預(yù)測信息有助于特征建模任務(wù)。因此，本文使用雙向LSTM網(wǎng)絡(luò)得到前向和后向路徑的特征表示，分別從前后兩個方向處理特征路徑，由下采樣產(chǎn)生的卷積特征僅在初始時刻被輸入到雙向LSTM單元中，雙向LSTM單元的內(nèi)部參數(shù)在每個時刻動態(tài)更新。這些參數(shù)刻畫了雙向LSTM單元對視覺信息長期與短期的記憶，是視覺信息的另一種表征。雙向LSTM 在參數(shù)更新完畢后將被輸入到上采樣中進(jìn)行特征融合。

雙向LSTM 能夠?qū)W習(xí)利用輸入的空間語義信息動態(tài)地改變圖像不同區(qū)域的權(quán)重。隨后前向路徑通過LSTM 的輸出與提取感興趣區(qū)域來計(jì)算所有區(qū)域上圖像特征的加權(quán)平均值，并將這個值作為特征向量輸入后向路徑。其中遺忘門學(xué)習(xí)的是從輸入信息中保留多少信息，輸入門則控制著輸入信息中的哪些部分會被模型選擇，輸出門控制著哪些信息被作為長期記憶更新到雙向LSTM 單元的參數(shù)中。這些門使LSTM 能夠通過選擇性地閱讀、記憶、遺忘一部分信息學(xué)習(xí)到復(fù)雜的空間上下文信息從而提高網(wǎng)絡(luò)的檢測性能。

1.5 損失函數(shù)

在二分類的語義分割任務(wù)中，常用的損失函數(shù)是二值交叉熵?fù)p失函數(shù)，使用二值交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，可以穩(wěn)定傳回每個類別相對應(yīng)的梯度，有效解決了在反向傳播過程中梯度消失的問題。由于損失函數(shù)在梯度回傳的過程中對每個類別均等地進(jìn)行評估，對于存在不平衡類別問題的圖像來說，其中最常見的類別更容易改變網(wǎng)絡(luò)的優(yōu)化方向，進(jìn)而影響最終的分割結(jié)果。其公式如下：

式中，gi為像素點(diǎn)i的真實(shí)類型，pi為網(wǎng)絡(luò)對像素點(diǎn)i的預(yù)測類型結(jié)果。

另一種可以通過學(xué)習(xí)使網(wǎng)絡(luò)預(yù)測結(jié)果逐漸逼近真實(shí)結(jié)果的分割任務(wù)損失函數(shù)為Dice 相似系數(shù)損失函數(shù)。一旦預(yù)測結(jié)果中有部分像素預(yù)測錯誤，會導(dǎo)致預(yù)測目標(biāo)的梯度劇烈變化，從而增加了網(wǎng)絡(luò)的訓(xùn)練困難，公式如下：

本文根據(jù)二值交叉熵和Dice 相似系數(shù)損失函數(shù)的特點(diǎn)提出了一種混合損失函數(shù)。在反向傳播中混合損失函數(shù)避免了均方誤差損失函數(shù)學(xué)習(xí)速率降低的問題，同時通過學(xué)習(xí)速率控制輸出的誤差；既能夠解決正負(fù)樣本數(shù)據(jù)分布不平衡的問題，也可以緩解訓(xùn)練時交叉熵與測試時F1 的失配問題；重點(diǎn)通過計(jì)算預(yù)測肺結(jié)節(jié)前景和真實(shí)標(biāo)簽中肺結(jié)節(jié)前景的交集和并集，來解決因背景像素過多而導(dǎo)致?lián)p失函數(shù)太小的問題，公式如下：

式中，α為權(quán)重因子，用于調(diào)節(jié)兩種損失函數(shù)所占權(quán)重。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

該神經(jīng)網(wǎng)絡(luò)通過Lung Nodule Analysis 2016（LUNA16）和阿里巴巴天池競賽數(shù)據(jù)集進(jìn)行訓(xùn)練。LUNA16 數(shù)據(jù)來自肺部圖像數(shù)據(jù)庫協(xié)會，它包含888 個CT和1 186個陽性結(jié)節(jié)。

本實(shí)驗(yàn)將所有數(shù)據(jù)分成10個子集，利用9個子集進(jìn)行訓(xùn)練，1個子集進(jìn)行測試。本文提取左右肺葉區(qū)域掩膜并忽略胸腔以及其他噪聲作為網(wǎng)絡(luò)的輸入，提取步驟如圖5 所示：（1）對CT 掃描圖像做二值化處理，經(jīng)過聚類分析得出可以區(qū)分肺區(qū)和非肺區(qū)的閾值；（2）采用K-means 聚類來區(qū)分肺區(qū)作為一類，非肺區(qū)及周圍為另一類[17]；（3）通過對圖像內(nèi)部存在的高亮區(qū)域使用腐蝕操作來去除局部細(xì)微顆粒噪聲[18]；（4）采用圖像膨脹處理將血管包含為肺部組織，目的是移除由于不透明射線引起的肺部黑色噪聲和覆蓋區(qū)域[19]；（5）將第（4）步的結(jié)果與原圖做與操作后剪裁到同樣大小得到肺實(shí)質(zhì)區(qū)域[20]。

圖5 提取肺部掩膜流程圖Fig.5 Flow chart of lung mask extraction

2.2 數(shù)據(jù)增強(qiáng)

首先將CT 標(biāo)準(zhǔn)化掃描的平均值設(shè)為?600，標(biāo)準(zhǔn)差設(shè)為300，再進(jìn)行數(shù)據(jù)增強(qiáng)的方法如下：

（1）剪裁，對每個512×512的CT圖像，每隔2個像素對其進(jìn)行裁剪，裁剪成500×500 的小切片，最后每個候選區(qū)域的數(shù)據(jù)量增加了36倍。

（2）翻轉(zhuǎn)，對每一幅CT圖像從三個維度（軸向、冠狀面和矢狀面視圖）采用翻轉(zhuǎn)，最終得到每幅CT圖像的數(shù)據(jù)量增加了288倍。

（3）復(fù)制，為了訓(xùn)練數(shù)據(jù)集中正樣本特征和負(fù)樣本特征的數(shù)量達(dá)到平衡，故將正樣本特征復(fù)制8 次后使用。

2.3 評價標(biāo)準(zhǔn)

該實(shí)驗(yàn)采用平均像素精度（MPA）[21]、像素精度（PA）、平均交并比（MIoU）[22]，衡量分割效果采用三種常用語義分割標(biāo)準(zhǔn)公式如下所示：

設(shè)k=1 時肺結(jié)節(jié)分割的過程只需要語義分割結(jié)果。pij表示預(yù)測為j類卻屬于i類的像素?cái)?shù)量，pii和pji分別表示預(yù)測為i類卻屬于i類的像素?cái)?shù)量以及預(yù)測為j類卻屬于i類的像素?cái)?shù)量。

2.4 參數(shù)設(shè)置

在訓(xùn)練中經(jīng)過預(yù)處理后的10 張CT 圖像作為一組輸入數(shù)據(jù)，選擇混合損失函數(shù)作為目標(biāo)函數(shù)，利用Adam優(yōu)化器優(yōu)化網(wǎng)絡(luò)，將初始學(xué)習(xí)率設(shè)定為10?5，批量大小設(shè)置為32，動量設(shè)置為0.9。動量參數(shù)設(shè)置為在訓(xùn)練和測試數(shù)據(jù)集中保留相似的數(shù)據(jù)分布，以避免由于數(shù)據(jù)不均衡而導(dǎo)致過分割和欠分割。

本文對損失函數(shù)中的權(quán)重因子α值選擇和有效性進(jìn)行了研究，由于不同損失函數(shù)對應(yīng)的量級和收斂速度不同，在訓(xùn)練過程中先使用超參數(shù)調(diào)整損失到同一量級后，再在這一范圍內(nèi)尋找能平衡收斂速度的參數(shù)。實(shí)驗(yàn)先對交叉熵?fù)p失函數(shù)和Dice相似系數(shù)損失函數(shù)單獨(dú)訓(xùn)練，在接近收斂時將損失函數(shù)的權(quán)重?cái)?shù)量級設(shè)為基準(zhǔn)權(quán)重，得到交叉熵?fù)p失函數(shù)的權(quán)重為0.25，Dice 相似系數(shù)損失函數(shù)的權(quán)重為0.16，此時通過調(diào)整超參數(shù)把混合損失函數(shù)基準(zhǔn)權(quán)重設(shè)成1∶5。如果想要強(qiáng)調(diào)其中一個損失函數(shù)就在此基礎(chǔ)上增加對應(yīng)權(quán)重?cái)?shù)值，將α分別設(shè)置為0、0.2、0.4、0.6、0.8和1，表1說明混合損失函數(shù)在不同權(quán)重因子下對網(wǎng)絡(luò)性能的影響，最終通過五組對比實(shí)驗(yàn)得到效果最優(yōu)的權(quán)重因子。從表1 中可以看出當(dāng)α取值為0.6時，網(wǎng)絡(luò)的性能表現(xiàn)最佳。然而當(dāng)α取值為0時，損失函數(shù)為二值交叉熵?fù)p失函數(shù)；當(dāng)α取值為1 時，此時損失函數(shù)為相似系數(shù)損失函數(shù)。因此本實(shí)驗(yàn)將權(quán)重因子α的值設(shè)為0.6。

表1 不同權(quán)重因子對改進(jìn)雙向LSTM性能的影響Table 1 Influence of different weight factors on improved bidirectional LSTM performance

LSTM 網(wǎng)絡(luò)層總參數(shù)為（隱藏層神經(jīng)元數(shù)×輸入的維度+隱藏層神經(jīng)元數(shù)×隱藏層神經(jīng)元數(shù)（上一層的隱藏層輸入）+偏置（隱藏層神經(jīng)元數(shù)））×4，乘以4 是因?yàn)長STM 有三種不同的門：輸入門、遺忘門、輸出門、再加上一個輸入，盡管LSTM 每個時刻都是參數(shù)共享，但還是要計(jì)算參數(shù)的。卷積層的總參數(shù)為卷積核的寬×卷積核的長×輸入的通道數(shù)×卷積核的個數(shù)+卷積核個數(shù)，因?yàn)閷γ總€卷積核都要去卷積輸入的每個通道，故這里卷積核的個數(shù)就是卷積通道數(shù)。在下采樣中第一層卷積圖像輸入為512×512×32，池化后輸出128×128×64，卷積核大小3×3，因此參數(shù)量為3×3×32×64+64。最后一個卷積層為8×8×480，卷積核大小3×3，因此參數(shù)量為3×3×512×512+512。

2.5 實(shí)驗(yàn)結(jié)果

表2 是各種實(shí)驗(yàn)方法在97 例測試數(shù)據(jù)上的實(shí)驗(yàn)對比結(jié)果[23-27]。表3是各種實(shí)驗(yàn)方法對97例測試數(shù)據(jù)集抽取39例小結(jié)節(jié)（直徑在3.1 mm～7.5 mm）的實(shí)驗(yàn)對比結(jié)果[23-27]。圖6 為神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程曲線圖（對比文獻(xiàn)[24]和[27]的方法均不涉及神經(jīng)網(wǎng)絡(luò)，故無訓(xùn)練曲線）從圖中可以看出改進(jìn)雙向LSTM網(wǎng)絡(luò)在Epoch為124附近時損失值就已經(jīng)達(dá)到比較低的水平并且保持小幅度的浮動，驗(yàn)證集的損失值趨于穩(wěn)定。其余方法的損失值均高于本文方法，本文實(shí)驗(yàn)中的訓(xùn)練迭代次數(shù)設(shè)置為124。

表2 實(shí)驗(yàn)結(jié)果對比Table 2 Comparison of experimental results

表3 小結(jié)節(jié)分割結(jié)果對比Table 3 Comparison of segmentation results of small nodules

圖6 訓(xùn)練過程曲線圖Fig.6 Curve of training process

表2和表3展示了不同網(wǎng)絡(luò)在像素正確分類概率和頻率的多重評價指標(biāo)中，改進(jìn)雙向LSTM均比其他方法得到更高的分?jǐn)?shù)，同時也體現(xiàn)了該方法在不同尺寸結(jié)節(jié)的圖像分割中保持了高效的分割精度和穩(wěn)定性。這是由于其他模型沒有充分利用網(wǎng)絡(luò)中所提取的圖像特征。模型對于編碼器提取的所有特征只進(jìn)行上采樣操作，將其恢復(fù)到輸入圖像的大小，從而忽略了多尺度特征空間的像素定位與分類之間的關(guān)系，因此這類模型的分割結(jié)果較差。改進(jìn)雙向LSTM 模型通過利用局部特征和全局特征進(jìn)行像素精確定位和分類，使網(wǎng)絡(luò)的分割性能更加高效。模型不僅采用跳躍連接方式，而且還通過密集連接模塊將相鄰跳躍連接中雙向LSTM 網(wǎng)絡(luò)層中提取的特征融合起來，有效避免特征冗余的同時能夠進(jìn)一步加強(qiáng)網(wǎng)絡(luò)對特征的傳遞與利用，同時也能夠緩解網(wǎng)絡(luò)中梯度消失的問題，因此改進(jìn)雙向LSTM網(wǎng)絡(luò)對圖像中的微小或邊界模糊的肺結(jié)節(jié)區(qū)域具有更強(qiáng)的學(xué)習(xí)能力。

圖7 為多類型肺結(jié)節(jié)的分割效果，其中（1）、（2）為常見孤立型肺結(jié)節(jié)，（3）、（4）為血管粘連型肺結(jié)節(jié)，（5）、（6）為胸膜牽拉型肺結(jié)節(jié)，（7）為不易識別的磨玻璃型肺結(jié)節(jié)。（2）、（3）、（6）的結(jié)節(jié)直徑都小于7.4 mm。結(jié)果表明該網(wǎng)絡(luò)能夠?qū)Υ蠼Y(jié)節(jié)（1）、（5）、（7）有完整的分割效果，對小結(jié)節(jié)（2）、（3）、（6）有較為精準(zhǔn)的分割效果，實(shí)驗(yàn)中其他方法對比本文方法存在欠分割和過分割的情況。由于文獻(xiàn)[23]和[24]的方法忽略了多尺度特征融合的重要性，只能實(shí)現(xiàn)對肺結(jié)節(jié)的大致定位。肺結(jié)節(jié)在圖像中所占比例較大，且其像素值與背景區(qū)域中的血管等組織相近，將背景區(qū)域預(yù)測為肺結(jié)節(jié)區(qū)域，容易受到與病灶相似的干擾區(qū)域的影響分割結(jié)果誤差較大。相比之下，本網(wǎng)絡(luò)與其他分割網(wǎng)絡(luò)相比，分割效果得到顯著提升，在針對微小或邊界模糊的肺結(jié)節(jié)的分割過程中魯棒性高，具有良好的分割性能。綜合實(shí)驗(yàn)結(jié)果表明本文提出的改進(jìn)雙向LSTM 分割網(wǎng)絡(luò)在LUNA16 和阿里巴巴天池競賽數(shù)據(jù)集的肺結(jié)節(jié)分割MIoU 值達(dá)到了90.1%，在對大結(jié)節(jié)和小結(jié)節(jié)的完整度和分割精確程度都有良好效果。

圖7 不同類型肺結(jié)節(jié)分割結(jié)果Fig.7 Segmentation results of different types of lung nodules

3 討論

U-Net網(wǎng)絡(luò)通過在跳躍連接中插入雙向LSTM網(wǎng)絡(luò)改進(jìn)后具有更準(zhǔn)確、更精細(xì)的分割輸出。來自前一解碼層和相應(yīng)編碼層的兩種特征在跳躍連接之后組合，通常在U-Net 中使用連接函數(shù)來組合編碼和解碼兩種特征。本網(wǎng)絡(luò)利用雙向LSTM 對特征進(jìn)行組合編碼和解碼，編碼后的特征擁有更高的分辨率并包括更多輸入圖像的局部信息，而解碼后的特征具有更多關(guān)于輸入圖像的語義信息，這兩個特征之間相互影響會生成一組包括豐富的局部特征和語義信息特征圖。本文提出的方法不是簡單的特征級聯(lián)，而是在雙向LSTM中都使用一組卷積濾波器，通過卷積濾波器來組合編碼和解碼特征，因此每個雙向LSTM對應(yīng)一種特征，也能夠編碼另一種特征的相關(guān)信息。

網(wǎng)絡(luò)在每個卷積層后加入BN 來加快學(xué)習(xí)過程，通過對有無BN的雙向LSTM網(wǎng)絡(luò)采用數(shù)據(jù)集進(jìn)行訓(xùn)練來評估該方法的效果。圖8（a）為無BN 網(wǎng)絡(luò)的訓(xùn)練和測試精度，圖8（b）為有BN 網(wǎng)絡(luò)的比較結(jié)果。沒有BN 的雙向LSTM 網(wǎng)絡(luò)在200 個Epochs 之后收斂，同樣在有BN 是30 個Epochs 收斂，結(jié)果表明BN 使網(wǎng)絡(luò)收斂速度加快了6.6 倍，同時也提升了雙向LSTM 網(wǎng)絡(luò)的精度。BN通過控制輸入分布的均值和方差來對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，同時對這些變化進(jìn)行控制從而實(shí)現(xiàn)正則化并減少泛化誤差，綜合來看BN有助于提高網(wǎng)絡(luò)性能。

圖8 改進(jìn)雙向LSTM訓(xùn)練和測試準(zhǔn)確性Fig.8 Improved bidirectional LSTM training and testing accuracy

密集卷積的核心思想是通過卷積塊之間的直接連接從而在塊之間共享特征圖。因此每個密集塊接收所有前面的層作為輸入來產(chǎn)生更加多樣化和豐富的特征，有助于網(wǎng)絡(luò)增加更深層次的模型表達(dá)能力。由于密集卷積通過較短連接接受損失函數(shù)的附加監(jiān)督，因此網(wǎng)絡(luò)對后向路徑進(jìn)行深度監(jiān)督，該方法在前向和后向路徑通過密集卷積得到更多的特征傳播。由于誤差信號可以直接地傳播到較早的層，導(dǎo)致這些層可以直接受到最后一層的監(jiān)督從而減少梯度消失的問題。與其他深度學(xué)習(xí)架構(gòu)（如殘差連接）相比，密集卷積在提高網(wǎng)絡(luò)精度的同時僅需要較少的參數(shù)。

4 結(jié)論

本文提出用于醫(yī)學(xué)圖像分割的改進(jìn)雙向LSTM 網(wǎng)絡(luò)，通過在跳躍連接中加入雙向LSTM并加入密集連接卷積塊的實(shí)驗(yàn)結(jié)果表明網(wǎng)絡(luò)能夠捕獲更多的特征判定信息，從而得到更精確的分割結(jié)果。此外在卷積層之后利用BN可以將網(wǎng)絡(luò)速度提高6倍左右。在LUNA16和阿里巴巴天池競賽數(shù)據(jù)集上的實(shí)驗(yàn)數(shù)據(jù)說明該網(wǎng)絡(luò)與其他出色的方法相比語義分割的效果更好。