基于位置信息的肺部疾病診斷網(wǎng)絡(luò)*

左 琳

(南開大學(xué) 附屬第一中心醫(yī)院， 天津 300192)

隨著工業(yè)技術(shù)的快速發(fā)展，由此導(dǎo)致的空氣污染問題也日益嚴(yán)重，因肺部病變導(dǎo)致的呼吸道疾病的發(fā)病率和致死率也呈現(xiàn)出逐年增加的趨勢(shì)[6-7].然而，由于醫(yī)療資源分布的不均勻，導(dǎo)致在肺部疾病的診斷過程中有大量的疑難病癥無法得到準(zhǔn)確診斷[8].因此發(fā)展智能化、精確化的計(jì)算機(jī)輔助診斷技術(shù)，對(duì)于解決醫(yī)療資源分布不均問題、減少醫(yī)生的診斷負(fù)擔(dān)、提升診斷準(zhǔn)確率和效率是十分必要的[9].

目前，針對(duì)肺部疾病診斷的計(jì)算機(jī)輔助診斷技術(shù)主要包括：傳統(tǒng)的機(jī)器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法[10-11].其中，傳統(tǒng)機(jī)器學(xué)習(xí)方法使用區(qū)域生長(zhǎng)、閾值法和統(tǒng)計(jì)分析等方法分割出肺部區(qū)域，然后使用基于機(jī)器學(xué)習(xí)或基于規(guī)則的方法對(duì)分割出的區(qū)域進(jìn)行統(tǒng)計(jì)分類并得到診斷結(jié)果.Deng等[11]提出了一種基于模糊閾值的CT圖像分割算法，算法首先分割出肺部區(qū)域，然后使用加權(quán)支持向量機(jī)將分割出的區(qū)域分為結(jié)節(jié)區(qū)和非結(jié)節(jié)區(qū).Tobias等[12]提出了一種基于主動(dòng)輪廓模型的肺部區(qū)域分割算法，并提取出分割區(qū)域的三維解剖特征和二維隨機(jī)特征對(duì)分割區(qū)域進(jìn)行分類.這類方法通常需要人工參與設(shè)計(jì)特征的提取過程，而基于深度學(xué)習(xí)的方法直接使用深度神經(jīng)網(wǎng)絡(luò)提取輸入圖像的特征，不僅簡(jiǎn)化了特征提取過程，而且將肺部疾病診斷作為一個(gè)端到端圖像分類的過程，具有更高的性能.Wang等[13]提出了一種基于三維卷積神經(jīng)內(nèi)網(wǎng)絡(luò)的肺部結(jié)節(jié)檢測(cè)方法，首先使用局部幾何濾波器生成候選區(qū)域，然后使用三維卷積對(duì)候選區(qū)域進(jìn)行分類.Zebin等[14]將反卷積操作引入到Faster R-CNN網(wǎng)絡(luò)中，實(shí)現(xiàn)肺部疾病區(qū)域的檢測(cè).Imran等[15]基于U-Net的編解碼結(jié)構(gòu)和三維雙路徑網(wǎng)絡(luò)實(shí)現(xiàn)肺部CT疾病的診斷，該方法將分割出的候選疾病區(qū)域分為良性和惡性兩類.

雖然現(xiàn)有的方法均能獲得較高的識(shí)別精度，但其忽略了肺部器官間的相對(duì)位置對(duì)診斷結(jié)果的影響[16].本文提出了一種基于位置信息的肺部疾病分類網(wǎng)絡(luò)，該方法將位置信息應(yīng)用于肺部疾病診斷中，實(shí)現(xiàn)位置導(dǎo)向的特征提取和疾病分類.在大規(guī)模數(shù)據(jù)上的仿真測(cè)試實(shí)驗(yàn)結(jié)果表明，所提出的方法能提取出更多有效特征，從而提升肺部疾病的診斷精度.

1 基于位置信息的分類網(wǎng)絡(luò)

在傳統(tǒng)的圖像分類網(wǎng)絡(luò)中，使用池化層增加網(wǎng)絡(luò)的感受野，然而池化層的存在使得圖像中像素點(diǎn)原始的位置被掩蓋，這一信息的缺失對(duì)于場(chǎng)景更為復(fù)雜的自然圖像分類并不會(huì)造成較大的影響.而醫(yī)學(xué)圖像的場(chǎng)景更為單一，器官和組織間的相對(duì)位置關(guān)系對(duì)于圖像的分類具有重要意義，這一信息的缺失會(huì)直接影響圖像的分類精度.因此本文將位置信息引入醫(yī)學(xué)圖像的分類問題中，提出了一種基于位置信息的肺部疾病診斷網(wǎng)絡(luò).

在自然語(yǔ)言處理任務(wù)中，通常使用余弦和正弦編碼的方式對(duì)句子中的位置順序進(jìn)行編碼，該方法在處理位置信息相對(duì)固定的圖像時(shí)具有較優(yōu)的精度，然而對(duì)于醫(yī)學(xué)圖像而言，人體組織間的差異以及拍攝時(shí)患者的不同姿勢(shì)均會(huì)導(dǎo)致拍攝到的圖像中器官間的位置發(fā)生變化.為了解決這一問題，本文中提出了一種相對(duì)距離編碼的方式實(shí)現(xiàn)肺部器官的位置編碼.該方法首先分割出肺部區(qū)域和心臟區(qū)域，然后根據(jù)分割結(jié)果計(jì)算出器官間的相對(duì)距離，最終將生成的相對(duì)距離作為肺部疾病分類網(wǎng)絡(luò)的條件輸入，實(shí)現(xiàn)肺部疾病的診斷.

1.1 基于U-net的肺部組織分割網(wǎng)絡(luò)

為了實(shí)現(xiàn)器官和組織間的相對(duì)距離編碼，本文首先使用U-net網(wǎng)絡(luò)提取出輸入肺部CT圖像的肺部與心臟區(qū)域，實(shí)現(xiàn)器官的預(yù)分割.不同于傳統(tǒng)的全卷積網(wǎng)絡(luò)，U-net網(wǎng)絡(luò)能有效利用高層語(yǔ)義特征的空間信息實(shí)現(xiàn)不同尺度的特征融合，從而減少細(xì)節(jié)信息的丟失.使用卷積層提取圖像的特征，利用下采樣層縮小圖像尺寸，再通過上采樣層恢復(fù)到原始分辨率.網(wǎng)絡(luò)包括一個(gè)編碼部分和一個(gè)對(duì)稱的解碼部分，其中，編碼網(wǎng)絡(luò)的設(shè)計(jì)類似于傳統(tǒng)的分類網(wǎng)絡(luò)，使用一系列卷積操作和降采樣操作提取出圖像的語(yǔ)義信息；而解碼網(wǎng)絡(luò)與編碼網(wǎng)絡(luò)對(duì)稱，使用卷積操作和上采樣操作逐漸恢復(fù)出原始的空間信息.該設(shè)計(jì)網(wǎng)絡(luò)的輸出和輸入具有相同的分辨率，實(shí)現(xiàn)了點(diǎn)到點(diǎn)的像素預(yù)測(cè)，同時(shí)，該網(wǎng)絡(luò)可以兼顧圖像的空間與語(yǔ)義信息.

為了訓(xùn)練該網(wǎng)絡(luò)，本文提出的損失目標(biāo)函數(shù)為

2.1 兩組患者術(shù)后2年臨床治療效果比較 觀察組治療總有效率顯著高于對(duì)照組，差異有統(tǒng)計(jì)學(xué)意義(χ2=5.996，P=0.014)。見表1。

(1)

式中：pi與gi分別為像素i的預(yù)測(cè)概率和真實(shí)類別；N為圖像的總像素?cái)?shù)；ε=0.000 1為平滑參數(shù).但由于醫(yī)學(xué)圖像標(biāo)注樣本數(shù)量有限，故對(duì)數(shù)據(jù)標(biāo)注較為困難，這使得網(wǎng)絡(luò)使用隨機(jī)初始化的參數(shù)時(shí)無法提取出有效的語(yǔ)義信息，因此本文使用ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)代替原始的編碼網(wǎng)絡(luò)，而解碼網(wǎng)絡(luò)則使用隨機(jī)初始化的參數(shù).

1.2 區(qū)域分割精確化處理

上述分割網(wǎng)絡(luò)只能得到比較粗糙的分割結(jié)果，無法保證分割區(qū)域的完整性.為了實(shí)現(xiàn)更精確的相對(duì)位置編碼，本文對(duì)上述分割結(jié)果進(jìn)一步處理以減少預(yù)測(cè)誤差.具體處理步驟為：

1) 定義處理輸入，M為網(wǎng)絡(luò)分割結(jié)果，q=0.5為分割閾值.E為最大保留區(qū)域數(shù)量，對(duì)于肺部區(qū)域E取2，對(duì)于心臟區(qū)域E取1.

3) 使用連通域分析法得到圖像中獨(dú)立前景區(qū)域，然后統(tǒng)計(jì)每個(gè)區(qū)域的像素?cái)?shù)量，并根據(jù)數(shù)量的排名將前n個(gè)區(qū)域作為目標(biāo)區(qū)域的預(yù)分割結(jié)果.

4) 使用二值填充算法對(duì)提取出的預(yù)分割結(jié)果進(jìn)行填充，并得到最終的分割結(jié)果.

經(jīng)過上述步驟處理之后，可以明顯減少孔洞區(qū)域，實(shí)現(xiàn)異常目標(biāo)的過濾，使分割出的結(jié)果更符合預(yù)期目標(biāo).

1.3 相對(duì)距離編碼

為了解決傳統(tǒng)位置編碼方法無法充分利用位置信息，且提取容易受噪聲影響的問題，本文提出了一種相對(duì)距離編碼的方法.其中，相對(duì)距離計(jì)算表達(dá)式為

dr(i，j)=min{(x-i)2+(y-j)2，0≤x

(2)

為了提取出相對(duì)距離信息，本文使用距離變換的方式實(shí)現(xiàn)相對(duì)距離編碼.對(duì)于一張給定的二值圖像I∈RW×H，假定圖像的邊界即二值圖中標(biāo)記為1的像素點(diǎn)集合為B，則距離圖與原圖有相同的寬和高，本文通過迭代計(jì)算的方式得到距離圖，然后，使用模板匹配的方法對(duì)模板位(xp，yp)所在的像素值進(jìn)行更新，即

H(t)(xp，yp)=min{H(t-1)(xp+k，yp+l)+

D(k，l)}

(3)

式中：H(t)(xp，yp)為距離圖在第t次迭代時(shí)位于坐標(biāo)(xp，yp)處的值；D(k，l)為模板中(k，l)點(diǎn)相對(duì)于匹配點(diǎn)的距離，本文使用歐式距離計(jì)算匹配點(diǎn)間的距離.

1.4 基于注意力網(wǎng)絡(luò)的肺部疾病分類

為了提升肺部疾病的診斷精度，本文提出了一種基于注意力網(wǎng)絡(luò)的肺部疾病分類網(wǎng)絡(luò).該網(wǎng)絡(luò)使用SeNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，使用兩層網(wǎng)絡(luò)提取相對(duì)位置編碼的特征，并使用該特征指導(dǎo)后續(xù)主干網(wǎng)絡(luò)的特征提取和肺部疾病分類.基于注意力網(wǎng)絡(luò)的肺部疾病診斷網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，圖1主要由Conv+ReLU+BN模塊構(gòu)成，提取圖像特征.該網(wǎng)絡(luò)使用注意力網(wǎng)絡(luò)和一個(gè)全連接層，將輸入的肺部圖像劃分為對(duì)應(yīng)的類別.

圖1 疾病診斷網(wǎng)絡(luò)Fig.1 Disease diagnosis network

為了實(shí)現(xiàn)距離特征的引導(dǎo)，本文設(shè)計(jì)了距離導(dǎo)向模塊，具體結(jié)構(gòu)如圖2所示.該模塊以殘差連接的方式實(shí)現(xiàn)圖像特征和相對(duì)距離特征的融合，即

H(x)=[1+F(x)]T(x)

(4)

式中：F(x)為圖像特征；T(x)為相對(duì)距離提取的特征；H(x)為融合后的特征.該特征融合模塊可以實(shí)現(xiàn)距離導(dǎo)向的特征提取，且這種特征融合方式不會(huì)對(duì)后續(xù)的特征提取產(chǎn)生較大的影響，對(duì)于位置相關(guān)的疾病診斷具有較為重要的意義，本文疾病分類網(wǎng)絡(luò)使用交叉熵?fù)p失作為目標(biāo)函數(shù).

圖2 距離導(dǎo)向特征提取模塊Fig.2 Distance-oriented feature extraction module

2 仿真分析與實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提出算法的有效性，本文在ChestX-ray14數(shù)據(jù)集上進(jìn)行了仿真測(cè)試與分析.該數(shù)據(jù)集包括肺不張、心臟肥大、胸膜積液、肺浸潤(rùn)、腫塊、結(jié)節(jié)、肺炎、氣胸、肺實(shí)質(zhì)、肺水腫、肺氣腫、纖維化、胸膜增厚和肺痛14種常見肺部疾病，共112 120張圖片.實(shí)驗(yàn)數(shù)據(jù)首先縮放到224×224大小，然后進(jìn)行歸一化操作以提升模型的泛化性能，同時(shí)文中使用隨機(jī)偏移、旋轉(zhuǎn)和縮放進(jìn)行數(shù)據(jù)增強(qiáng).訓(xùn)練時(shí)，使用初始學(xué)習(xí)率為0.001的Adam優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化.文中U-net網(wǎng)絡(luò)包含6個(gè)下采樣結(jié)構(gòu)和6個(gè)對(duì)稱的上采樣結(jié)構(gòu)，疾病診斷網(wǎng)絡(luò)包含4個(gè)特征提取結(jié)構(gòu)和一個(gè)如圖2所示的距離導(dǎo)向特征提取結(jié)構(gòu).

為了驗(yàn)證算法的有效性，本文將基于U-net的肺部區(qū)域分割與其他兩種文獻(xiàn)算法進(jìn)行精確度對(duì)比，結(jié)果如表1所示，其中精確度使用通用的交并比計(jì)算得到.相比于文獻(xiàn)[10]和[11]的結(jié)果，基于U-net的肺部區(qū)域分割方法具有更高的精度.同時(shí)，圖3給出了對(duì)分割結(jié)果精確化處理前后的結(jié)果對(duì)比，從圖3中可以看出，處理后的圖像可以明顯減少孔洞區(qū)域，實(shí)現(xiàn)異常目標(biāo)的過濾，使分割出的結(jié)果更符合預(yù)期目標(biāo).

表1 肺部區(qū)域分割結(jié)果精確度對(duì)比Tab.1 Accuracy comparison of results of lung region segmentation

圖4為本文使用相對(duì)距離編碼時(shí)得到的內(nèi)部相對(duì)距離和外部相對(duì)距離的結(jié)果.從圖4中可以看出，使用內(nèi)部相對(duì)距離編碼能夠更加關(guān)注肺部組織內(nèi)部的元素，使用外部相對(duì)距離編碼會(huì)消除胸腔內(nèi)組織密度變化所導(dǎo)致的影響.

由于不同特征嵌入方法也會(huì)對(duì)網(wǎng)絡(luò)分類結(jié)果產(chǎn)生影響，文中對(duì)距離導(dǎo)向的特征提取模塊進(jìn)行對(duì)比研究.表2為使用不同方法得到的分類結(jié)果，表2中分類精度由正確分類的數(shù)量除以總測(cè)試樣本數(shù)量得到.使用通道級(jí)特征串接和元素級(jí)特征相乘的方式只能得到次優(yōu)結(jié)果，而使用本文方法能夠得到更優(yōu)結(jié)果，相比傳統(tǒng)方法，其精度至少可以提升0.022.

將本文算法與文獻(xiàn)[13]、[14]進(jìn)行不同類型疾病的分類精確度對(duì)比，結(jié)果如表3所示.本文算法對(duì)14種疾病的分類精度結(jié)果優(yōu)于其他算法，表明本文算法能夠有效提升肺部疾病診斷的精度.

圖3 算法精確化處理前后對(duì)比圖Fig.3 Comparison of algorithms before and after post-processing

圖4 內(nèi)部相對(duì)距離和外部相對(duì)距離結(jié)果Fig.4 Results of internal and external relative distances

表2 不同特征融合方法的結(jié)果Tab.2 Results of different feature fusion methods

表3 14種疾病分類精度Tab.3 Classification accuracy of 14 diseases

3 結(jié) 論

本文提出了一種基于位置信息的肺部疾病診斷網(wǎng)絡(luò)來解決位置有關(guān)的肺部疾病分類和診斷問題.將位置編碼嵌入到語(yǔ)義分割網(wǎng)絡(luò)中實(shí)現(xiàn)肺部組織的分割，提升了分割的精度，結(jié)合位置信息可以提取出針對(duì)特定位置的肺部疾病分類特征，并提升所提取特征的有效性.對(duì)14種常見肺部疾病的分類實(shí)驗(yàn)結(jié)果表明，通過位置嵌入的方法能夠指導(dǎo)網(wǎng)絡(luò)提取出更加有效的數(shù)據(jù)特征，實(shí)現(xiàn)位置相關(guān)的特征增強(qiáng)和抑制，從而有效提高肺部疾病的診斷精度.