基于融合先驗知識的肺結節(jié)深度學習分類方法

高峰，張仕瑞

1. 天津大學 精密儀器與光電子工程學院，天津 300072；2. 天津市生物醫(yī)學檢測技術與儀器重點實驗室，天津 300072

引言

如今，在全球范圍內肺癌依舊是發(fā)病率和死亡率最高的癌癥。而相比于其他國家，我國的肺癌發(fā)病率與死亡率為全球第一[1]。研究顯示早期肺癌的術后10年生存率為92%[2]，因此患者的早期診斷與早期治療尤為重要。目前肺部疾病的早期診斷中最常用的是計算機斷層掃描（Computed Tomography，CT），醫(yī)師通過觀察肺部CT圖像診斷患有肺部疾病。但是每位患者采集得到的CT圖像有數(shù)百張，導致醫(yī)師的工作負荷大。

自從Hinton[3]提出深度信念網絡（Deep Belief Network，DBN），深度學習方法引起了學術界的浪潮。有相當多學者研究其在肺部CT圖像診斷中的應用，用來輔助醫(yī)師的診斷和減少醫(yī)師的工作負荷。目前提出方法主要有肺結節(jié)中間層切片2D圖像[4-5]或肺結節(jié)所在3D圖像[6]作為卷積神經網絡（Convolutional Neural Networks，CNN）輸入，通過在模型中提取與整合輸入圖像特征信息從而實現(xiàn)輔助診斷的應用。而在臨床醫(yī)學的發(fā)展中，醫(yī)師們總結了許多結節(jié)特征與其良惡性的關系，如鈣化結節(jié)的良性概率為97%、無鈣化結節(jié)的良性概率為29%[7]、結節(jié)中出現(xiàn)脂成分往往是良性病變[8]、肺癌出現(xiàn)空氣支氣管征比良性病變更加普遍[9]等。

本文方法旨在將醫(yī)師標注待診斷肺結節(jié)時的上述語義信息，作為模型在提取圖像特征時的先驗知識，通過圖像特征與語義特征的多模態(tài)信息[10]融合，實現(xiàn)對肺結節(jié)的良惡性診斷。

1 材料與方法

1.1 數(shù)據(jù)準備

為了本文方法的可復現(xiàn)性和與其他方法的可對比性，本文中使用的實驗數(shù)據(jù)集為LIDC-IDRI，該數(shù)據(jù)集由美國國家癌癥研究所發(fā)起收集，主要為了研究高危人群早期肺結節(jié)檢測，是研究人員可通過網絡訪問的國際公開資源。該數(shù)據(jù)集包含1018個研究實例，由4名經驗豐富的胸部放射科醫(yī)師分別獨立診斷標注后，獨立復審其他三位醫(yī)師的標注，并給出自己最終的診斷結果。在避免強迫共識的前提下，盡可能完整的標注所有結果。

醫(yī)師標注信息中有結節(jié)的區(qū)域、長度以及由醫(yī)師肉眼觀察給出的結節(jié)特征。特征有：subtlety、internalStructure、calcification、sphericity、margin、lobulation、spiculation、texture、malignancy等，各特征按照不同的診斷意見，標注對應的表示數(shù)值。

在本文中針對數(shù)據(jù)集中各結節(jié)，將所有醫(yī)師對其標注的均值作為實驗中標注值。在結節(jié)的標注區(qū)域中間位置以像素大小32×32切割得到圖像作為模型輸入。在結節(jié)良惡性的分類中，‘malignancy’特征可被標注為‘1.Highly Unlikely’‘2.Moderately Unlikely’‘3.Indeterminate’‘4.Moderately Suspicious’或‘5.Highly Suspicious’，因此將標注均值大于3的結節(jié)視為惡性；均值小于3的結節(jié)視為良性；均值等于3的結節(jié)不在實驗中使用。

1.2 數(shù)據(jù)預處理

1.2.1 模糊one-hot碼

由于醫(yī)師標注的語義信息沒有連續(xù)性，不適合在單節(jié)點以連續(xù)數(shù)值表示，因此本文提出模糊one-hot碼，以各特征的每一個可選標注作為一個節(jié)點，將醫(yī)師標注對應節(jié)點設定為1，其他節(jié)點設定為0，并將所有特征的標注相連，將語義信息轉換為可輸入模型的離散節(jié)點信息，具體的轉換算法如下所示。

1.2.2 結節(jié)區(qū)域分割

醫(yī)師標注的語義信息只針對于結節(jié)，因此為了模型能夠將結節(jié)區(qū)域與語義信息關聯(lián)，對結節(jié)區(qū)域做分割處理，去除結節(jié)以外信息。在本文中為得到結節(jié)區(qū)域采用的方法為區(qū)域生長法[11]，由于在該算法中設定不同的閾值可切割得到不同的結節(jié)區(qū)域，且較難找到適合于每一個結節(jié)的算法閾值，因此將設定不同閾值得到的圖像同時輸入至模型中，使模型在訓練中可自適應找到適合的閾值。區(qū)域生長法的初始種子點設定為圖像中間4個像素，設定不同閾值實施區(qū)域生長法效果如圖1所示。

圖1 區(qū)域生長法效果圖

1.2.3 訓練樣本擴增

針對模型訓練時樣本數(shù)量少的問題，對輸入圖像分別采用隨機仿射變換實現(xiàn)數(shù)據(jù)擴增。圖2為對原始圖像做隨機放射變換的效果圖

圖2 仿射變換效果圖

1.3 深度學習模型

本文提出整體模型主要由提取圖像深度特征的子模型（Image Feature Extracting sub-Model，IE模型），整合醫(yī)師標注語義信息的子模型（Semantics Integration sub-Model，SI模型），以及融合圖像特征與語義特征的部分構成。模型圖中FULL表示全連接層、Conv表示卷積層。

IE模型如圖3所示，即分別以大小不同的卷積核提取深度圖像特征并融合后輸出深度特征信息。將原圖像輸入至3×3卷積核大小的卷積層，原因是對原圖進行卷積過程中，如卷積核大則較容易將結節(jié)區(qū)域與其他組織區(qū)域混合起來。將區(qū)域生長算法設定閾值較大的輸出圖像輸入至5×5卷積核的卷積層；將設定閾值較小的輸出圖像輸入至7×7卷積核的卷積層。原因是生長區(qū)域法設定閾值較大時輸出結節(jié)區(qū)域較小；相反地，設定閾值較小時輸出圖像較大。在卷積過程中各卷積核的移動距離為1×1，并且對圖像做padding處理，使得不同卷積核大小的卷積層輸出圖像大小相同。

圖3 IE模型

SI模型如圖4所示，即將醫(yī)師標注語義信息轉換為模糊one-hot碼后輸入該模型，經過全連接層輸出深度特征信息。

圖4 SI模型

將圖像特征與語義特征融合的部分，實質是多模態(tài)融合[10]。多模態(tài)的融合方法有前融合、后融合、混合融合等。后融合會導致臨近輸出層的層節(jié)點數(shù)為4，經過實驗得出該融合方法不易訓練?；旌先诤蠒е聢D像或語義其中一種模態(tài)的信息表達節(jié)點數(shù)失衡，因此最終選擇前融合方式實現(xiàn)多模態(tài)融合。整體模型具體如圖5所示，即輸入預處理結節(jié)圖像與先驗知識，分別經過IE模型與SI模型提取特征后融合，在模型末端通過LogSoftMax激活函數(shù)預測結節(jié)的良惡性。

圖5 整體模型

考慮到當深度學習方法實際應用于臨床診斷時，若進行預測時需要由醫(yī)師向模型輸入語義信息則仍然有相應工作量，較難實現(xiàn)進一步的診斷自動化。為減少上述整體模型在診斷中的語義輸入過程，將對其進行改進。

在SI模型之前加入由輸入圖像提取語義信息的子模型（Semantics Extracting sub-Model，SE模型）。其結構為IE模型的輸出端連接全連接層，使其輸出值為醫(yī)師標注語義信息。SE模型如圖6所示，為實現(xiàn)多標簽分類，在其末端設置Sigmoid激活函數(shù)。訓練該子模型時使用全部訓練集對其進行，即將設定不同閾值區(qū)域生長法的輸出圖像輸入SE模型，對應的模糊one-hot碼作為輸出標簽進行訓練。

圖6 SE模型

改進的整體模型如圖7所示。將已訓練的SE模型去掉Sigmoid激活函數(shù)層后固定其權重作為語義提取器置于SI模型前。改進的整體模型將醫(yī)師標注結節(jié)時的先驗知識融合于模型中，醫(yī)師標注結節(jié)語義信息作為特權信息，在預測過程中只輸入圖像信息。

圖7 改進的整體模型

1.4 評價方法

本文中采用五折交叉驗證[12]對改進的整體模型分類性能進行評價，模型性能指標分別為準確率Γ、靈敏度χ、特異性ξ以及ROC曲線線下面積ψ，各指標定義如公式(1)所示。

式中，γ、?、λ、σ分別表示真陽性、真陰性、假陽性、假陰性的結節(jié)個數(shù)；m+為驗證集正例數(shù)量；m-為驗證集反例數(shù)量；D+為驗證集中正例集；D-為驗證集中反例集；∏(?)為示性函數(shù)；f(·)為訓練后的模型。

2 結果

表1為本文提出方法與其他方法的模型性能對比，表中各實驗使用數(shù)據(jù)均為LIDC-IDRI。由表1可以看出，本文提出方法的模型分類準確率、靈敏度、特異性均相對高于其他方法的模型性能。說明了本文提出的將醫(yī)師對結節(jié)的語義標注信息作為先驗知識融合于深度學習模型中是一種可采用的網絡搭建方式，也為深度學習方法在臨床診斷的應用提供了新的方法。

表1 不同方法性能對比

3 討論

本文提出一種融合先驗知識的肺結節(jié)深度學習分類方法，與其他方法的模型輸入相比，將醫(yī)師標注結節(jié)時語義描述作為模型的先驗知識，在模型中與輸入圖像融合實現(xiàn)良惡性分類。為了將醫(yī)師語義信息輸入模型，提出“模糊one-hot碼”，將醫(yī)師標注語義信息轉換為矩陣信息。

醫(yī)師標注語義只針對肺結節(jié)本身，因此在CT圖像輸入模型前，對其進行生長區(qū)域法預處理。為了更好的提取規(guī)律性不明顯的肺結節(jié)，使用算法時設置不同的閾值，將得到圖像分別輸入至獨立的卷積層使模型自適應各結節(jié)的適合閾值。

為了減少實際使用過程中醫(yī)師語義信息的輸入，設計了由圖像提取語義信息的模型，訓練后固定權重置入整體模型中，醫(yī)師的語義信息作為深度學習中特權信息，將模型改進為只需輸入圖像信息。

有研究指出，結節(jié)在肺中的生長速度、存在位置、患者煙齡等信息亦可用于診斷良惡性的依據(jù)，若結節(jié)病變容積明顯增大，倍增時間30～400 d則幾乎100%為惡性[13]。若位于右肺或上葉則為惡性可能性更大[14]。年齡55～74歲，且吸煙≥30包/年（戒煙<15年）為高危人群[15]等。因此，將針對融合上述信息的模型結構，以及對語義信息的轉換算法展開進一步研究。

4 結論

在新技術方法不斷出現(xiàn)的醫(yī)學研究中，本文認為將先驗知識與新方法融合起來更有利于應用新技術，因此提出融合醫(yī)師先驗知識的深度學習良惡性分類方法。目前深度學習方法仍然有大部分“黑箱子”問題，因此采用深度學習方法時，也將臨床醫(yī)學中總結得來的信息融合于模型中，使深度學習方法可更好應用于醫(yī)學領域。