一種基于注意力機制的CT圖像預(yù)處理方法

莊咸樂,王朝立,孫占全

(上海理工大學(xué) 光電信息與計算機工程學(xué)院,上海 200093)

1 引 言

近年來,神經(jīng)網(wǎng)絡(luò)在醫(yī)療行業(yè)的應(yīng)用越來越普遍,其優(yōu)秀的效果和穩(wěn)定性獲得了醫(yī)療行業(yè)的廣泛認可,而相關(guān)領(lǐng)域的同行們的貢獻也加速了這些應(yīng)用的落地,醫(yī)療CT圖像的分割就是其中重要的應(yīng)用領(lǐng)域之一[1,2].

相較于其它生活圖像,CT圖像具有一些特殊的性質(zhì),其分割主要目標在圖中的大致位置與形狀通常差別不大.對于大多醫(yī)生來說,通常關(guān)注的位置也只會集中在這些區(qū)域,而不會關(guān)注其它區(qū)域的紋理信息.欲使計算機理解并利用上這種專家的注意力經(jīng)驗,前人通常使用的是圖像窗口技術(shù).窗口技術(shù)主要原理即將原12位圖的CT值映射到8位可顯示的范圍中,并根據(jù)各組織的密度不同,選用不同的窗寬窗位調(diào)節(jié),即可提高不同組織的對比度[3].但是這種預(yù)處理方式有一個明顯的問題,即使這種方式可以提取出指定密度組織的信息,但是對于明顯不在肝臟區(qū)域的組織也做不到完全去除;其次,固定的窗寬窗位對于不同人和不同來源的數(shù)據(jù)集也不能表現(xiàn)出明顯的適用性[4].

受到注意力機制提高感興趣區(qū)域權(quán)重的啟發(fā),本文提出一種針對CT圖像等醫(yī)療圖像的預(yù)處理方法,利用各數(shù)據(jù)集的標簽數(shù)據(jù),制作一個經(jīng)驗蒙版,即目標分割在原圖中的概率分布圖,再將這個蒙版和原圖結(jié)合,去除大量無關(guān)信息即負樣本后再送入網(wǎng)絡(luò)中去,可以減少因類別不平衡導(dǎo)致的訓(xùn)練難度大,減少網(wǎng)絡(luò)輸入冗余,降低假陽性率.

2 相關(guān)工作

2.1 CT圖像分割

圖像分割在醫(yī)療影像學(xué)的診斷中十分重要.醫(yī)學(xué)圖像的自動分割能幫助醫(yī)生快速甄別臟器以及確認病變區(qū)域的大小與位置.而CT(計算機斷層掃描)技術(shù),利用精準的傳感器,能夠采集到人體的三維體素信息.若要將CT圖像中的病灶分割出來,這意味著需要對CT圖像逐張進行分割,若全靠影像科醫(yī)生眼看和手動制作的話,工作量必然很大,難以高質(zhì)量完成.故當(dāng)神經(jīng)網(wǎng)絡(luò)方法出現(xiàn)之后,就有大量的學(xué)者將神經(jīng)網(wǎng)絡(luò)應(yīng)用在這個領(lǐng)域當(dāng)中,以達到減少人工工作量和提高分割質(zhì)量的目的.

首先,全卷積神經(jīng)網(wǎng)絡(luò)(FCNs)[5]在一系列廣泛的圖像分割問題上取得了突破性的成功.許多研究人員受此啟發(fā),開始利用全卷積的思路在各種類型的分割問題上分別展開研究.針對FCN分割效果較差的問題,U-net[6]結(jié)構(gòu)被提出,其先進的encoder-decoder結(jié)構(gòu)和跳躍連接結(jié)構(gòu)在各個圖像分割領(lǐng)域尤其是醫(yī)學(xué)影像分割領(lǐng)域被證實了具有較大的優(yōu)越性.隨后,Segnet[7]的出現(xiàn)優(yōu)化了FCN的網(wǎng)絡(luò)大小和運算效率,同時還能保持較高的精確度.在此之后,各種基于先進網(wǎng)絡(luò)結(jié)構(gòu)的組合層出不窮,如著力于主干網(wǎng)絡(luò)特征提取能力提升的基于VGG-16的FCN[8]、多通道FCN[9]等.PSPnet[10]緊接著被提出,它將金字塔結(jié)構(gòu)用于多尺度特征融合、以提高深層網(wǎng)絡(luò)分辨能力.針對某些三維元素,如體素或視頻分割,將二維卷積替換為三維卷積的三維FCNs[11]、Vnet[12]、3D-Unet[13]等;深入思考U-net結(jié)構(gòu)中的編碼-解碼結(jié)構(gòu)并加以擴展創(chuàng)新的Unet++[14];綜合了層間信息和層內(nèi)信息并在比賽中取得優(yōu)異成績的3d-DenseUnet[15]等.這些網(wǎng)絡(luò)結(jié)構(gòu)也常用于CT圖像的分割,如肝癌分割、腦CT影像、肺結(jié)節(jié)的檢查等,而應(yīng)用這些分割結(jié)構(gòu)之前首先需要對CT圖像進行一定程度的預(yù)處理.

2.2 CT圖像預(yù)處理

由于CT原始圖像是12位數(shù)據(jù),轉(zhuǎn)換到計算機顯示的8位圖時會有信息丟失,且原始圖像中臟器組織、骨質(zhì)、體液等密度信息相近.若直接將12位數(shù)據(jù)映射到8位會有大量信息丟失,故目前無論是醫(yī)生觀測還是圖像分割前,均采用韓森費爾德發(fā)明的窗口法[3].如圖1所示,將圖像中每個CT值中小

圖1 窗口法原理圖Fig.1 Principle of windowing method

于窗位值最小值的數(shù)值全部等于最小值,大于最大值的等于最大值,再通過線性映射到8位數(shù)據(jù),即0到255的計算機可顯示范圍內(nèi),從而達到提高所需信息的對比度,減少無關(guān)信息的目的.

盡管窗位窗寬法具有可以增強指定臟器組織的優(yōu)點,但是對于其它無關(guān)區(qū)域的數(shù)據(jù)也無法做到完全隔離,仍然會有大量紋理數(shù)據(jù)存在.同時,對于不同人和不同設(shè)備,采集的CT數(shù)據(jù)也有許多差異,一個固定的窗寬窗位數(shù)值難以適用于這樣復(fù)雜的條件、泛化能力差[4],故本文考慮在CT圖像的預(yù)處理過程中使用注意力機制.

2.3 注意力機制

視覺的注意力機制是人類視覺所特有的一種大腦信號處理機制,由于信息處理能力有限,人類通過快速掃描全局圖像,選擇性地關(guān)注整體信息的一部分,獲得需要重點關(guān)注的目標區(qū)域,而后對這一區(qū)域投入更多注意力資源,同時抑制其它區(qū)域的無關(guān)信息.這種機制有效地提高了人類識別和認知的效率,學(xué)者們也開始學(xué)習(xí)和利用這種機制[16-18].

2017年,Hu J[19]首次將注意力機制應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的特征通道之間,即在層間對各個通道信息的重要性進行總結(jié)評估,提高重要信息的占比;2018年,Woo S[20]將注意力機制擴展應(yīng)用到二維空間,對多通道相同位置的重要性進行總結(jié)評估,提取出空間的注意力熱圖,最后乘回原通道中去.這兩種做法均在不增加網(wǎng)絡(luò)參數(shù)量的基礎(chǔ)上有效地提高了網(wǎng)絡(luò)性能.隨后,注意力機制在圖像分類和分割任務(wù)中得到了廣泛的應(yīng)用[21,22].

本文受到注意力機制通過提高圖像重要信息權(quán)重達到提高網(wǎng)絡(luò)性能的啟發(fā),設(shè)計出一種新的CT圖像預(yù)處理方式,并通過兩個數(shù)據(jù)集以及3個經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)實驗檢驗了這種預(yù)處理方法的有效性.

3 設(shè)計方法

本文談?wù)搶⒆⒁饬C制用于CT圖像的預(yù)處理中,主要處理過程如下:將數(shù)據(jù)集的標簽數(shù)據(jù)累加處理后,計算出分割目標在原圖中的概率分布,并據(jù)此制成一個蒙版,再將這個蒙版和原圖結(jié)合后再送入網(wǎng)絡(luò)中去訓(xùn)練和測試,以達到避免無效信息的干擾,減少因類別不平衡的影響,減少網(wǎng)絡(luò)冗余,降低假陽性率的目的.

3.1 蒙版的制作方式

蒙版的制作與使用方式如圖2所示.通常,CT圖像分割數(shù)據(jù)集的標簽類別主要有臟器組織、病灶、其它, 將數(shù)據(jù)集的標簽數(shù)據(jù)整理后,按不同的類別分別累加,可以得出其概率分布.

圖2 蒙版制作與預(yù)處理過程Fig.2 Mask making and preprocessing

這里以肝部CT舉例,需要解釋的是,由于標簽中通常肝臟并不包括病灶,因此這里的標簽是將所有記作病灶和肝臟組織部分進行累加,隨后可以得出類似如圖3中第1張所示的肝臟組織概率分布圖,圖中區(qū)域亮度越高,表明該區(qū)域是肝組織的概率越大.

但是,如果參考的樣本數(shù)據(jù)量不足,可能會導(dǎo)致得到的概率分布的高頻細節(jié)過于豐富,體現(xiàn)在圖中的效果就是數(shù)據(jù)過渡部分不夠平滑,這樣的概率圖無法充分體現(xiàn)數(shù)據(jù)的共性,而本文期望得到一種適應(yīng)性更廣泛的分布.因此考慮使用濾波來使得概率分布曲面更加平滑,在這里濾波方案不做特別要求,可以使二維圖像模糊即可.本文在此選擇使用高斯濾波,同時使用高斯濾波的另一個原因是它可以拓展蒙版的一些邊緣,增強對一些與訓(xùn)練集有較大出入的個體樣本的包容性,二維高斯濾波核的公式見式(1).式中σ為標準差,(x,y)為像素點坐標.

(1)

濾波完成后需要將得到的分布圖進行歸一化操作,將數(shù)據(jù)壓縮到0-1之間,以便后續(xù)操作,效果如圖3第1張圖所示.但是此時的蒙版還不能直接使用,需要提高低概率部分的通過率,減少因覆蓋蒙版造成的紋理缺失和灰度降低,因此需要設(shè)計一個單調(diào)增的非線性函數(shù), 能夠在保持輸入的0和1數(shù)值不變的同時能夠提高整體的信號輸出.基于以上要求,本文給出一種函數(shù)設(shè)計如式(2)所示,函數(shù)中的n表達了對低概率部分的置信程度,越大則對低概率部分的提高越多.如圖3所示,顯示了不同n的選擇對覆蓋原圖的影響效果,本文后續(xù)實驗中n取16.將分布圖代入函數(shù)后,將分布為0-1的輸入重新映射到0-1區(qū)間,得到最終蒙版.

g(x)=1-(1-x)n

(2)

同時,考慮到一種極端情況,當(dāng)n趨近于無窮時,該函數(shù)可以取另一種形式見式(3),即對于所有概率不為0的位置,全部都視作1,這樣生成的蒙版再乘上原圖后相比式(2)能大大增加原圖能提供的信息量,同時對無關(guān)信息的過濾能力也會降低.本文將采用式(2)生成的蒙版稱為mask,采用式(3)生成的蒙版稱為full mask,后續(xù)實驗中將分別對比采用這兩種方法的效果.

(3)

得到蒙版后,即可直接乘上各原圖(即對應(yīng)像素點灰度值直接相乘),最終得到處理后的CT圖像.將經(jīng)這樣處理后的圖像送入網(wǎng)絡(luò)中訓(xùn)練,可以減少網(wǎng)絡(luò)學(xué)習(xí)冗余信息的成本.但是這種方式極其依賴蒙版制作的質(zhì)量,蒙版質(zhì)量差的時候甚至?xí)黾泳W(wǎng)絡(luò)學(xué)習(xí)成本,降低性能.需要說明的是,作為一種預(yù)處理方法,使用蒙版和窗口法并不沖突,可以在使用窗口法的基礎(chǔ)上再使用蒙版預(yù)處理.

圖3 不同n值生成蒙版對比(圖中從左到右分別取值1、4、8、16)Fig.3 Comparison of mask with different n(values 1,4,8,16 respectively from left to right)

以上考慮的都是二維蒙版,即將CT圖像中各層的CT標簽全部相加.這種標簽形成的蒙版套用在初始的三維數(shù)據(jù)上,容易理解為在z軸方向上的柱狀切除,而人體器官通常是不規(guī)則的形狀,柱狀切除無疑浪費了CT圖像中豐富的3D信息,因此,本文考慮制作空間上的三維蒙版.

3.2 三維蒙版

在之前平面蒙版相加時,由于都是512×512的尺寸,因此可以直接疊加.但是在三維空間中,由于各個樣本在采樣切片的過程中,使用的切片間隔并不一致,導(dǎo)致每個樣本的切片數(shù)也大相徑庭,最少的只有數(shù)十片,最多的有300多片,這種維度上的差異使得樣本標簽不能直接相加.如圖4所示,本文采用線性插值的做法,將所有樣本插值至最多的樣本切片數(shù),保證了所有的樣本標簽的尺寸完全相同后,再進行累加,得到初始的三維蒙版.蒙版經(jīng)過濾波、歸一化、非線性化后即為三維蒙版.

圖4 三維蒙版制作過程Fig.4 Production process of 3D mask

使用時,還需將插值后的蒙版重插值,縮小到原先的尺寸后再使用,這種三維蒙版對于無效信息的過濾效果顯然比二維的蒙版強許多,本文將這種方式稱為3D mask,具體效果將在后續(xù)實驗中展示.

3.3 分割結(jié)果與蒙版結(jié)合補償

在實際使用過程中,可能會有一些特別的樣本會超出蒙版的范圍,而由于蒙版與原圖相乘之后,超出蒙版范圍的信息已經(jīng)被完全拋棄,這樣會大大影響分割的效果.為了補償這種情況,本文考慮將初次分割結(jié)果與蒙版對比,找出這些可能存在遺漏的區(qū)域,因此設(shè)計了如式(4)所示的蒙版與初次預(yù)測的結(jié)合算法.

(4)

公式(4)中Ci,j表示新的蒙版中對應(yīng)坐標為(i,j)的數(shù)值,Ai,j表示原蒙版在坐標(i,j)處的灰度值,Bi,j表示初次分割的結(jié)果在坐標(i,j)處的灰度值,s為平滑系數(shù),用于保證分母不為0,這里數(shù)值取1.數(shù)值K表示結(jié)合的比例,需要大于等于1,圖5所示即為K等于1時結(jié)合效果,當(dāng)K值越大,在原蒙版外的搜索范圍就越大.

該算法的核心思想是:如果在每次檢查分割結(jié)果時發(fā)現(xiàn)有部分臟器組織緊挨著我們使用的蒙版,則估計在蒙版和預(yù)測的臟器組織交界處之外有可能有被覆蓋掉的部分.因此該公式會計算每一個位置到達最近的原蒙版邊緣和到達最近的初次分割結(jié)果的距離比例,當(dāng)有分割結(jié)果在原蒙版邊緣時,蒙版外的某一部分像素點計算該比例即為1,表明該位置到達最近的本文便將這些位置保留下來,如圖5示的兩張圖在左上方的區(qū)域,這些位置的點計算到達最近的灰色分割區(qū)域和最近的白色蒙版區(qū)域距離相同,則認為該區(qū)域有組織被覆蓋的可能,因此新蒙版將該區(qū)域放開以補償信息損失.

圖5 蒙版與初次分割(左圖)結(jié)合后新蒙版(右圖)效果(左圖灰色部分表示分割結(jié)果,中央圓形部分表示蒙版)Fig.5 Effect of new mask(right)after combination of mask and primary segmentation(left)(gray part of left picture represents segmentation result,and central circular part represents mask)

實驗時,首次分割時使用蒙版對圖像進行預(yù)處理,將預(yù)處理后的圖片經(jīng)過網(wǎng)絡(luò)預(yù)測輸出后得到初次分割結(jié)果,使用該算法對蒙版和初次分割結(jié)果結(jié)合后生成新蒙版,若新蒙版拓寬了蒙版,即表明本文需要將得到的新蒙版乘上原圖后再重新分割,重復(fù)以上過程直至新生成的蒙版在蒙版內(nèi)部則視為算法收斂.

一種新提出的圖像預(yù)處理方法的好壞最終取決于分割的結(jié)果,然而分割的效果還取決于數(shù)據(jù)庫和模型.但要實驗所有的數(shù)據(jù)庫和模型是困難的,因此本文針對目前典型的數(shù)據(jù)庫和主要的幾類深度神經(jīng)網(wǎng)絡(luò)來測試提出方法的有效性.

4 實 驗

本文選擇了近年來常用的3個深度神經(jīng)網(wǎng)絡(luò)FCN[5]、U-net[6]和Segnet[7],分別在兩個CT分割數(shù)據(jù)集LiTS和3Dircadb上,對本文提出的預(yù)處理方法進行了測試和結(jié)果對比分析.

LiTS數(shù)據(jù)集包含131個和70個三維腹部CT掃描圖像,分別用于訓(xùn)練和測試,3Dircabd中有20個患者的腹部靜脈期CT掃描圖像.LiTS數(shù)據(jù)集是從6個不同的臨床站點獲得的,由于采集的機器和協(xié)議不同,故平面分辨率和切片間距有很大的差異,分辨率范圍從0.55mm到1.0mm,切片間距從0.45mm到6.0mm不等.需要說明的是,為了保證公平性,本文中對ISBI數(shù)據(jù)集的訓(xùn)練和測試數(shù)據(jù)集都將從131套圖像中取得,具體將隨機抽取其中4/5用于訓(xùn)練,其余1/5用于測試.由于3Dircabd數(shù)據(jù)集的數(shù)據(jù)量較少,本文在制作蒙版的過程中也加入了ISBI 2017 LiTS Challenge的標簽.

實驗網(wǎng)絡(luò)選用上述3個經(jīng)典網(wǎng)絡(luò),各網(wǎng)絡(luò)中層間也會增加一個BN層.網(wǎng)絡(luò)損失函數(shù)選用dice loss,選擇這種損失函數(shù)可以一定程度上減少訓(xùn)練樣本類間不平衡的問題,與該損失函數(shù)類似的還有focal loss以及其它變體[23]等.訓(xùn)練結(jié)束后,最終將通過式(5)的體積重疊誤差(VOE)、式(6)的相對體積差(RVD)、式(7)的平均對稱表面距離(ASD)、式(8)的均方根對稱表面距離(RMSD),式(9)中的假陽性率(FPR)這5個評價指標來評估網(wǎng)絡(luò)分割效果.

(5)

(6)

(7)

(8)

(9)

實驗中將統(tǒng)一使用全部訓(xùn)練數(shù)據(jù)集的標簽來制作蒙版,通過將各類別標簽累加并經(jīng)過高斯濾波后代入公式(2)或公式(3)中獲得.由于實驗設(shè)備性能限制,無法在有限時間內(nèi)完成三維高斯濾波,因此實驗中將對每一層單獨進行二維高斯濾波,一定程度上取代三維濾波.二維高斯濾波參數(shù)為:濾波核尺寸25,方差取4.同時,由于蒙版制作需要非常依賴大量的樣本數(shù)支持,本次實驗中,制作二維蒙版使用了近15000張標簽.但是三維蒙版卻只有131套標簽,數(shù)量相對來說還是比較少,這是由于3D的樣本獲取難度很大.因此實驗將會把驗證集的標簽一同加入到蒙版的制作當(dāng)中,以提高蒙版質(zhì)量.為了減少樣本過少導(dǎo)致的蒙版邊緣產(chǎn)生的斷層,三維蒙版的非線性化函數(shù)將選用式(3).數(shù)據(jù)增強方面,也對數(shù)據(jù)進行了隨機的翻轉(zhuǎn)、旋轉(zhuǎn)等,以增強模型的穩(wěn)定性.

實驗硬件環(huán)境配置如下,GPU方面準備了4塊NVIDIA RTX2080,16G內(nèi)存;軟件環(huán)境為ubuntu16.04,cuda9.0,python3.6,tensorflow1.13.0,keras2.2.4.實驗中超參數(shù)保持一致:batch-size設(shè)置為12,訓(xùn)練開始時以0.03的學(xué)習(xí)率迭代更新,訓(xùn)練50個epoch,最終實驗評估結(jié)果和分割效果如表1和圖6所示.

表1 ISBI 2017 LiTS Challenge / 3Dircadb肝臟分割結(jié)果評估Table 1 ISBI 2017 LiTS Challenge / 3Dircadb liver segmentation results

圖6 分割效果對比Fig.6 Comparison of segmentation effect

從分割結(jié)果的評價指標上可以看出,使用普通蒙版的結(jié)果略遜于初始結(jié)果,而使用了full mask的結(jié)果也比較一般,使用了3D蒙版的肝臟分割結(jié)果相較于沒有使用該方法的結(jié)果從各方面都有一定的提高.

從分割效果圖6中可以看出,使用了蒙版之后,可以減少大量的其它組織信息,尤其是脊柱部分,幾乎已經(jīng)被全部挖去.然而普通的蒙版方案在邊緣部分存在明暗過渡,而非full mask和3D mask的直接截斷式,因此對原圖的亮度信息產(chǎn)生了較大干擾,使得網(wǎng)絡(luò)學(xué)習(xí)難度不減反增,反應(yīng)在實際分割效果中的結(jié)果就是在蒙版邊緣位置會有大量誤診.而相對的,使用full mask和3D mask時,對原圖的亮度信息完全沒有改變,但是紋理會在蒙版邊緣截斷,也增加了一定的學(xué)習(xí)成本.本文認為,如果能夠獲取更多的樣本標簽,就可以制作更加平滑的3D蒙版,使得蒙版邊緣更平滑,或許可以再進一步提高對于無效信息的過濾能力.

5 結(jié) 論

基于注意力機制的啟發(fā),本文提出了一種新的CT圖像預(yù)處理方式.首先根據(jù)專家經(jīng)驗制作標簽,計算出組織的空間概率分布,利用概率分布制作出CT蒙版.其次,將蒙版覆蓋到原圖上后即可除去大量低概率區(qū)域的圖像信息,降低網(wǎng)絡(luò)學(xué)習(xí)難度.對于蒙版的制作,文中給出了3種做法.實驗結(jié)果中顯示三維蒙版實驗效果較好,對于多項指標都有較好的適應(yīng)性.針對蒙版的特點,本文還提出了一種蒙版和初次分割結(jié)果相結(jié)合的蒙版再制做過程,用于補償使用蒙版導(dǎo)致的信息損失.最后本文使用經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)FCN、Unet和SegNet在LiTS和3Dircadb數(shù)據(jù)集上做了對比實驗,驗證了本文提出的預(yù)處理方法的有效性.

但是本文設(shè)計的方法局限性也較大,通常只適用于主要分割目標的大小和形狀在畫面中基本不變的樣本,因此該方法主要用于一些醫(yī)學(xué)圖像和監(jiān)控視頻等領(lǐng)域,在其他圖像中一般不太適用.另外制作蒙版也需要足夠數(shù)量的標簽,對于某些樣本過少的分割任務(wù)也是難以應(yīng)用的.