基于GDL損失函數(shù)U-net神經(jīng)網(wǎng)絡在放療定位CT圖像上對甲狀腺分割的初步研究

文曉博,袁美芳,趙 彪,孫夢真,胡曉慶,楊 毅

(昆明醫(yī)科大學第三附屬醫(yī)院,云南省腫瘤醫(yī)院放射治療科,昆明 650118;*通訊作者,E-mail:yiyangrt@126.com)

2018年全球癌癥統(tǒng)計數(shù)據(jù)顯示,乳腺癌和鼻咽癌的發(fā)病率和死亡率均處于較高水平[1]。由于甲狀腺的毗鄰位置與解剖學結構,使其在放射治療過程中容易造成不可避免的損傷,可能會引發(fā)甲狀腺功能衰退和甲狀腺炎等不良反應[2-6]。有研究表明,甲狀腺功能衰退的發(fā)病率與甲狀腺在放射治療中的受照劑量有關[3],因此,在放射治療方案的實施中,需要將甲狀腺作為危及器官勾畫出來,嚴格限制劑量,從而有效地減少甲狀腺不良反應的發(fā)生[4-6]。但目前危及器官的勾畫大多是由醫(yī)師手動勾畫,這種方式費時、費力且主觀性較大,對甲狀腺的保護效果存在差異,因此甲狀腺的自動分割有著重要的臨床意義。

傳統(tǒng)的醫(yī)學圖像分割通常使用基于閾值、區(qū)域生長、聚類、分水嶺等分割方式來對醫(yī)學灰度圖像進行分割[7-10],這些方法雖然能夠有效地分割圖像上的目標物體,但都存在部分缺陷且需要大量的實驗和經(jīng)驗才能夠得到較好的結果。隨著人工智能的發(fā)展,基于神經(jīng)網(wǎng)絡的圖像分割方式逐漸應用于醫(yī)學圖像分割領域且在圖像上能得到很好分割效果[11,12]。在甲狀腺的自動分割中,主要面對的問題是:①甲狀腺是小體積目標,在整幅影像圖中所占像素較小,屬于極度不平衡類分割,使用傳統(tǒng)的交叉熵損失函數(shù)不一定能獲得較好的結果;②甲狀腺周圍存在較多灰度相近的血管,使得模型在分割甲狀腺時容易將血管歸為甲狀腺或者甲狀腺分割不全;③不同病人的甲狀腺之間存在個體差異,而且不同切片的甲狀腺體積差異也可能較大,使得模型訓練難度加大。目前的研究中,甲狀腺神經(jīng)網(wǎng)絡方面的研究主要是基于B超圖像對甲狀腺結節(jié)進行診斷和對腫瘤進行分割[13],而對于放射治療中大孔徑模擬定位CT上甲狀腺分割未見有相關報道。大孔徑CT由于其孔徑大和排數(shù)小且圖像質量相對較差,需要進一步研究來觀察神經(jīng)網(wǎng)絡的分割效果。本研究選用了基于GDL損失函數(shù)的U-net神經(jīng)網(wǎng)絡在放療定位CT上對甲狀腺進行分割,以期為臨床自動勾畫甲狀腺提供幫助。

1 材料與方法

1.1 數(shù)據(jù)集獲取

本實驗數(shù)據(jù)集來自于2014年6月至2019年4月在云南省腫瘤醫(yī)院放射治療科同一主診組收治的鼻咽癌和乳腺癌患者76例,每位患者均已行西門子大孔徑CT模擬定位,層厚為5 mm或3 mm,數(shù)據(jù)格式為DICOM文件。為了保證U-net網(wǎng)絡模型能夠正確學習甲狀腺的解剖學結構并對測試集做出正確的分割,需要制作標簽圖。標簽圖由3位高年資影像學醫(yī)師通過3D slicer勾畫軟件對甲狀腺勾畫并導出為DICOM格式,再由Matlab進行圖像平滑等處理后將格式轉換為PNG格式,得到訓練集、驗證集及測試集標準標簽圖,將定位CT與標簽圖一一對應制作標準數(shù)據(jù)集(見圖1)。

A.放療定位CT圖像 B.對應標簽圖圖1 甲狀腺標準數(shù)據(jù)集示意圖Figure 1 Standard data set of thyroid

1.2 數(shù)據(jù)預處理

由于3D slicer導出的圖像為灰度圖像,因此我們將圖像進行HU值轉換操作,將其轉變?yōu)镃T值后進行圖像預處理。在本文的研究中,我們采用了HU值轉換、窗口化操作、直方圖均衡化和圖像歸一化操作。

由于需要觀察模型的運行情況以及結果,甲狀腺的數(shù)據(jù)集被劃分為3個子數(shù)據(jù)集,分別為訓練集、驗證集、測試集。其中訓練集用于模型學習甲狀腺的特征結構,驗證集用于驗證模型訓練過程中的準確性以及是否過擬合,測試集用于測試模型的泛化能力并評價模型的性能與分割能力。

U-net模型具有層數(shù)少、深度淺、參數(shù)少的特點,容易導致過擬合現(xiàn)象,因此為了增加網(wǎng)絡的泛化性和魯棒性,同時防止模型過擬合,我們對數(shù)據(jù)進行了擴充。本研究調用了Keras中ImageDataGenerator類來對數(shù)據(jù)集進行旋轉、平移和縮放等操作,最終擴充后的訓練集數(shù)據(jù)為2 157張。

1.3 U-net網(wǎng)絡架構

U-net網(wǎng)絡結構因其對稱結構與英文字母“U”相似而得此名，主要由下采樣、上采樣以及“橋”連接三部分組成,其網(wǎng)絡結構見圖2[14]。左邊稱為下采樣，也叫壓縮路徑或編碼器(encoder)，主要作用是提取圖像的淺層特征，如圖像的位置信息；右邊稱為上采樣，也叫擴展路徑或解碼器(decoder)，主要作用是提取圖像的深層特征，如圖像中像素的類別信息；中間的箭頭表示“橋”連接，也叫跳躍連接(skip connection, SC)，主要作用是把下采樣得到的特征圖與上采樣得到的特征圖進行復制拼接，形成一個同時具有深層次和淺層次信息的特征圖，實現(xiàn)更為有效的分割。除此之外，上、下采樣和“橋”連接部分由卷積層、池化層、反卷積層以及激勵層組成。其中卷積層用于提取甲狀腺圖像的特征；池化層用于下采樣部分，其將獲取的特征數(shù)據(jù)和參數(shù)進行壓縮，減少模型過擬合；反卷積層用來還原特征圖的尺寸大小，使得最后輸出大小與原圖大小一致；激勵層是將卷積所得的輸出進行一個非線性映射，來保證模型能夠更好地擬合圖像。本研究所使用的激活函數(shù)為ReLU，最后輸出層使用Sigmoid函數(shù)對像素點進行分類。

在本文中，輸入是甲狀腺CT圖像，大小為512×512×1(512×512表示CT圖像的長和寬，1表示CT圖像的通道數(shù))；先經(jīng)過左側4個block進行編碼(1個block包括2個3×3卷積核和1個2×2的最大池化層)，作用是提取CT圖像中甲狀腺像素的位置信息；再經(jīng)過右側4個block進行解碼(1個block包括2個3×3的卷積核和1個2×2的反卷積核)，作用是提取CT圖像中甲狀腺像素的類別信息；中間的“橋”將編碼路徑中的位置特征裁剪復制到右側的解碼路徑，進行特征融合，提高分割精度；最后的輸出層是通過1×1的卷積和Sigmoid函數(shù)將CT圖像中概率值大于0.5的像素識別為甲狀腺，即分割出CT圖像中的甲狀腺。

藍色方框代表獲取甲狀腺特征后的特征圖;白色方框代表復制的特征融合部分;深藍色箭頭代表一個3×3的卷積和一個ReLU激活函數(shù);灰色箭頭代表剪切復制操作;紅色箭頭代表2×2的最大池化層;綠色箭頭代表2×2的反卷積;淺藍色箭頭代表1×1的卷積圖2 U-net神經(jīng)網(wǎng)絡架構Figure 2 U-net neural network architecture

其中rln為類別l在第n個像素的標準值,Pln為預測的像素概率值,ωl為每個類別的權重。GDL能夠有效地平衡病灶和Dice系數(shù)之間的關系。

1.4 評價指標

本研究從深度學習傳統(tǒng)評價指標和醫(yī)學常用指標中分別選取幾個評價指標對模型預測結果進行評價。

1.4.1 Dice系數(shù) Dice系數(shù)是一種集合相似度度量函數(shù),其一般用來比較兩樣本的相似程度,值域為[0,1],公式如下:

其中X表示由醫(yī)生勾畫的標準分割圖,Y為神經(jīng)網(wǎng)絡模型分割出的預測圖,|X∩Y|表示醫(yī)生所勾畫的標準圖與模型所預測圖的相同部分。Dice系數(shù)的值越接近于1,表明模型訓練結果越好,反之越差。

1.4.2 Jaccard系數(shù) Jaccard系數(shù)(Jaccard similarity coefficient)與Dice系數(shù)相似,其為標準分割圖與模型預測圖的交集與兩者的并集的比值,公式如下:

其中X和Y的表示與Dice系數(shù)相同,其值越接近與1,模型結果越好,反之亦然。

1.4.3 箱型圖 箱型圖可以直觀地顯示數(shù)據(jù)的分布情況,能有效地反映數(shù)據(jù)中地異常值與離散程度(見圖3)。

1.5 模型運行環(huán)境與參數(shù)

模型搭建使用TensorFlow封裝的Keras,采用Python3進行模型的編程,操作系統(tǒng)為Windows10,CPU為Intelcorei7-8750H,GPU為NVIDIA GTX1060 6G。模型的訓練參數(shù):批量大小(Batch size)為2、訓練批次(Epoch)為80、圖像大小(Image size)為512×512像素(Pixel)、學習率(Learning rate)為0.000 01。

圖3 箱型圖示意圖Figure 3 Sketch map of box plot

2 實驗結果與分析

2.1 測試集影像圖以及實驗結果分析

為了測試模型的泛化性與魯棒性,我們選取了9個病人,共123張含有甲狀腺的CT切片組成測試集,分別使用基于Dice和GDL損失函數(shù)的U-net網(wǎng)絡模型來分割測試集甲狀腺,并挑取兩張分割結果圖進行直觀對比(見圖4,5)。由圖4可以看出,在兩模型的分割中,與基于Dice損失函數(shù)的U-net模型相比,基于GDL損失函數(shù)的U-net模型,甲狀腺右葉欠分割現(xiàn)象有所改善。由圖5可以看出,雖然基于GDL損失函數(shù)的U-net模型所分割的甲狀腺仍存在部分過分割現(xiàn)象,但相較于基于Dice損失函數(shù)的U-net模型,基于GDL損失函數(shù)的U-net模型在甲狀腺右葉的預測分割中很好地將甲狀腺與周圍血管組織等分割開來。因此,在甲狀腺結構分割預測中,基于GDL損失函數(shù)U-net模型預測與專家差異較小,且邊緣較光滑。雖然細微處仍出現(xiàn)部分過、欠分割現(xiàn)象,但與之前基于Dice損失函數(shù)的U-net網(wǎng)絡模型預測相比,邊緣較光滑,過、欠分割效果有所改善,結果更接近甲狀腺的結構。

A.包含甲狀腺的原始CT圖 B.專家勾畫的相應的甲狀腺標簽圖 C.基于Dice損失函數(shù)模型預測圖 D.基于GDL損失函數(shù)預測圖圖4 基于Dice和GDL損失函數(shù)U-net模型測試集欠分割結果改善對比圖Figure 4 Comparison of under-segmentation of thyroid between Dice-based U-net network and GDL-based U-net network in the test set

A.包含甲狀腺的原始CT圖 B.專家勾畫的相應的甲狀腺標簽圖 C.基于Dice損失函數(shù)模型預測圖 D.基于GDL損失函數(shù)預測圖圖5 基于Dice和GDL損失函數(shù)U-net模型測試集過分割結果改善對比圖Figure 5 Comparison of over-segmentation of thyroid between Dice-based U-net network and GDL-based U-net network in the test set

測試集基于GDL損失函數(shù)的U-net網(wǎng)絡分割Dice評價指標為0.81±0.15,Jaccard評價指標為0.70±0.17(見表1),Dice和Jaccard的結果越接近1,表示模型預測結果與專家標準勾畫越接近,模型效果越好。測試集評價指標結果表明相較于基于Dice損失函數(shù)的U-net模型,Dice和Jaccard均分別上升3.0%(0.78±0.16vs0.81±0.15;0.67±0.17vs0.70±0.17)。

表1 不同神經(jīng)網(wǎng)絡模型測試集Dice和Jaccard評價指標比較

2.2 測試集箱型圖實驗結果

為了更加直觀地反映數(shù)據(jù)的分布情況,我們將測試集的兩個評價指標結果進行箱型圖繪制,結果見圖6,7。從圖中可以看出,雖然基于GDL損失函數(shù)的U-net模型有較多的異常值,但異常值都更接近于中位線,而且基于GDL損失函數(shù)的U-net模型Dice箱型圖和Jaccard箱型圖均值和中位線均高于基于Dice損失函數(shù)的U-net模型且Dice箱型圖的上下四分位數(shù)差值較小,這說明GDL有效改進了模型分割甲狀腺的能力。對于存在的異常值,可能的原因是甲狀腺體積過小,導致模型誤分割影響較為明顯。因此,如何再進一步提升模型對甲狀腺體積過小部分的分割能力是改進模型的要點。

圖6 基于Dice損失函數(shù)U-net模型與基于GDL損失函數(shù)U-net模型測試集Dice箱型圖Figure 6 Box plot of Dice in the test set of Dice-based U-net and GDL-based U-net

圖7 基于Dice損失函數(shù)U-net模型與基于GDL損失函數(shù)U-net模型測試集Jaccard箱型圖Figure 7 Box plot of Jaccard in the test set of Dice-based U-net and GDL-based U-net

3 討論

隨著人工智能的發(fā)展以及放射治療領域勞動力缺乏,基于深度學習神經(jīng)網(wǎng)絡的靶區(qū)和危及器官的分割被廣泛應用。Zhe等[16]使用3D卷積和密集連接(dense net,DNN)的模型在PET/CT圖像上對頭頸部腫瘤GTV(gross tumor volume)輪廓自動分割,其中多模態(tài)DNN的Dice系數(shù)可以達到0.73為一個較為精確的值。Ibragimov等[17]使用卷積神經(jīng)網(wǎng)絡對頭頸部的危及器官進行了預測分割,其中除視交叉外,其余危及器官的Dice系數(shù)均值均大于0.6。楊鑫等[18]采用了自適應U-net對鼻咽癌放療危及器官進行預測分割,結果顯示,在12個危及器官中最低的Dice系數(shù)為0.73,平均值為0.86,其中甲狀腺的Dice系數(shù)為0.83略低于平均值。

在本文中,我們采用了基于GDL損失函數(shù)的U-net神經(jīng)網(wǎng)絡模型對放療定位CT中的甲狀腺進行自動分割,由于甲狀腺較小的解剖學結構和毗鄰關系,使得精準分割甲狀腺的邊緣十分困難。U-net模型雖然采用了反卷積以及跳遠連接特征融合的方式來避免信息的丟失,但由于存在多個卷積和池化步驟,在訓練過程中仍容易丟失甲狀腺的特征信息,一般通過增加數(shù)據(jù)集和改進損失函數(shù)的方式來減少損失。在研究中,我們使用了基于Dice損失函數(shù)和GDL損失函數(shù)的U-net的神經(jīng)網(wǎng)絡分別對同一數(shù)據(jù)集進行訓練和模型預測,測試集評價指標結果表明,基于GDL損失函數(shù)U-net模型分割的甲狀腺與專家標準分割的甲狀腺結構更加相似,能夠達到臨床的基本要求,相較于基于Dice損失函數(shù)的U-net模型過、欠分割現(xiàn)象有所改善,同時Dice系數(shù)和Jaccard系數(shù)兩個評價指標均上升了3.0%(0.78±0.16vs0.81±0.15;0.67±0.17vs0.70±0.17),這與Hashemi等[15]的研究結果一致。Zijdenbos等[19]提出Dice>0.7則分割結果達到基本標準,基于GDL損失函數(shù)的U-net深度學習模型的Dice值可達到0.81,要高于此標準,表明該模型對甲狀腺的分割有著較好的效果。同時,影像學結果表明,相較于基于Dice損失函數(shù)的U-net模型,基于GDL損失函數(shù)的U-net模型預測的甲狀腺邊緣更光滑更接近于真實解剖結構,但其結果仍存在部分甲狀腺過、欠分割現(xiàn)象。如何進一步精準分割甲狀腺和消除過、欠分割現(xiàn)象是下一步研究的主要方向。