基于改進(jìn)的YOLOv3-DN對(duì)腦膠質(zhì)瘤檢測分級(jí)

劉 穎，李東喜

(太原理工大學(xué) 大數(shù)據(jù)學(xué)院，山西 晉中 030600)

0 引 言

膠質(zhì)瘤是形狀不規(guī)則且邊界不明確的惡性腫瘤，人工檢測難度大[1]。且膠質(zhì)瘤分為低級(jí)神經(jīng)膠質(zhì)瘤(low grade glioma，LGG)、多形性膠質(zhì)母細(xì)胞瘤(glioblastoma multiforme，GBM)等[2]，人工分級(jí)難度大且費(fèi)時(shí)費(fèi)力。因此開發(fā)計(jì)算機(jī)輔助診斷(computer aided design，CAD)系統(tǒng)以幫助和支持精準(zhǔn)醫(yī)療是必不可少的。

核磁共振成像(magnetic resonance imaging，MRI)是檢測和分析腦腫瘤的常用成像技術(shù)[3]。但不同級(jí)別腦膠質(zhì)瘤間影像學(xué)表現(xiàn)重疊較多，且通常邊界模糊，僅靠傳統(tǒng)的圖像分析方式難以對(duì)膠質(zhì)瘤進(jìn)行準(zhǔn)確檢測和分級(jí)[4]。近年來從醫(yī)學(xué)影像中檢測腫瘤感興趣區(qū)域(region of interest，ROI)需要進(jìn)行大量手動(dòng)工作[5]，且無法在單個(gè)框架中支持檢測和分類問題。而深度學(xué)習(xí)技術(shù)作為常規(guī)手工特征分類器的替代，可以從整個(gè)數(shù)據(jù)中學(xué)習(xí)顯著特征，并提供較高的識(shí)別精度[6]。其中“你只看一次”(you only look once，YOLO)將目標(biāo)檢測和分類統(tǒng)一為回歸問題，利用了單個(gè)網(wǎng)絡(luò)就可以對(duì)整個(gè)圖像的信息進(jìn)行編碼并快速幫助預(yù)測[7]。并且最先進(jìn)的YOLOv3版本具有更高的檢測精度和速度，在檢測小目標(biāo)方面也表現(xiàn)出色。近年來為了更有效地利用神經(jīng)網(wǎng)絡(luò)的輸入特征，提出了DenseNet架構(gòu)[8]，它通過密集塊和過渡層兩個(gè)結(jié)構(gòu)加強(qiáng)了特征在神經(jīng)網(wǎng)絡(luò)中的傳播，有效地解決梯度消失的問題，提高神經(jīng)網(wǎng)絡(luò)的分類精度。

因此本研究使用YOLOv3算法并用DenseNet將之改進(jìn)來優(yōu)化具有低分辨率的要素層，構(gòu)建用于膠質(zhì)瘤的檢測和分類的CAD系統(tǒng)，探討其性能。為腦膠質(zhì)瘤患者個(gè)體化、精準(zhǔn)治療提供工具。

1 方法描述

本研究提出的基于改進(jìn)的YOLOv3-DN網(wǎng)絡(luò)對(duì)腦膠質(zhì)瘤檢測和分類的CAD系統(tǒng)包括4個(gè)主要階段：腦膠質(zhì)瘤MRI圖像預(yù)處理；利用改進(jìn)的YOLOv3-DN網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練、特征提??；具有置信度模型的ROI檢測；用于LGG和GBM的邏輯回歸分類。所提出的CAD系統(tǒng)如圖1所示。

圖1 基于YOLOv3-DN的CAD系統(tǒng)方案

1.1 數(shù) 據(jù)

在癌癥影像檔案館(The Cancer Imaging Archive,TCIA,https://doi.org/10.7937/K9/TCIA.2017.GJQ7R0EF)中獲取LGG和GBM(2017)的所有術(shù)前MRI影像數(shù)據(jù)以及用于訓(xùn)練數(shù)據(jù)的分割標(biāo)簽[9]。從兩個(gè)級(jí)別中各選取30例患者的300張腫瘤圖層作為研究數(shù)據(jù)集，而后使用圖像旋轉(zhuǎn)90°、180°和270°的擴(kuò)充技術(shù)從原始數(shù)據(jù)生成新實(shí)例來增強(qiáng)數(shù)據(jù)[10]，為了避免我們的CAD系統(tǒng)出現(xiàn)任何分類偏差，將所有影像隨機(jī)混合在一起。最后將2400張圖像按照4∶1來劃分訓(xùn)練集和測試集，為所提出的基于YOLOv3-DN的CAD系統(tǒng)研究做準(zhǔn)備。

1.2 數(shù)據(jù)預(yù)處理

從不同的MRI方式獲取的圖像會(huì)受到偽影的影響，它會(huì)導(dǎo)致錯(cuò)誤的強(qiáng)度級(jí)別從而出現(xiàn)誤報(bào)[11]。本研究選取非參數(shù)、非均勻強(qiáng)度歸一化(N3)算法的改進(jìn)版本N4ITK偏場校正來去除不需要的偽像，通過3D Slicer版本4.6.2實(shí)現(xiàn)。圖2顯示了對(duì)圖像施加偏置場校正的結(jié)果，圖2(a)強(qiáng)度值較高，而通過消除偏置后，圖2(b)顯示出在邊緣附近有更好的對(duì)比度。

圖2 N4ITK偏場校正前(a)后(b)

進(jìn)一步為解決圖像的強(qiáng)度值相差較大的情況，還進(jìn)行了歸一化處理，以使平均強(qiáng)度值和方差分別接近于0和1，并且刪除了最高和最低1%的強(qiáng)度值，這使所有圖像的強(qiáng)度值都處于一致范圍內(nèi)，有助于訓(xùn)練階段的學(xué)習(xí)及模型的訓(xùn)練。歸一化圖層xn生成如下

(1)

其中，x代表原始圖層，μ和σ分別是x的均值和標(biāo)準(zhǔn)差。最終將訓(xùn)練和測試數(shù)據(jù)集在[0，1]的范圍內(nèi)進(jìn)行歸一化并將大小由原始的256*256調(diào)整為512*512[12]。為訓(xùn)練模型做準(zhǔn)備。

1.3 YOLOv3

YOLOv3網(wǎng)絡(luò)是從YOLO和YOLOv2網(wǎng)絡(luò)發(fā)展而來的。YOLO網(wǎng)絡(luò)將檢測問題轉(zhuǎn)換為回歸問題,它不需要候選區(qū)，并且直接通過回歸生成邊界框坐標(biāo)來檢測潛在的ROI，并從整個(gè)整體圖像中直接預(yù)測其類別概率[13]，這大大提高了檢測速度。

YOLO首先將輸入的圖像分成N×N個(gè)不重疊的網(wǎng)格單元，每個(gè)網(wǎng)格單元負(fù)責(zé)檢測屬于該單元的潛在ROI。IoU(intersection over union)作為在特定數(shù)據(jù)集中檢測相應(yīng)物體準(zhǔn)確度的一個(gè)標(biāo)準(zhǔn)，通過人為在訓(xùn)練集圖像中標(biāo)出ROI的真實(shí)范圍框以及算法得出的預(yù)測范圍框之間交集的百分比分?jǐn)?shù)，評(píng)價(jià)真實(shí)和預(yù)測之間的相關(guān)度，并通過與存在腫瘤塊的概率相乘以獲得置信度，如下所示

(2)

同樣，根據(jù)相應(yīng)單元格的條件分類概率Prob(Classi| mass)，檢測到的ROI被識(shí)別為LGG或GBM。然后，每個(gè)特定類別的置信度得分估算如下

Confidence score=Prob(Classi|mass)*Confidence

(3)

置信度分?jǐn)?shù)表示預(yù)測框中涉及的ROI以及該ROI的準(zhǔn)確性。當(dāng)網(wǎng)格單元格不包含任何對(duì)象時(shí)，此置信度得分將變?yōu)榱?。?dāng)多個(gè)邊界框檢測到同一目標(biāo)時(shí)，YOLO使用非最大抑制(non-maximum suppression,NMS)方法選擇最佳邊界框。

YOLOv2在YOLO的基礎(chǔ)上，解決了檢測誤差較大的問題，引入了Faster R-CNN中的錨定框(anchor box)概念，并使用k-means聚類方法生成合適的先驗(yàn)框(priors anchor),使用卷積層替換了YOLO的全連接層。YOLOv2還引入了批處理歸一化、高分辨率分類器、維度聚類、直接位置預(yù)測、細(xì)粒度特征、多尺度訓(xùn)練等、與YOLO相比大大提高檢測精度和分類準(zhǔn)確度。

YOLOv3是YOLOv2的改進(jìn)版本。它使用多尺度預(yù)測來檢測最終目標(biāo)，并且其網(wǎng)絡(luò)結(jié)構(gòu)比YOLOv2更復(fù)雜。YOLOv3可以預(yù)測不同比例的邊界框(bounding box)，而多比例預(yù)測可以使YOLOv3比YOLOv2更有效地檢測膠質(zhì)瘤邊緣的小ROI。

1.4 密集連接的神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)框架的DenseNet網(wǎng)絡(luò)結(jié)構(gòu)采用殘差網(wǎng)絡(luò)的連接思想，引入了殘差層(residual)結(jié)構(gòu)，在保證網(wǎng)絡(luò)結(jié)構(gòu)很深的情況下，仍能收斂。由于卷積和下采樣，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)會(huì)減少特征圖，并且在傳輸過程中會(huì)丟失特征信息[14]，可以更有效地利用特征信息。它以前饋模式將每一層連接到其它層，因此第l層接收了先前各層的所有特征圖x0，x1，…，xl-1作為輸入

xl=Hl[x0,x1,…,xl-1]

(4)

其中，[x0，x1，…，xl-1]表示將各個(gè)圖層特征圖進(jìn)行通道合并。傳遞函數(shù)Hl是批量歸一化(BN)、修正線性單元(ReLU)和卷積(Conv)的組合[15]。這使DenseNet可以減輕梯度消失，增強(qiáng)特征傳播，促進(jìn)特征重用并大大減少參數(shù)數(shù)量。

1.5 提出的算法

本研究提出的基于改進(jìn)的YOLOv3-DN算法，使用Darknet-53架構(gòu)作為基本的網(wǎng)絡(luò)架構(gòu)，并使用DenseNet結(jié)構(gòu)代替網(wǎng)絡(luò)中32*32和16*16的下采樣層。具體網(wǎng)絡(luò)參數(shù)如圖3所示。

圖3 YOLOv3-DN網(wǎng)絡(luò)參數(shù)

使用BN-ReLU-Conv(1*1)和BN-ReLU-Conv(3*3)作為傳遞函數(shù)Hl。Xi由64個(gè)要素圖層組成，每個(gè)要素圖層有32*32個(gè)分辨率。H1使用BN-ReLU-Conv(1*1)對(duì)x0進(jìn)行非線性運(yùn)算，再用BN-ReLU-Conv(3*3)對(duì)結(jié)果x1進(jìn)行運(yùn)算。H2將相同的操作應(yīng)用于由[x0，x1]，結(jié)果x2和[x0，x1]拼接成[x0，x1,x1]并用作為H3的輸入，以此類推，繼續(xù)向前傳播最終拼接成32*32*512。在16*16分辨率的層中，也如上文所述執(zhí)行特征傳播和特征層拼接。最后，將要素圖層拼接為16*16*1024。

改進(jìn)的YOLOv3-DN模型以3種不同的比例預(yù)測框：64*64，32*32和16*16對(duì)ROI進(jìn)行檢測及分類。

1.6 基于YOLOv3-DN的CAD系統(tǒng)

(5)

修正線性單元(ReLU)選擇LeakyReLU激活函數(shù)用于所有卷積層(convolutional)，其定義如下，ai是(1,+∞)區(qū)間的固定參數(shù)

(6)

在整個(gè)訓(xùn)練階段，首先設(shè)置網(wǎng)絡(luò)訓(xùn)練的處理規(guī)模(batch=64)及學(xué)習(xí)率(learning rate=0.001)，用于構(gòu)建我們提出的CAD系統(tǒng)。生成預(yù)測張量(ToP)為

ToP=S*S*[B*(4+1+C)]

(7)

其中，S為16、32和64下的網(wǎng)格單元數(shù)；B=3為錨框個(gè)數(shù)；4指ROI的中心位置(x，y)、寬度(w)和高度(h)信息；1代表置信度；C=2代表LGG和GBM。最終輸出3個(gè)向量的列表：[16,16,21],[32,32,21],[64,64,21]完成對(duì)ROI的檢測及分類，流程如圖4所示。

圖4 基于YOLOv3-DN的CAD系統(tǒng)結(jié)構(gòu)

1.7 訓(xùn)練及測試

本研究為了避免在訓(xùn)練和測試中出現(xiàn)任何偏差，首先僅使用80%的訓(xùn)練數(shù)據(jù)集來優(yōu)化提出的基于YOLOv3-DN的CAD系統(tǒng)的參數(shù)。隨后，使用待訓(xùn)練的膠質(zhì)瘤圖像對(duì)其進(jìn)行微調(diào)(即重新訓(xùn)練)。

為了驗(yàn)證，本研究用k折交叉驗(yàn)證(k=5)，以確保數(shù)據(jù)集中的每個(gè)膠質(zhì)瘤圖像都恰好在測試集中一次，并最大程度地減少了分類階段可能出現(xiàn)的偏差。數(shù)據(jù)集被隨機(jī)分為5個(gè)子集，每個(gè)子集由10%的LGG和10%的GBM組成。這意味著我們對(duì)提出的CAD系統(tǒng)進(jìn)行了5次訓(xùn)練，以獲取系統(tǒng)的性能。

本研究是在PC Intel Core i7-6700HQ上進(jìn)行的，該處理器具有16 GB RAM，以及NVIDIA GeForce GTX 960的GPU。使用Python 3.6和C++作為Ubuntu 14.04操作系統(tǒng)上的編程語言。

1.8 評(píng) 估

在這項(xiàng)研究中，我們使用客觀的方法來評(píng)估提出的CAD系統(tǒng)對(duì)于膠質(zhì)瘤圖像中ROI位置檢測及其分級(jí)的性能，評(píng)估流程如圖5所示。如果檢測框的置信度得分小于特定閾值，則將相應(yīng)的預(yù)測ROI視為不可檢測情況，這意味著在接下來的分級(jí)和檢測階段將排除這些情況。相反，只要滿足特定閾值的條件，就可以利用邏輯回歸做出分級(jí)的最終決定。

圖5 評(píng)估流程

為了顯示所提出的基于YOLOv3-DN的CAD系統(tǒng)的魯棒性，本研究使用以上數(shù)據(jù)集，分別采用傳統(tǒng)YOLO以及不加入DenseNet的原始YOLOv3兩種方法，再次獲取對(duì)膠質(zhì)瘤檢測、分級(jí)結(jié)果，進(jìn)行對(duì)比評(píng)價(jià)。

檢測方面，通過5折交叉驗(yàn)證法對(duì)3種網(wǎng)絡(luò)模型的檢測性能進(jìn)行評(píng)估。在每折測試中，網(wǎng)絡(luò)對(duì)每個(gè)潛在ROI生成標(biāo)記框和置信概率，其中置信概率小于0.2或IoU小于0.5的情況被視為錯(cuò)誤檢測。最終通過交叉驗(yàn)證結(jié)果的平均值來定量對(duì)比分析。

分級(jí)方面，使用混淆矩陣來顯示所提出的CAD如何區(qū)分LGG和GBM。同時(shí)，接受者操作特性曲線(recei-ver operating characteristic curve，ROC)下的面積(area under curve，AUC)值也用于評(píng)估3種網(wǎng)絡(luò)模型對(duì)膠質(zhì)瘤分級(jí)的性能。其中AUC值接近1.0表示高度準(zhǔn)確的診斷率，而AUC值接近0.5表示性能不可靠。ROC曲線定義如下

(8)

(9)

其中，TP和FN分別表示真實(shí)的肯定和錯(cuò)誤的否定情況。TN和FP分別包含真陰性和假陽性案例。系統(tǒng)的整體分類精度定義為

(10)

2 結(jié)果及分析

2.1 概率閾值

本研究提出的CAD系統(tǒng)為每個(gè)測試的膠質(zhì)瘤圖像生成許多潛在的ROI。而概率閾值可以控制每個(gè)測試圖像的潛在ROI的數(shù)量，概率閾值為零時(shí)，將在圖像上顯示所有可能的ROI；概率閾值越大，測試數(shù)據(jù)產(chǎn)生的不可檢測數(shù)據(jù)量會(huì)增加。因此，本研究為了避免不必要的ROI并維持較少數(shù)量的不可檢測數(shù)據(jù)則需找到合適的概率閾值，最終通過實(shí)驗(yàn)確定了概率閾值為0.2時(shí)最為適當(dāng)。如圖6(a)～圖6(c)所示，分別顯示了級(jí)別概率閾值為0、0.01和0.2時(shí)的潛在ROI結(jié)果，邊框越粗表示置信度越高，很明顯在概率閾值為0.2時(shí)，可以提供至少一個(gè)潛在的ROI，并忽略所有低可能性的ROI，非常有利于進(jìn)一步分類。

圖6 不同概率閾值的潛在ROI

2.2 ROI檢測

本研究基于YOLOv3-DN的CAD系統(tǒng)檢測ROI的效果如圖7(a)和圖7(c)顯示了人工標(biāo)注的膠質(zhì)瘤位置，圖7(b)和圖7(d)顯示了本研究CAD系統(tǒng)檢測到的膠質(zhì)瘤位置，準(zhǔn)確的將ROI框入檢測區(qū)內(nèi)。進(jìn)一步3種網(wǎng)絡(luò)ROI檢測的5倍交叉驗(yàn)證平均結(jié)果見表1。傳統(tǒng)的YOLO獲得了最低的檢測準(zhǔn)確率86.25%，而更先進(jìn)的YOLOv3獲得了更高的檢測準(zhǔn)確率89.97%，這表明隨著對(duì)YOLO模型不斷的改進(jìn)，可以提高對(duì)膠質(zhì)瘤的檢測性能，減少錯(cuò)誤檢測和不可檢測的情況。最后本研究提出的YOLOv3-DN模型獲得了最高的檢測準(zhǔn)確率93.71%，驗(yàn)證了本研究在YOLOv3上改進(jìn)的有效性，使得模型在檢測MRI圖像中腦膠質(zhì)瘤位置時(shí)具有更好的魯棒性。

表1 各網(wǎng)絡(luò)ROI檢測的5倍交叉驗(yàn)證平均結(jié)果

2.3 ROI分級(jí)

ROI分級(jí)的評(píng)估中排除了每個(gè)k倍子集在檢測階段中的不可檢測圖像。圖7(b)和圖7(d)顯示了本研究CAD系統(tǒng)在檢測后的分級(jí)結(jié)果，準(zhǔn)確地將GBM和LGG分別用不同框標(biāo)注，更好地為醫(yī)生診斷提供幫助。表2列出5倍交叉驗(yàn)證下系統(tǒng)分級(jí)的混淆矩陣和性能。結(jié)果表明，LGG在所有k倍子集中的正確分類準(zhǔn)確率在95.36%至97.49%間，而GBM在91.18%至93.72%間，顯示出對(duì)LGG更高的鑒別能力，這與常規(guī)分級(jí)情況相似，這可能是更復(fù)雜的GBM組織結(jié)構(gòu)導(dǎo)致的。并且所有k 倍的AUC和準(zhǔn)確性的結(jié)果彼此相似，表明所提出的CAD系統(tǒng)在腦膠質(zhì)瘤分級(jí)診斷中的有效性和可行性。而靈敏度、特異性、AUC、分級(jí)準(zhǔn)確性方面的5倍交叉驗(yàn)證結(jié)果的平均值顯示出系統(tǒng)對(duì)膠質(zhì)瘤分級(jí)有高達(dá)94.49%的準(zhǔn)確性，對(duì)LGG的敏感性為96.47%，對(duì)GBM的特異性為92.46%。

圖7 ROI檢測前后

表2 5倍交叉驗(yàn)證下系統(tǒng)分級(jí)的混淆矩陣和性能

相比3種網(wǎng)絡(luò)在分級(jí)方面的性能差異，ROC及AUC值對(duì)比分析如圖8所示。最新的YOLOv3比傳統(tǒng)YOLO的AUC值由0.894提升至0.920，高出了2.58%，顯示出YOLOv3的改進(jìn)在分類方面性能有所提升。而本研究提出的YOLOv3-DN網(wǎng)絡(luò)與其它兩個(gè)網(wǎng)絡(luò)相比取得了最高的AUC得分0.945，比傳統(tǒng)YOLO提高了5.7%，比YOLOv3提高了2.8%，表明進(jìn)一步改進(jìn)的有效性，反映了該模型作為能夠?qū)δX膠質(zhì)瘤圖像檢測和分級(jí)的CAD系統(tǒng)是更高效可行的。

圖8 ROC曲線及AUC

3 結(jié)束語

總而言之，本研究介紹了一種用于腦膠質(zhì)瘤檢測和級(jí)別分類的基于YOLOv3-DN的CAD系統(tǒng)。所提出的CAD系統(tǒng)采用了基于ROI的YOLOv3方法，該方法利用卷積層以及完全連接的神經(jīng)網(wǎng)絡(luò)來檢測ROI的正確位置并區(qū)分級(jí)別。結(jié)果顯示其在檢測LGG、GBM位置以及正確分類方面可行且有效。

本研究對(duì)醫(yī)學(xué)診斷具有價(jià)值，并可能影響用于膠質(zhì)瘤患者的治療策略，為計(jì)算機(jī)輔助腦膠質(zhì)瘤精準(zhǔn)醫(yī)學(xué)提供了良好的契機(jī)。

在未來的研究工作中，我們將進(jìn)一步增加膠質(zhì)瘤MRI圖像的來源機(jī)構(gòu)，以實(shí)現(xiàn)多中心驗(yàn)證，同時(shí)增加訓(xùn)練數(shù)據(jù)集，以進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型，提高CAD系統(tǒng)的檢測效率和分級(jí)質(zhì)量。