一種用于青光眼視杯盤分割的改進U-Net 算法

柴家星，李 峰，席千千，肖澤華，嚴(yán) 磊，王宇光

（1.上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093；2.上海理工大學(xué) 機械工程學(xué)院，上海 200093）

0 引言

青光眼是一種退行性視神經(jīng)病變，會導(dǎo)致患者視力和生活質(zhì)量下降。依據(jù)世界衛(wèi)生組織（WHO）相關(guān)報告，青光眼的致盲率僅次于白內(nèi)障，至2020 年有近7 600 萬人被確診為青光眼，預(yù)計2040 年青光眼的患者將達(dá)到1.18 億［1-2］。青光眼患者早期無癥狀表現(xiàn)，只有到了晚期才會有明顯的視力下降，而且視力的損失是不可逆轉(zhuǎn)的。因此，青光眼的早期篩查對于患者的及時治療至關(guān)重要。通常，眼科醫(yī)生根據(jù)患者彩色眼底照片對視神經(jīng)頭（Optic Nerve Hypo?plasia，ONH）區(qū)域進行評估以檢測青光眼。ONH 評估的一個重要指標(biāo)是杯盤比（Cup-to-Disc Ratio，CDR），大的杯盤比意味著更高的患病風(fēng)險。然而，CDR 大多數(shù)是由醫(yī)生人工測量和計算，不僅耗時、費力而且不同醫(yī)生的測量結(jié)果也存在一定的主觀性。眼底圖像中OD/OC 的分割準(zhǔn)確度在很大程度上會影響CDR 的計算。為此，基于眼底圖像的OD 和OC 自動準(zhǔn)確分割在青光眼的篩查和診斷中具有非常重要的意義。

近年來，許多研究人員對基于視網(wǎng)膜眼底圖像的OD和OC 自動分割進行了研究，主要分割方法包括：統(tǒng)計形狀模型［3-6］、多視圖和多模態(tài)方法［7-9］及基于超像素的方法［10-13］等。然而，上述研究主要依靠手工提取OD 和OC 的特征，并需要用戶的交互才能產(chǎn)生比較良好的分割結(jié)果。在實際的臨床環(huán)境中，很難設(shè)計出好的手工特征，這降低了算法的分割性能。最近，深度學(xué)習(xí)技術(shù)已在圖像分割上取得了良好性能，并取得了良好的分割效果。Sevastopol?sky［9］采用改進的U-Net 網(wǎng)絡(luò)對OD 進行分割，其分割結(jié)果被進一步用于OC 分割；Fukushima 等［14］設(shè)計了一種參數(shù)相對較少的M-Net 架構(gòu)以實現(xiàn)OD 和OC 的分割。盡管這些研究工作取得了較好的OD 和OC 分割效果，但是其結(jié)構(gòu)復(fù)雜度和時間復(fù)雜度都較高。

針對以上問題，本文設(shè)計了一種基于改進U-Net 的端到端的青光眼視杯盤分割算法，將U-Net 的編碼部分進行改進，采用ResNet50 的映射疊加方式，有效提取圖像深層信息，優(yōu)化網(wǎng)絡(luò)泛化性。進一步地，采用橢圓擬合策略改善視杯盤區(qū)域邊緣信息，消除分割預(yù)測結(jié)果中存在的鋸齒現(xiàn)象。最后，在公開的DRIONS-DB、RIM-ONE 和DRISHTIGS 數(shù)據(jù)集上驗證了模型性能。

1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

本文主要采用3 個公開的青光眼數(shù)據(jù)庫對設(shè)計的網(wǎng)絡(luò)進行性能驗證，這3 個數(shù)據(jù)集分別為RIM-ONE［15］、DRI?ONS-DB［16］和DRISHTI-GS［17］。RIM-ONE 數(shù)據(jù)集包括159張眼底圖像，其中包括84 張青光眼或者是疑似青光眼圖像和75 張正常眼底圖像。DRIONS-DB 數(shù)據(jù)集包含110 張眼底圖片和相應(yīng)視盤分割，其中6 張健康眼底圖片，104 張青光眼圖片，圖片像素大小是600×400。DRISHTI-GS 數(shù)據(jù)集包含101 張彩色眼底圖像，其中50 張訓(xùn)練圖像和51 張測試圖像，圖片像素大小為2 896×1 944。此外，該數(shù)據(jù)集還提供了基于4 名眼科專家手繪標(biāo)簽的視盤和視杯的平均邊界值。

對以上3 個數(shù)據(jù)集中的眼底圖片采用限制對比度自適應(yīng)直方圖均衡（Contrast Limited Adaptive Histogram Equal?ization，CLAHE）方法和數(shù)據(jù)增強技術(shù)，所采用的數(shù)據(jù)增強方法包括眼底圖像的鏡像翻轉(zhuǎn)、隨機裁切等。感興趣區(qū)域提取處理流程如圖1 所示，通過數(shù)據(jù)預(yù)處理提高數(shù)據(jù)集中眼底圖像的數(shù)量和異構(gòu)性。

Fig.1 Process flow of extracting featured region of interest圖1 感興趣特征區(qū)域提取處理流程

2 基于ResNet50 的分割網(wǎng)絡(luò)

本文基于端到端思想設(shè)計了一種圖片像素級分割架構(gòu)以完成眼底圖片中視杯視盤區(qū)域分割。該設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)采用了編—解碼的特點進行搭建，主要使用卷積、池化層以及相應(yīng)的ReLU 激活函數(shù)和批歸一化函數(shù)等基本結(jié)構(gòu)，如圖2 所示。在網(wǎng)絡(luò)中，采用ResNet50 作為U-Net 架構(gòu)的下采樣編碼器部分，并在模型跳躍連接中加入目標(biāo)注意力機制來提高模型對盤沿邊緣的識別能力及分割精度。網(wǎng)絡(luò)左側(cè)是基于ResNet50 的下采樣部分，即為壓縮路徑，主要包含一個卷積核大小為64 的7×7 卷積層、最大池化層以及多個重復(fù)的殘差塊。所設(shè)計的降采樣網(wǎng)絡(luò)不僅對輸入眼底圖像的一些小擾動具有很好的魯棒性，而且可有效減少過擬合的風(fēng)險，降低運算量并能增大感受野，淺層結(jié)構(gòu)可提取圖像簡單特征，深層結(jié)構(gòu)可提取更為抽象的特征。網(wǎng)絡(luò)右側(cè)為擴展路徑，其作用是將抽象特征解碼到圖像的原始尺寸。

分割算法總體設(shè)計步驟如圖3 所示，其整體流程主要由兩主體部分組成。針對第一部分視盤區(qū)域分割，在輸入層輸入數(shù)據(jù)集中的原始圖像；針對第二部分視杯分割，因其在視盤區(qū)域表現(xiàn)出對比度分散、邊緣模糊不清等特點，所以在輸入數(shù)據(jù)時轉(zhuǎn)為輸入經(jīng)算法處理過后的視盤感興趣區(qū)域。

本文所提出的視杯分割模型的訓(xùn)練過程與視盤類似，因此可基于訓(xùn)練視盤分割模型參數(shù)進行微調(diào)以獲得較為優(yōu)異的效果，從而節(jié)約了實驗時間及計算資源。所提分割算法模型的實施過程主要有：①依據(jù)視盤區(qū)域亮度分布情況及位置形狀特征完成感興趣區(qū)域提取工作，并利用數(shù)據(jù)增強算法對其進行圖像處理，同時對眼底圖片進行像素歸一化操作；②將步驟①中處理過后的圖像輸入到文中深度學(xué)習(xí)網(wǎng)絡(luò)中，以訓(xùn)練對應(yīng)的視盤分割過程，在此過程中需加載由其他數(shù)據(jù)庫已訓(xùn)練完畢的網(wǎng)絡(luò)參數(shù)并以此為基礎(chǔ)做進一步參數(shù)調(diào)整，利用前向傳播與反向傳播對網(wǎng)絡(luò)進行迭代訓(xùn)練，直至損失函數(shù)結(jié)果達(dá)到穩(wěn)定值或已經(jīng)達(dá)到事先設(shè)置好的最大迭代數(shù)時將退出訓(xùn)練過程；③用步驟②中已訓(xùn)練視盤分割參數(shù)對視杯分割模型進行參數(shù)調(diào)整，此訓(xùn)練過程具體實施步驟可依據(jù)步驟②中視盤分割過程；④測試圖像是在已訓(xùn)練好的視杯盤分割網(wǎng)絡(luò)上進行分割預(yù)測，并根據(jù)眼底圖像中視盤輪廓趨于橢圓對最終預(yù)測結(jié)果進行橢圓擬合，以防止分割結(jié)果存在鋸齒邊緣信息從而影響實驗結(jié)果，實驗最后根據(jù)視杯盤分割預(yù)測邊界計算CDR 數(shù)值，并將其結(jié)果作為青光眼輔助判斷的依據(jù)。

Fig.2 Split network based on ResNet50圖2 基于ResNet50 的分割網(wǎng)絡(luò)

Fig.3 Overall design of segmentation algorithm圖3 分割算法總體設(shè)計

3 評估指標(biāo)

本文采用交并比（Intersection over Union，IOU）、Dice 系數(shù)和AUC 以評估所提出分割方法的性能。IOU 定義為：

Dice 系數(shù)定義為：

其中，A 表示分割結(jié)果的真值，B 表示算法分割結(jié)果。

4 實驗結(jié)果

本文將提出的分割方法與當(dāng)前主流方法進行比較，結(jié)果如表1 和表2 所示。從表1 可以看出，基于DRIONS-DB和RIM-ONE 數(shù)據(jù)集上的算法在分割視盤中獲得的IOU 和Dice 值分別為0.93 和0.96，0.94 和0.97，優(yōu)于Sevastopolsky等［9］、Zilly 等［18］和Al-Bander 等［19］提出的分割方法。在DRISHTI-GS 數(shù)據(jù)集上所提出的方法與Zilly 等［18］提出的算法所產(chǎn)生的視盤分割性能相匹配。從表2 可以得到，針對視杯分割，在RIM-ONE 數(shù)據(jù)集上的算法獲得的IOU 為0.845，Dice 系數(shù)為0.923；在DRISHTI-GS 數(shù)據(jù)集上的方法所產(chǎn)生的IOU 和Dice 的值分別為0.930 和0.970，性能明顯優(yōu)于其他3 種算法。

Table 1 Comparison results of different algorithms for segmentation of optic disc表1 不同算法分割視盤對比結(jié)果

Table 2 Comparison results of different algorithms for segmentation of visual cup表2 不同算法分割視杯對比結(jié)果

此外，在以上3 個數(shù)據(jù)集上算法分割OD 和OC 的ROC曲線如圖4 和圖5 所示?？梢钥闯?，在DRIONS-DB 與DRISHTI-GS 數(shù)據(jù)集上分割OD 分別獲得AUC 值為0.982、0.962；在RIM-ONE 與DRISHTI-GS 數(shù)據(jù)集上分割OD 與OC 分別獲得的AUC 值為0.989 和0.992。由此可知，本文算法在分割視杯和視盤方面具有良好的魯棒性與泛化性［20-21］。此外，本文算法性能的提高主要是在網(wǎng)絡(luò)中引入了目標(biāo)注意力機制，提高了對視杯盤區(qū)域輪廓的識別能力。

Fig.4 OD segmentation curves of DRIONS-DB and DRISHTI-GS data sets圖4 DRIONS-DB 與DRISHTI-GS 數(shù)據(jù)集OD 分割曲線

Fig.5 Segmentation curves of OD and OC in RIM-ONE and DRISHTI-GS data sets圖5 RIM-ONE 與DRISHTI-GS 數(shù)據(jù)集中的OD 與OC 分割曲線

最后，將由本文模型分割結(jié)果計算出的CDR 值與4 位眼科醫(yī)生獲得的CDR 值進行比較，如表3 所示。從表3 可知，算法結(jié)果與眼科醫(yī)生的結(jié)果基本一致，進一步驗證了本文算法的優(yōu)越性能。

Table 3 Mean and standard errors of four ophthalmologists and algorithms in predicting CDR表3 4 位眼科醫(yī)生與算法預(yù)測CDR 的平均與標(biāo)準(zhǔn)誤差

5 結(jié)語

本文利用彩色眼底圖片對傳統(tǒng)U-Net 分割架構(gòu)進行了改進，提出了一種基于改進U-Net 的端到端的青光眼視杯盤分割算法。在網(wǎng)絡(luò)中，本文改進了U-Net 的編碼部分，采用ResNet50 的映射疊加方式，提取圖像的深層特征信息。為進一步消除分割結(jié)果中的鋸齒現(xiàn)象，借助橢圓擬合策略改善視杯盤區(qū)域的邊緣信息［22-23］。最后，通過在公開的DRIONS-DB、RIM-ONE 和DRISHTI-GS 數(shù)據(jù)集上與當(dāng)前主流的OD 和OC 分割網(wǎng)絡(luò)進行比較，驗證了模型優(yōu)越的分割性能，在青光眼診斷中達(dá)到了與人工分割接近的性能。因此，從總體上看，本文分割網(wǎng)絡(luò)在青光眼的輔助診斷中有一定的優(yōu)越性，并且對視盤與視杯的重要結(jié)構(gòu)特征有較強的學(xué)習(xí)能力，并為后續(xù)研究視杯視盤聯(lián)合分割作出了鋪墊。