鬼影卷積自適應(yīng)視網(wǎng)膜血管分割算法

梁禮明，周瓏頌，陳 鑫，余 潔，馮新剛

鬼影卷積自適應(yīng)視網(wǎng)膜血管分割算法

梁禮明1，周瓏頌1，陳 鑫1，余 潔1，馮新剛2*

1江西理工大學(xué)電氣工程與自動化學(xué)院，江西 贛州 341000；2江西理工大學(xué)應(yīng)用科學(xué)學(xué)院，江西 贛州 341000

針對視網(wǎng)膜血管分割存在主血管輪廓模糊、微細(xì)血管斷裂和視盤邊界誤分割等問題，提出一種鬼影卷積自適應(yīng)視網(wǎng)膜血管分割算法。算法一是用鬼影卷積替代神經(jīng)網(wǎng)絡(luò)中普通卷積，鬼影卷積生成豐富的血管特征圖，使目標(biāo)特征提取充分進行。二是將生成的特征圖進行自適應(yīng)融合并輸入至解碼層分類，自適應(yīng)融合能夠多尺度捕獲圖像信息和高質(zhì)量保存細(xì)節(jié)。三是在精確定位血管像素與解決圖像紋理損失過程中，構(gòu)建雙路徑注意力引導(dǎo)結(jié)構(gòu)將網(wǎng)絡(luò)底層特征圖與高層特征圖有效結(jié)合，提高血管分割準(zhǔn)確率。同時引入Cross-Dice Loss函數(shù)來抑制正負(fù)樣本不均問題，減少因血管像素占比少而引起的分割誤差，在DRIVE與STARE數(shù)據(jù)集上進行實驗，其準(zhǔn)確率分別為96.56%和97.32%，敏感度分別為84.52%和83.12%，特異性分別為98.25%和98.96%，具有較好的分割效果。

視網(wǎng)膜血管；鬼影卷積；自適應(yīng)融合模塊；雙路徑注意力引導(dǎo)結(jié)構(gòu)

1 引 言

視網(wǎng)膜血管形態(tài)結(jié)構(gòu)是反映人體健康的重要指標(biāo)，其圖像的處理與分割對青光眼、心血管疾病和靜脈阻塞等多種疾病的早期發(fā)現(xiàn)和治療具有非常重要的意義[1]。然而，現(xiàn)實中視網(wǎng)膜血管分割面臨著眼球末端血管呈交織狀分布且輪廓模糊等難題。因此，迫切需要能夠自動識別和自動分割血管結(jié)構(gòu)的算法，去幫助醫(yī)療人員診斷眼底疾病。

目前，視網(wǎng)膜血管分割算法主要分為無監(jiān)督和有監(jiān)督學(xué)習(xí)方法[2]，其中無監(jiān)督學(xué)習(xí)方法主要關(guān)注眼底血管原始信息。She等[3]將Franqi濾波器和方向分?jǐn)?shù)相結(jié)合來提取視網(wǎng)膜血管，Hessian矩陣組成的Franqi濾波器可以提高線狀物體的平滑性，增強眼底血管與背景對比度。同時引入方向分?jǐn)?shù)去擴展平面維度，使二維血管圖像映射到多維平面中以捕獲多尺度特征信息，改善微細(xì)血管末端交叉相連問題，但該算法并沒有很好解決視盤對于血管分割的影響。有監(jiān)督學(xué)習(xí)需要先驗標(biāo)記信息，利用人工Label圖像對分類器進行特征訓(xùn)練。Liang等[4]集成可變形卷積到傳統(tǒng)U型網(wǎng)絡(luò)中構(gòu)成ASU-Net，該算法根據(jù)血管形狀和尺度自適應(yīng)地調(diào)整感受野，以捕捉結(jié)構(gòu)復(fù)雜的視網(wǎng)膜血管，并通過低級特征圖與高級特征圖相聚合的方式，來實現(xiàn)微血管精確定位，但是需要引入大量卷積算子去學(xué)習(xí)可變形偏移量，使得訓(xùn)練和測試時間大幅度增加；Wang等[5]提出HA-Net視網(wǎng)膜血管分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含一層編碼器和三層解碼器，首先利用主解碼器生成粗略血管分割圖并自動確定圖像中硬區(qū)域和軟區(qū)域，然后將軟硬區(qū)域分別輸進對應(yīng)的輔助解碼器中進行重新分割，算法存在過度分割現(xiàn)象，致使血管輪廓整體過粗和錯誤生成假血管分支。

雖然上述算法在分割領(lǐng)域有較好研究成果，但分割視網(wǎng)膜血管時仍存在缺陷，文獻[3]利用方向分?jǐn)?shù)擴展維度，將二維圖像結(jié)構(gòu)映射到不同平面，會使眼底視盤區(qū)域、硬性滲出物和正常血管融合，進而影響微細(xì)血管分割。文獻[4]引入可變形卷積復(fù)雜化網(wǎng)絡(luò)結(jié)構(gòu)，帶來大量參數(shù)和提高訓(xùn)練時長，不利于算法實際應(yīng)用。文獻[5]多層解碼器并聯(lián)會使網(wǎng)絡(luò)出現(xiàn)過擬合情況，生成假血管分支。針對上述存在問題，本文提出一種鬼影卷積自適應(yīng)視網(wǎng)膜分割算法，先對彩色眼底圖片進行RGB(Red、Green、Blue)三通道分離和限制對比度直方圖均衡化(CLAHE)處理，增強視網(wǎng)膜微細(xì)血管與視盤區(qū)域?qū)Ρ榷龋档凸庹諒姸群皖伾ǖ缹Ψ指钚Ч挠绊?。然后將眼底圖片輸入鬼影卷積自適應(yīng)網(wǎng)絡(luò)中進行訓(xùn)練以提取血管特征，U型網(wǎng)絡(luò)編碼器和解碼器中普通卷積替換成鬼影卷積，鬼影卷積利用較小計算量生成豐富甚至冗余的特征圖，可以有效減少網(wǎng)絡(luò)參數(shù)和訓(xùn)練時長，快速提取出視網(wǎng)膜血管信息。為增加卷積層感受野，多尺度提取目標(biāo)特征，將自適應(yīng)融合模塊置于神經(jīng)網(wǎng)絡(luò)底端。同時利用雙路徑注意力引導(dǎo)結(jié)構(gòu)級聯(lián)編碼部分和解碼部分，解決池化層信息損失和實現(xiàn)語義全局傳遞，能夠更好地保留血管像素，分割出邊緣細(xì)節(jié)更加完整的圖片。

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 鬼影模塊

神經(jīng)網(wǎng)絡(luò)通過卷積層擴展輸入特征圖數(shù)量，產(chǎn)生豐富甚至冗余的信息以保證視網(wǎng)膜血管特征充分提取，但冗余特征也帶來大量浮點運算(floating point operations，F(xiàn)LOP)和參數(shù)(parameters)，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時間過長和占用內(nèi)存過大。眼底圖像經(jīng)過普通卷積輸出結(jié)果如圖1所示，圖中存在大量類似結(jié)構(gòu)像彼此幽靈一樣，利用這種相似特性本文采用鬼影卷積(ghost convolution)[6]生成冗余特征圖，該卷積利用廉價線性運算替代部分卷積操作，可以有效地減少網(wǎng)絡(luò)參數(shù)和優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。

鬼影卷積層輸出個特征圖，步驟如下：

鬼影卷積層能夠與普通卷積層一樣生成視網(wǎng)膜特征圖，因此可以輕松地替換普通卷積層嵌入神經(jīng)網(wǎng)絡(luò)架構(gòu)中降低計算成本。普通卷積核大小為，鬼影卷

積核大小為，輸出個視網(wǎng)膜特征圖浮點運算量之比為

本文利用鬼影卷積層(ghost convolution layer)設(shè)計出鬼影模塊(ghost module)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，模塊結(jié)構(gòu)見圖3。Ghost module主要由三部分組成：第一部分?jǐn)U展鬼影卷積層，利用鬼影卷積層增加視網(wǎng)膜特征圖數(shù)量；第二部分SE注意力模塊[7]，SE模塊可以動態(tài)地抑制與血管任務(wù)不相關(guān)區(qū)域特征，提高網(wǎng)絡(luò)分割精度；第三部分壓縮鬼影卷積層，利用鬼影卷積層減少特征圖數(shù)量以匹配輸出所需。

圖1 普通卷積層輸出結(jié)果

圖 2 鬼影卷積層

圖3 鬼影模塊

圖4 自適應(yīng)融合模塊

2.2 自適應(yīng)特征融合

融合多尺度特征可以增強模型分割性能，在網(wǎng)絡(luò)底端引入空洞卷積可以使輸入特征圖在不連接池化層的情況下擴大感受野，讓卷積后輸出擁有更多細(xì)節(jié)信息。本文基于非對稱擴張卷積提出自適應(yīng)融合模塊(adaptive fusion module，AFM)，該模塊由一對混合非對稱擴張卷積(HADC)[8]和一個跳躍路徑(skip connection)[9]組成。自適應(yīng)融合主要思想是通過不同感受野分支捕獲不同尺度信息，從而達到多維特征提取，整體結(jié)構(gòu)如圖4(a)所示。

混合非對稱擴張卷積包含三個三向?qū)?three direction layer，TDL)，各層空洞卷積率(rate)[10]依次擴大，分別為1、2和3，變化的空洞卷積率組合可以保證在擴大感受野同時減少區(qū)域像素丟失，如圖4(b)所示。其中三向?qū)又芯矸e以并行方式工作，在和軸上互補融合血管像素，如圖4(c)所示。TDL利用5×5空洞卷積探索全局信息，3×5空洞卷積補充橫向?qū)有畔ⅲ?×3空洞卷積補充縱向?qū)有畔?，多方向元素交叉融合可以保存高質(zhì)量細(xì)節(jié)。支路的跳躍連接由1×1卷積構(gòu)成，用于防止梯度爆炸和梯度消失(導(dǎo)數(shù)出現(xiàn)指數(shù)上升和下降)。獨特的分支結(jié)構(gòu)使得自適應(yīng)融合模塊能夠增加卷積層感受野，從而探索多維區(qū)域尺度特征和提取全局語義信息。該模塊將編碼部分信息進行自適應(yīng)融合后輸入解碼部分預(yù)測分類，可以保留視網(wǎng)膜血管深層像素。

2.3 注意力機制

U-Net[11]原始上下采樣方式容易丟失底層特征，難以高精度預(yù)測出視網(wǎng)膜血管輪廓。因此增強眼底血管像素對于提高分割精度十分重要，注意力引導(dǎo)(AG)結(jié)構(gòu)通過跳躍式連接將低級特征圖(編碼層特征圖)與高級特征圖(解碼層特征圖)級聯(lián)，增強眼底像素傳遞，改善血管細(xì)節(jié)模糊現(xiàn)象，結(jié)構(gòu)如圖5所示。h是高級特征圖，l是低級特征圖，低級和高級特征圖先用1×1卷積處理并相加，在用1×1卷積提取血管特征，ReLU激活函數(shù)防止梯度消失，Sigmoid函數(shù)獲取注意力系數(shù)?[0,1]，注意力系數(shù)與高級特征圖h相乘確定其權(quán)重，與目標(biāo)任務(wù)關(guān)系越緊密的圖像被保留的特征越多。

單路徑注意力引導(dǎo)結(jié)構(gòu)可能會導(dǎo)致空間圖像產(chǎn)生噪聲，影響模型分割的魯棒性，因此本文將單路徑引導(dǎo)結(jié)構(gòu)改進成雙路徑引導(dǎo)(dual-pathway attention guided，DAG)結(jié)構(gòu)，結(jié)構(gòu)如圖6所示。雙路徑引導(dǎo)能夠產(chǎn)生二個注意力系數(shù)，輸出1是確定權(quán)重的高級特征圖h，輸出2是確定權(quán)重的低級特征圖l，二者相加并用1×1卷積、批量歸一化(BN)和ReLU激活函數(shù)處理得到最終輸出，添加雙路徑引導(dǎo)結(jié)構(gòu)使得圖像邊緣更加清晰。

圖5 注意力引導(dǎo)結(jié)構(gòu)

圖6 雙路徑注意力引導(dǎo)結(jié)構(gòu)

圖7 鬼影卷積自適應(yīng)網(wǎng)絡(luò)

2.4 網(wǎng)絡(luò)結(jié)構(gòu)

視網(wǎng)膜血管擁有復(fù)雜的形態(tài)結(jié)構(gòu)和多變的尺度信息，為確保算法可以融合全局信息，分割出更多微細(xì)血管數(shù)目，本文提出鬼影卷積自適應(yīng)視網(wǎng)膜血管分割算法，網(wǎng)絡(luò)整體結(jié)構(gòu)如圖7所示。鬼影卷積自適應(yīng)網(wǎng)絡(luò)(GANet)主體由圖像預(yù)處理(image preprocessing)、編碼器、解碼器和連接部分共同組成。原始眼底圖像尺度為565×584×3，預(yù)處理先將眼底圖片裁剪成64×64×1，再輸入到神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練。網(wǎng)絡(luò)左半部為編碼器用于視網(wǎng)膜血管特征提取，由鬼影模塊(ghost module)和最大池化層(maxpooling)組成，對眼底圖像進行空間維度收縮和通道擴張，將尺度為64×64×1的眼底圖像變成4×4×512。網(wǎng)絡(luò)右半部為解碼器用于類別預(yù)測，由上采樣(upsampling)和鬼影模塊組成，將4×4×512尺度圖像恢復(fù)為64×64×1。連接部分分為自適應(yīng)融合模塊(AFM)和雙路徑注意力引導(dǎo)結(jié)構(gòu)(DAG)，其中自適應(yīng)融合模塊置于網(wǎng)絡(luò)下層，連接神經(jīng)網(wǎng)絡(luò)底端編碼器和解碼器，交叉融合血管像素，減少特征丟失和保存高質(zhì)量細(xì)節(jié)。雙路徑注意力引導(dǎo)結(jié)構(gòu)置于網(wǎng)絡(luò)上中層，級聯(lián)相應(yīng)解碼層和編碼層，結(jié)合低級特征圖和高級特征圖，降低池化層對信息的損害，提高血管像素定位精度。網(wǎng)絡(luò)末端是Sigmoid激活函數(shù)，對血管和背景進行分類得到64×64×1的分割結(jié)果圖，最后拼接(splicing)裁剪結(jié)果圖得到最終血管分割結(jié)果。此外，本文引入新型混合損失(Cross-Dice Loss)函數(shù)來抑制正負(fù)樣本不均問題，減少因血管像素占圖片整體像素比例較小而引起的分割誤差，從而得到更為優(yōu)異地分割結(jié)果。

2.5 損失函數(shù)

視網(wǎng)膜血管分割任務(wù)中常用交叉熵?fù)p失(Cross -entropy Loss)函數(shù)衡量模型預(yù)測的好壞，Cross-entropy Loss基于像素平均值預(yù)測，面對血管像素占眼底圖像整體像素比例較小時，會使預(yù)測偏向背景目標(biāo)。Dice-coefficient Loss可以引入權(quán)重來緩解類別間不平衡的影響，關(guān)注預(yù)測與事實之間重疊，但分割眼底圖像邊界時效果較差。將Dice-coefficient Loss和Cross-entropy Loss混合成一種新型損失(Cross-Dice Loss)函數(shù)用于本文算法評估，可以很好地適應(yīng)前景與背景像素比例不平衡的分割任務(wù)，表現(xiàn)出預(yù)測結(jié)果與實際結(jié)果的區(qū)別，新?lián)p失函數(shù)定義為

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與圖像預(yù)處理

本文采用公開數(shù)據(jù)庫中的DRIVE和STARE數(shù)據(jù)集作為實驗數(shù)據(jù)集，DRIVE數(shù)據(jù)庫中包含40張彩色眼底圖片，官方已經(jīng)將數(shù)據(jù)集進行手工分割且分為訓(xùn)練集和測試集。STARE數(shù)據(jù)庫中包含20張彩色眼底圖片，將數(shù)據(jù)集平均分成五份，采用五折交叉驗證方式進行實驗。為獲取更好實驗結(jié)果，需要對原始眼底圖像進行預(yù)處理再輸入到模型中訓(xùn)練，預(yù)處理的步驟如下。

圖8 預(yù)處理圖像。(a) 原圖；(b) 綠色通道圖；(c) CLAHE圖；(d) 伽馬變換圖

1) 圖像擴充：DRIVE和STARE數(shù)據(jù)集中包含圖片數(shù)量較少，采用沿軸18°旋轉(zhuǎn)采樣，將數(shù)據(jù)集擴充20倍，以增加網(wǎng)絡(luò)訓(xùn)練樣本量。

2) RGB(Red、Green、Blue)三通道處理：將眼底圖像分離成RGB三通道特征圖，發(fā)現(xiàn)綠色通道對比其他通道亮度適中、血管與背景對比度好，故選用綠色通道圖片作為預(yù)處理后續(xù)圖片。

3) 限制對比度直方圖均衡化(CLAHE)處理：CLAHE處理在增強血管與背景對比度的同時不放大噪聲，使處理后的眼底圖片更加平滑。均衡化后采用伽馬變換對圖片較暗部分進行亮度提升，增強圖片可視度，預(yù)處理如圖8所示。

3.2 實驗環(huán)境和參數(shù)設(shè)置

實驗電腦仿真平臺是PyCharm，實驗環(huán)境是TensorFlow2.0開源框架，電腦配置為Intel?Core?i7-6700H CPU，16 GB內(nèi)存，Nvidia GeForce GTX 2070 GPU，64位Win10操作系統(tǒng)。

采用Adam算法優(yōu)化Cross-Dice Loss函數(shù)，加快目標(biāo)函數(shù)收斂速度，迭代次數(shù)設(shè)置為100，網(wǎng)絡(luò)初始學(xué)習(xí)率設(shè)置為0.0005，訓(xùn)練批量設(shè)置為16，訓(xùn)練集中20%樣本作為驗證集。

3.3 評價指標(biāo)

本文用準(zhǔn)確度(accuracy，簡寫為Acc，在式中寫為cc)、敏感度(sensitivity，簡寫為Sen，在式中寫為en)、特異性(specificity，簡寫為Spe，在式中寫為pe)和受試者工作特征曲線(ROC)下方的面積AUC這四個指標(biāo)來評估算法性能。其中，敏感度表示檢測血管像素數(shù)量與真實血管像素數(shù)量的比率；特異性表示檢測非血管像素的數(shù)量與真實非血管像素數(shù)量的比率；準(zhǔn)確度表示準(zhǔn)確分類像素數(shù)量與圖像中總像素數(shù)量的比率。

3.4 不同算法主觀性對比

為驗證鬼影卷積自適應(yīng)網(wǎng)絡(luò)(GANet)分割血管的有效性，選取文獻[11]中U型網(wǎng)絡(luò)(U-Net)、文獻[12]中密集卷積長短期記憶網(wǎng)絡(luò)(BCDU-Net)、文獻[13]中雙層U型網(wǎng)絡(luò)(DoubleU-Net)和文獻[14]中蝶形全卷積神經(jīng)網(wǎng)絡(luò)(BFCN)與本文算法(GANet)進行主觀性對比。編碼器和解碼器對稱連接，形似英文字母U的網(wǎng)絡(luò)稱為U型網(wǎng)絡(luò)(U-Net)，編碼器用于壓縮圖片進行特征提取，解碼器用于恢復(fù)圖片尺寸進行分類預(yù)測。BCDU-Net是在U型網(wǎng)絡(luò)編碼層和解碼層中添加密集卷積塊，并用記憶神經(jīng)元級聯(lián)而成的網(wǎng)絡(luò)。DoubleU-Net由雙層U型網(wǎng)絡(luò)并聯(lián)組成，前層采用VGG-19預(yù)訓(xùn)練框架，后層類似U-Net結(jié)構(gòu)，并聯(lián)框架可以多層次提取血管像素。BFCN編碼層由多尺度信息提取塊構(gòu)成，同時利用傳輸層串聯(lián)網(wǎng)絡(luò)整體結(jié)構(gòu)，可以多尺度提取血管特征。普通卷積自適應(yīng)網(wǎng)絡(luò)(CANet)是將鬼影卷積還原成普通卷積，其余結(jié)構(gòu)與本文算法一致。將上述六種算法置于同一實驗環(huán)境下進行測試，不同算法對比結(jié)果見表1，其中最優(yōu)指標(biāo)加粗表示。

表1可以看出，本文網(wǎng)絡(luò)GANet綜合性能比較好，網(wǎng)絡(luò)參數(shù)(parameters)為27400454，低于上述五種算法，僅為CANet的75.62%，證明鬼影卷積具有顯著降低網(wǎng)絡(luò)參數(shù)功能。同時單輪訓(xùn)練時長分別為152 s、286 s、294 s、422 s、348 s和244 s。GANet訓(xùn)練時間雖高于U-Net少許，但低于其余四種網(wǎng)絡(luò)，僅為CANet的70.11%。U-Net未添加任何模塊以最簡單形式組成，使得訓(xùn)練最短，但本文算法其他指標(biāo)均高于U-Net，能更好地平衡時間與準(zhǔn)確率關(guān)系。

表1 不同算法對比結(jié)果

在DRIVE數(shù)據(jù)集上除特異性(Spe)指標(biāo)外，本文準(zhǔn)確度(Acc)、敏感度(Sen)和AUC值均為最高，分別為0.9656、0.8452和0.9869。DoubleU-Net由雙層U型網(wǎng)絡(luò)構(gòu)成，訓(xùn)練時可能出現(xiàn)過擬合現(xiàn)象，進而生成假血管分支，使特異性值高于本文算法，但本文算法準(zhǔn)確度和敏感度更高，血管誤分割率更低。在STARE數(shù)據(jù)集上除AUC值比CANet低0.01%外其余指標(biāo)均高于上述五種算法，說明本文算法綜合性能優(yōu)于傳統(tǒng)算法。圖9展示不同算法視網(wǎng)膜血管分割結(jié)果，前三幅是DRIVE數(shù)據(jù)集圖片，后三幅是STARE數(shù)據(jù)集圖片，其中9(a)代表數(shù)據(jù)庫中原始彩色圖，9(b)代表醫(yī)學(xué)專家手工分割結(jié)果稱金標(biāo)準(zhǔn)，9(c)～9(h)分別代表U-Net、BCDU-Net、DoubleU-Net、BFCN、CANet和GANet分割結(jié)果。在第一幅和第三幅圖片中，U-Net、BCDU-Net、DoubleU-Net和BFCN分割眼底視盤區(qū)域時不能有效地辨別視盤和血管輪廓，容易將視盤誤分割為血管，導(dǎo)致其周圍主血管鏈結(jié)，而GANet能夠較好地識別視盤與血管，避免假血管生成。第二幅眼底圖片左下角存在病變現(xiàn)象，DoubleU-Net、BCDU-Net和CANet抑制病理信息能力較差，病變區(qū)域主血管模糊和缺失，而U-Net、BFCN和GANet在分割病變血管時，能夠剔除病變斑點，減少血管缺失程度。GANet可以捕獲更多微細(xì)血管數(shù)目，使末端細(xì)小血管與主干血管平滑連接，第四幅和第五幅圖片可以看出其他分割算法微細(xì)血管丟失情況嚴(yán)重，造成評價時靈敏度較低。第六幅圖片血管附近有明顯的硬性滲出物，滲出物容易引起交叉處血管錯誤連接，同時掩蓋細(xì)小血管脈絡(luò)走勢，使目標(biāo)區(qū)域產(chǎn)生偽影，GANet和CANet豐富的特征提取使得硬性交叉處血管也能平滑融合，減小無關(guān)斑點生成，而其他算法則有不同程度的偽影，其滲出物的識別證明本文算法及其變形算法的魯棒性更強。

圖9 不同算法分割結(jié)果。(a) 原圖；(b) 金標(biāo)準(zhǔn)；(c) U-Net圖；(d) BCDU-Net圖；(e) DoubleU-Net圖；(f) BFCN圖；(g) CANet圖；(h) GANet圖

進一步清晰展現(xiàn)分割結(jié)果，圖10和圖11給出DRIVE和STARE數(shù)據(jù)集分割細(xì)節(jié)，并用顏色強化血管與背景像素，其中10(a)和11(a)代表灰色或彩色原圖，10(b)和11(b)代表金標(biāo)準(zhǔn)細(xì)節(jié)圖，10(c)～10(h)和11(c)～11(h)分別代表U-Net、BCDU-Net、DoubleU-Net、BFCN、CANet和GANet分割細(xì)節(jié)圖。圖10展示的是圖9中第三幅眼底圖像，由橙色和紅色圓圈可以看出本文算法能夠分割出更多微細(xì)血管，而其他算法在分割末端血管時效果欠缺。

圖10 DRIVE數(shù)據(jù)集分割細(xì)節(jié)。(a) 原圖；(b) 金標(biāo)準(zhǔn)細(xì)節(jié)圖；(c) U-Net細(xì)節(jié)圖；(d) BCDU-Net細(xì)節(jié)圖；(e) DoubleU-Net細(xì)節(jié)圖；(f) BFCN細(xì)節(jié)圖；(g) CANet細(xì)節(jié)圖；(h) GANet細(xì)節(jié)圖

圖11展示的是圖9中第六幅眼底圖像，由橙色和紅色圓圈可以看出本文算法能夠識別血管硬性滲出物，避免偽影生成。通過直觀細(xì)節(jié)對比，體現(xiàn)出本文算法能夠平滑地擬合主干血管和微細(xì)血管，保證視網(wǎng)膜血管分割完整性和準(zhǔn)確性，實驗對比細(xì)節(jié)圖說明鬼影卷積自適應(yīng)網(wǎng)絡(luò)對DRIVE和STARE中的眼底圖片具有較好的分割能力。

圖11 STARE數(shù)據(jù)集分割細(xì)節(jié)。(a) 原圖；(b) 金標(biāo)準(zhǔn)細(xì)節(jié)圖；(c) U-Net細(xì)節(jié)圖；(d) BCDU-Net細(xì)節(jié)圖；(e) DoubleU-Net細(xì)節(jié)圖；(f) BFCN細(xì)節(jié)圖；(g) CANet細(xì)節(jié)圖；(h) GANet細(xì)節(jié)圖

為更加直觀地顯現(xiàn)GANet優(yōu)越性，圖12和圖13給出DRIVE數(shù)據(jù)集上的受試者工作特征(ROC)曲線圖12(a)和精度召回率(PR)曲線圖13(a)走勢。ROC曲線以真陽性率(TPR)為縱坐標(biāo)，假陽性率(FPR)為橫坐標(biāo)，巧妙地以圖示方法揭示靈敏度和特異性關(guān)系。ROC圖中曲線越靠近左上角表明實驗準(zhǔn)確性越高，假陽性率和假陰性率占比越低，由圖12放大圖12(b)看出本文算法GANet曲線走勢最靠近左上角，分類視網(wǎng)膜圖片像素時錯誤分類為血管像素概率最低。

圖12 受試者工作特征曲線

圖13 精度召回率曲線

PR曲線中P代表精準(zhǔn)率(Precision)，R代表召回率(Recall)，圖像蘊含精準(zhǔn)率與召回率關(guān)系，每條PR曲線對應(yīng)一個閾值。PR曲線越靠近右上角表明正負(fù)樣本區(qū)分效果越好，由圖13放大圖13(b)可以看出本文算法GANet曲線走勢最靠近右上角，分類視網(wǎng)膜圖片像素時錯誤分類為非血管像素概率最低。

損失函數(shù)可以估量模型預(yù)測值與真實值不一致程度，圖14給出不同算法在STARE數(shù)據(jù)集上訓(xùn)練損失曲線和測試損失曲線走勢圖。

3.5 不同算法客觀性對比

本文算法與其他文獻方法進行客觀性對比，不同算法客觀性對比結(jié)果見表2，其中最優(yōu)指標(biāo)加粗表示。本文算法在DRIVE和STARE數(shù)據(jù)集上評價指標(biāo)：準(zhǔn)確率(Acc)為96.56%和97.32%，敏感度(Sen)為84.52%和83.12%，特異性(Spe)為98.25%和98.96%，AUC值為98.69%和99.00%。通過數(shù)據(jù)證明本文算法性能對比其他視網(wǎng)膜分割算法具有明顯優(yōu)勢，實驗對比結(jié)果說明鬼影卷積自適應(yīng)網(wǎng)絡(luò)(GANet)對DRIVE和STARE庫中視網(wǎng)膜圖片具有較好地分割能力。文獻[16]利用可變形卷積去代替普通卷積，并采用雙路徑注意力引導(dǎo)結(jié)構(gòu)級聯(lián)編碼器和解碼器，可變形卷積包含偏移量學(xué)習(xí)，可以動態(tài)地調(diào)整卷積核對目標(biāo)內(nèi)容進行自適應(yīng)采樣，但二個數(shù)據(jù)集四項指標(biāo)均低于本文算法，其中精度比本文低0.99%和1.12%，敏感度比本文低5.62%和5.14%，特異性比本文低0.26%和0.74%，鬼影卷積提取視網(wǎng)膜血管能力強于可變形卷積。文獻[20]基于尺度空間逼近卷積神經(jīng)網(wǎng)絡(luò)對視網(wǎng)膜血管進行分割，該網(wǎng)絡(luò)應(yīng)用上采樣多尺度結(jié)構(gòu)增加交換感受野，提高微薄結(jié)構(gòu)血管分割和邊界輪廓定位，同時引入剩余塊輔助網(wǎng)絡(luò)感受野變化，在STARE數(shù)據(jù)集中其精度和特異性均比本文低0.38%，敏感度和AUC值比本文高0.03%和0.05%，表明自適應(yīng)融合模塊和上采樣多尺度結(jié)構(gòu)對血管像素融合各有優(yōu)劣。文獻[22]提出實時模糊形態(tài)學(xué)視網(wǎng)膜血管分割算法，無監(jiān)督學(xué)習(xí)方法利用模糊集理論和模糊邏輯算子去處理不確定和信息缺失的血管，并用黑頂帽操作增強微血管區(qū)域像素，提高分割精度，在DRIVE數(shù)據(jù)集中該算法準(zhǔn)確率最高96.67%，比本文高0.11%，但是敏感度、特異性和AUC值均低于本文，敏感度低2.31%，特異性低0.08%，AUC值低0.16%，說明有監(jiān)督學(xué)習(xí)方法在分割血管輪廓時效果優(yōu)于無監(jiān)督學(xué)習(xí)方法。文獻[23]和文獻[24]采用交叉熵?fù)p失函數(shù)評估算法模型，在面對類別間不平衡時，很難權(quán)衡敏感度和特異性。相比DRIVE數(shù)據(jù)集STARE數(shù)據(jù)集中眼底圖像尺寸更大，血管像素占圖片整體像素比例更小。文獻[23]利用金字塔思想，將圖像放大不同尺度再輸入網(wǎng)絡(luò)中訓(xùn)練，使特異性最高99.03%，但敏感度為75.51%。文獻[24]采用遷移學(xué)習(xí)預(yù)訓(xùn)練模型，并將學(xué)習(xí)的多級別多尺度特征融合以消除錯誤分割，使敏感度最高89.79%，但特異性為97.01%。本文采用Cross-Dice Loss函數(shù)評估算法整體性能，可以很好地適應(yīng)前景與背景像素比例不平衡的分割任務(wù)，權(quán)衡敏感度和特異性之間關(guān)系，算法敏感度和特異性分別為83.12%和98.96%，綜合分析不同算法，得出鬼影卷積自適應(yīng)網(wǎng)絡(luò)性能優(yōu)異。

圖14 損失曲線

表2 不同算法客觀性對比結(jié)果

3.6 消融研究

鬼影卷積自適應(yīng)網(wǎng)絡(luò)(GANet)生成豐富的視網(wǎng)膜特征圖，并自適應(yīng)融合血管特征，更好地保留血管像素，從而分割出邊緣細(xì)節(jié)更加完整的眼底圖片。為驗證鬼影卷積自適應(yīng)網(wǎng)絡(luò)(GANet)各模塊有效性，本文在DRIVE和STARE數(shù)據(jù)集上進行消融研究。GANet_1以普通卷積層為基礎(chǔ)加入自適應(yīng)融合模塊(AFM)和雙路徑引導(dǎo)結(jié)構(gòu)(DAG)，GANet_2將普通卷積層替換成鬼影卷積模塊，并加入雙路徑引導(dǎo)結(jié)構(gòu)(DAG)，GANet_3將普通卷積層替換成鬼影卷積模塊，并加入自適應(yīng)融合模塊(AFM)，表3顯示消融實驗結(jié)果。

消融實驗顯示本文算法各模塊具體作用，其中GANet_1和GANet區(qū)別在于是否加入鬼影卷積模塊，鬼影卷積模塊對比普通卷積層可以產(chǎn)生更豐富的特征圖，充分提取眼底信息，分割出更多微細(xì)血管，GANet_1和GANet準(zhǔn)確度分別為96.45%和96.56%，敏感度分別為83.74%和84.52%，明顯提高算法準(zhǔn)確度和敏感度。GANet_2在鬼影卷積模塊基礎(chǔ)上引入雙路徑引導(dǎo)結(jié)構(gòu)，級聯(lián)編碼器和解碼器，解決池化層信息損失和實現(xiàn)語義全局傳遞，更好地保留血管像素，分割出邊緣細(xì)節(jié)更加完整的圖片，使敏感度達到最優(yōu)85.06%和83.36%。GANet_3在鬼影卷積模塊基礎(chǔ)上引入自適應(yīng)融合模塊，增加卷積層感受野，多尺度提取目標(biāo)特征，使特異性達到最優(yōu)98.51%和99.29%。本文算法在鬼影卷積基礎(chǔ)上加入了自適應(yīng)融合模塊和雙路徑引導(dǎo)結(jié)構(gòu)，在提高算法準(zhǔn)確度的同時權(quán)衡敏感度和特異性。

表3 各模塊消融研究

4 結(jié) 論

本文針對視網(wǎng)膜血管難以高精度分割，提出鬼影卷積自適應(yīng)視網(wǎng)膜血管分割算法。算法先對數(shù)據(jù)庫中圖片進行預(yù)處理，增強眼底圖像可識別度。訓(xùn)練網(wǎng)絡(luò)編碼和解碼器中普通卷積被替換為鬼影卷積，利用鬼影卷積快速生成豐富特征圖的優(yōu)勢，充分提取血管特征。編碼層捕獲信息經(jīng)過自適應(yīng)融合模塊后輸入解碼層中分類，自適應(yīng)模塊利用非對稱卷積核交叉融合血管像素，高質(zhì)量保存視網(wǎng)膜血管細(xì)節(jié)。為弱化池化層噪聲干擾，采用雙路徑注意力引導(dǎo)結(jié)構(gòu)級聯(lián)低級特征圖與高級特征圖，讓視網(wǎng)膜特征能夠全局傳遞。此外，本文引入新型混合損失(Cross-Dice Loss)函數(shù)來抑制正負(fù)樣本不均問題，減少因前景占比少而引起的分割誤差，得到優(yōu)異分割結(jié)果。實驗結(jié)果表明，本文算法綜合性能優(yōu)于現(xiàn)有算法，其分割精度數(shù)值較高，對于眼科疾病診斷擁有一定應(yīng)用價值。雖然鬼影卷積能夠生成豐富的特征圖，但不能很好地確定每張圖片信息度，無法辨別出高質(zhì)量特征圖。未來將研究如何巧妙地融合可變形學(xué)習(xí)量，通過網(wǎng)絡(luò)學(xué)習(xí)自動增加高維信息特征圖權(quán)重，提高視網(wǎng)膜血管分割精度。

[1] Xu G Z, Wang Y W, Hu S,. Retinal vascular segmentation combined with PCNN and morphological matching enhancement[J]., 2019, 46(4): 180466.

徐光柱, 王亞文, 胡松, 等. PCNN與形態(tài)匹配增強相結(jié)合的視網(wǎng)膜血管分割[J]. 光電工程, 2019, 46(4): 180466.

[2] Liu X M, Cao J, Fu T Y,. Semi-supervised automatic segmentation of layer and fluid region in retinal optical coherence tomography images using adversarial learning[J]., 2018, 7: 3046–3061.

[3] She L H, Guo Y R, Zhang S. Retinal vessel segmentation algorithm based on orientation scores and Frangi filter[J].(), 2020, 41(2): 182–187.

佘黎煌, 郭一蓉, 張石. 基于方向分?jǐn)?shù)和Frangi濾波器的視網(wǎng)膜血管分割算法[J]. 東北大學(xué)學(xué)報(自然科學(xué)版), 2020, 41(2): 182–187.

[4] Liang L M, Sheng X Q, Lan Z M,. U-shaped retinal vessel segmentation algorithm based on adaptive scale information[J]., 2019, 39(08): 126–140. 梁禮明, 盛校棋, 藍(lán)智敏, 等. 自適應(yīng)尺度信息的U型視網(wǎng)膜血管分割算法[J]. 光學(xué)學(xué)報, 2019, 39(08): 126–140.

[5] Wang D Y, Haytham A, Pottenburgh J,. Hard attention net for automatic retinal vessel segmentation[J]., 2020, 24(12): 3384–3396.

[6] Han K, Wang Y H, Tian Q,. GhostNet: more features from cheap operations[C]//. 2020: 1577–1586.

[7] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//. 2018: 7132–7141.

[8] Zheng X W, Huan L X, Xia G S,. Parsing very high resolution urban scene images by learning deep ConvNets with edge-aware loss[J]., 2020, 170: 15–28.

[9] Zhang S D, He F Z. DRCDN: learning deep residual convolutional dehazing networks[J]., 2020, 36(9): 1797–1808.

[10] Wang Y J, Hu S Y, Wang G D,. Multi-scale dilated convolution of convolutional neural network for crowd counting[J]., 2020, 79(1–2): 1057–1073.

[11] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]//. 2015: 234–241.

[12] Azad R, Asadi-Aghbolaghi M, Fathy M,. Bi-directional ConvLSTM U-Net with densley connected convolutions[C]//. 2019: 406–415.

[13] Jha D, Riegler M A, Johansen D,. DoubleU-Net: a deep convolutional neural network for medical image segmentation[C]//(). 2020: 558–564.

[14] Jiang Y, Wang F L, Gao J,. Efficient BFCN for automatic retinal vessel segmentation[J]., 2020, 2020: 6439407.

[15] Yan Z Q, Yang X, Cheng K T. Joint segment-level and pixel-wise losses for deep learning based retinal vessel segmentation[J]., 2018, 65(9): 1912–1923.

[16] Li H, Wang Y K, Wan C,. MAU-Net: a retinal vessels segmentation method[C]//(). 2020: 1958–1961.

[17] Jin Q G, Meng Z P, Pham T D,. DUNet: a deformable network for retinal vessel segmentation[J]., 2019, 178: 149–162.

[18] Li X, Jiang Y C, Li M L,. Lightweight attention convolutional neural network for retinal vessel image segmentation[J]., 2021, 17(3): 1958–1967.

[19] Tang P, Liang Q K, Yan X T,. Multi-proportion channel ensemble model for retinal vessel segmentation[J]., 2019, 111: 103352.

[20] Oliveira A, Pereira S, Silva C A. Retinal vessel segmentation based on fully convolutional neural networks[J]., 2018, 112: 229–242.

[21] Wu Y C, Xia Y, Song Y,. NFN+: a novel network followed network for retinal vessel segmentation[J]., 2020, 126: 153–162.

[22] Guo F, Li W Q, Kuang Z H,. MES-Net: a new network for retinal image segmentation[J]., 2021, 80(10): 14767–14788.

[23] Tang Y, Rui Z Y, Yan C F,. ResWnet for retinal small vessel segmentation[J]., 2020, 8: 198265–198274.

[24] Samuel P M, Veeramalai T. Multilevel and multiscale deep neural network for retinal blood vessel segmentation[J]., 2019, 11(7): 946.

Ghost convolution adaptive retinal vessel segmentation algorithm

Liang Liming1, Zhou Longsong1, Chen Xin1, Yu Jie1, Feng Xingang2*

1School of Electrical Engineering and Automation, Jiangxi University of Science and Technology, Ganzhou, Jiangxi 341000, China;2School of Applied Sciences, Jiangxi University of Science and Technology, Ganzhou, Jiangxi 341000, China

Ghost module

Overview:Retinal vascular morphology is an important indicator of human health, and its image processing and segmentation are of great significance for the early detection and treatment of glaucoma, cardiovascular disease, and venous obstruction. At present, retinal vessel segmentation algorithms are mainly divided into unsupervised and supervised learning methods. Unsupervised learning method mainly focuses on the original information of fundus blood vessels and uses matching filtering, mathematical morphology and vascular tracking to segment fundus images. Supervised learning requires prior label information, and the classifier is trained and extracted by manually labeled Label image, and then the retinal vessels are segmented. However, the existing retinal vessel segmentation algorithm has some problems, such as blurred main vessel contour, micro-vessel fracture, and optic disc boundary missegmentation. To solve the above problems, a ghost convolution adaptive retinal vessel segmentation algorithm was proposed. First, color fundus images were separated by RGB (Red, Green, Blue) channels and Contrast Limited Adaptive Histogram Equalization to enhance the contrast between retinal blood vessels and background, and to reduce the influence of light intensity and color channel on the segmentation effect. Then the fundus images were input into the ghoul convolution adaptive network for training to extract the vascular features. The algorithm uses ghoul convolution to replace the common convolution in the neural network, and the ghoul convolution can generate rich vascular feature maps to fully extract the target features. The features are classified and predicted by the adaptive fusion module input into the decoding layer, and the adaptive fusion can capture the image information at multiple scales and preserve the vascular details with high quality. In the process of accurately locating vascular pixels and solving the loss of image texture, a dual-pathway attention guiding structure is constructed to effectively combine the feature maps at the bottom and the high level of the network, which solves the information loss at the pooling layer, achieves global semantic transmission, better retains vascular pixels, and makes the edge details of the segmented image more complete. At the same time, Cross-Dice Loss function is introduced to suppress the problem of uneven positive and negative samples and reduce the segmentation error caused by the small proportion of foreground. The experiment was carried out on DRIVE and STARE datasets. The DRIVE dataset contains 40 color fundus images, which were manually divided into training sets and test sets by the authorities. The STARE database contains 20 color fundus images, which were evenly divided into five parts, and the experiment was carried out in a 50% fold cross validation method. Experimental results: the accuracy rate was 96.56% and 97.32%, sensitivity was 84.52% and 83.12%, specificity was 98.25% and 98.96%, respectively. In the segmentation results, the main vessels were less broken and the microvessels were clear, which has certain medical clinical application value.

Liang L M, Zhou L S, Chen X,Ghost convolution adaptive retinal vessel segmentation algorithm[J]., 2021, 48(10): 210291; DOI:10.12086/oee.2021.210291

Ghost convolution adaptive retinal vessel segmentation algorithm

Liang Liming1, Zhou Longsong1, Chen Xin1, Yu Jie1, Feng Xingang2*

1School of Electrical Engineering and Automation, Jiangxi University of Science and Technology, Ganzhou, Jiangxi 341000, China;2School of Applied Sciences, Jiangxi University of Science and Technology, Ganzhou, Jiangxi 341000, China

In order to solve the problems in retinal vessel segmentation, such as blurred main vessel profile, broken micro-vessels, and missegmented optic disc boundary, a ghost convolution adaptive retinal vessel segmentation algorithm is proposed. The first algorithm uses ghost convolution to replace the common convolution in neural network, and the ghost convolution generates rich vascular feature maps to make the target feature extraction fully carried out. Secondly, the generated feature images are adaptive fusion and input to the decoding layer for classification. Adaptive fusion can capture image information at multiple scales and save details with high quality. Thirdly, in the process of accurately locating vascular pixels and solving image texture loss, a dual-pathway attention guiding structure is constructed to effectively combine the feature map at the bottom and the feature map at the top of the network to improve the accuracy of vascular segmentation. At the same time, Cross-Dice Loss function was introduced to suppress the problem of uneven positive and negative samples and reduce the segmentation error caused by the small proportion of vascular pixels. Experiments were conducted on DRIVE and STARE datasets. The accuracy was 96.56% and 97.32%, the sensitivity was 84.52% and 83.12%, and the specificity was 98.25% and 98.96%, respectively, which proves the good segmentation effect.

retinal vessels; ghost convolution; adaptive fusion module; dual-pathway attention guided structure

National Natural Science Foundation of China (51365017, 61463018), General Project of Jiangxi Natural Science Foundation (20192BAB205084), and Key Project of Science and Technology Research of Jiangxi Provincial Department of Education (GJJ170491)

10.12086/oee.2021.210291

TP391

A

* E-mail: gzfxg1980@163.com

梁禮明，周瓏頌，陳鑫，等. 鬼影卷積自適應(yīng)視網(wǎng)膜血管分割算法[J]. 光電工程，2021，48(10): 210291

Liang L M, Zhou L S, Chen X, et al. Ghost convolution adaptive retinal vessel segmentation algorithm[J]. Opto-Electron Eng, 2021, 48(10): 210291

2021-09-06；

2021-10-02

國家自然科學(xué)基金資助項目(51365017，61463018)；江西省自然科學(xué)基金面上項目(20192BAB205084)；江西省教育廳科學(xué)技術(shù)研究重點項目(GJJ170491)

梁禮明(1967-)，男，碩士，教授，主要從事醫(yī)學(xué)影像方面的研究。E-mail：9119890012@jxust.edu.cn

馮新剛(1980-)，男，碩士，講師，主要從事醫(yī)學(xué)影像方面的研究。E-mail：gzfxg1980@163.com

版權(quán)所有?2021中國科學(xué)院光電技術(shù)研究所