趙書凝 陳蕊 柳玉婷
摘要:現(xiàn)有Unet網(wǎng)絡(luò)分割視網(wǎng)膜血管精度較低,為了更精確地分割出視網(wǎng)膜血管,提出一種基于多分支卷積神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜血管的分割方法。在原有UNet網(wǎng)絡(luò)模型進(jìn)行改進(jìn),即增加級聯(lián)結(jié)構(gòu)獲取更多信息流,有利于復(fù)雜特征的提取,同時(shí)提出共享權(quán)重殘差模塊來優(yōu)化模型。實(shí)驗(yàn)在DRIVE數(shù)據(jù)集上進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明所提的網(wǎng)絡(luò)模型與Unet網(wǎng)絡(luò)分割結(jié)果相比,在準(zhǔn)確率、靈敏度等評價(jià)指標(biāo)上均有所提升,顯示出更好的性能。
關(guān)鍵詞:圖像處理;視網(wǎng)膜;血管分割;多分支卷積神經(jīng)網(wǎng)絡(luò)
中圖分類號:TP183 ? ? ?文獻(xiàn)標(biāo)識碼:A
文章編號:1009-3044(2021)35-0088-03
Retinal Vessel Segmentation Method Based on Multi Branch Convolutional Neural Network
ZHAO Shu-ning, CHEN Rui, LIU Yu-ting
(Wannan Medical College, Wuhu 241000,China)
Abstract: To solve the problem of low segmentation accuracy caused by the UNet network in the retinal image.To segment retinal vessels more accurately, this paper proposes a new method based on multi-path network on UNet network .To improve the original UNet model, the cascade structure is added to get more information flow, which is beneficial to the extraction of complex features, and the shared weight residual module is proposed to optimize the model.The experiment results on the DRIVE Dataset show that the proposed network model has better performance than the UNet network segmentation results in terms of accuracy and sensitivity.
Key words: image processing; retina; vessel segmentation; Ladder Net
1 ?引 言
視網(wǎng)膜血管是人體血管系統(tǒng)中唯一可以直接觀察的部分,很多疾病需要通過觀察視網(wǎng)膜血管的形態(tài)學(xué)變化來進(jìn)行判別,比如病糖尿病性視網(wǎng)膜病變、心血管疾病和眼科疾病等。而從視網(wǎng)膜眼底圖像中提取視網(wǎng)膜血管形態(tài)學(xué)特征的關(guān)鍵步驟是血管分割。傳統(tǒng)的手工分割血管既耗時(shí)又容易出錯(cuò),因此,開發(fā)一種準(zhǔn)確的自動視網(wǎng)膜血管分割方法顯得尤為重要。
2015年,Ronneberger 等人在MICCAI會議發(fā)表Unet,是深度學(xué)習(xí)在醫(yī)學(xué)影像分割中的突破性的進(jìn)展。UNet 是基于FCN(fully convolutional network)改進(jìn)而成,包括編碼器、瓶頸(bottleneck)模塊、解碼器幾部分組成,由于其U型結(jié)構(gòu)結(jié)合上下文信息和訓(xùn)練速度快、使用數(shù)據(jù)量小,滿足醫(yī)學(xué)影像分割的訴求[1]。但目前研究比較多都是對Unet網(wǎng)絡(luò)的變體:Jin等人用可變形卷積塊改進(jìn)卷積操作,通過可變形卷積塊學(xué)進(jìn)行多尺度的學(xué)習(xí),以達(dá)到準(zhǔn)確分割[2];Oktay O等人在2018年提出的Attention Unet在 Unet 在編碼器解碼器中對應(yīng)的特征進(jìn)行拼接之前加入了一個(gè)集成注意力門(AGs),重新調(diào)整了解碼器的輸出特征[3];Wang 等人對于輸入輸出模塊采用殘差結(jié)構(gòu),對于上下采樣采用外部嵌套殘差結(jié)構(gòu)的全局聚合模塊,從而減弱單一卷積操作所帶來的信息丟失問題[4]。然而,所有這些變體仍然屬于編碼器編解碼器結(jié)構(gòu),其中信息流的路徑數(shù)量是有限的。
本文采用一種基于多分支卷積神經(jīng)網(wǎng)絡(luò),以此增加數(shù)據(jù)流路徑并用于眼底視網(wǎng)膜血管分割,在DRIVE數(shù)據(jù)集上進(jìn)行訓(xùn)練,驗(yàn)證此模型在視網(wǎng)膜圖像血管分割任務(wù)上的優(yōu)越性能。
2 訓(xùn)練模型的選取
2.1 ?LadderNet
Unet網(wǎng)絡(luò)中信息流的路徑數(shù)量有限,為了解決這個(gè)問題在此基礎(chǔ)上提出了一種更多信息流路徑的多分支卷積神經(jīng)網(wǎng)絡(luò)(LadderNet),它是一個(gè)多分支的全卷積網(wǎng)絡(luò)(FCN),可以看作是一個(gè)Unet網(wǎng)鏈。代替在Unet中只有一對編碼解碼器分支,LadderNet有多對編碼解碼器分支,并且解碼器與解碼器之間有多個(gè)跳躍連接[5]。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示(以兩個(gè)Unet網(wǎng)絡(luò)連接為例)。
上圖中1和3是編碼器分支,2和4是解碼器分支,A到E是不同級的特征,整個(gè)模型用一個(gè)步長為2的卷積層來代替池化層。實(shí)質(zhì)上是兩個(gè)Unet網(wǎng)絡(luò)(1和2組成一個(gè),3和4組成一個(gè))相連,而這兩個(gè)U形之間的A-D級采用跳接連接起來。從模型可以看到有很多信息流路徑,如(1) A1 A2 A3 A4;(2)A1B1B2B3B4A4;(3)A1B1C1C2C3C4B4A4等。每一條信息流都可以看作是一個(gè)卷積神經(jīng)網(wǎng)絡(luò),路徑數(shù)量隨著隨編碼器解碼器對的數(shù)量和空間級別的數(shù)量而呈指數(shù)級增長,因此有可能捕捉到更復(fù)雜的特征,并產(chǎn)生更高的精度。
2.2共享權(quán)重殘差模塊(Shared-weights residual block)
增加更多的編碼解碼器分支會導(dǎo)致參數(shù)增加,從而訓(xùn)練變得困難,共享權(quán)重殘差模塊解決了這個(gè)問題,與何提出的標(biāo)準(zhǔn)殘余卷積塊[6]不同,同一塊中的兩個(gè)卷積層的權(quán)重相同,在兩個(gè)卷積層之間增加了一個(gè)drop out層以避免過度擬合。共享權(quán)重殘余模塊用到跳躍連接、循環(huán)層、drop out,比標(biāo)準(zhǔn)殘余塊具有的參數(shù)要少得多,具體結(jié)構(gòu)如圖2所示。
3 實(shí)驗(yàn)結(jié)果與分析
3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境設(shè)置
本文選取DRIVE公開數(shù)據(jù)集[7]對模型進(jìn)行訓(xùn)練與測試。該數(shù)據(jù)集一共有40張眼底彩色圖像組成,每張圖像的大小為565×584 。其中33張是正常的眼底彩色圖像,7張圖像有早期糖尿病視網(wǎng)膜病變跡象。40張圖像分為訓(xùn)練集和測試集兩組,每組各20張圖像,每張圖像對應(yīng)2個(gè)眼科專家手動分割金標(biāo)準(zhǔn)。具體圖像如圖3所示。
實(shí)驗(yàn)采用Pytorch框架,計(jì)算機(jī)配置為Intel Core i7-10700KF CPU,32G內(nèi)存,Nvidia GeForce RTX 3060 GPU,采用64位Win10操作系統(tǒng)。
3.2 圖像預(yù)處理與參數(shù)設(shè)置
為了提高視網(wǎng)膜血管圖像分割的準(zhǔn)確性,圖像在訓(xùn)練之前要進(jìn)行預(yù)處理操作。首先將原始的彩色圖像進(jìn)行圖像灰度處理,彩色眼底圖像有R、G、B三個(gè)通道,將每個(gè)通道賦予圖像灰度化計(jì)算的權(quán)重,具體權(quán)重分配如公式(1)所示:
Gray_img = R×0.299+G×0.587+B×0.114 ? ? ? ? ? ? ? ? ? ? (1)
公式中R、G、B分別代表紅、綠、藍(lán)通道,考慮到G通道圖像包含的信息較多,其圖像比其他兩個(gè)通道圖像清晰,所以賦予G通道0.587的最大權(quán)重[8]。
其次,將圖片將限制對比度直方圖均衡化[9],在抑制噪聲的同時(shí)提升血管與背景的對比度,凸顯血管信息。最后,采用伽馬變換進(jìn)血管和背景的對比度調(diào)節(jié),抑制光照不均勻和中心線反射等現(xiàn)象,通過伽馬值與血管、背景的像素特征進(jìn)行匹配,便于辨識出細(xì)小血管,以此達(dá)到增強(qiáng)血管與背景的對比度,具體的預(yù)處理過程如圖4所示。
考慮到DRIVE數(shù)據(jù)集只有20張訓(xùn)練集圖像,為了避免訓(xùn)練中產(chǎn)生過擬合現(xiàn)象故本實(shí)驗(yàn)采用隨機(jī)切片(patches)的方法將訓(xùn)練集數(shù)量進(jìn)行擴(kuò)增:即將20個(gè)訓(xùn)練圖像中的每一張圖像隨機(jī)裁剪10000個(gè)64×64大小的patches來獲得一組200000個(gè)patches,具體如圖5所示。
通過算法隨機(jī)初始化初始權(quán)重信息,設(shè)置訓(xùn)練batch_size大小為64,初始學(xué)習(xí)率設(shè)為0.0005,迭代100次,訓(xùn)練過程中通過Adam算法優(yōu)化損失函數(shù)。
3.3 模型評價(jià)指標(biāo)
血管分割的最終目標(biāo)就是將血管(1)和背景(0)分離,實(shí)質(zhì)就是對視網(wǎng)膜圖像的每個(gè)像素進(jìn)行二分類。模型分割性能的評價(jià)指標(biāo)主要是將模型分割的結(jié)果和專家手動分割的標(biāo)準(zhǔn)進(jìn)行比較,具體像素點(diǎn)的分割結(jié)果如表1所示。
正確分割的血管像素點(diǎn)用TP表示,錯(cuò)誤分割的血管像素點(diǎn)用FP表示,正確分割的背景像素點(diǎn)用TN表示,錯(cuò)誤分割的背景像素點(diǎn)用FN表示。
保存訓(xùn)練好的最優(yōu)參數(shù)并加載到相應(yīng)的模型中,并在測試集上進(jìn)行性能測試。測的結(jié)果評價(jià)標(biāo)準(zhǔn)由準(zhǔn)確率 (Accuracy)、召回率(Recall)、AUC/ROC曲線等指標(biāo)進(jìn)行評價(jià)。
3.4 實(shí)驗(yàn)結(jié)果對比分析
將本文算法用在DRIVE數(shù)據(jù)集上進(jìn)行性能測試,分割的具體結(jié)果如圖6所示,準(zhǔn)確率、召回率、ROC曲線和AUC值如圖7所示:
4 結(jié)論
從實(shí)驗(yàn)結(jié)果我們可以看出,對比之前的Unet網(wǎng)絡(luò)分割的性能有所提升。 LadderNet實(shí)現(xiàn)了Unet網(wǎng)絡(luò)級聯(lián)的結(jié)構(gòu),增加了更多的信息流,有利于提取更復(fù)雜的特征。此外,LadderNet采用共享權(quán)重殘差模塊優(yōu)化模型,大大減少了模型參數(shù)量。但整個(gè)算法的魯棒性不夠,仍然存在細(xì)小血管與主血管分支斷裂的問題,整個(gè)模型的精度有待提高。在后續(xù)工作中,在原有模型進(jìn)行改進(jìn),進(jìn)一步解決主血管與細(xì)小血管斷裂問題,將模型和傳統(tǒng)方法結(jié)合以提高模型的魯棒性。
參考文獻(xiàn):
[1] 殷曉航,王永才,李德英.基于U-Net結(jié)構(gòu)改進(jìn)的醫(yī)學(xué)影像分割技術(shù)綜述[J].軟件學(xué)報(bào),2021,32(2):519-550.
[2] Jin Q G,Meng Z P,Pham T D,et al.DUNet:a deformable network for retinal vessel segmentation[J].Knowledge-Based Systems,2019,178:149-162.
[3] Oktay O,Schlemper J,F(xiàn)olgoc L L,et al.Attention U-net:learning where to look for the pancreas[EB/OL].2018:arXiv:1804.03999[cs.CV].https://arxiv.org/abs/1804.03999
[4] Wang Z Y,Zou N,Shen D G,et al.Non-local U-nets for biomedical image segmentation[J].Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(4):6315-6322.
[5] Zhuang J. Laddernet: Multi-path networks based on u-net for medical image segmentation. arXiv preprint arXiv:1810.07810 ,2018.
[6] He K M,Zhang X Y,Ren S Q,et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).June 27-30,2016,Las Vegas,NV,USA.IEEE,2016:770-778.
[7] Staal J,Abramoff M D,Niemeijer M,et al.Ridge-based vessel segmentation in color images of the retina[J].IEEE Transactions on Medical Imaging,2004,23(4):501-509.
[8] 陳嘉莉.彩色眼底圖像糖尿病性視網(wǎng)膜病變微動脈瘤檢測[D].杭州:浙江工業(yè)大學(xué),2020.
[9] 陳萌夢,熊興良,張琰,等.1種視網(wǎng)膜眼底圖像增強(qiáng)的新方法[J].重慶醫(yī)科大學(xué)學(xué)報(bào),2014,39(8):1087-1090.
【通聯(lián)編輯:唐一東】