新型下采樣法在視網(wǎng)膜血管分割中的應(yīng)用

【作 者】 呂志金，陳雪芳，趙曉芳，劉華珠

1 東莞理工學(xué)院 計算機(jī)科學(xué)與技術(shù)學(xué)院，東莞市，523429

2 東莞理工學(xué)院 電子工程與智能化學(xué)院，東莞市，523429

0 引言

眼底視網(wǎng)膜血管圖像作為人體唯一可以直接無創(chuàng)觀察的血管圖像，其形態(tài)和生理特征可以在一定程度上反映某些疾病的進(jìn)展，專業(yè)的眼科醫(yī)生一般據(jù)此進(jìn)行診斷，但是傳統(tǒng)的人工篩查過于煩瑣且很大程度上依賴醫(yī)生的主觀意識，因此采用計算機(jī)輔助的視網(wǎng)膜血管分割算法已經(jīng)逐漸成為眼底篩查診斷的研究重點(diǎn)。

最新的一項(xiàng)研究表明，基于深度學(xué)習(xí)的方法在醫(yī)學(xué)成像領(lǐng)域的不同方向中均取得了優(yōu)異的成績，包括肺部分割、糖尿病識別、腦腫瘤檢測以及視網(wǎng)膜血管分割等[1]。目前，國內(nèi)外專家團(tuán)隊已經(jīng)提出很多算法模型來對眼底視網(wǎng)膜圖像進(jìn)行分割，其中最為經(jīng)典的是2015年RONNEBERGER等[2]提出的U-Net網(wǎng)絡(luò)模型，采用對稱的U形結(jié)構(gòu)作為模型框架，通過對圖像卷積和下采樣操作提取特征，然后進(jìn)行卷積、堆疊以及上采樣操作得到分割圖像，在各大醫(yī)學(xué)圖像分割任務(wù)中均取得優(yōu)異成績，目前很多算法都是在其基礎(chǔ)上改進(jìn)的。

在U-Net網(wǎng)絡(luò)的各種變體中，比較經(jīng)典的是Dense-UNet和Res-UNet網(wǎng)絡(luò)模型。2016年HUANG等[3]提出了DenseNet網(wǎng)絡(luò)，其在保證網(wǎng)絡(luò)層與層之間最大限度信息傳輸?shù)那疤嵯?，將所有層連接以實(shí)現(xiàn)圖像信息的最大提取，CAI等[4]采用DenseNet模型中的DenseBlock模塊替換掉原始U-Net網(wǎng)絡(luò)的卷積模塊，提出了Dense-UNet模型。2015年HE等[5]提出了ResNet網(wǎng)絡(luò)，通過在輸入和輸出之間建立一條關(guān)聯(lián)通道，從而很好地解決了梯度爆炸和梯度消失問題，XIAO等[6]通過采用ResNet網(wǎng)絡(luò)中的殘差模塊來替換原始U-Net網(wǎng)絡(luò)的卷積層，提出了Res-UNet模型。這2種模型都是通過增加網(wǎng)絡(luò)的寬度，從而使模型可以提取更多的特征信息以實(shí)現(xiàn)分割性能的提升，但是在性能提升的同時，增加了大量的可訓(xùn)練參數(shù)，使得模型的復(fù)雜度大大增加。

不同于以往的研究，過去通過堆疊不同模塊雖然實(shí)現(xiàn)了模型性能的提升，但也增加了模型的復(fù)雜度，消耗了大量的算力。我們提出一種新的下采樣模塊PF池化，其可以更好地融合相鄰像素的語義信息。在不同的模型及不同分割任務(wù)上進(jìn)行驗(yàn)證，結(jié)果表明采用PF池化替換原始最大池化后，模型性能有了進(jìn)一步提升，且模型復(fù)雜度增加很小，時間開銷可以忽略不計，具有良好的泛化性，可以有效地應(yīng)用于醫(yī)學(xué)圖像的分割任務(wù)中，輔助醫(yī)生進(jìn)行臨床診斷。

1 新采樣算法

1.1 預(yù)處理

視網(wǎng)膜眼底圖像往往存在亮度信息不均勻的問題，使得細(xì)小血管與背景之間的對比不明顯，不利于模型分割。為了更好地實(shí)現(xiàn)對微小血管的提取，需要先將原始圖像預(yù)處理。傳統(tǒng)預(yù)處理一般采用圖像綠色通道G作為灰度圖像，并將其作為模型的輸入信息，本研究采用RGB三通道加權(quán)生成灰度圖像（見式(1)）作為模型的輸入信息，其中Gray為灰度圖中像素點(diǎn)的像素值，R、G、B為原始圖像紅、綠、藍(lán)三通道像素點(diǎn)的像素值。之后通過圖像歸一化、直方圖均衡化、Gamma矯正提升血管和背景信息的對比度。Gray=0.299h R+0.587h G+0.114h B (1)

1.2 PF池化

如圖1所示，其中image為原始圖像，我們將其按行列奇偶進(jìn)行拆分，分別提取對應(yīng)位置像素，得到4幅圖像（image0：奇數(shù)行奇數(shù)列；image1：奇數(shù)行偶數(shù)列；image2：偶數(shù)行奇數(shù)列；image3：偶數(shù)行偶數(shù)列），所得子圖像信息與原圖像基本一致。

圖1 原始圖像分割圖示Fig.1 Original image segmentation illustration

受此啟發(fā)，考慮到傳統(tǒng)的最大池化（見圖2）簡單選取局部最大值作為采樣結(jié)果的方法可能會導(dǎo)致丟失部分圖像信息，于是我們構(gòu)建了一個可以融合相鄰像素信息來實(shí)現(xiàn)下采樣的模塊，模型架構(gòu)如圖3所示。與最大池化方法只取2h 2窗口內(nèi)最大值不同，我們的模型將采樣窗口內(nèi)4個位置的像素分別提取，然后將對應(yīng)位置的像素拼接從而得到4幅尺度減半的新圖像，之后我們將4幅尺寸減半的圖像在通道維度堆疊，最后采用1h 1卷積進(jìn)行通道壓縮，最終實(shí)現(xiàn)了原始圖像通道數(shù)不變，而寬高減半的效果，以此作為模型的下采樣模塊。與最大池化方法相比，本方法可以保留更多的圖像原始信息，進(jìn)一步提升模型分割準(zhǔn)確率。

圖2 最大值池化流程Fig.2 Max-pooling flow chart

圖3 PF池化流程Fig.3 PF-pooling flow chart

2 實(shí)驗(yàn)結(jié)果

我們在不同的數(shù)據(jù)集和模型分別對比采用PF池化方法與最大池化方法的模型，從而證明PF池化模塊的有效性和普適性。

2.1 數(shù)據(jù)集

DRIVE：數(shù)據(jù)集圖像來自荷蘭的糖尿病視網(wǎng)膜病變篩查項(xiàng)目，篩查人群為400名25～90歲的糖尿病患者。隨機(jī)選取其中40張圖像組成DRIVE數(shù)據(jù)集，其中包含33張無糖尿病視網(wǎng)膜病變圖像，7張輕度早期視網(wǎng)膜病變圖像，取其中20張作為訓(xùn)練集，20張作為測試集。

STARE：數(shù)據(jù)集圖像包含20幅眼底圖像，其中10幅存在視網(wǎng)膜病變，10幅不存在視網(wǎng)膜病變，取其中15幅作為訓(xùn)練集，5幅作為測試集。

兩個數(shù)據(jù)集的真實(shí)血管分割圖均由經(jīng)驗(yàn)豐富的眼科醫(yī)生手工分割而成。為進(jìn)一步擴(kuò)大數(shù)據(jù)集的規(guī)模，我們旋轉(zhuǎn)和反轉(zhuǎn)操作預(yù)處理好的圖片，并從每張圖像內(nèi)的圓形感興趣區(qū)域中隨機(jī)選取200個64像素h 64像素的區(qū)域送入模型進(jìn)行訓(xùn)練（見圖4）。

圖4 送入模型的64像素×64像素的訓(xùn)練數(shù)據(jù)Fig.4 64 pixel×64 pixel training data fed into the model

2.2 評測指標(biāo)

為了準(zhǔn)確比較不同模型之間的性能，我們采用4個不同的評價指標(biāo)進(jìn)行比較，分別是ROC曲線下面積、準(zhǔn)確率VAcc（見式(2)）、F1分?jǐn)?shù)（見式(3)）和靈敏度VSen（見式(4)）。

式中：TP、TN、FP、FN分別表示預(yù)測為血管且預(yù)測正確、預(yù)測為背景且預(yù)測正確、預(yù)測為血管且預(yù)測錯誤以及預(yù)測為背景且預(yù)測錯誤；Vprecision表示精準(zhǔn)率（見式(5)）；Vrecall表示召回率（見式(6)）。

2.3 實(shí)驗(yàn)結(jié)果

通過與輸入圖像為RGB三通道圖像、采用G通道灰度化后圖像以及本研究所采用的三通道加權(quán)灰度化后的圖像進(jìn)行比較，從圖5的各項(xiàng)指標(biāo)中可以看出，采用本預(yù)處理方法處理得到的圖片，其血管與背景的對比更加明顯，模型最終分割性能更加精準(zhǔn)，可以更加高效地實(shí)現(xiàn)對微小血管的分割。

圖5 不同灰度化方法處理的分割結(jié)果對比Fig.5 Comparison of segmentation results processed by different grayscale methods

其次在不同的模型上對所提出的PF池化模塊進(jìn)行評測。首先搭建一個原始的U-Net網(wǎng)絡(luò)，然后將其中的最大池化模塊替換為本研究所提出的PF池化模塊，比較結(jié)果如表1所示（其中加黑部分為所處指標(biāo)內(nèi)最優(yōu)結(jié)果，所有結(jié)果均為百分制），從表1可以看出PF池化在各項(xiàng)指標(biāo)上均優(yōu)于采用傳統(tǒng)最大池化的U-Net模型，并且在STARE數(shù)據(jù)集的F1分?jǐn)?shù)指標(biāo)上獲得了1.93%的巨大提升，這表示PF池化可以更加有效地提升微小血管的分割精度，并且圖6使用了PF池化的網(wǎng)絡(luò)模型，在每一輪迭代中性能均優(yōu)于采用原始最大池化的分割模型，且收斂更快更平緩。

表1 模型各項(xiàng)指標(biāo)比較（%）Tab.1 Comparison of various indicators of the model（%）

圖6 不同下采樣方法在U-Net模型上的性能對比Fig.6 Performance comparison of different down-sampling methods on the U-Net model

下面在其他最新提出的模型上對PF池化模塊的泛化性進(jìn)行驗(yàn)證，結(jié)果如表2所示（其中加黑部分為所處指標(biāo)內(nèi)最優(yōu)結(jié)果，所有結(jié)果均為百分制），從表2中各項(xiàng)指標(biāo)可以看出使用了PF池化作為下采樣模塊的網(wǎng)絡(luò)模型在各項(xiàng)指標(biāo)上均有所提升，這表明所提出的PF池化模塊具有良好的泛化性，可以很好地適應(yīng)不同的網(wǎng)絡(luò)架構(gòu)，從而提升模型性能。

表2 PF池化泛化性驗(yàn)證Tab.2 PF-pooling generalization verification

為了進(jìn)一步驗(yàn)證PF池化模塊的泛化性，在DSB2018數(shù)據(jù)集上使用U-Net網(wǎng)絡(luò)模型進(jìn)行評測，從圖7(c)、(d)的左上白色圓圈部分可以看出，使用了PF池化模塊的U-Net網(wǎng)絡(luò)可以更好地融合相鄰像素的語義信息從而實(shí)現(xiàn)精準(zhǔn)分割，這進(jìn)一步證明了PF池化模塊具有良好的泛化性。

圖7 DSB2018數(shù)據(jù)集泛化性驗(yàn)證Fig.7 Generalization verification on DSB2018 dataset

3 結(jié)論

本研究提出了一個具有良好泛化性的下采樣模塊PF池化，與傳統(tǒng)最大池化模塊相比，其可以更好地融合相鄰像素間的語義信息。我們在視網(wǎng)膜血管分割任務(wù)及細(xì)胞分割任務(wù)中對所提出模型進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，使用PF池化作為下采樣模塊的模型分割性能優(yōu)于采用最大池化模塊的網(wǎng)絡(luò)模型，可以更加有效地實(shí)現(xiàn)對眼底細(xì)小血管的提取。不同模型及不同分割任務(wù)的實(shí)驗(yàn)結(jié)果表明，PF池化模塊具有良好的泛化性，可以有效地應(yīng)用于醫(yī)學(xué)分割任務(wù)，提升分割精準(zhǔn)度。