基于輕量級網(wǎng)絡(luò)的眼表疾病識別方法研究

陳榮,周子昂,姜永春,謝鵬飛

(1.青島黃海學(xué)院大數(shù)據(jù)學(xué)院，山東青島 266427；2.哈利法科學(xué)技術(shù)大學(xué)工程學(xué)院，阿聯(lián)酋阿布扎比 127788)

0 引言

眼表是由結(jié)膜、角膜及其附件結(jié)構(gòu)組成的特殊黏膜系統(tǒng)。眼表疾病(Ocular Surface Disease, OSD)泛指任何損害眼表系統(tǒng)結(jié)構(gòu)和功能的疾病[1]。臨床上常見的眼表疾病包括翼狀胬肉、結(jié)膜色素痣和角膜炎等，嚴重降低日常生活質(zhì)量，影響著全球20%以上的人口。眼科醫(yī)生通常使用專業(yè)的醫(yī)療資源來檢查OSD，如裂隙燈、共聚焦顯微鏡和光學(xué)相干層析成像等[2]。但這些傳統(tǒng)醫(yī)學(xué)檢查方法存在一些缺點：專業(yè)醫(yī)療設(shè)備價格昂貴且只能在醫(yī)院使用、患者就診成本高以及專業(yè)眼科醫(yī)師供需緊張。

近年來，人工智能在醫(yī)學(xué)圖像識別方面取得了巨大進展和突破，具有高分辨率攝像頭的智能手機可以輕松獲取高質(zhì)量的眼部表面圖像數(shù)據(jù)，許多常見的眼表疾病在不借助醫(yī)療儀器設(shè)備的情況下，就已具備十分清晰且易辨別的臨床特征，這使得依靠智能手機采集的眼表照片來自動篩查疾病成了可能[3]。因此，通過人工智能技術(shù)處理和分析智能手機眼表照片，可以及時篩查和監(jiān)控眼表疾病的發(fā)展。

目前許多研究團隊采用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)方法，在眼表疾病識別上取得了一定的進展。Li 等[4]采用卷積神經(jīng)網(wǎng)絡(luò)對角膜炎、翼狀胬肉等常見的眼表疾病進行自動識別。Xu 等[5]使用5 種深度學(xué)習(xí)算法(VGG-16、ResNet-101、InceptionV3、Xception 和Inception-ResNetV2)自動檢測和評估角膜炎患者。但是研究數(shù)據(jù)依然是裂隙燈和共聚焦顯微鏡等醫(yī)學(xué)儀器采集的眼表圖像。后來，Li 等[6]融合裂隙燈圖像和智能手機圖像構(gòu)建AI角膜疾病篩查系統(tǒng)，研究中對比了GoogLeNet、ResNet 和DenseNet 三種網(wǎng)絡(luò)的性能。Chen 等[7]使用改進的DenseNet 方法對智能手機采集的眼表圖像來診斷眼睛表面是否患病。盡管以上方法取得了良好效果，但先進的網(wǎng)絡(luò)模型通常存在大量的參數(shù)和較深的網(wǎng)絡(luò)層，導(dǎo)致在嵌入式設(shè)備、智能手機等低資源平臺上難以部署。

為了進一步平衡計算資源和識別性能的關(guān)系，許多輕量級網(wǎng)絡(luò)被研究，與用標(biāo)準卷積(Conv)來構(gòu)建深度網(wǎng)絡(luò)不同，設(shè)計輕量的構(gòu)建單元被證明是開發(fā)更輕、更高效網(wǎng)絡(luò)架構(gòu)的有效途徑。MobileNetV1 引入深度可分離卷積(DWConv)輕量單元開發(fā)了一個全新高效的輕量級網(wǎng)絡(luò)，并應(yīng)用于移動端視覺任務(wù)，進而通過跳躍連接的倒殘差模塊提高了性能[8]。Zhang等[9]利用分組卷積和通道混洗操作構(gòu)建了ShuffleNetV1和ShuffleNetV2。華為設(shè)計的GhostNet[10]提出廉價且高效的幽靈(Ghost)模塊來生成更多樣化的圖像特征。CondenseNetV2[11]提出稀疏特征重激活模塊構(gòu)建輕量網(wǎng)絡(luò)，增加了特征的利用效率。輕量級網(wǎng)絡(luò)的出現(xiàn)，在一定程度上彌補了深度網(wǎng)絡(luò)計算效率的問題，但輕量單元提取圖像特征的效果較差，從而導(dǎo)致識別眼表疾病的準確率較低。

針對上述問題，本文以標(biāo)準卷積為主，引入深度可分離卷積和Ghost模塊這兩個輕量單元來輔助構(gòu)建一個聚集模塊，以低成本和高效的方式并行學(xué)習(xí)豐富多樣的眼表圖像特征，增強特征提取的能力。并且基于聚集模塊進一步開發(fā)輕量級網(wǎng)絡(luò)應(yīng)用于眼表疾病識別，大大減少了網(wǎng)絡(luò)模型的參數(shù)量，實現(xiàn)了眼表疾病的精準篩查，較好地平衡了計算效率和識別性能之間的關(guān)系。

1 網(wǎng)絡(luò)模型概述

1.1 聚集模塊

聚集模塊先將標(biāo)準卷積、深度可分離卷積和Ghost 模塊集成到一起，并行地提取并拼接眼表圖像特征，再采用通道混洗操作實現(xiàn)不同特征通道之間的信息交流，如圖1所示。該模塊每條路徑生成相同數(shù)量的特征圖，代表不同特征提取方式學(xué)習(xí)到的信息，可以增加提取眼表圖像特征的多樣性。

圖1 聚集模塊

深度可分離卷積使用經(jīng)過分解的卷積算子來替代完整卷積核提取眼表圖像特征。它把標(biāo)準卷積分成兩個獨立的層，能夠打破輸出特征通道數(shù)量與卷積核尺寸之間的交互。第1層是深度卷積層，對每個輸入通道用單個的n維卷積核來實現(xiàn)輕量的濾波操作；第2 層是逐點卷積層，對上一層的輸出用尺寸為1×1的卷積核進行濾波操作。

Ghost 模塊由部分通道的卷積和矩陣變換組成，如圖2 所示。針對n維的輸入，首先采用部分通道的卷積核(u?n)生成u個特征圖，再對其每一個輸出特征圖都進行高效的矩陣變換來計算得到新的特征映射，最后將部分通道卷積和矩陣變換所得的所有特征圖拼接起來，就得到了Ghost模塊的全部輸出結(jié)果，即n=u+u(v-1)個特征圖。簡單高效的Ghost 操作可以與任何的矩陣變換運算相結(jié)合，如小波變換、仿射變換和分組卷積等。

圖2 Ghost模塊

在微型網(wǎng)絡(luò)中，單個的輕量單元傾向于通過限制通道數(shù)量來約束網(wǎng)絡(luò)復(fù)雜度，這嚴重影響了網(wǎng)絡(luò)的精度。聚集模塊中采用三條路徑(DWConv、Conv 和Ghost)來生成多樣化的特征圖，這些輸出特征圖直接拼接在一起，會產(chǎn)生一個副作用：每個通道的輸出只能由輸入通道的某一小部分獲得，不同路徑之間的特征無法交互，嚴重阻塞了特征通道之間的信息流，進而降低了特征的表達能力。因此，本文引入通道混洗操作對每條路徑輸出的特征圖進行重新排列，保證后面的輸入來自前面不同的提取特征路徑，以達到特征融合的目的。通道混洗操作先將DWConv、Conv 和Ghost 這三條路徑的輸出看作一維向量，再分解為二維矩陣，最后轉(zhuǎn)置后拉伸展平為一維，這樣所有輸出的特征通道都得到了重新排列。

1.2 輕量級網(wǎng)絡(luò)—聚集網(wǎng)絡(luò)

本文提出的輕量級網(wǎng)絡(luò)基本遵循了密集連接的方式來設(shè)計，為了直接減少網(wǎng)絡(luò)計算量，放棄了“網(wǎng)絡(luò)足夠深”的概念，在密集塊中使用較少數(shù)量的聚集模塊來提高特征提取效率。另一方面，ShuffleNetV2 曾提出了四條搭建輕量級網(wǎng)絡(luò)的指導(dǎo)原則：相同大小的通道可以最小化訪問內(nèi)存；分組卷積數(shù)目過多會影響計算效率；網(wǎng)絡(luò)碎片化會降低程序的并行能力；元素級操作對網(wǎng)絡(luò)效率影響較大（如ResNet 中的跳躍連接）。本文根據(jù)以上4條規(guī)則來開發(fā)聚集網(wǎng)絡(luò)，第1條采用聚集模塊作為基本構(gòu)建單元，其中每條路徑的輸出通道大小保持相同以減少內(nèi)存訪問成本。Ghost模塊中僅有少量的分組卷積操作，對應(yīng)第2條原則。針對第3條，本文采用密集連接將所有輸出特征拼接起來形成了一個整體，避免了網(wǎng)絡(luò)碎片化的產(chǎn)生。最后，網(wǎng)絡(luò)中的梯度傳播是采用串聯(lián)拼接，而非跳躍連接。

1.3 本文網(wǎng)絡(luò)結(jié)構(gòu)

圖3展示了本文自動識別眼表疾病的輕量級網(wǎng)絡(luò)結(jié)構(gòu)，它由1個初始的聚集模塊、3個密集塊、2個過渡塊和一個分類層組成。初始的聚集模塊用來提取全局圖像特征。每個密集塊只包含4個聚集模塊層，被用于提取圖像特征。聚集模塊中每條路徑的輸出表示該路徑貢獻的新信息。每個聚集模塊后面都包含一組批歸一化處理(BN)、激活單元和1×1 Conv的集合函數(shù)。過渡塊將2個相鄰的密集塊連接起來，通過減少特征圖的大小和數(shù)量來提高計算效率。每個過渡塊由4 部分組成：BN、激活單元、1×1 DWConv 和平均池化層。高效的DWConv 將通道數(shù)量減少一半，步長為2的平均池化層用來減少特征圖的一半尺寸。分類層將前面所得到的特征通道映射為2個特征圖，代表預(yù)測屬于正常或異常眼表的類別。整體的網(wǎng)絡(luò)主干如圖4所示。

圖3 輕量級網(wǎng)絡(luò)結(jié)構(gòu)

圖4 主干網(wǎng)絡(luò)結(jié)構(gòu)

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)

本文實驗數(shù)據(jù)集為Github網(wǎng)站的開源數(shù)據(jù)集，眼表照片均采用智能手機拍攝。數(shù)據(jù)集中眼表圖片共953 張，其分辨率為682×512，每張照片的癥狀由多名專業(yè)眼科醫(yī)生共同標(biāo)注，其中正常眼表467張，異常眼表照片486張。本文將數(shù)據(jù)集以7:3的比例分為訓(xùn)練集和測試集，并采用水平翻轉(zhuǎn)和隨機裁剪來擴充數(shù)據(jù)集，以緩解網(wǎng)絡(luò)訓(xùn)練時數(shù)據(jù)量較少導(dǎo)致的過擬合問題。

2.2 實驗環(huán)境

硬件環(huán)境：顯存12GB 的NVidia GeForce GTX 1080 Ti GPU；軟件環(huán)境：Windows 10、Python 3.7、深度學(xué)習(xí)框架Pytorch 1.6.0、CUDA 10.1。

2.3 訓(xùn)練參數(shù)設(shè)置

本文實驗采用交叉熵損失函數(shù)和帶動量的隨機梯度下降算法訓(xùn)練模型，在優(yōu)化算法中參數(shù)動量和衰減因子分別設(shè)置為0.9 和0.000 1。網(wǎng)絡(luò)訓(xùn)練輪次Epoch 和批尺寸Batchsize 分別設(shè)置為200 和16，初始學(xué)習(xí)率設(shè)置為0.15，訓(xùn)練到第100和150個Epoch時將學(xué)習(xí)率分別衰減10倍。實驗過程中的訓(xùn)練損失、測試誤差與Epoch 的關(guān)系如圖5 所示，可以看出損失曲線的整體趨勢比較平滑，早期訓(xùn)練損失下降較快，在經(jīng)過100個Epoch之后，模型慢慢趨于收斂。

圖5 聚集網(wǎng)絡(luò)識別OSD的訓(xùn)練曲線

2.4 結(jié)果分析

為了驗證本文所提出的輕量級聚集網(wǎng)絡(luò)方法識別眼表疾病的性能，先將其應(yīng)用于眼表圖像數(shù)據(jù)，計算出識別效果；再與ShuffleNetV2、MobileNet 系列、GhostNet 和CondenseNetV2 等當(dāng)前先進的輕量級網(wǎng)絡(luò)方法進行對比實驗，以證實其高效性。

圖6展示了聚集網(wǎng)絡(luò)自動識別眼表疾病的混淆矩陣。模型將13 例正常眼表誤分類為異常，將14 例患病眼表識別為正常，其中近一半被誤判的眼表圖像為結(jié)膜充血一級，主要因為患有輕度充血癥狀的眼表圖像與正常眼表十分相似，圖像顯著性特征不夠明顯難以分類。同時計算了眼表疾病識別的特異性、召回率、精度、F1 分數(shù)和準確率，分別達到了90.71%、90.41%、91.03%、90.72%和90.56%，各項指標(biāo)均在90%以上，說明總體上聚集網(wǎng)絡(luò)對眼表圖像的識別效果良好。

圖6 聚集網(wǎng)絡(luò)識別OSD的混淆矩陣

表1對比了不同輕量級網(wǎng)絡(luò)方法對眼表疾病自動識別的結(jié)果。本文所提出的聚集網(wǎng)絡(luò)模型參數(shù)量(Paras)為0.24M，比其他輕量級網(wǎng)絡(luò)減少到原來的1/10。聚集網(wǎng)絡(luò)僅需要1.88B的計算量(FLOPs)，盡管Ghost-Net模型采用的高效幽靈模塊和減少碎片化操作在計算效率方面比較有效，只需要0.82B的FLOPs，但其識別效果不佳，而聚集網(wǎng)絡(luò)則實現(xiàn)了90.56%的眼表疾病識別準確率(ACC)。因此，當(dāng)前先進的輕量級網(wǎng)絡(luò)方法在識別眼表疾病方面的準確率普遍較低，本文所提出的基于聚集模塊開發(fā)的輕量級網(wǎng)絡(luò)能夠較好地實現(xiàn)計算成本與性能之間的平衡。

表1 模型實驗結(jié)果

3 結(jié)論

采用智能手機拍照來自動篩查眼表疾病，對醫(yī)生輔助診斷、后續(xù)精準治療以及康復(fù)具有重大意義。本文針對深度卷積神經(jīng)網(wǎng)絡(luò)難以在可移動設(shè)備端部署、現(xiàn)有輕量級網(wǎng)絡(luò)識別效果不佳和較難平衡計算資源與性能的關(guān)系等問題，提出了基于聚集模塊的輕量級眼表疾病自動識別方法。該方法構(gòu)建的聚集模塊以低成本、高效的方式并行提取豐富多樣的眼表特征，能夠改善不同特征通道之間的信息流。通過實驗對比證明，本文所提出的方法以更少的參數(shù)量和計算成本實現(xiàn)了更高的識別準確率。但該模型參數(shù)量較少，當(dāng)眼表數(shù)據(jù)集足夠大時，其參數(shù)不足以表示海量數(shù)據(jù)中的所有圖像特征，在模型訓(xùn)練過程中，聚集網(wǎng)絡(luò)只會盡可能多地學(xué)習(xí)大部分可分辨的特征，從而表現(xiàn)出一定的泛化能力。未來可以進一步優(yōu)化網(wǎng)絡(luò)體系架構(gòu)，并考慮神經(jīng)網(wǎng)絡(luò)架構(gòu)自動搜索技術(shù)，找到合適的網(wǎng)絡(luò)寬度和深度來實現(xiàn)速度與識別性能之間的最優(yōu)平衡。