基于集成學(xué)習(xí)與生成對抗網(wǎng)絡(luò)的皮膚鏡圖像分類方法

龔 安， 姚鑫杰， 杜 波， 李維浩

(1.中國石油大學(xué)(華東)計算機科學(xué)與技術(shù)學(xué)院， 青島 266580； 2.大理白族自治州人民醫(yī)院， 大理 671000)

近年來，皮膚癌是常見的惡性腫瘤之一[1]，其中惡性黑色素瘤是世界上速度增長最快和最致命的癌癥之一，占皮膚癌死亡人數(shù)的75%[2-4]。早期診斷對于皮膚癌治療非常重要，如發(fā)現(xiàn)較早，及時進(jìn)行治療，存活率可以達(dá)到96%[5]。為了協(xié)助醫(yī)生進(jìn)行診斷，臨床上引入皮膚鏡[6]來改善診斷效果，但皮膚鏡圖像本身的復(fù)雜性如類內(nèi)差異大、類間相似性高和皮損邊界模糊等問題給檢測提出了巨大的挑戰(zhàn)。此外，由于醫(yī)生技術(shù)水平、臨床治療經(jīng)驗的不同，使得人類的主觀判斷能力有一定的局限性。因此，醫(yī)生借助計算機視覺等圖像處理技術(shù)對患者進(jìn)行診治已經(jīng)逐漸成為醫(yī)學(xué)領(lǐng)域發(fā)展的一個重要研究方向。

有關(guān)自動分類色素性皮膚病變圖像的研究早在1987年就已經(jīng)出現(xiàn)在文獻(xiàn)[7]中。早期的研究主要通過人工直接提取特征，將這些底層特征融合，從而提高分類的準(zhǔn)確率[4, 8-9]。Kusumoputro等[10]從皮膚鏡圖像中提取形狀和顏色特征，利用人工神經(jīng)網(wǎng)絡(luò)對惡性黑色素瘤進(jìn)行分類。由于黑色素瘤與非黑色素瘤之間的類內(nèi)差異大和類間差異小，所以大多時候人工提取特征的效果并不理想。此外，這些基于人工提取特征的方法大多數(shù)操作較為復(fù)雜，導(dǎo)致臨床實踐中出現(xiàn)適用性不高、泛化能力不足等問題[11]。隨著技術(shù)的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)在圖像分析領(lǐng)域取得了不錯的效果。與依賴人工提取特征的方法不同，卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)具有顯著的優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)的主要優(yōu)點是通過數(shù)據(jù)集自動地學(xué)習(xí)相應(yīng)檢測或者分類任務(wù)所需的特征表達(dá),并且在諸多應(yīng)用中都有不錯的表現(xiàn)。Yu等[2]采用了一個深層殘差網(wǎng)絡(luò)來區(qū)分黑色素瘤和非黑色素瘤。Deng等[12]提出了一種雙分支卷積神經(jīng)網(wǎng)絡(luò)來提取全局和局部特征。董青青等[13]在遷移學(xué)習(xí)的基礎(chǔ)上增加了CIFAR-10的卷積層和池化層。李航等[14]使用殘差神經(jīng)網(wǎng)絡(luò)提取皮膚病變特征，利用支持向量機對黑色素瘤進(jìn)行分類。此外，為了緩解醫(yī)學(xué)數(shù)據(jù)集較少且分布不均的問題，生成對抗網(wǎng)絡(luò)[15-17]也逐漸應(yīng)用到醫(yī)學(xué)領(lǐng)域中。Burlina等[18]使用生成對抗網(wǎng)絡(luò)生成視網(wǎng)膜疾病的眼底圖像，并將深度學(xué)習(xí)用于眼科的鑒別任務(wù)。然而，生成對抗網(wǎng)絡(luò)在皮膚鏡圖像上的應(yīng)用較少。雖然在計算機輔助醫(yī)生診斷皮膚病相關(guān)方面做了一些研究，但是準(zhǔn)確率、敏感度和特異度等仍有很大的提升空間。

現(xiàn)使用生成對抗網(wǎng)絡(luò)和旋轉(zhuǎn)圖像進(jìn)行數(shù)據(jù)增強，基于集成學(xué)習(xí)的基礎(chǔ)上提出了一種集成投票塊的皮膚鏡圖像分類方法。

1 數(shù)據(jù)集準(zhǔn)備

1.1 構(gòu)建數(shù)據(jù)集

使用的數(shù)據(jù)集來源于國際皮膚影像協(xié)會(the international skin imaging collaboration，ISIC) 2019[19-20]，共計25 331張皮膚鏡圖像，共計8類，分別為光性角化病、基底細(xì)胞癌、良性角化病、皮膚纖維瘤、黑色素瘤、黑素細(xì)胞痣、血管肉瘤、鱗狀細(xì)胞癌，如表1所示。

表1 皮膚鏡圖像數(shù)據(jù)集Table 1 Dermoscopy image data set

1.2 數(shù)據(jù)預(yù)處理

實驗的數(shù)據(jù)集按照7∶2∶1的比例隨機劃分為訓(xùn)練集、驗證集、測試集。為了讓卷積神經(jīng)網(wǎng)絡(luò)學(xué)到更加真實一致的特征，在深度學(xué)習(xí)時一般需要對圖像進(jìn)行預(yù)處理裁剪，但是大部分的裁剪會導(dǎo)致皮膚鏡圖像損傷變形，而形狀輪廓信息是判別皮膚細(xì)胞病變類型的重要依據(jù)。不同大小的圖像可以得到不同的特征提取效果，相對應(yīng)的計算成本也會不同。實驗綜合考慮計算成本與圖像信息，將圖像大小統(tǒng)一為672×672像素。

為了減小醫(yī)學(xué)圖像由于光線不均勻造成的干擾，本研究將皮膚鏡圖像進(jìn)行歸一化處理。常用的圖像歸一化方法是通過將圖像像素值減去在整個數(shù)據(jù)集上計算出的平均像素值。但是，數(shù)據(jù)集中皮膚鏡圖像的光照、膚色和視角差異很大，減去統(tǒng)一的平均值并不能很好地標(biāo)準(zhǔn)化個體圖像的光照。針對上述問題，本實驗通過將圖像減去在單個圖像上計算出的通道平均強度值來對每個皮膚鏡圖像進(jìn)行歸一化。通過給定一張皮膚鏡圖像X，計算歸一化圖像Xnorm，可表示為

式(1)中：u(XR)、u(XG)、u(XB)分別為返回3個顏色通道的平均像素值。

1.3 數(shù)據(jù)增強

卷積神經(jīng)網(wǎng)絡(luò)雖然有很強的特征表達(dá)能力，但是需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練，大部分醫(yī)學(xué)圖像數(shù)據(jù)集較少且分布不均，會降低卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，容易導(dǎo)致過擬合。為了緩解上述問題，采用生成對抗網(wǎng)絡(luò)和旋轉(zhuǎn)圖像進(jìn)行數(shù)據(jù)增強。通過將訓(xùn)練集的皮膚鏡圖像作為生成對抗網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，將生成效果更接近真實皮膚鏡圖像的數(shù)據(jù)加入到訓(xùn)練集中。此外，還將訓(xùn)練集的圖像進(jìn)行旋轉(zhuǎn)，進(jìn)而增強數(shù)據(jù)集，如圖1所示。

圖1 數(shù)據(jù)增強圖像Fig.1 Data enhanced images

2 集成投票塊構(gòu)建

2.1 遷移學(xué)習(xí)和集成學(xué)習(xí)

遷移學(xué)習(xí)是把已訓(xùn)練好的模型參數(shù)遷移到新的模型上，更好地幫助新模型訓(xùn)練，從而加快并優(yōu)化模型的學(xué)習(xí)效率。通常來說，遷移學(xué)習(xí)的策略包括微調(diào)和凍結(jié)訓(xùn)練兩種。微調(diào)指的是使用預(yù)訓(xùn)練網(wǎng)絡(luò)在目標(biāo)數(shù)據(jù)集上訓(xùn)練所有層。凍結(jié)訓(xùn)練指的是僅凍結(jié)某幾層，訓(xùn)練其他層。本實驗采用遷移學(xué)習(xí)的方法，使用多個在大型自然圖像數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，對其進(jìn)行微調(diào)，從而提取皮膚病變的特征，如圖2所示。

圖2 微調(diào)卷積神經(jīng)網(wǎng)絡(luò)Fig.2 Fine-tuning the convolutional neural network

集成學(xué)習(xí)是通過組合多個模型，從而得到一個更好更全面的模型?？傮w來說，集成的泛化能力優(yōu)于單個學(xué)習(xí)器的泛化能力。因此，通過集成多個卷積神經(jīng)網(wǎng)絡(luò)，從而提高模型的泛化能力和準(zhǔn)確率，集成學(xué)習(xí)流程圖如圖3所示。

圖3 集成學(xué)習(xí)流程圖Fig.3 Flow chart of ensemble learning

2.2 加權(quán)交叉熵

針對醫(yī)學(xué)圖像數(shù)據(jù)集分布不均的問題，通過在交叉熵中設(shè)置權(quán)重系數(shù)w，讓大類樣本乘以較小的權(quán)重，小類樣本乘以較大的權(quán)重，從而緩解數(shù)據(jù)集中存在分布不均的問題。加權(quán)交叉熵更清晰地描述了模型與理想模型的距離，加權(quán)交叉熵可表示為

2.3 構(gòu)建集成投票塊

構(gòu)建集成投票塊需要多個卷積神經(jīng)網(wǎng)絡(luò)模型，不同的卷積神經(jīng)網(wǎng)絡(luò)模型在不同的數(shù)據(jù)集上表現(xiàn)不同。集成模型中選取的卷積神經(jīng)網(wǎng)絡(luò)模型一定程度上決定了整體的模型效果。因此，從經(jīng)過訓(xùn)練的多個卷積神經(jīng)網(wǎng)絡(luò)模型中選取分類效果較好的卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建投票塊，集成投票塊分類模型流程圖如圖4所示。

圖4 集成投票塊分類模型流程圖Fig.4 Flow chart of integrated voting block classification model

每個投票塊中的卷積神經(jīng)網(wǎng)絡(luò)針對輸入的皮膚鏡圖像進(jìn)行分類投票，選取投票結(jié)果最多的類別作為該投票塊的輸出。若投票結(jié)果最大值所對應(yīng)的類別不唯一，則從中選取置信度較高的一個類別作為該投票塊的輸出。接著，將多個構(gòu)建好的投票塊組成集成塊。每個集成塊針對其包含的投票塊輸出進(jìn)行統(tǒng)計，將統(tǒng)計結(jié)果最大值對應(yīng)的類別作為該集成塊的輸出。若統(tǒng)計結(jié)果最大值所對應(yīng)的類別不唯一，則從中選取置信度較高的一個類別作為該集成塊的輸出。最后，統(tǒng)計多個集成塊的輸出結(jié)果，將統(tǒng)計結(jié)果最大值對應(yīng)的類別作為該模型的輸出。若統(tǒng)計結(jié)果最大值所對應(yīng)的類別不唯一，則從中選取置信度較高的一個類別作為該模型的輸出。

3 實驗結(jié)果與分析

3.1 實驗平臺

實驗的CPU為Intel(R) Xeon(R) Silver 4110 CPU @ 2.10 GHz，GPU為NVIDIA Tesla P100，內(nèi)存為16 GB，使用PyTorch深度學(xué)習(xí)框架進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練。數(shù)據(jù)集基于ISIC 2019皮膚鏡圖像，訓(xùn)練集、驗證集、測試集按照7∶2∶1的比例進(jìn)行劃分。

3.2 評價標(biāo)準(zhǔn)

為了全面衡量模型的分類性能，采用準(zhǔn)確率Acc(accuracy)、敏感度Se(sensitivity)、特異度Sp(specificity)幾項指標(biāo)作為評價標(biāo)準(zhǔn)。準(zhǔn)確率即正確分類的樣本占所有樣本的比率，可以衡量分類器對整體樣本的判斷能力。在醫(yī)學(xué)診斷中，敏感度和特異度都是十分重要的指標(biāo)。敏感度又稱真陽率或者召回率(recall)，越高，漏診概率越低。特異度又稱真陰率，越高，確診概率越高。以上評價標(biāo)準(zhǔn)形式化定義如下：

式中：Ntp表示真陽性(true positive)圖像的數(shù)目，真陽性說明該圖像在預(yù)測分類結(jié)果和標(biāo)注數(shù)據(jù)(ground-truth)中都屬于可疑皮損組織；Nfp表示假陽性(false positive)圖像的數(shù)目，假陽性說明該圖像在標(biāo)注數(shù)據(jù)中為可疑皮損組織，但是在預(yù)測分類結(jié)果中為正常皮膚組織；Ntn表示真陰性(true negative)圖像的數(shù)目，真陰性說明該圖像在標(biāo)注數(shù)據(jù)中為正常皮膚組織，而對其預(yù)測結(jié)果也屬于正常皮膚組織；Nfn(false negative)表示假陰性圖像的個數(shù)，假陰性表示該圖像在標(biāo)注數(shù)據(jù)為正常皮膚組織，但是在預(yù)測分類結(jié)果中為可疑皮損組織。

3.3 遷移學(xué)習(xí)效果對比分析

實驗采用遷移學(xué)習(xí)的方法，減少了訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型所需的訓(xùn)練數(shù)據(jù)、計算成本等。實驗對預(yù)訓(xùn)練模型和原始模型的準(zhǔn)確率和交叉熵?fù)p失進(jìn)行比較，如圖5、圖6所示。

圖5 準(zhǔn)確率比較Fig.5 Comparison of the accuracy

圖6 交叉熵誤差比較Fig.6 Comparison of the cross entropy loss

通過對比DenseNet201預(yù)訓(xùn)練前后的準(zhǔn)確率和交叉熵?fù)p失發(fā)現(xiàn)，經(jīng)過預(yù)訓(xùn)練的DenseNet201在準(zhǔn)確率曲線上有更高的起點，能夠更快地達(dá)到較高的準(zhǔn)確率。在交叉熵誤差方面，經(jīng)過預(yù)訓(xùn)練的DenseNet201能夠更快、更穩(wěn)定地進(jìn)行收斂。

3.4 分類效果對比分析

實驗使用3個集成塊，每個集成塊里包含3個投票塊，每個投票塊包含3個卷積神經(jīng)網(wǎng)絡(luò)。如表2所示，訓(xùn)練了23個卷積神經(jīng)網(wǎng)絡(luò)模型，從中剔除分類效果較差的SqueezeNet1_1和DPN131，剩下的21個卷積神經(jīng)網(wǎng)絡(luò)模型用于集成投票塊構(gòu)建。實驗將23個卷積神經(jīng)網(wǎng)絡(luò)模型和本文方法進(jìn)行對比分析，分類效果如表2所示。

表2 分類效果對比

AlexNet、BN-Inception、Caffe-ResNet101、DenseNet169、DenseNet201、FbResNet152、InceptionResNetV2用于第1個集成塊。綜合考慮分類效果，選出較為突出的InceptionResNetV2使用3次，分別放入3個投票塊，再將剩余的6個卷積神經(jīng)網(wǎng)絡(luò)模型依次放入3個投票塊中。InceptionV4、NASNet-A_Large、NASNet-A_Mobile、PNASNet-5_Large、PolyNet、ResNet50、ResNet152用于第2個集成塊，ResNeXt101_64x4d、SE_ResNet152、SE_ResNeXt101_32x4d、SENet154、VGG16BN、VGG19BN、Xception用于第3個集成塊。在第2、3個集成塊中，分別選出InceptionV4和Xception使用3次，其余操作同第1個集成塊。根據(jù)表2所示，在單一的卷積神經(jīng)網(wǎng)絡(luò)模型中，Xception準(zhǔn)確率最高，可達(dá)到0.917；DenseNet201敏感度最高，可達(dá)到0.520；BN-Inception特異度最高，可達(dá)到0.846。不同的卷積神經(jīng)網(wǎng)絡(luò)模型有不同的分類效果，單一的卷積神經(jīng)網(wǎng)絡(luò)模型很難在多個評價指標(biāo)上有突出的表現(xiàn)。個體網(wǎng)絡(luò)模型處理某個問題時很容易遇到模型泛化瓶頸，不能保證在解決多種問題時有出色的表現(xiàn)。通過集成投票塊，以提升個體網(wǎng)絡(luò)模型的泛化能力，并且集合各個模型的優(yōu)點得到一個較優(yōu)的解決方法。本文提出的方法在準(zhǔn)確率、敏感度、特異度上分別能達(dá)到0.925、0.563、0.927，相比較優(yōu)的個體網(wǎng)絡(luò)模型分別提高了0.008、0.043、0.081。為了更全面、更直觀地比較模型的性能，選取了DenseNet201、InceptionV4、VGG16BN與本文方法進(jìn)行接受者操作特性(receiver operating characteristic，ROC)曲線比較，如圖7所示。

圖7 ROC曲線比較Fig.7 Comparison of the ROC curve

通過圖7可以看出，本文方法較優(yōu)于選取的個體卷積神經(jīng)網(wǎng)絡(luò)。ROC曲線在數(shù)據(jù)集分布不均的情況下能夠更加穩(wěn)健和全面地評價模型。

4 結(jié)論

(1)基于集成學(xué)習(xí)提出了一種集成投票塊的皮膚鏡圖像分類方法。通過生成對抗網(wǎng)絡(luò)和旋轉(zhuǎn)圖像進(jìn)行數(shù)據(jù)增強，進(jìn)而結(jié)合遷移學(xué)習(xí)更好的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。

(2)針對數(shù)據(jù)分布不均的問題，采用加權(quán)交叉熵進(jìn)行處理。實驗結(jié)果表明，個體卷積神經(jīng)網(wǎng)絡(luò)模型在解決問題時容易遇到模型泛化瓶頸，不能保證在解決多種問題時有出色的表現(xiàn)。

(3)本文方法相對個體卷積神經(jīng)網(wǎng)絡(luò)模型在各個評價指標(biāo)上均有提升，在一定程度上能幫助皮膚科醫(yī)生進(jìn)行診斷和治療。未來科研工作中，還需要更多的結(jié)合皮膚領(lǐng)域的專業(yè)知識及患者信息，從而更好地實現(xiàn)計算機輔助診斷治療。