基于深度殘差網(wǎng)絡(luò)的皮膚鏡圖像黑色素瘤的識(shí)別

李 航 余 鎮(zhèn) 倪 東 雷柏英 汪天富

(深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院，醫(yī)學(xué)超聲關(guān)鍵技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，廣東省生物醫(yī)學(xué)信息檢測(cè)和超聲成像重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518060)

引言

黑素瘤皮膚癌是世界上速度增長(zhǎng)最快和最致命的癌癥之一，占皮膚癌死亡病變的75%[1-2]。早期診斷對(duì)于其治療非常重要，因?yàn)樵谠缙陔A段這種疾病很容易被治愈[1-3]。為了改善皮膚細(xì)胞疾病的診斷效果，臨床上引入皮膚鏡檢查以協(xié)助皮膚科醫(yī)生進(jìn)行診斷。作為一種無(wú)創(chuàng)性的皮膚成像技術(shù)，皮膚鏡像圖像可以為臨床醫(yī)生提供高質(zhì)量的皮膚病變信息。與傳統(tǒng)的臨床圖像相比，皮膚鏡檢查圖像具有更少的表面反射、更深層次的細(xì)節(jié)和更低的篩選誤差，能夠獲得更好的可見(jiàn)度和識(shí)別精度。由于黑色素瘤皮膚癌比非黑色素瘤皮膚癌更致命，因此黑色素瘤與非黑色素瘤皮膚鏡圖像之間的區(qū)分識(shí)別已經(jīng)引起了極大關(guān)注[1-3]。目前，臨床上提出了幾種啟發(fā)式的方法，如Menzies方法[4]和CASH方法[5]，以增強(qiáng)臨床醫(yī)生辨別黑色素瘤與非黑色素瘤的能力。然而，即使對(duì)于經(jīng)驗(yàn)豐富的專(zhuān)業(yè)人士，正確診斷黑色素瘤也是有一定困難的。此外，通過(guò)人眼目視檢查進(jìn)行的皮膚鏡診斷通常耗時(shí)費(fèi)力,且較為主觀。因此，準(zhǔn)確性不佳、可重復(fù)性差仍然是診斷這種疾病的主要難題。

為了解決這些問(wèn)題，臨床研究提出了許多用于自動(dòng)分析皮膚鏡圖像的算法。這些計(jì)算機(jī)輔助分析模型通常包括以下4個(gè)步驟：

1)圖像預(yù)處理，如去除毛發(fā)[6-8]和圖像增強(qiáng)[9-10]；

2)邊界檢測(cè)或分割[2,11]；

3)特征提取，即顏色、紋理、邊界梯度、形狀相關(guān)描述符[2,12]；

4)分類(lèi)(k-最近鄰(KNN))，支持向量機(jī)(SVM)[2]，神經(jīng)網(wǎng)絡(luò)，AdaBoost[12]。

大多數(shù)現(xiàn)有研究主要集中在特征工程和分類(lèi)，或多或少都假設(shè)輸入圖像包含條件良好的病變對(duì)象。然而，皮膚鏡圖像可能并不總是包含整個(gè)病變區(qū)域，或者病變對(duì)象僅僅占據(jù)圖像的很小部分，如圖1所示。

圖1 皮膚病變的皮膚鏡檢查圖像。黑素瘤與非黑色素瘤(良性)之間類(lèi)內(nèi)差異大、類(lèi)間差異小Fig.1 Dermoscopy image of the skin leisions.Small variations between different classes and large variations in the same class between melanoma and non-melanoma (benign)

由于黑色素瘤與非黑色素瘤(良性)之間的類(lèi)內(nèi)差異大和類(lèi)間差異小(見(jiàn)圖1)，所以這些人工特征所提供的診斷結(jié)果并不能令人滿(mǎn)意。此外，這些基于手工特征的方法大多數(shù)包含復(fù)雜而繁瑣的步驟，這導(dǎo)致臨床實(shí)踐中其泛化能力差，適用性低。與依靠人工特征的方法不同，深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)等學(xué)習(xí)方法過(guò)去幾年在圖像識(shí)別任務(wù)中具有顯著性的優(yōu)勢(shì)[13-14]。CNN的主要優(yōu)點(diǎn)是根據(jù)給定的訓(xùn)練數(shù)據(jù)集，自動(dòng)地學(xué)習(xí)相應(yīng)檢測(cè)或者分類(lèi)任務(wù)所需的特征表達(dá)[15]，它在許多應(yīng)用中都能達(dá)到最佳的表現(xiàn)性能[16]。然而，CNN需要大量的訓(xùn)練數(shù)據(jù)進(jìn)行特征的學(xué)習(xí)，在醫(yī)學(xué)圖像領(lǐng)域，通常存在樣本數(shù)據(jù)缺乏、采集和標(biāo)注困難的情況。因此，其應(yīng)用往往存在局限性。有研究[17-18]表明，即使沒(méi)有經(jīng)過(guò)重新訓(xùn)練，遷移的深度卷積特征也可以用作通用視覺(jué)表達(dá)，比如在大型自然圖像ImageNet數(shù)據(jù)集[19]上預(yù)先訓(xùn)練的CNN特征，在其他很多圖像識(shí)別任務(wù)中也取得了很好的結(jié)果。因此，近年來(lái)遷移的CNN特征也被應(yīng)用于皮膚鏡圖像分類(lèi)任務(wù)。一般情況下，深度表達(dá)主要從CNN模型的全連接(FC)層進(jìn)行提取。雖然高層次的CNN特征具有良好的圖像表達(dá)和泛化能力，但是這些深層描述符缺乏對(duì)局部圖像特征的描述。在臨床診斷中，局部紋理結(jié)構(gòu)的信息對(duì)于皮膚細(xì)胞病變的識(shí)別至關(guān)重要。例如，黑素瘤通常包含多種紋理結(jié)構(gòu)(網(wǎng)狀結(jié)構(gòu)、條紋狀結(jié)構(gòu)、點(diǎn)狀結(jié)構(gòu)等)，而良性皮膚細(xì)胞損傷則只包含一種紋理結(jié)構(gòu)且呈均勻?qū)ΨQ(chēng)分布。

深度網(wǎng)絡(luò)中間的卷積層特征可以看作是神經(jīng)元對(duì)于輸入圖像的局部感知結(jié)果，通常包含豐富的局部細(xì)節(jié)描述信息。基于此，本研究提出了一種基于深度卷積特征的黑素瘤圖像識(shí)別方法。具體而言，首先將原圖像統(tǒng)一調(diào)整尺度至256像素×256像素大小，并對(duì)其進(jìn)行預(yù)處理，包括圖像歸一化、數(shù)據(jù)增強(qiáng)等，然后將其輸入到深度為152層的殘差卷積神經(jīng)網(wǎng)絡(luò)(ResNet-152)中進(jìn)行特征提取，其中最后一組殘差塊的輸出特征被提取作為局部描述符，再將這些局部特征利用均值池化得到特征向量。在本實(shí)驗(yàn)中，使用的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型首先在大型自然圖像數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練，然后復(fù)制預(yù)訓(xùn)練網(wǎng)絡(luò)中的參數(shù)作為網(wǎng)絡(luò)中的初始化參數(shù)。最后，將得到的特征向量用來(lái)訓(xùn)練一個(gè)線性支持向量機(jī)分類(lèi)器，進(jìn)行黑色素瘤與非黑色素瘤的分類(lèi)。同時(shí)，對(duì)于所提出的框架，對(duì)比不同深度的網(wǎng)絡(luò)架構(gòu)以及數(shù)據(jù)增強(qiáng)技術(shù)對(duì)分類(lèi)識(shí)別性能的影響。本研究基于公開(kāi)的ISBI 2016皮膚數(shù)據(jù)集進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明了所提出方法的有效性，可以在有限的訓(xùn)練數(shù)據(jù)下更準(zhǔn)確地識(shí)別黑色素瘤。

1 方法

本研究是對(duì)黑色素瘤與非黑色素瘤的二分類(lèi)問(wèn)題，所使用的方法包括殘差神經(jīng)網(wǎng)絡(luò)、卷積特征提取過(guò)程、圖像預(yù)處理和數(shù)據(jù)增強(qiáng)方法，整個(gè)框架的流程如圖2所示。

圖2 黑色素瘤識(shí)別框架的流程。(a)殘差塊；(b)深度特征提取，提取中間卷積層特征，并對(duì)其使用均值池化得到特征表達(dá)；(c)支持向量機(jī)分類(lèi)Fig.2 The flowchart of melanoma identification. (a) Illustration of residual block; (b)Extraction of deep representations, the feature vector is given by transforming the intermediate convolutional feature maps using averaging pooling; (c) SVM classification

1.1 深度殘差神經(jīng)網(wǎng)絡(luò)

CNN模型的深層結(jié)構(gòu)對(duì)其特征學(xué)習(xí)能力至關(guān)重要。本研究采用了He等介紹的最新一代卷積神經(jīng)網(wǎng)絡(luò)(深度殘差神經(jīng)網(wǎng)絡(luò)，ResNet-152)[20]，在2016年ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC 2016)中，殘差網(wǎng)絡(luò)取得了第一名的成績(jī)。與經(jīng)典的CNN結(jié)構(gòu)相比，ResNet-152的主要特點(diǎn)在于引入了殘差連接，它能夠在訓(xùn)練非常深的網(wǎng)絡(luò)時(shí)解決其性能退化問(wèn)題。已有研究證明，殘差連接可以加速深度網(wǎng)絡(luò)的收斂，并通過(guò)大幅度提高網(wǎng)絡(luò)深度來(lái)保持準(zhǔn)確率的提高。一般來(lái)說(shuō)，深度殘差網(wǎng)絡(luò)由一組殘差塊組成，每個(gè)殘差塊包含幾個(gè)堆疊的卷積層(將修正線性單元(Relu)和批歸一化層作為卷積層附屬)。具有恒等映射的殘差塊可以表示為

hl+1=Relu(hl+F(hl,wl))

(1)

式中，hl和hl+1分別是第l個(gè)殘差塊的輸入和輸出，Relu(·)是修正線性單元函數(shù)，F(xiàn)表示殘差映射函數(shù)，wl是殘差學(xué)習(xí)單元的參數(shù)。

具體來(lái)說(shuō)，當(dāng)F(hl,wl)的通道(尺寸)和hl不相等時(shí)，通常應(yīng)用線性投影φ來(lái)匹配尺寸，因此式(1)可以進(jìn)一步轉(zhuǎn)換為

hl+1=Relu(φ(hl)+F(hl,wl))

(2)

圖2(a)表示了一個(gè)基本的殘差塊，可以參考文獻(xiàn)[19]得到更多的細(xì)節(jié)。

在本研究中，利用了ResNet-152模型，并且殘差網(wǎng)絡(luò)在ImageNet上進(jìn)行了預(yù)先訓(xùn)練。ResNet-152和ResNet-101模型相比基本的ResNet-50結(jié)構(gòu)有更多的殘差塊堆疊，詳細(xì)信息如表1所示。另外，還比較了幾種不同的CNN架構(gòu)(即VGGNet-16、AlexNet)，具體可參考第2部分。

表1 本研究中使用的Res-152架構(gòu)Tab.1 Architecture of Res-152 used in this study

1.2 圖像預(yù)處理和數(shù)據(jù)增強(qiáng)

考慮到圖像特征，圖像預(yù)處理對(duì)深度表示的性能有很大的影響。

1)圖像大小。CNN通常使用固定和方形大小的圖像作為輸入(如227×227或224×224)。在常規(guī)情況下，將圖像進(jìn)行尺度大小的調(diào)整，使得所有圖像具有相同的大小并且裁剪成所需的尺寸，以進(jìn)行訓(xùn)練或特征提取。例如，在AlexNet中，在CNN訓(xùn)練期間，所有圖像在進(jìn)入網(wǎng)絡(luò)之前都會(huì)被調(diào)整為227×227，但這會(huì)導(dǎo)致皮膚病變對(duì)象發(fā)生形變，而形狀輪廓信息是皮膚細(xì)胞損傷類(lèi)型判別的重要依據(jù)。在這項(xiàng)研究中，對(duì)于皮膚數(shù)據(jù)集，將這些圖像沿著最短邊尺寸調(diào)整到一個(gè)統(tǒng)一的尺度(256)，同時(shí)保持長(zhǎng)寬比，從而保證皮膚病變部位的原有形狀結(jié)構(gòu)信息得到更好的保留。然后，將調(diào)整好尺度的圖像輸入到預(yù)訓(xùn)練的CNN中。

2)圖像歸一化和增強(qiáng)。通常，在CNN處理之前，通過(guò)減去在整個(gè)訓(xùn)練數(shù)據(jù)集上計(jì)算出的平均像素值來(lái)對(duì)圖像進(jìn)行歸一化。然而，數(shù)據(jù)集中的皮膚病變圖像的光照、膚色和視角差異很大，減去統(tǒng)一的平均值并不能很好地標(biāo)準(zhǔn)化個(gè)體圖像的光照，最近的研究也論證了這種影響。為了解決這個(gè)問(wèn)題，通過(guò)減去在單個(gè)圖像上計(jì)算出的通道平均強(qiáng)度值(表示為per-channel-mean)來(lái)對(duì)每個(gè)皮膚圖像進(jìn)行歸一化。具體地，給定一張皮膚圖像X，計(jì)算歸一化圖像Xnorm為

(3)

式中，u(XR)、u(XG)、u(XB)為分別返回3個(gè)顏色通道的平均像素值。

雖然卷積神經(jīng)網(wǎng)絡(luò)具有極強(qiáng)的特征表達(dá)能力，但是訓(xùn)練數(shù)據(jù)量過(guò)少將會(huì)使CNN訓(xùn)練困難，容易過(guò)擬合，抑制CNN學(xué)習(xí)能力。因此，為了避免因有限的訓(xùn)練數(shù)據(jù)而引起的過(guò)擬合問(wèn)題，采用了基于旋轉(zhuǎn)和平移的實(shí)時(shí)數(shù)據(jù)增強(qiáng)技術(shù)。在訓(xùn)練期間增加數(shù)據(jù)，同時(shí)網(wǎng)絡(luò)正在對(duì)GPU上的一大批數(shù)據(jù)進(jìn)行訓(xùn)練，下一批數(shù)據(jù)將以多進(jìn)程的方式在CPU上生成。具體來(lái)說(shuō)，將每個(gè)縮放的圖像旋轉(zhuǎn)4個(gè)角度(0°,90°,180°和270°)，然后在旋轉(zhuǎn)的圖像上隨機(jī)添加像素平移(偏移在-10和10像素之間)，得到一系列增強(qiáng)的子圖像，實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 CNN識(shí)別結(jié)果Tab.2 Recognition results with different CNN models(%)

1.3 卷積特征的提取

給定預(yù)訓(xùn)練的網(wǎng)絡(luò)模型，首先通過(guò)上述操作來(lái)處理輸入的皮膚病變圖像?？s放圖像的短邊固定為256(即S=256)，對(duì)于第i張圖像Xi，將其輸入至預(yù)訓(xùn)練的CNN模型。在第l層卷積層中，得到wil×hil×dl空間特征圖Mil，其中wil和hil分別表示寬度和高度，dl是當(dāng)前特征圖的深度或通道。為了方便描述，Nil=wil×hil。值得注意的是，對(duì)于具有不同尺寸的輸入圖像，所得到的特征圖的大小可以不同。在特征圖Mil中,每個(gè)位置c=(cx,cy),1≤cx≤wil的激活處，得到dl維度向量fil,c∈dl，即本研究中的局部深度特征。因此，得到每個(gè)圖像Xi的局部深度特征表達(dá)式為

Fil={fil,(1,1)},…,fil,c}∈Nil×dl

(4)

CNN的不同卷積層往往具有不同的性質(zhì)。一般而言，低層特征往往包含紋理形狀等低層信息，而高層特征則通過(guò)不斷組合低層級(jí)特征得到更為抽象化的語(yǔ)義特征。在特征遷移的過(guò)程中，高層級(jí)特征往往和預(yù)訓(xùn)練的數(shù)據(jù)集有關(guān)，考慮到預(yù)訓(xùn)練數(shù)據(jù)集和皮膚數(shù)據(jù)之間的差異性以及深層特征的表達(dá)能力，在本研究中提取網(wǎng)絡(luò)的最后卷積層特征。

最后，特征向量通過(guò)對(duì)提取的卷積特征利用均值池化進(jìn)行計(jì)算，得到

(5)

本實(shí)驗(yàn)利用在大型自然圖像ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的深度殘差網(wǎng)絡(luò)(Res-152)提取特征，并對(duì)其使用均值池化操作得到特征向量，然后用支持向量機(jī)建立分類(lèi)模型，從而對(duì)黑色素瘤與非黑色素瘤進(jìn)行自動(dòng)識(shí)別分類(lèi)。在實(shí)驗(yàn)中，采用平均精度(mAP)、準(zhǔn)確度(Acc)、ROC曲線下面積(AUC)、靈敏度(Sen)和特異性(Spec)評(píng)價(jià)分類(lèi)性能。

1.4 實(shí)驗(yàn)

1.4.1實(shí)驗(yàn)設(shè)置

1)數(shù)據(jù)集。使用公開(kāi)的皮膚病變圖像ISBI 2016挑戰(zhàn)數(shù)據(jù)集驗(yàn)證所提出的方法。該數(shù)據(jù)集基于國(guó)際皮膚成像協(xié)作(ISIC)檔案[https://isic-archive.com/]，是最大的、公開(kāi)的皮膚鏡圖像數(shù)據(jù)集。2016皮膚鏡圖像視覺(jué)競(jìng)賽發(fā)布的數(shù)據(jù)集包含了1 279幅皮膚病變圖像，其中相應(yīng)的類(lèi)別標(biāo)簽被預(yù)分割成900幅訓(xùn)練集圖像和379幅測(cè)試集圖像。數(shù)據(jù)集中有兩種病變類(lèi)別：黑色素瘤和非黑色素瘤。其中，248幅黑色素瘤圖像(訓(xùn)練集中的173幅圖像，測(cè)試集中的75幅圖像)作為正樣本，1 031幅非黑色素瘤圖像作為負(fù)樣本。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后，共有28 800幅圖像作為訓(xùn)練集獲得分類(lèi)器模型。在實(shí)驗(yàn)中，SVM分類(lèi)器[2]的超參數(shù)通過(guò)對(duì)訓(xùn)練數(shù)據(jù)使用5折交叉驗(yàn)證獲得，其中懲罰因子C為10，終止條件的允差采用默認(rèn)值0.001。

2)評(píng)估和實(shí)施。對(duì)于評(píng)價(jià)的性能指標(biāo)，采用平均精度(mAP)、準(zhǔn)確度(Acc)、ROC曲線下面積(AUC)、靈敏度(Sen)和特異性(Spec)。對(duì)于3種不同的卷積神經(jīng)網(wǎng)絡(luò)模型，將利用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)數(shù)據(jù)集擴(kuò)充所得到的分類(lèi)結(jié)果分別表示為AlexNet-Aug、VGG-16-Aug和Res-50-Aug、Res-101-Aug、Res-152-Aug，而沒(méi)有利用數(shù)據(jù)增強(qiáng)技術(shù)得到的分類(lèi)結(jié)果分別表示為AlexNet-noAug、VGG-16-noAug和Res-50-noAug、Res-101-noAug、Res-152-noAug。

本實(shí)驗(yàn)主要是基于開(kāi)源庫(kù)來(lái)實(shí)現(xiàn)所提出的框架，即用于深度特征提取的Matlab工具包MatConvNet。所有實(shí)驗(yàn)都在具有CPU Inter XeonE5-2680 @ 2.70 GHz、GPU NVIDIA Quadro K4000和128GB RAM的計(jì)算機(jī)上進(jìn)行。

1.4.2網(wǎng)絡(luò)類(lèi)型和卷積特征的實(shí)驗(yàn)

1)不同網(wǎng)絡(luò)架構(gòu)對(duì)分類(lèi)識(shí)別結(jié)果的影響。將提出的框架與其他基于卷積神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行比較。在本實(shí)驗(yàn)中，采用了3種不同的卷積神經(jīng)網(wǎng)絡(luò)模型，除了152層深度殘差網(wǎng)絡(luò)(Res-152)外，還對(duì)不同深度的其他幾種CNN模型進(jìn)行性能比較，包括8層的Al-exNet、16層的VGGNet(VGG-16)、50層的Res-50以及101層的Res-101。所有網(wǎng)絡(luò)模型都在ImageNet上進(jìn)行了預(yù)訓(xùn)練。采用相同的圖像預(yù)處理以進(jìn)行公平比較，用隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)和裁剪來(lái)增加每幅皮膚圖像數(shù)據(jù)，最終產(chǎn)生了32個(gè)子圖像。

2)數(shù)據(jù)增強(qiáng)對(duì)分類(lèi)結(jié)果的影響。對(duì)數(shù)據(jù)集進(jìn)行了有無(wú)數(shù)據(jù)增強(qiáng)的對(duì)比實(shí)驗(yàn)。

2 結(jié)果

2.1 網(wǎng)絡(luò)類(lèi)型和卷積特征的實(shí)驗(yàn)結(jié)果

圖3列出了不同深度卷積神經(jīng)網(wǎng)絡(luò)模型的比較結(jié)果，包括各種評(píng)價(jià)分類(lèi)結(jié)果的指標(biāo)對(duì)比，可以觀察到網(wǎng)絡(luò)架構(gòu)的深度對(duì)識(shí)別黑色素瘤與非黑色素瘤之間的差異會(huì)產(chǎn)生很大的影響。從圖3以及表2中可以看出，Res-152相比其他幾個(gè)淺層網(wǎng)絡(luò)能提取判別力更強(qiáng)的特征，具有更好的識(shí)別黑色素瘤的性能。對(duì)于AlexNet和VGG-16，利用第一個(gè)全連接層的激活映射來(lái)提取數(shù)據(jù)特征，作為圖像表達(dá)。對(duì)于Res-50、Res-101以及Res-152，利用了倒數(shù)第二層(即最后一組)卷積殘差塊的2 048個(gè)維度的輸出來(lái)提取圖像特征。由實(shí)驗(yàn)結(jié)果可以知道，從殘差網(wǎng)絡(luò)Res-152提取的深層特征優(yōu)于從AlexNet、VGG-16、Res-50和Res-101中提取的深層特征。從表2和圖3可以看出，在5種不同深度的卷積神經(jīng)網(wǎng)絡(luò)模型中，152層的深度殘差網(wǎng)絡(luò)Res-152都具有最佳的識(shí)別分類(lèi)性能表現(xiàn)。實(shí)驗(yàn)結(jié)果表明，利用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)越深，則提取出的圖像特征表達(dá)會(huì)更具判別力。

圖3 不同網(wǎng)絡(luò)架構(gòu)的實(shí)驗(yàn)結(jié)果Fig.3 The result with different network architecture

對(duì)數(shù)據(jù)集進(jìn)行有無(wú)數(shù)據(jù)增強(qiáng)的對(duì)比實(shí)驗(yàn)，其結(jié)果如表2所示?？梢钥闯?，在3種不同的網(wǎng)絡(luò)架構(gòu)中，沒(méi)有進(jìn)行數(shù)據(jù)增強(qiáng)的分類(lèi)表現(xiàn)比進(jìn)行了數(shù)據(jù)增強(qiáng)的分類(lèi)結(jié)果表現(xiàn)都要差，具體來(lái)說(shuō)，在AlexNet中進(jìn)行了數(shù)據(jù)增強(qiáng)后，mAP提升了大約5%；在VGG-16中，mAP增長(zhǎng)了大約8%；在Res-50中，mAP提升了大約4.2%；在Res-101中，mAP提升了大約6.8%；在Res-152中，mAP提升了大約12.8%。由此說(shuō)明，隨著神經(jīng)網(wǎng)絡(luò)深度的加深，數(shù)據(jù)增強(qiáng)能夠有效增加分類(lèi)結(jié)果的準(zhǔn)確性，并且避免過(guò)擬合。

2.2 與其他方法的比較

將本研究的方法與對(duì)黑色素瘤分類(lèi)識(shí)別的已有文獻(xiàn)進(jìn)行對(duì)比，所采用的數(shù)據(jù)集同樣是基于公開(kāi)的皮膚病變圖像ISBI 2016挑戰(zhàn)數(shù)據(jù)集。

2.2.1與傳統(tǒng)手工特征方法的比較

SIFT描述符是提取手工特征的常用描述符，已被廣泛應(yīng)用。將基于密集采樣SIFT(DSIFT)描述符的詞袋(Bag of features，BoF)模型與提出的框架進(jìn)行比較，結(jié)果如表3和圖4所示。DSIFT-VQ表示基本直方圖量化，即圖像表示由視覺(jué)詞的直方圖給出。另外兩種為基于DSIFT特征的不同編碼方式，包括局部特征聚合描述符編碼(DSIF-T-VLA-D)和FV向量編碼(DSIFT-FV)。可以觀察到，當(dāng)使用深度卷積特征替代DSIFT時(shí)，實(shí)現(xiàn)了mAP的大約10%的改進(jìn)，這表明深度卷積特征比低級(jí)的手工特征描述符具有更強(qiáng)大的表達(dá)能力。

表3 與手工特征方法的對(duì)比結(jié)果

圖4 與手工特征方法的對(duì)比結(jié)果Fig.4 Comparision results with hand-crafted feature

2.2.2與基于卷積神經(jīng)網(wǎng)絡(luò)方法的比較

表4列出了比較結(jié)果。對(duì)于CNN-SVM來(lái)說(shuō)，利用不同網(wǎng)絡(luò)架構(gòu)提取特征，再通過(guò)SVM分類(lèi)。而CNNaug-SVM為利用數(shù)據(jù)增強(qiáng)技術(shù)對(duì)數(shù)據(jù)集擴(kuò)充，再用CNN模型提取特征輸入到SVM分類(lèi)。可以看到，數(shù)據(jù)增強(qiáng)可以提高分類(lèi)結(jié)果的準(zhǔn)確度。同時(shí)，將本研究的分類(lèi)結(jié)果與最新出版的文獻(xiàn)[20]和挑戰(zhàn)賽中排名第一的方法[21]進(jìn)行對(duì)比。Fine-tuned CNN只對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，沒(méi)有利用SVM分類(lèi)。CUMED分類(lèi)方法雖然靈敏性高于本研究的方法，但是其過(guò)程和計(jì)算的復(fù)雜度高，采用的多級(jí)方案涉及額外的分段預(yù)處理和網(wǎng)絡(luò)微調(diào)。如表4和圖5所示，本研究提出的框架在mAP中優(yōu)于Fine-tuned CNN、CUMED及沒(méi)有利用數(shù)據(jù)增強(qiáng)的CNN-SVM這3種方法，分別增長(zhǎng)約為2.28%、1.94%和5.91%。

表4 與其他卷積神經(jīng)網(wǎng)絡(luò)方法的對(duì)比結(jié)果

圖5 與其他卷積神經(jīng)網(wǎng)絡(luò)方法的對(duì)比結(jié)果Fig.5 Comparision results with other CNN methods

3 討論

深度神經(jīng)網(wǎng)絡(luò)通過(guò)組合多層神經(jīng)元，提取不同層次的特征，不斷迭代組合成更高層次的抽象特征，相比傳統(tǒng)的手工特征具有更強(qiáng)的特征表達(dá)能力和泛化能力。本研究基于深度神經(jīng)網(wǎng)絡(luò)，提出了一種新穎有效的方法，用于從皮膚鏡圖像中自動(dòng)準(zhǔn)確地識(shí)別黑色素瘤，并通過(guò)廣泛的實(shí)驗(yàn)來(lái)研究其有效性。該方法主要啟發(fā)于深度網(wǎng)絡(luò)的卷積層特征，通常包含豐富的區(qū)分性特征信息。例如，如圖6所示，在預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)Res-152中，從不同的殘差塊的輸出提取2D特征圖，可以看到提取的特征圖清楚地保留了相應(yīng)局部區(qū)域的描述信息。正如在許多文獻(xiàn)中所研究的，特征圖中的每個(gè)激活可以追溯到輸入圖像的某個(gè)局部區(qū)域(感受野)。對(duì)于卷積層，通常用成百上千的卷積核生成大量的激活圖(特征圖)，以捕獲圖像的各種特征。因此，可以聚合這些特征圖的局部激活值作為特征向量，以構(gòu)建比手工提取的描述符和直接從CNN全連接層提取的特征更具區(qū)分性的表達(dá)。與基于端到端訓(xùn)練或微調(diào)網(wǎng)絡(luò)的現(xiàn)有方法相比，本研究的框架僅使用預(yù)先訓(xùn)練的CNN作為特征提取器，從而避免了訓(xùn)練過(guò)程的復(fù)雜性，因此在有限的訓(xùn)練樣本下更為實(shí)用。以下有幾個(gè)因素應(yīng)該注意：首先，應(yīng)該考慮圖像的預(yù)處理和歸一化；其次，深度學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)有嚴(yán)格的要求，訓(xùn)練數(shù)據(jù)不足、需要學(xué)習(xí)的權(quán)重參數(shù)過(guò)多會(huì)導(dǎo)致過(guò)擬合等問(wèn)題。因此，選擇適當(dāng)?shù)腃NN架構(gòu)，同時(shí)進(jìn)行數(shù)據(jù)增強(qiáng)，對(duì)于提取深層卷積特征也是非常關(guān)鍵的。值得注意的是，本研究所提出的框架中，網(wǎng)絡(luò)只對(duì)每個(gè)輸入圖像應(yīng)用一次，然后從激活圖中提取局部深層描述符。

圖6 預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)Res-152隨機(jī)捕獲一張圖片的中間層的特征圖。(a)輸入圖片；(b)～(f)殘差網(wǎng)絡(luò)的第1～5個(gè)殘差塊隨機(jī)選取的16個(gè)通道的特征圖Fig.6 Illustration of Pre-trained residual network Res-152 randomly captures a picture of the intermediate layer of the feature map. (a)is the input image, (b)～(f) Randomly selected 16 channels of the feature map of the 1st～5th residual block

本研究所提出的方法雖然取得了一定的成效，但仍然存在一些不足之處。首先，對(duì)于遷移問(wèn)題，原始訓(xùn)練數(shù)據(jù)對(duì)目標(biāo)任務(wù)有重大影響[22]。例如，與其他數(shù)據(jù)集上預(yù)先訓(xùn)練的網(wǎng)絡(luò)相比，在ImageNet上預(yù)先訓(xùn)練的網(wǎng)絡(luò)可能會(huì)產(chǎn)生不同的結(jié)果。然而，筆者只調(diào)查了在ImageNet大型自然圖像數(shù)據(jù)集上預(yù)先訓(xùn)練過(guò)的網(wǎng)絡(luò)，沒(méi)有更多地了解在其他數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)黑色素瘤的影響。其次，本研究提出的框架只是在ISBI皮膚數(shù)據(jù)集上進(jìn)行測(cè)試，并沒(méi)有在其他的數(shù)據(jù)集上進(jìn)行驗(yàn)證，沒(méi)有進(jìn)一步驗(yàn)證所提出網(wǎng)絡(luò)結(jié)構(gòu)的魯棒性和泛化能力。此外，實(shí)驗(yàn)結(jié)果中，靈敏度指標(biāo)主要計(jì)算分類(lèi)器能正確識(shí)別出黑色素瘤的結(jié)果，特異性是判斷非黑色素瘤的指標(biāo)，由于數(shù)據(jù)不均衡，黑色素瘤相比非黑色素瘤數(shù)據(jù)量差距較大，導(dǎo)致特異性相比靈敏性高出大約50%。

4 結(jié)論

在本研究中，提出了一個(gè)用于黑色素瘤與非黑色素瘤皮膚鏡圖像分類(lèi)的新框架。它從深度殘差網(wǎng)絡(luò)中提取局部卷積特征，形成更復(fù)雜的表達(dá)。筆者進(jìn)行了大量的實(shí)驗(yàn)來(lái)研究可能影響本方法性能的關(guān)鍵因素，包括圖像預(yù)處理、數(shù)據(jù)增強(qiáng)、網(wǎng)絡(luò)架構(gòu)。同時(shí)，在公開(kāi)的ISBI 2016挑戰(zhàn)皮膚病變數(shù)據(jù)集上顯示結(jié)果。在未來(lái)的研究中，筆者將在更多的數(shù)據(jù)集上評(píng)估這次研究的方法，并提升其在臨床實(shí)踐中的應(yīng)用。