基于神經(jīng)架構(gòu)搜索的色素性皮損圖像分類方法

何 晴，楊鐵軍，黃 琳*

(1.桂林理工大學(xué) 信息科學(xué)與工程學(xué)院，廣西 桂林 541000；2.桂林醫(yī)學(xué)院 智能醫(yī)學(xué)與生物技術(shù)學(xué)院，廣西 桂林 541000)

0 引 言

皮膚癌是最常見的癌癥類型之一，其中黑色素瘤是最致命的皮膚癌，死亡率約占75%[1]，早期準(zhǔn)確識別黑色素瘤可顯著提高患者的生存率。色素性皮損圖像一般采用皮膚鏡采集，由于皮膚顏色或毛發(fā)等方面的影響以及黑色素瘤和非黑色素瘤病灶高度的視覺相似性，使得黑色素瘤的識別具有極大的挑戰(zhàn)性。傳統(tǒng)機(jī)器學(xué)習(xí)方法一般從圖像中提取手工特征，然后將它們輸入到傳統(tǒng)的分類器中進(jìn)行分類[2-4]，但由于受到人工設(shè)計(jì)和提取特征的限制，導(dǎo)致識別準(zhǔn)確度并不是很高。為了解決上述問題，研究者們開始將深度學(xué)習(xí)方法應(yīng)用于色素性皮損圖像分類[5-7]，雖然卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)可以在不同的條件下自動地學(xué)習(xí)有效特征，但CNN的設(shè)計(jì)往往需要大量的專家經(jīng)驗(yàn)，例如卷積核的選擇、超參數(shù)的設(shè)置等。

為了自動構(gòu)建CNN模型，神經(jīng)架構(gòu)搜索(Neural Architecture Search，NAS)被提出[8-9]。NAS通常是在搜索空間上應(yīng)用一種搜索策略進(jìn)行架構(gòu)搜索得到大量候選神經(jīng)網(wǎng)絡(luò)架構(gòu)，并對其執(zhí)行性能評估，最后找到一個(gè)優(yōu)秀的神經(jīng)網(wǎng)絡(luò)架構(gòu)。最初NAS算法的計(jì)算量非常大[8,10]，需要搜索神經(jīng)網(wǎng)絡(luò)架構(gòu)的所有組件。后來，研究者們提出了幾種加速方法，如學(xué)習(xí)更小的Cell結(jié)構(gòu)[11-12]，然后將它們堆疊起來構(gòu)建整個(gè)神經(jīng)網(wǎng)絡(luò)；或使用權(quán)重共享[13-15]強(qiáng)制讓子網(wǎng)絡(luò)之間共享權(quán)重。這些方法在一定程度上加速了架構(gòu)搜索過程，然而它們將NAS視為一個(gè)離散搜索空間的優(yōu)化問題，這使得大量的候選神經(jīng)網(wǎng)絡(luò)架構(gòu)需要進(jìn)行性能評估。為此，Darts[16]通過將NAS建模為包含所有路徑的神經(jīng)網(wǎng)絡(luò)架構(gòu)的單一訓(xùn)練過程，將離散的搜索空間轉(zhuǎn)化為連續(xù)松弛的形式，為神經(jīng)網(wǎng)絡(luò)架構(gòu)及其權(quán)重的聯(lián)合優(yōu)化提供了可微的學(xué)習(xí)目標(biāo)。但由于Darts包含了所有路徑，導(dǎo)致內(nèi)存成本過大。為此，在Darts的基礎(chǔ)上，該文提出了一種基于單路徑激活的NAS方法(Single Path Activation based NAS，SPA-NAS)，以進(jìn)一步優(yōu)化搜索過程，并應(yīng)用于色素性皮損圖像分類。主要貢獻(xiàn)如下：

(1)提出了一種單路徑激活優(yōu)化策略。它通過對一個(gè)包含所有路徑的過參數(shù)化網(wǎng)絡(luò)架構(gòu)應(yīng)用單路徑激活策略對路徑進(jìn)行剪枝，來達(dá)到提高搜索速度的目的。此外，SPA-NAS可以使用梯度下降的方法進(jìn)行訓(xùn)練，并在每次迭代中能夠即時(shí)計(jì)算損失。

(2)基于Darts的搜索空間，使用了一個(gè)步長為2的3×3卷積下采樣結(jié)構(gòu)替換原Reduce Cell結(jié)構(gòu)，以此降低搜索任務(wù)的復(fù)雜程度。同時(shí)，縮減了候選操作集合，移除了3×3最大池化和3×3平均池化等基本操作。

(3)該方法搜索出一個(gè)CNN約耗時(shí)21 GPU Hours，達(dá)到了與SOTA方法接近或更好的分類性能。在ISIC2017和HAM10000色素性皮損數(shù)據(jù)集上分別實(shí)現(xiàn)了62.4%和69.8%的多類敏感性。

1 相關(guān)工作

最近，NAS取得了顯著的進(jìn)展[8,10,16-17]，大多數(shù)NAS方法可以分為兩種類型：宏搜索和微搜索。

宏搜索的目標(biāo)是直接發(fā)現(xiàn)構(gòu)建整個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)的所有組件[8,15,18-19]。在這些宏搜索算法中[8-9]，可能的候選神經(jīng)網(wǎng)絡(luò)架構(gòu)和網(wǎng)絡(luò)深度成指數(shù)關(guān)系。例如，文獻(xiàn)[13]的深度設(shè)置為12時(shí)會產(chǎn)生1.6×1029個(gè)可能的候選神經(jīng)網(wǎng)絡(luò)。在如此大的搜索空間中進(jìn)行架構(gòu)搜索是很耗時(shí)的，因此這些宏搜索方法[8,13,19]通常將CNN的深度控制在較淺的范圍內(nèi)，如小于12。相比之下，SPA-NAS通過堆疊發(fā)現(xiàn)的Norm Cell[17]使網(wǎng)絡(luò)更深，在降低搜索空間大小的同時(shí)，能夠取得較好的分類準(zhǔn)確度。

微搜索的目標(biāo)是發(fā)現(xiàn)局部神經(jīng)架構(gòu)(Cell)，并通過反復(fù)堆疊發(fā)現(xiàn)的Cell來構(gòu)建神經(jīng)網(wǎng)絡(luò)[12-13,17,20]。NASNet[17]最先實(shí)施該方法，在文獻(xiàn)[8]所提出的“NASNet搜索空間”中搜索Cell。之后，許多研究者基于該搜索空間提出了許多方法[16,19-20]，例如文獻(xiàn)[20]使用進(jìn)化計(jì)算搜索Cell。這些微搜索方法[20-21]通常需要超過100 GPU Days，即使減少了搜索成本，但仍然需要超過1 GPU Days[16]。SPA-NAS也是一種微搜索算法，主要作用是加速搜索過程。

由于NAS算法通常需要昂貴的計(jì)算資源[8,10]，越來越多的研究者提出了各種技術(shù)來提高搜索速度[13,15-16,19,21]。文獻(xiàn)[15]利用超網(wǎng)絡(luò)為每個(gè)子網(wǎng)絡(luò)生成權(quán)重，使得在不進(jìn)行訓(xùn)練的情況下可以評估神經(jīng)網(wǎng)絡(luò)架構(gòu)。文獻(xiàn)[21]提出了一種由淺到深逐漸搜索Cell的漸進(jìn)方法。雖然這些方法成功地加速了架構(gòu)搜索過程，但仍然需要花費(fèi)數(shù)天時(shí)間[19]。SPA-NAS與Darts[16]密切相關(guān)，使用了一種單路徑激活策略，有選擇性地對一個(gè)過參數(shù)化網(wǎng)絡(luò)架構(gòu)進(jìn)行路徑剪枝，有效地加速了搜索過程。

2 方 法

SPA-NAS方法主要包括三個(gè)步驟：設(shè)計(jì)搜索空間、搜索最優(yōu)Norm Cell以及Norm Cell堆疊和測試。如圖1所示，首先，優(yōu)化了搜索空間；然后，采用基于單路徑激活的搜索策略搜索最優(yōu)Norm Cell；最后，堆疊最優(yōu)Norm Cell構(gòu)建色素性皮損分類神經(jīng)網(wǎng)絡(luò)，并在ISIC2017和HAM10000數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試。

2.1 搜索空間的設(shè)計(jì)

搜索空間定義了NAS方法可以搜索到的神經(jīng)網(wǎng)絡(luò)類型，如卷積層、池化層等。與Darts一樣，使用基于Cell的搜索空間，但也存在著一些區(qū)別。Darts的目標(biāo)是搜索兩種Cell結(jié)構(gòu)：Norm Cell和Reduce Cell[17]。前者在不改變特征圖大小的情況下進(jìn)一步提取特征，后者主要是降低特征圖大小。鑒于它們的作用，采用一個(gè)步長為2的3×3卷積層對Reduce Cell進(jìn)行替換，這樣就可以降低搜索任務(wù)的復(fù)雜程度，因?yàn)樯偎阉髁艘粋€(gè)Reduce Cell。故該文的任務(wù)只需要搜索Norm Cell即可。為此，可進(jìn)一步精簡候選操作集合，故移除了3×3最大池化和3×3平均池化等所有池化操作，最終候選操作集O={o}保留了以下6種操作：(1)3×3 SepConv；(2)5×5 SepConv；(3)3×3 DilConv；(4) 5×5 DilConv；(5) Skip Connection (Identity)；(6)No Connection (Zero)。

圖1 SPA-NAS方法流程

Norm Cell通過上述候選操作集構(gòu)造而成，如圖2(a)所示。每個(gè)Norm Cell是由I1和I2，4個(gè)中間節(jié)點(diǎn)B1、B2、B3、B4和1個(gè)輸出節(jié)點(diǎn)構(gòu)成的有向無環(huán)圖。每個(gè)Norm Cell將先前的輸出作為一個(gè)輸入，并通過先前的節(jié)點(diǎn)(I1,I2,Bj,j∈[1,i))在候選操作集合中激活操作來生成中間節(jié)點(diǎn)Bi。兩個(gè)節(jié)點(diǎn)之間的邊根據(jù)SPA-NAS在搜索空間中得到可能的操作(圖2(b))。當(dāng)中間節(jié)點(diǎn)有多條輸入時(shí)，則多個(gè)輸入將逐像素相加，所有中間節(jié)點(diǎn)的連接作為Norm Cell的最終輸出節(jié)點(diǎn)。在測試階段，為每個(gè)中間節(jié)點(diǎn)選擇T(T=2)條邊作為輸入，以生成最終的Norm Cell(如圖2(a)中實(shí)線組成的結(jié)構(gòu))。

圖2 搜索空間

2.2 基于單路徑激活的搜索策略

算法1：SPA-NAS

Initializedα

while not stop do ? search an architecture

ResetMpath to inactive state for each edge (i,j)

Calculate Prob based on Eq.(2)

Derive an oactiveof each edge

Generate a child architecture only consisting of oactive

? architecture purning

Forward propagation of child architecture based on Eq.(3)

Calculate Losstrainon train set

Updatewby gradient descent:w=w-▽wLosstrain

Sample batch of data asDvfrom validation set

Calculate LossvalidationonDv

Updateαby gradient descent:α=α-▽αLossvalidation

end while

Derive the final architecture based on the learnedα

probI,J=Max(Probi,j)

(1)

其中，概率Probi,j是可學(xué)習(xí)的，由公式(2)計(jì)算獲得：

(2)

(3)

正如公式(3)所示，訓(xùn)練時(shí)只有激活路徑上的操作被計(jì)算。通過這種方式，可以節(jié)省GPU內(nèi)存成本和計(jì)算時(shí)間，有效加速搜索過程。以上步驟得到了一個(gè)子架構(gòu)，接下來應(yīng)用梯度下降方法[16]來更新架構(gòu)參數(shù)α以及權(quán)重w。具體是在進(jìn)行子架構(gòu)的前向傳播時(shí)，分別在訓(xùn)練集上和驗(yàn)證集上計(jì)算出訓(xùn)練損失和驗(yàn)證損失，然后根據(jù)訓(xùn)練損失和驗(yàn)證來更新w和α。以上過程反復(fù)迭代，每次迭代前需重置所有路徑為未激活狀態(tài)。

搜索結(jié)束后，需要從學(xué)習(xí)到的架構(gòu)參數(shù)α中推導(dǎo)出最終的Norm Cell結(jié)構(gòu)。對每個(gè)中間節(jié)點(diǎn)連接T(T=2)個(gè)之前的節(jié)點(diǎn)，通過以下步驟得到最終的架構(gòu)：(1)應(yīng)用公式(2)得到NormCell的中間節(jié)點(diǎn)Bi和先前節(jié)點(diǎn)(I1,I2,Bj,j∈[1,i))之間連接的重要性Prob。(2)對每個(gè)中間節(jié)點(diǎn)Bi，與先前節(jié)點(diǎn)返回Prob的前T個(gè)節(jié)點(diǎn)連接成邊。(3)對步驟(2)中返回的邊，使用函數(shù)argmax(Prob)得到唯一操作。

圖3 單路徑激活搜索過程

2.3 候選神經(jīng)網(wǎng)絡(luò)架構(gòu)

一旦發(fā)現(xiàn)了一個(gè)Norm Cell，就把這些發(fā)現(xiàn)的Norm Cell堆疊起來組成一個(gè)神經(jīng)網(wǎng)絡(luò)。如圖4所示，將N個(gè)Norm Cell堆疊為一個(gè)block，與后邊緊跟的步長為2的3×3卷積層定義為一個(gè)組。給定輸入，首先通過一個(gè)3×3卷積層轉(zhuǎn)發(fā)，然后傳入到G個(gè)組進(jìn)行更深層次的特征提取，最后通過一個(gè)block(注意每個(gè)Norm Cell接收兩路輸入)。在這里，將神經(jīng)網(wǎng)絡(luò)架構(gòu)的深度設(shè)置為G*(N+1)+N，其中G決定了神經(jīng)網(wǎng)絡(luò)的下采樣率，N決定了神經(jīng)網(wǎng)絡(luò)的深度。

圖4 候選神經(jīng)網(wǎng)絡(luò)架構(gòu)

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用Pytorch 1.5實(shí)現(xiàn)，主要系統(tǒng)環(huán)境為Win10，Intel i7-8700 CPU，16 GB DDR4 RAM，GTX1080 8G GPU。實(shí)驗(yàn)主要包括搜索和測試兩個(gè)階段。在搜索階段，通過提出的SPA-NAS方法在ISIC2017數(shù)據(jù)集上搜索最優(yōu)Norm Cell結(jié)構(gòu)。在測試階段，基于最優(yōu)Norm Cell構(gòu)造神經(jīng)網(wǎng)絡(luò)架構(gòu)，對比了不同Norm Cell堆疊深度(N，G)的神經(jīng)網(wǎng)絡(luò)在ISIC2017和HAM10000數(shù)據(jù)集上的分類性能，并分別與ARL-CNN[22]、SA-AS[23]、G-CNN[24]、LIN[25]及MobileNet[26]、DenseNet-121[27]、Inception-ResNet[28]、Dilated-VGG19[29]、Darts[16]等SOTA方法進(jìn)行了比較。

3.1 數(shù)據(jù)集

實(shí)驗(yàn)采用HAM10000數(shù)據(jù)集[30]和ISIC2017數(shù)據(jù)集[31]。圖5給出了數(shù)據(jù)集的部分示例。HAM10000數(shù)據(jù)集具有10 015張皮膚鏡圖像，包含了七種皮損圖像：黑色素瘤、色素痣、基底細(xì)胞癌、光化性角化病、良性角化病、皮膚纖維瘤和血管損傷。采用與文獻(xiàn)[29]相同的劃分方式對它按照8∶1∶1的比例劃分成訓(xùn)練集(8 011張)、驗(yàn)證集(1 012張)和測試集(1 012張)。而ISIC2017數(shù)據(jù)集共有2 750張圖像，包含了三種皮損圖像：黑色素瘤、色素痣和脂溢性角化病。ISIC2017數(shù)據(jù)集已經(jīng)劃分了訓(xùn)練集(2 000張)、驗(yàn)證集(150張)以及測試集(600張)。該數(shù)據(jù)集種有兩個(gè)分類子任務(wù)：黑色素瘤分類(黑色素瘤與其他)和脂溢性角化病分類(脂溢性角化病與其他)。同時(shí)，延伸了一個(gè)三分類任務(wù)。

圖5 數(shù)據(jù)集部分樣例

3.2 參數(shù)設(shè)置

所有圖像被中心裁剪并調(diào)整至224×224像素。

在搜索階段，使用ISIC2017數(shù)據(jù)集，共迭代搜索50次，批次大小為8，初始通道為16。使用帶有動量的SGD優(yōu)化網(wǎng)絡(luò)的權(quán)重參數(shù)和Adam優(yōu)化網(wǎng)絡(luò)的架構(gòu)參數(shù)。初始學(xué)習(xí)率為0.001(按照余弦退火下降至0.000 1)，動量為0.9，權(quán)重衰減為3×10-4，指數(shù)衰減率為(0.5，0.999)。

在測試階段，在HAM10000數(shù)據(jù)集上共訓(xùn)練75個(gè)epochs，初始學(xué)習(xí)率為0.000 5；在ISIC2017數(shù)據(jù)集上共訓(xùn)練120個(gè)epochs，初始學(xué)習(xí)率為0.001。使用余弦退火降低學(xué)習(xí)率，批次大小為5，初始通道為16，權(quán)重衰減率為3×10-5，使用指數(shù)衰減率為(0.9,0.999)的Adam優(yōu)化權(quán)重參數(shù)。

3.3 評估指標(biāo)

在評估指標(biāo)方面，使用多類敏感性S(multi-class sensitivity，MC-Sensitivity)來全面衡量分類準(zhǔn)確性，該指標(biāo)能夠平等地對待所有類，其定義如下：

(4)

其中，TP表示真陽性，F(xiàn)N表示假陰性，C為類別數(shù)。

3.4 搜索最優(yōu)Norm Cell

首先，基于一個(gè)包含所有路徑的神經(jīng)網(wǎng)絡(luò)架構(gòu)，根據(jù)第2節(jié)所提出的方法搜索一個(gè)最優(yōu)的Norm Cell結(jié)構(gòu)?？紤]到神經(jīng)網(wǎng)絡(luò)的深度和視野范圍，N與G的取值不宜過大或過小。因此，在ISIC2017數(shù)據(jù)集上搜索了一個(gè)N=2、G=4深度的神經(jīng)網(wǎng)絡(luò)架構(gòu)，花費(fèi)約21 GPU Hours。圖6給出了在該深度下搜索到的最優(yōu)Norm Cell結(jié)構(gòu)，其輸入節(jié)點(diǎn)的卷積步長均為1。

圖6 在ISIC2017上學(xué)習(xí)到的Norm Cell

同樣地，在降低圖像分辨率至64×64和通道數(shù)降為原來的1/3的情況下(否則內(nèi)存過載)，使用了darts方法進(jìn)行架構(gòu)搜索，并與文中方法進(jìn)行了比較。如表1所示，可以看到，Darts在降低了算力的情況下，搜索效率仍低于SPA-NAS。

表1 搜索一個(gè)CNN所耗時(shí)間

3.5 最優(yōu)Norm Cell的堆疊和測試

進(jìn)一步，采用Norm Cell堆疊的方式構(gòu)建不同深度的候選神經(jīng)網(wǎng)絡(luò)(見圖4)，以確定在ISIC2017和HAM10000數(shù)據(jù)集上最優(yōu)的神經(jīng)網(wǎng)絡(luò)。

3.5.1 優(yōu)選Norm Cell堆疊方式

通過改變N(N=1,2,3)和G(G=4,5)來分析最優(yōu)Norm Cell的堆疊深度對HAM10000和ISIC2017驗(yàn)證集分類性能的影響，以此分別確定各自最優(yōu)的神經(jīng)網(wǎng)絡(luò)。圖7給出了在不同堆疊深度下，ISIC2017和HAM10000驗(yàn)證集的MC-Sensitivity - Epoch曲線。由圖可知，當(dāng)G=4時(shí)，SPA-NAS在ISIC2017和HAM10000驗(yàn)證集上的性能明顯要優(yōu)于G=5時(shí)?？赡艿囊粋€(gè)原因是，小的G值意味著輸出的特征圖尺寸增大，感受野變小，對檢測皮膚病灶這種小物體更有利。

圖7 在不同堆疊深度下，ISIC2017和HAM10000驗(yàn)證集的MC-Sensitivity - Epoch曲線

為了優(yōu)選Norm Cell堆疊方式，根據(jù)N值不同分成3組來進(jìn)行測試，并分別計(jì)算了后30個(gè)epoch的MC-Sensitivity平均值(由圖6知在該階段均已基本收斂)，以此作為優(yōu)選堆疊方式的參考指標(biāo)。如表2所示，當(dāng)N一定時(shí)，MC-Sensitivity平均值隨著G的增大呈下降趨勢。因此，優(yōu)選了每組中MC-Sensitivity平均值最高的堆疊方式進(jìn)行測試。

3.5.2 在ISIC2017數(shù)據(jù)集上的對比結(jié)果

最后，使用上節(jié)優(yōu)選出的3種網(wǎng)絡(luò)模型與ARL-CNN[22]、SA-AS[23]、G-CNN[24]、LIN[25]和Darts[16]等5種SOTA方法進(jìn)行比較。由表3可知，SPA-NAS(N=1，G=4)的綜合性能最好，雖然在脂溢性角化病分類得分較低，但在黑色素瘤分類和三分類任務(wù)上的MC-Sensitivity均超過了其他方法，而黑色素瘤分類和三分類相較于脂溢性角化病分類更加有難度。ARL-CNN將注意力機(jī)制與殘差結(jié)構(gòu)相結(jié)合，使得模型能夠更好地關(guān)注病灶位置，但它沒有通過增加網(wǎng)絡(luò)寬度對在相同尺度下提取的特征進(jìn)行融合，導(dǎo)致其在黑色素瘤識別上略低于文中方法。SA-AS通過使用主動學(xué)習(xí)策略篩選有用的樣本以提高分類性能，但在實(shí)現(xiàn)過程中仍需要人工的參與。G-CNN主要關(guān)注于病灶的全局尺度信息，而LIN更多地關(guān)注于病灶之間的局部細(xì)粒度差異，它們都沒有很好地將全局信息與局部信息進(jìn)行結(jié)合，從而可能導(dǎo)致一些細(xì)節(jié)特征的丟失。而文中方法在不需要人工參與下自動地調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，能夠更好地將提取的特征信息進(jìn)行結(jié)合，從而提高黑色素瘤的分類性能。另外，還與Darts進(jìn)行了比較，SPA-NAS的性能在所有分類任務(wù)中均得到了改善，尤其在三分類任務(wù)中，SPA-NAS(N=1，G=4)比它高了約10.4%。

表2 不同堆疊深度下驗(yàn)證集的MC-Sensitivity平均值

表3 不同方法在ISIC2017上的MC-Sensitivity結(jié)果比較 %

3.5.3 遷移到HAM10000數(shù)據(jù)集上的對比結(jié)果

為了驗(yàn)證搜索到的Norm Cell的可轉(zhuǎn)移性，繼續(xù)在HAM10000數(shù)據(jù)集上進(jìn)行了測試，并與MobileNet[26]、DenseNet-121[27]、Dilated-VGG19[29]、Inception-ResNet[28]和Darts等5種SOTA方法進(jìn)行比較。由表4可知，優(yōu)選的SPA-NAS(N=3，G=4)神經(jīng)網(wǎng)絡(luò)取得了最高的MC-Sensitivity值(69.8%)，比Dilated-VGG19高3.1百分點(diǎn)。Dilated-VGG19在增加網(wǎng)絡(luò)深度的同時(shí)也增加了空洞卷積的空洞數(shù)，這使得遠(yuǎn)距離卷積得到的結(jié)果之間缺乏相關(guān)性和連續(xù)性，進(jìn)而影響了分類結(jié)果。Inception-ResNet、MobileNet和DenseNet-121均是針對ImageNet數(shù)據(jù)集而手工精心設(shè)計(jì)的CNN，其MC-Sensitivity約為60.4%～66.3%。而文中方法設(shè)計(jì)的CNN(在G=4情況下)均超過了以上3種手工構(gòu)建的神經(jīng)網(wǎng)絡(luò)和Darts。此外，發(fā)現(xiàn)SPA-NAS對皮膚纖維瘤的識別率最差，最主要的原因是該類別的數(shù)量較少以及其病灶與其他病灶具有高度的視覺相似性，從而被錯(cuò)誤分類。

表4 不同方法在HAM10000上的MC-Sensitivity結(jié)果比較

4 結(jié)束語

為了避免手工設(shè)計(jì)CNN需要非常專業(yè)的知識和大量參數(shù)調(diào)優(yōu)的問題，提出了一種簡單而有效的基于神經(jīng)架構(gòu)搜索的皮損圖像分類方法(SPA-NAS)。該方法通過對一個(gè)過參數(shù)化網(wǎng)絡(luò)架構(gòu)采用基于單路徑激活的梯度下降搜索策略進(jìn)行學(xué)習(xí)，有效地提高了搜索效率。SPA-NAS方法首先在ISIC2017數(shù)據(jù)集上搜索最優(yōu)Norm Cell，構(gòu)建的神經(jīng)網(wǎng)絡(luò)取得了與SOTA方法接近或更好的分類性能。最優(yōu)Norm Cell還成功地遷移到了HAM10000數(shù)據(jù)集上并取得了較好的分類準(zhǔn)確性。但由于構(gòu)建的CNN采用了重復(fù)堆疊的模式，這限制了Norm Cell的多樣性，可能會損害到神經(jīng)網(wǎng)絡(luò)的分類性能。下一步研究可以搜索一個(gè)基于不同Norm Cell的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以擴(kuò)大搜索空間和Norm Cell的多樣性。