一種快速漸進(jìn)式卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索算法

趙亮，方偉

（江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院，江蘇無(wú)錫 214122）

0 概述

深度學(xué)習(xí)具有可直接從數(shù)據(jù)中提取和學(xué)習(xí)特征的優(yōu)勢(shì)，是計(jì)算機(jī)視覺(jué)領(lǐng)域中的重要方法，其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［1］在深度學(xué)習(xí)中扮演了重要角色。自LECUN等［2］于1998 年提出Le-Net 后，CNN 不斷發(fā)展并取得了巨大成功。一系列優(yōu)越CNN 結(jié)構(gòu)的提出是CNN 取得成功的重要原因，如AlexNet［3］、VGG［4］、GoogLeNet［5］、ResNet［6］、DenseNet［7］、MobileNet［8］、SENet［9］等。近年來(lái)，CNN 的發(fā)展逐漸由特征參數(shù)的調(diào)整轉(zhuǎn)向結(jié)構(gòu)的創(chuàng)新，每個(gè)結(jié)構(gòu)的性能都因結(jié)構(gòu)的創(chuàng)新而不斷提高。

上述手動(dòng)設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，有許多巧妙的結(jié)構(gòu)仍舊影響著網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，例如3×3 卷積核、跳躍連接等。然而，創(chuàng)新設(shè)計(jì)CNN 結(jié)構(gòu)并非易事，需要大量的專(zhuān)業(yè)知識(shí)，這對(duì)需要使用CNN 結(jié)構(gòu)的其他職業(yè)人員并不友好，限制了CNN 更好地應(yīng)用于實(shí)際任務(wù)。近年來(lái)，為了獲得更好的CNN 結(jié)構(gòu)，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（Neural Architecture Search，NAS）算法。NAS 算法由于具有高度的自動(dòng)化和智能化特性，引起了廣泛研究和討論。

NAS算法最初可分為基于強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）和基于進(jìn)化算法（Evolutionary Algorithm，EA）兩類(lèi)，基于RL 的NAS 算法又分為Q-learning 和策略梯度兩種類(lèi)型。Q-learning 方法從有限的搜索空間中通過(guò)學(xué)習(xí)代理模型來(lái)選擇CNN 架構(gòu)［10］。相比之下，基于策略梯度的方法以遞歸神經(jīng)控制器為特征來(lái)生成模型，其參數(shù)由一系列策略梯度算法更新［11］。近端策略?xún)?yōu)化NASNet［12］在RL 算法的基礎(chǔ)上，使用了一種新的基于單元的搜索空間和正則化技術(shù)，并重復(fù)堆疊相同單元［13］。基于RL 可以搜索出準(zhǔn)確性較好的網(wǎng)絡(luò)結(jié)構(gòu)，但是在搜索中會(huì)耗費(fèi)大量的計(jì)算資源，如NASNet［12］需要2 000 個(gè)GPU Days，MetaQNN［14］需要100 個(gè)GPU Days，Block-QNN-S［15］需要32 個(gè)GPU Days。

EA 將NAS 看作一個(gè)優(yōu)化問(wèn)題，通過(guò)進(jìn)化過(guò)程來(lái)不斷演化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，近期的研究成果有AmeobaNet-A［16］、AE-CNN［17］、FAE-CNN［18］、NASG-Net［19］等。基于EA 的NAS 算法也需消耗大量計(jì)算資源，如Genetic CNN［20］需要17 個(gè)GPU Days，AmoebaNet需要3 150 個(gè)GPU Days，AE-CNN 和CNN-GA［21］分別需要27 個(gè)和35 個(gè)GPU Days。FAE-CNN 通過(guò)劃分?jǐn)?shù)據(jù)集方法將搜索時(shí)間縮短為3.5 個(gè)GPU Days，但也因此增大了不穩(wěn)定性。

最近，可微結(jié)構(gòu)搜索（Differentiable Architecture Search，DARTS）［22］作為一種新的NAS 算法被提出，取得了比基于RL 和EA 的NAS 算法更好的分類(lèi)效果，并且僅需要4 個(gè)GPU Days。但是DARTS 為了減少時(shí)間和資源開(kāi)銷(xiāo)，在搜索階段和評(píng)估階段體系結(jié)構(gòu)大小不同，存在深度鴻溝［23］，這導(dǎo)致了搜索評(píng)估的不相關(guān)性。針對(duì)DARTS 存在的深度鴻溝等問(wèn)題，研究人員提出了相應(yīng)的改進(jìn)。P-DARTS［23］使用了漸進(jìn)式搜索方法，將搜索階段分為結(jié)構(gòu)逐步增大的三個(gè)階段，一定程度上減少了深度鴻溝的影響。同樣針對(duì)搜索評(píng)估不相關(guān)性，SGAS［24］使用了一種貪心結(jié)構(gòu)搜索算法，通過(guò)選邊指標(biāo)來(lái)提升搜索階段評(píng)估的相關(guān)性，使得搜索過(guò)程中的驗(yàn)證準(zhǔn)確度與評(píng)價(jià)過(guò)程中的測(cè)試準(zhǔn)確度相關(guān)程度更高。雖然SGAS將CIFAR-10上的錯(cuò)誤率降低到2.39%，但在10 組實(shí)驗(yàn)中穩(wěn)定性不高，錯(cuò)誤率最高達(dá)到3.18%，存在平方差較大、不穩(wěn)定的情況。

本文針對(duì)DARTS 及其改進(jìn)算法深度鴻溝和搜索穩(wěn)定性不高的問(wèn)題，提出一種快速漸進(jìn)式NAS（Fast and Progressive NAS，F(xiàn)PNAS）算法，通過(guò)結(jié)合漸進(jìn)性搜索和貪心搜索中的選邊指標(biāo)，增強(qiáng)搜索階段和評(píng)估階段的相關(guān)性，提高搜索穩(wěn)定性。同時(shí)，在漸進(jìn)式搜索中使用劃分?jǐn)?shù)據(jù)集方法，減少搜索的資源和時(shí)間開(kāi)銷(xiāo)。

1 快速漸進(jìn)式卷積神經(jīng)網(wǎng)絡(luò)搜索

1.1 可微結(jié)構(gòu)搜索算法

在連續(xù)域搜索方法［25-26］的基礎(chǔ)上，DARTS［22］引入了一種連續(xù)松弛的體系結(jié)構(gòu)表示方法，使體系結(jié)構(gòu)搜索可微化。DARTS 采用了NASNet［12］中Cell 和Block 的設(shè)計(jì)方法，將搜索問(wèn)題簡(jiǎn)化為尋找最優(yōu)單元（Cell），并將該單元作為基礎(chǔ)單元堆疊多次構(gòu)成最終的卷積神經(jīng)網(wǎng)絡(luò)。基于單元的NAS 方法可得到可伸縮和移植性強(qiáng)的結(jié)構(gòu)。DARTS 避免了挑選子網(wǎng)絡(luò)的過(guò)程，其將單元中所有的可能性以參數(shù)化的形式表示，最核心的步驟是利用Softmax 函數(shù)來(lái)選擇連接，優(yōu)化后再選取Softmax 輸出概率最大的連接方式［27］。在訓(xùn)練時(shí)，單元中所有的可能性連接和操作都會(huì)進(jìn)行前向計(jì)算和反向推理，所有操作的模型參數(shù)都會(huì)進(jìn)行更新，可能性更大的參數(shù)有更多的梯度更新。在搜索過(guò)程中，一個(gè)單元被定義為一個(gè)由N個(gè)節(jié)點(diǎn)組成的有向無(wú)環(huán)圖，其中每個(gè)節(jié)點(diǎn)是一個(gè)網(wǎng)絡(luò)層。搜索空間被表示為O，其中每個(gè)元素表示一個(gè)候選函數(shù)o（·）。一個(gè)邊（i，j）表示連接節(jié)點(diǎn)i和節(jié)點(diǎn)j的信息，由一組由體系結(jié)構(gòu)參數(shù)α(i，j)加權(quán)的操作組成。兩個(gè)節(jié)點(diǎn)間的操作可以表示為：

式（1）表示兩個(gè)節(jié)點(diǎn)之間的操作是它們之間所有操作的Softmax 之和，其中i＜j，中間任意一個(gè)節(jié)點(diǎn)可以表示為：

式（3）表示通過(guò)對(duì)所有中間節(jié)點(diǎn)進(jìn)行歸約運(yùn)算得到一個(gè)單元的輸出，其中concat（·）函數(shù)連接通道維度中的所有輸入信號(hào)。

DARTS 結(jié)構(gòu)訓(xùn)練是一個(gè)雙重優(yōu)化的過(guò)程，需要交替對(duì)網(wǎng)絡(luò)的模型參數(shù)W 和結(jié)構(gòu)參數(shù)A進(jìn)行優(yōu)化，優(yōu)化的兩個(gè)目標(biāo)函數(shù)如式（4）和式（5）所示，其中Ltrain和Lval分別表示訓(xùn)練損失和驗(yàn)證損失。

1.2 快速漸進(jìn)式卷積神經(jīng)網(wǎng)絡(luò)搜索算法

如圖1 所示，出于對(duì)搜索時(shí)間的考慮，DARTS［22］在搜索階段中的網(wǎng)絡(luò)結(jié)構(gòu)包含8 層單元，而在評(píng)估驗(yàn)證階段，將搜索階段搜索到的最佳單元擴(kuò)充為20 層，組成最終的網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 DARTS 的搜索階段和評(píng)估驗(yàn)證階段Fig.1 Search stage and evaluation and verification stage of DARTS

這種搜索方式可以大幅減少搜索的時(shí)間以及計(jì)算資源消耗，但搜索和評(píng)估階段層數(shù)不對(duì)等，導(dǎo)致搜索評(píng)估相關(guān)性低，會(huì)造成結(jié)構(gòu)性能的波動(dòng)。在搜索階段準(zhǔn)確度表現(xiàn)很好的單元，經(jīng)過(guò)擴(kuò)充之后，性能反而會(huì)下降，出現(xiàn)深度鴻溝現(xiàn)象［23］。對(duì)此，本文提出結(jié)合漸進(jìn)式搜索以及貪心指標(biāo)的搜索算法FPNAS，其中包含兩部分，一是通過(guò)結(jié)合貪心選邊指標(biāo)和漸進(jìn)式搜索來(lái)提高搜索的穩(wěn)定性，二是使用劃分?jǐn)?shù)據(jù)集方法來(lái)加速搜索并在一定程度上減輕過(guò)擬合。

1.2.1 漸進(jìn)式搜索方法

SGAS［24］針對(duì)DARTS搜索過(guò)程的不相關(guān)性，考慮了影響邊選擇的重要因素：邊的重要性（Edge Importance，EI）和選擇確定性（Selection Certainty，SC），并通過(guò)這兩個(gè)因素提高搜索評(píng)估的相關(guān)性。

根據(jù)這兩個(gè)影響邊選擇的因素，SGAS 提出了選邊指標(biāo)，指標(biāo)用于衡量選邊的重要性和確定性［24］，可用式（6）表示：

為邊的重要性，如果某條邊非零運(yùn)算選擇的可能性越高，則表明這條邊越重要?？赏ㄟ^(guò)式（7）計(jì)算：

另一個(gè)選邊因素代表選擇確定性，由于熵是概率分布中用來(lái)度量不確定性的量，因此SGAS 將選擇確定性定義為操作分布?xì)w一化熵的總和［24］。可通過(guò)式（8）計(jì)算：

式（8）中的是一種分布，代表著非零運(yùn)算的歸一化權(quán)重，可以用式（9）表示：

雖然SGAS 通過(guò)選擇準(zhǔn)則提高了搜索評(píng)估的相關(guān)性，但是搜索過(guò)程中仍然使用單元數(shù)為8 的結(jié)構(gòu)。由于深度鴻溝的影響，導(dǎo)致最終結(jié)果的上下限差別較大，準(zhǔn)確率最高達(dá)到97.62%，而最低準(zhǔn)確率卻只有96.82%，并且10 組數(shù)據(jù)的平方差達(dá)到了0.24，最終的結(jié)果波動(dòng)較大。為了解決這一問(wèn)題，本文使用漸進(jìn)式搜索方法在搜索階段逐步增加結(jié)構(gòu)單元層數(shù)，三個(gè)漸進(jìn)式階段包含的單元數(shù)分別為5、11 和17，與P-DARTS 設(shè)置相同。為了減少因?qū)訑?shù)增加而增加的計(jì)算量，在每個(gè)階段對(duì)搜索空間進(jìn)行校正，減少候選操作數(shù)量［23］。在漸進(jìn)式搜索過(guò)程中加入貪心搜索SGAS 中的選邊指標(biāo)，每次漸進(jìn)式搜索迭代將作為評(píng)估標(biāo)準(zhǔn)進(jìn)行選邊，在高穩(wěn)定性的基礎(chǔ)上通過(guò)貪心指標(biāo)來(lái)增強(qiáng)搜索評(píng)估之間的相關(guān)性。

1.2.2 漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法

為降低搜索成本，本文使用漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法，在漸進(jìn)式搜索的三個(gè)階段中按不同比例對(duì)數(shù)據(jù)集進(jìn)行劃分。劃分?jǐn)?shù)據(jù)集方法具有兩個(gè)優(yōu)點(diǎn)：一是劃分?jǐn)?shù)據(jù)集可以大幅減少搜索時(shí)間，在劃分的數(shù)據(jù)集上，由于圖片數(shù)量較少，種類(lèi)和完備數(shù)據(jù)集一樣，因此在搜索階段所消耗的時(shí)間是遠(yuǎn)少于完備數(shù)據(jù)集的；二是在劃分?jǐn)?shù)據(jù)集上訓(xùn)練的指定代數(shù)，遠(yuǎn)小于模型達(dá)到穩(wěn)定時(shí)所需要的訓(xùn)練代數(shù)，這在一定程度上可以減輕過(guò)擬合。

使用劃分?jǐn)?shù)據(jù)集方法可以減少計(jì)算資源和時(shí)間的消耗。但是，劃分?jǐn)?shù)據(jù)集方法只在一定比例的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練，這樣得到的訓(xùn)練準(zhǔn)確度往往不可靠。針對(duì)這一問(wèn)題，本文對(duì)劃分?jǐn)?shù)據(jù)集過(guò)程進(jìn)行了漸進(jìn)式校正，具體參數(shù)如表1 所示。在漸進(jìn)式方法中，將搜索階段分為層數(shù)為5、11 和17 三個(gè)階段，每個(gè)階段分別以1/4、1/3 和1/2 的比例進(jìn)行劃分，比例逐漸增加。三個(gè)階段訓(xùn)練集圖片數(shù)量依次為6 250、8 333 和12 500，因?yàn)樗阉麟A段對(duì)于數(shù)據(jù)集訓(xùn)練測(cè)試的比例為1∶1，所以測(cè)試集與訓(xùn)練集相同。漸進(jìn)式的劃分方法可以在一定程度上減少劃分?jǐn)?shù)據(jù)集帶來(lái)的不可靠性，同時(shí)大幅縮短搜索時(shí)間。

表1 漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法參數(shù)設(shè)置Table 1 Parameters setting of progressive dataset dividing method

1.2.3 FPNAS 算法總體流程

FPNAS 的算法流程如算法1 所示，具體步驟如下：

1）初始化算法參數(shù)，輸入搜索結(jié)構(gòu)的通道數(shù)16，漸進(jìn)式搜索階段數(shù)3，每個(gè)階段迭代次數(shù)25。

2）創(chuàng)建網(wǎng)絡(luò)參數(shù)W 和結(jié)構(gòu)參數(shù)A，并對(duì)每個(gè)邊創(chuàng)建混合操作集合。為了使搜索過(guò)程更穩(wěn)定，搜索過(guò)程分3 個(gè)搜索階段依次進(jìn)行，每個(gè)階段的結(jié)構(gòu)層數(shù)逐漸增加，每個(gè)階段迭代25 次，每次迭代更新網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)參數(shù)，并通過(guò)選擇確定性的貪心指標(biāo)進(jìn)行最優(yōu)選邊。為了使搜索過(guò)程更快速，在三次搜索階段分別以不同的比例對(duì)數(shù)據(jù)集進(jìn)行劃分，減少搜索成本。

3）通過(guò)迭代選邊最終選擇的操作集合搭建CNN 結(jié)構(gòu)。

算法1FPNAS 算法

輸入通道數(shù)c，階段數(shù)s，迭代次數(shù)T，劃分?jǐn)?shù)據(jù)集

輸出通過(guò)選擇的操作構(gòu)造的最終CNN 結(jié)構(gòu)

2 實(shí)驗(yàn)結(jié)果與分析

本節(jié)將介紹所用的基準(zhǔn)數(shù)據(jù)集以及具體的實(shí)驗(yàn)參數(shù)設(shè)置，并對(duì)所得實(shí)驗(yàn)結(jié)果進(jìn)行分析，與一些經(jīng)典的以及近期的NAS 算法進(jìn)行比較。

2.1 實(shí)驗(yàn)設(shè)置

為驗(yàn)證搜索到的CNN 的結(jié)構(gòu)性能，本文選用圖像分類(lèi)中比較常用的CIFAR-10 數(shù)據(jù)集。CIFAR-10包含分辨率為32×32 像素的50 000 張訓(xùn)練圖片和10 000 張測(cè)試圖片。與其他的DARTS 系列算法類(lèi)似，在搜索階段，對(duì)于CIFAR-10 的訓(xùn)練評(píng)估拆分比例為0.5，即一半的訓(xùn)練集和一半的測(cè)試集。

在搜索階段，與P-DARTS［23］設(shè)置的相同，將漸進(jìn)式過(guò)程分為三個(gè)階段，每個(gè)階段分別包含5、11 和17 個(gè)單元，初始化通道數(shù)為16，訓(xùn)練的batch size 為64。對(duì)于實(shí)驗(yàn)具體參數(shù)，與一系列對(duì)比算法相同，都以交叉熵函數(shù)作為損失函數(shù)，然后采用標(biāo)準(zhǔn)的隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）反向傳播算法進(jìn)行訓(xùn)練，SGD 優(yōu)化在CIFAR-10 的重量衰減為0.000 3。此外，auxiliary towers 的權(quán)重是0.4，學(xué)習(xí)率初始值為0.025，根據(jù)余弦定律衰減為0。

算法迭代結(jié)束后，將得到的最優(yōu)CNN 個(gè)體在50 000 張圖片的訓(xùn)練集上進(jìn)行訓(xùn)練，在10 000 張圖片的驗(yàn)證集上進(jìn)行評(píng)估，評(píng)估所得的精度即為模型最后的精度，評(píng)估時(shí)網(wǎng)絡(luò)結(jié)構(gòu)的初始化通道數(shù)為36，單元數(shù)為20。在搜索階段，搜索的epoch 為25 次，分為三個(gè)階段，共75 次。在評(píng)估最優(yōu)個(gè)體模型最終精度時(shí)，迭代結(jié)果需要達(dá)到穩(wěn)定需要的epoch 為600 次。評(píng)估時(shí)隨機(jī)梯度下降算法的參數(shù)同對(duì)比算法保持一致，一次訓(xùn)練batch size 為64 或96，根據(jù)模型大小和GPU 的顯存大小決定。在評(píng)估時(shí)，本文使用了數(shù)據(jù)預(yù)處理技術(shù)cutout［28］，cutout 的正則化長(zhǎng)度為16。

2.2 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)包含兩個(gè)實(shí)驗(yàn)：一是FPNAS 在完整數(shù)據(jù)集上進(jìn)行穩(wěn)定的漸進(jìn)式搜索，表示為FPNAS-all；二是在FPNAS-all 的基礎(chǔ)上加入劃分?jǐn)?shù)據(jù)集快速漸進(jìn)式搜索算法，表示為FPNAS-fast。本文首先驗(yàn)證結(jié)合貪心指標(biāo)和漸進(jìn)式搜索對(duì)于搜索穩(wěn)定性的提升效果，然后對(duì)漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法的有效性進(jìn)行驗(yàn)證，最后對(duì)消融實(shí)驗(yàn)結(jié)果進(jìn)行分析總結(jié)。

2.2.1 FPNAS-all 消融實(shí)驗(yàn)

為驗(yàn)證FPNAS-all 的有效性以及在提升搜索結(jié)構(gòu)性能上的作用，本文針對(duì)該方法和貪心算法SGAS［24］，在CIFAR-10 數(shù)據(jù)集上進(jìn)行了10 次連續(xù)獨(dú)立實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示，表中數(shù)據(jù)分別是SGAS 和FPNAS-all 的實(shí)驗(yàn)結(jié)果，包含10 次連續(xù)實(shí)驗(yàn)所得的準(zhǔn)確率和結(jié)構(gòu)參數(shù)量，最優(yōu)結(jié)果加粗標(biāo)出?？梢?jiàn)，在CIFAR-10 上，F(xiàn)PNAS 搜索到的CNN 結(jié)構(gòu)不僅在準(zhǔn)確率上表現(xiàn)較好，平均達(dá)到97.49%，高于SGAS 的97.34%，同時(shí)在穩(wěn)定性上也優(yōu)于SGAS，方差（數(shù)值）僅為0.11，相較于SGAS 的0.24 有所降低。

表2 SGAS 和FPNAS-all 在CIFAR-10 上的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of SGAS and FPNAS-all on CIFAR-10

2.2.2 FPNAS-fast 消融實(shí)驗(yàn)

為驗(yàn)證FPNAS-fast的可靠性，在CIFAR-10 數(shù)據(jù)集上，對(duì)漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法進(jìn)行10 次連續(xù)獨(dú)立的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖2所示，圖中FPNAS-avg和SGAS-avg代表10 次連續(xù)獨(dú)立實(shí)驗(yàn)所得準(zhǔn)確率的平均值。

圖2 SGAS 和FPNAS-fast 在CIFAR-10 上的實(shí)驗(yàn)結(jié)果Fig.2 Experimental results of SGAS and FPNAS-fast on CIFAR-10

由于劃分?jǐn)?shù)據(jù)集的不穩(wěn)定性，雖然實(shí)驗(yàn)結(jié)果波動(dòng)范圍較大，最高可達(dá)到97.7%，最低為97.18%，但是搜索時(shí)間大幅減少，在1080Ti 上的搜索時(shí)間是0.11 個(gè)GPU Days，少于SGAS 在1080Ti 的0.25 個(gè)GPU Days。同時(shí)，在平均值和方差（數(shù)值）的表現(xiàn)上，F(xiàn)PNAS-fast 的平均值分別是97.39%和0.15，優(yōu)于SGAS 的97.34%和0.24，說(shuō)明FPNAS 不僅在最高準(zhǔn)確率上優(yōu)于SGAS，穩(wěn)定性也優(yōu)于SGAS。

2.3 算法性能對(duì)比

為驗(yàn)證FPNAS 的優(yōu)越性，本文使用人工設(shè)計(jì)的CNN 結(jié)構(gòu)、基于RL 的NAS算法、基于EA 的NAS 算法和基于梯度可微的NAS 算法進(jìn)行對(duì)比。人工設(shè)計(jì)的CNN 結(jié)構(gòu)包含DenseNet［7］、ResNet［6］、VGG［4］和DenseNet-BC（k=40）［7］。基 于RL 的NAS 算法包括EAS［29］、Block-QNN-S［15］和MetaQNN［13］?；?于EA的NAS 算法包括Genetic CNN［20］、Hierarchical Evolution［30］、Large-scale Evolution［31］、AE-CNN［17］、FAE-CNN［18］、NSGA-Net［19］和CNN-GA［21］。基于梯度的NAS 算法包括P-DARTS［23］和SGAS［24］。

本文使用CNN 結(jié)構(gòu)在不同數(shù)據(jù)集分類(lèi)的錯(cuò)誤率、模型參數(shù)量以及算法執(zhí)行所用GPU 時(shí)間這三個(gè)指標(biāo)，將FPNAS 與上述算法進(jìn)行比較。表3 給出了FPNAS 與其他算法在CIFAR-10 上的對(duì)比結(jié)果，avg代表10 次連續(xù)實(shí)驗(yàn)得到結(jié)果平均值，±后的數(shù)字代表方差，best 代表10 次連續(xù)實(shí)驗(yàn)中的最優(yōu)結(jié)果。

表3 CIFAR-10 上的算法性能對(duì)比Table 3 Performance comparison of algorithms on CIFAR-10

對(duì)于人工設(shè)計(jì)的CNN 結(jié)構(gòu)，如DenseNet（k=12）、ResNet 和VGG 等，由于 提出較早，在CIFAR-10 上表現(xiàn)都比較一般，DenseNet-BC（k=40）在錯(cuò)誤率上有較大提升，但在參數(shù)量上不占優(yōu)勢(shì)，占用資源較多。在基于RL 的NAS 算法中，EAS 結(jié)構(gòu)參數(shù)量較大，Block-QNN-S 和MetaQNN 耗時(shí)較長(zhǎng)。

在基于EA 的NAS 算法中，Genetic CNN作為經(jīng)典的算法，在兩個(gè)數(shù)據(jù)集上錯(cuò)誤率都較高。Hierarchical Evolution在CIFAR-10數(shù)據(jù)集上表現(xiàn)良好，錯(cuò)誤率只有3.63%，但是該算法需要300個(gè)GPU Days，耗時(shí)較多。Large Scale Evolution 雖然在錯(cuò)誤率方面表現(xiàn)良好，但是耗時(shí)巨大，需要2 750 個(gè)GPU Days，需要大量計(jì)算資源。AE-CNN 和CNN-GA 在CIFAR-10上的錯(cuò)誤率和參數(shù)量都表現(xiàn)優(yōu)異，但在CIFAR-10 分別需要耗時(shí)27 個(gè)GPU Days 和35 個(gè)GPU Days。在AE-CNN 基礎(chǔ)上改進(jìn)的FAE-CNN 算法，搜索時(shí)間縮短為3.5 個(gè)GPU Days，相對(duì)于AE-CNN 取得了較大提升，但在錯(cuò)誤率上沒(méi)有優(yōu)勢(shì)。多目標(biāo)NAS 算法NSGA-Net 在錯(cuò)誤率和參數(shù)量上都表現(xiàn)優(yōu)秀?；谔荻瓤晌⒌腘AS 算法，如P-DARTS 和SGAS 等，均表現(xiàn)了優(yōu)異的分類(lèi)準(zhǔn)確率，同時(shí)耗時(shí)很少。本文提出的算法FPNAS 在CIFAR-10 運(yùn)行一次只需要0.11 個(gè)GPU Days，進(jìn)一步減少了搜索耗時(shí)，所需要的計(jì)算資源大幅減少，且錯(cuò)誤率最低僅為2.30%。同時(shí)FPNAS 大幅提高了搜索的穩(wěn)定性，在完整數(shù)據(jù)集上得到10 次連續(xù)獨(dú)立結(jié)果，方差（數(shù)值）僅為0.11。

4 結(jié)束語(yǔ)

本文針對(duì)現(xiàn)有基于梯度可微的結(jié)構(gòu)搜索算法存在的深度鴻溝、搜索穩(wěn)定性不高等問(wèn)題，提出FPNAS 算法來(lái)自動(dòng)搜索CNN 結(jié)構(gòu)。通過(guò)結(jié)合漸進(jìn)式搜索和貪心選擇指標(biāo)使得搜索階段的結(jié)構(gòu)接近評(píng)估階段，提高CNN 結(jié)構(gòu)的穩(wěn)定性，彌補(bǔ)搜索評(píng)估深度鴻溝帶來(lái)的不利影響，同時(shí)使用漸進(jìn)式劃分?jǐn)?shù)據(jù)集方法縮短結(jié)構(gòu)搜索時(shí)間。在CIFAR-10 上的實(shí)驗(yàn)結(jié)果表明，F(xiàn)PNAS 能夠在短時(shí)間內(nèi)搜索出分類(lèi)錯(cuò)誤率僅為2.30%的CNN 結(jié)構(gòu)。下一步將研究EA 種群的特點(diǎn)和優(yōu)勢(shì)，結(jié)合可微結(jié)構(gòu)搜索和種群并運(yùn)用多目標(biāo)方法優(yōu)化CNN 結(jié)構(gòu)的參數(shù)量和浮點(diǎn)計(jì)算數(shù)，進(jìn)一步減少算法的資源消耗。