基于最小熵約束的可解釋卷積神經(jīng)網(wǎng)絡(luò)

石曉榮 倪 亮 王 健 郭宇航

北京控制與電子技術(shù)研究所，北京 100038

0 引 言

導(dǎo)彈探測(cè)直接影響導(dǎo)彈打擊目標(biāo)的成功率。導(dǎo)彈武器系統(tǒng)上的光學(xué)探測(cè)方法必須具備高可靠性，才能保障導(dǎo)彈武器的成功打擊。卷積神經(jīng)網(wǎng)絡(luò)近年來(lái)在圖像識(shí)別領(lǐng)域取得了較大突破，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于導(dǎo)彈武器系統(tǒng)有望提升目標(biāo)探測(cè)打擊的成功率，提高武器裝備作戰(zhàn)效能。但是卷積神經(jīng)網(wǎng)絡(luò)屬于“黑盒模型”，在可靠性上不能保證，難以直接應(yīng)用于導(dǎo)彈武器系統(tǒng)。

當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)(CNN)的解釋性方面的研究從思路方面可分為2類：1)通過(guò)將輸出的結(jié)果映射到輸入空間，來(lái)理解CNN的決策過(guò)程，獲取對(duì)于決策起到關(guān)鍵性作用的輸入?yún)^(qū)域；2)對(duì)CNN的中間層進(jìn)行研究，了解CNN內(nèi)部本身的解釋方式，通過(guò)中間層的一般規(guī)律解釋模型，不必與輸入之間存在特定的聯(lián)系。

在第1個(gè)方向中，開創(chuàng)性的工作之一就是 Selvaraju等人提出的Grad-cam方法[1]，使用了Deconvnet，該網(wǎng)絡(luò)通過(guò)輸入一個(gè)選定層的特征圖，重建出最大的激活單元，通過(guò)該方法找出對(duì)于該激活單元貢獻(xiàn)度最大的圖像區(qū)域。Olah等人[2]提出了一套工具箱，用于預(yù)訓(xùn)練模型中卷積層編碼信息的可視化。LIME[3]選擇了一種更簡(jiǎn)單的處理方式，通過(guò)線性模型在樣本局部對(duì)原模型進(jìn)行擬合，分析對(duì)樣本分類貢獻(xiàn)度最大的圖像區(qū)域，從而給出模型的解釋。Zhang等人[4]提出通過(guò)圖結(jié)構(gòu)來(lái)描述各卷積層之間的關(guān)系，解釋層級(jí)之間的語(yǔ)義信息。

在第2類方法中，主要的開創(chuàng)性工作之一是Mahendran等人[5]提出根據(jù)給出的CNN的中間層，對(duì)原圖進(jìn)行重構(gòu)，獲得CNN中每個(gè)類的理想樣本，通過(guò)梯度的方式從中間層生成了能讓分類分?jǐn)?shù)最高的輸入樣本。Deep Generator Network[6]思路類似，通過(guò)給定的神經(jīng)元，生成最具代表性的樣本。Network dissection[7]為了量化CNN隱層的可解釋性，將大量的圖片輸入網(wǎng)絡(luò)模型，挑選出中間層激活程度最高的圖片進(jìn)行分析，將每個(gè)神經(jīng)元當(dāng)作一個(gè)檢測(cè)單元，或進(jìn)一步作為語(yǔ)義分割單元。

另一方面，一些工作研究當(dāng)前解釋方法的合理性。Sundararajan等人提出，當(dāng)前大多數(shù)解釋方法違背了2條公理：靈敏度和實(shí)現(xiàn)不變性。針對(duì)這2條公理，他們提出integrated gradients方法用于解釋模型特征之間的相關(guān)性[8]。Kindermans等人同樣也在該方面有相關(guān)研究：他們分析了當(dāng)前用于解釋多層神經(jīng)網(wǎng)絡(luò)的方法，如DeConvNet[9]、Guided BackProp[10]和LRP[7]等，發(fā)現(xiàn)這些方法在理論上的不合理性，并提出了2種理論上更合理的用于解釋神經(jīng)網(wǎng)絡(luò)的方法——PatternNet和Pattern Attribution[11]。

目前CNN解釋性方面主要的工作圍繞解釋常規(guī)的CNN模型的工作方式，由于CNN模型過(guò)于復(fù)雜，往往無(wú)法得到理想的解釋效果[12-14]。也有一些設(shè)計(jì)本身具備可解釋性的卷積神經(jīng)網(wǎng)絡(luò)，譬如Gabor卷積核[15]，但是往往得到的識(shí)別模型性能損失較大。本文設(shè)計(jì)一種具有高可解釋性的卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)保證識(shí)別模型的性能不會(huì)有較大損失。本文利用最小熵約束，通過(guò)可解釋特征的評(píng)分來(lái)對(duì)識(shí)別模型給出解釋，模型有較高可解釋性，并且保證了模型的識(shí)別性能。

1 提出的方法

圖1 整體方法思路

本文提出的網(wǎng)絡(luò)模型，如圖2所示。h表示一個(gè)目標(biāo)候選區(qū)，是一個(gè)隱變量。θ表示網(wǎng)絡(luò)參數(shù)。根據(jù)目標(biāo)團(tuán)體與目標(biāo)的位置，聯(lián)合圖像標(biāo)簽，基于全局最小熵與局部最小熵，計(jì)算候選區(qū)分類損失和目標(biāo)檢測(cè)損失。目標(biāo)的位置h*和網(wǎng)絡(luò)參數(shù)θ*，可定義為：

圖2 模型結(jié)構(gòu)

(1)

其中，x代表一幅圖像，y代表x這個(gè)圖像里是否包含一個(gè)目標(biāo)。E(x,y)(HC,θ)、E(x,y,HC)(h,θ)分別代表全局和局部的熵模型，α是權(quán)重。

根據(jù)圖像級(jí)分類損失、候選區(qū)分類損失、目標(biāo)檢測(cè)損失，對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。本方法模型提取的特征圖，目標(biāo)區(qū)域與背景區(qū)域有較大差異，從而模型具有較高的可解釋性。

1.1 候選團(tuán)體劃分

對(duì)輸入圖片使用ROI提取方法，獲得大量的目標(biāo)候選區(qū)域，其中有些候選區(qū)域表示目標(biāo)，有些候選區(qū)域表示噪聲，對(duì)候選區(qū)域進(jìn)行聚類劃分，有助于可解釋網(wǎng)絡(luò)的設(shè)計(jì)。

候選區(qū)團(tuán)體可通過(guò)以下公式來(lái)表示：

(2)

C是候選區(qū)團(tuán)體的數(shù)量(劃分團(tuán)體的過(guò)程相當(dāng)于一個(gè)聚類過(guò)程)。為了便于劃分，根據(jù)候選區(qū)的目標(biāo)分?jǐn)?shù)排序，然后按以下2個(gè)步驟進(jìn)行迭代： 1)選擇得分最高但是還未屬于任何一個(gè)團(tuán)體的候選區(qū)組成一個(gè)新的團(tuán)體； 2)將與待觀察的團(tuán)體中的任何一個(gè)候選區(qū)的重合面積超過(guò)一定閾值的候選區(qū)放入待觀察的團(tuán)體里面去。

1.2 全局最小熵約束

在訓(xùn)練過(guò)程中，要求這些團(tuán)體以最小的隨機(jī)性進(jìn)化。同時(shí)，還需要發(fā)現(xiàn)那些包含目標(biāo)和目標(biāo)部分區(qū)域的有區(qū)別的團(tuán)體。這些團(tuán)體可以通過(guò)激活真正的目標(biāo)部分來(lái)微調(diào)網(wǎng)絡(luò)參數(shù)。為此，定義了一個(gè)全局最小熵模型：

(3)

p(y,HC;θ)是一個(gè)類別概率，它是根據(jù)團(tuán)體HC的目標(biāo)分?jǐn)?shù)s(y,HC;θ)定義的：

(4)

|HC|可以用來(lái)計(jì)算一個(gè)團(tuán)體中候選區(qū)的數(shù)量。s(y,HC;θ)是目標(biāo)團(tuán)體分支中的最后一個(gè)全連接層輸出的候選區(qū)的分?jǐn)?shù)。為了確保被發(fā)現(xiàn)的團(tuán)體能夠最好地從圖像中區(qū)分出，我們進(jìn)一步引進(jìn)一個(gè)與分類相關(guān)的權(quán)重ωHC?；诤蜻x區(qū)的目標(biāo)類別概率與其圖像類別概率相關(guān)的知識(shí)，可定義全局最小熵為：

(5)

利用上述定義，我們?cè)诰W(wǎng)絡(luò)頂部實(shí)現(xiàn)了一個(gè)目標(biāo)團(tuán)體分支，如圖2所示，并定義了一個(gè)學(xué)習(xí)網(wǎng)絡(luò)參數(shù)的損失函數(shù):

(6)

對(duì)數(shù)損失，即對(duì)數(shù)似然損失，是在概率估計(jì)上定義的?？捎糜谠u(píng)估分類器的概率輸出。對(duì)于二分類問(wèn)題，設(shè)y∈{0,1}且p=Pr(y=1)，則對(duì)每個(gè)樣本的對(duì)數(shù)損失為：

Lln(y,p)=-lnPr(y|p)
=-(yln(p)+(1-y)ln(1-p))

(7)

對(duì)于有目標(biāo)圖片，第2項(xiàng)為0，只有全局最小熵項(xiàng)優(yōu)化。對(duì)于沒(méi)有目標(biāo)圖片，第1項(xiàng)為0，第2項(xiàng)(圖像分類損失)優(yōu)化。(從公式看，y=0時(shí)，loss的目標(biāo)也是讓p最小，因?yàn)閜代表一個(gè)候選區(qū)是某個(gè)類的概率，而當(dāng)y≠0時(shí)，p代表不是某個(gè)類的概率)

1.3 局部最小熵約束

由全局最小熵模型發(fā)掘的團(tuán)體可以使目標(biāo)定位有良好的初始化，但同時(shí)也包含了隨機(jī)誤報(bào)，例如目標(biāo)的部分區(qū)域和/或一些帶有背景的部分的局部目標(biāo)。這由目標(biāo)團(tuán)體的學(xué)習(xí)目標(biāo)導(dǎo)致，該學(xué)習(xí)目標(biāo)用候選區(qū)區(qū)分有目標(biāo)圖像和沒(méi)有目標(biāo)的圖像，而沒(méi)有考慮如何精確地定位對(duì)象。所以提出一個(gè)局部的最小熵定位模型，用于精確定位目標(biāo)。

(8)

(9)

根據(jù)經(jīng)驗(yàn)通常讓?duì)?0.6。

根據(jù)定義的偽目標(biāo)和難負(fù)目標(biāo)，目標(biāo)檢測(cè)器的損失函數(shù)被定義為：

Ll=-lnf(h*,θ)

(10)

其中f(h*,θ)表示在目標(biāo)定位分支當(dāng)中目標(biāo)檢測(cè)器的全連接層以及softmax層。

2 仿真校驗(yàn)

本次實(shí)驗(yàn)數(shù)據(jù)集選擇為視覺(jué)領(lǐng)域常用數(shù)據(jù)集PASCAL VOC 2007。本實(shí)驗(yàn)中采用了VGG16作為模型主干網(wǎng)絡(luò)，該模型用于對(duì)圖片分類，通過(guò)深度堆積的卷積層，對(duì)圖片進(jìn)行特征提取，再通過(guò)全連接層完成對(duì)圖片的分類。

另一方面，通過(guò)selective search[16]方法篩選出大量的候選區(qū)，再通過(guò)ROI Pooling[17]方法將框選出來(lái)的特征圖轉(zhuǎn)化為固定的尺寸，送入后續(xù)的全連接結(jié)構(gòu)計(jì)算。按照上面提到的方法，獲得的特征圖送入2個(gè)分支：一個(gè)為全局的最小熵模型，將處理后的候選區(qū)送入2個(gè)全連接層，第1個(gè)全連接層預(yù)估每個(gè)候選區(qū)的類別概率，即判斷當(dāng)前區(qū)域內(nèi)包含物體的可能性，再在類別維度上進(jìn)行softmax處理，將其轉(zhuǎn)化為概率值；另一個(gè)分支用于預(yù)測(cè)每個(gè)候選區(qū)內(nèi)是否包含物體，獲得2個(gè)分支之后對(duì)其進(jìn)行元素級(jí)別相乘，最終獲得的分值同時(shí)包含了物體的定位信息以及分類信息。再結(jié)合圖片的標(biāo)簽計(jì)算交叉熵?fù)p失函數(shù)。

在局部最小熵的函數(shù)中，通過(guò)全局熵模型獲得的分值，定義“偽目標(biāo)”的標(biāo)簽，再根據(jù)該標(biāo)簽訓(xùn)練局部最小熵模型。

評(píng)測(cè)模型的分類性能，具體評(píng)測(cè)結(jié)果見表1。

表1 模型各類別分類準(zhǔn)確率

文中使用的VGG16初始模型通過(guò)在ImageNet上預(yù)訓(xùn)練完成后獲得，原VGG16模型在ImageNet上完成預(yù)訓(xùn)練之后，在PASCAL VOC 2007上fine-tune后的分類結(jié)果為0.869。本文提出的方法得到的準(zhǔn)確率為85%，雖有略微下降，但在可接受范圍之內(nèi)。

在導(dǎo)彈武器系統(tǒng)對(duì)海打擊的應(yīng)用中，艦船目標(biāo)的探測(cè)識(shí)別起到至關(guān)重要的作用。使用本文提出的可解釋卷積神經(jīng)網(wǎng)絡(luò)，在光學(xué)艦船仿真圖像上訓(xùn)練模型。該模型在光學(xué)艦船仿真圖像上測(cè)試，艦船目標(biāo)的識(shí)別率為95.2%。

在導(dǎo)彈對(duì)海打擊應(yīng)用中，仿真艦船樣例如圖3所示，可解釋識(shí)別模型在給出分類預(yù)測(cè)的同時(shí)，還會(huì)給出圖片中各個(gè)區(qū)域?qū)ψR(shí)別結(jié)果的貢獻(xiàn)度，如圖4所示。貢獻(xiàn)度最高的區(qū)域?yàn)榕瀺u、船頭部分。根據(jù)貢獻(xiàn)度對(duì)各區(qū)域進(jìn)行排序，便可以根據(jù)最小的區(qū)域獲得盡可能大的分類貢獻(xiàn)度。

圖3 仿真艦船測(cè)試樣例

圖4 不同圖片區(qū)域及對(duì)應(yīng)貢獻(xiàn)度

3 結(jié) 論

針對(duì)導(dǎo)彈武器系統(tǒng)對(duì)光學(xué)探測(cè)算法高可靠性的要求，提出一種基于最小熵約束的可解釋卷積神經(jīng)網(wǎng)絡(luò)，用于設(shè)計(jì)可解釋的對(duì)海光學(xué)探測(cè)的智能目標(biāo)識(shí)別模型，為卷積神經(jīng)網(wǎng)絡(luò)模型在導(dǎo)彈武器系統(tǒng)上的應(yīng)用創(chuàng)造了條件。用傳統(tǒng)方法(連通域檢測(cè)、邊緣檢測(cè)等)找到圖片中存在的可解釋特征，用模型對(duì)可解釋特征進(jìn)行評(píng)分、聚類，并通過(guò)這些特征對(duì)原模型訓(xùn)練提供約束，在最終預(yù)測(cè)的同時(shí)，用評(píng)分解釋模型。實(shí)驗(yàn)驗(yàn)證表明，基于最小熵約束模型的可解釋網(wǎng)絡(luò)在對(duì)分類性能影響程度不大的情況下(使用VGG16分類網(wǎng)絡(luò)在PASCAL VOC2007數(shù)據(jù)集上分類準(zhǔn)確率從87%下降到85%)，能夠給出合理的分類依據(jù)。在彈載條件下的光學(xué)艦船仿真圖像上，本方法可以獲得95.2%的準(zhǔn)確率，根據(jù)不同區(qū)域的貢獻(xiàn)度，可判斷本方法具備可解釋性。