基于密集卷積神經(jīng)網(wǎng)絡(luò)的遙感飛機(jī)識別

于 麗，劉 坤，于晟燾

1.上海海事大學(xué) 信息工程學(xué)院，山東 煙臺 264000

2.上海海事大學(xué) 信息工程學(xué)院，上海 201306

3.上海海事大學(xué) 信息工程學(xué)院，山東 臨沂 276000

1 引言

隨著遙感衛(wèi)星技術(shù)的不斷發(fā)展進(jìn)步，高分辨率遙感圖像的識別成為研究熱點(diǎn)問題。其中遙感飛機(jī)的識別無論在民用還是軍事領(lǐng)域，都有巨大的研究和應(yīng)用意義?，F(xiàn)有的飛機(jī)識別算法主要有模板匹配[1]、支持向量機(jī)[2]和神經(jīng)網(wǎng)絡(luò)[3]等。文獻(xiàn)[4]提出一種采用邊緣檢測[5]的模板匹配方法，原理是計(jì)算模板圖像與目標(biāo)圖像之間的相似性實(shí)現(xiàn)目標(biāo)識別，其識別準(zhǔn)確率較高，但是計(jì)算量較大，對于遮擋、模糊等異常情況的魯棒性較差。文獻(xiàn)[6]提出一種基于主成分分析的支持向量機(jī)算法，其識別準(zhǔn)確率有一定提升，且魯棒性較模板匹配更優(yōu)，但是支持向量機(jī)的核函數(shù)、帶寬等很難確定。文獻(xiàn)[7]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的飛機(jī)識別方法，設(shè)計(jì)了5層的卷積神經(jīng)網(wǎng)絡(luò)對8類飛機(jī)進(jìn)行識別，雖然對于旋轉(zhuǎn)魯棒性較好，但是對于遮擋、噪聲等效果不理想。目前飛機(jī)目標(biāo)種類繁多，數(shù)據(jù)量大，且采集的圖像受環(huán)境、氣象等條件干擾較大，因此研究面向?qū)嶋H應(yīng)用的飛機(jī)識別方法是必要的?，F(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)（CNN）[8]因其卓越的性能已成為機(jī)器視覺領(lǐng)域領(lǐng)頭羊。近來為改善深層卷積網(wǎng)絡(luò)出現(xiàn)的梯度消失問題，文獻(xiàn)[9]提出了Highway Network，文獻(xiàn)[10]提出100層殘差網(wǎng)絡(luò)，隨后文獻(xiàn)[11]提出的密集卷積神經(jīng)網(wǎng)絡(luò)（DenseNet）在殘差基礎(chǔ)上又做了改進(jìn)，其特征重用以及密集連接方式使它的訓(xùn)練速度更快，準(zhǔn)確度更高。

在卷積神經(jīng)網(wǎng)絡(luò)的分類處理中，一方面，分層特征提取從圖像中獲得主要的局部特征（例如角度和點(diǎn)特征）；另一方面，輪廓特征等一些重要的全局特征不可避免地丟失。卷積神經(jīng)網(wǎng)絡(luò)識別對象的機(jī)制與人類的視覺系統(tǒng)還是有很大的不同，因?yàn)樗雎粤私Y(jié)構(gòu)化的全局特征，而人眼則集中在紋理和輪廓特征上來形成圖像的表示，因此有必要將輪廓特征提取方法與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，產(chǎn)生更加人性化和智能化的分類結(jié)果。本文采用方向梯度直方圖（HOG）方法來實(shí)現(xiàn)這一目標(biāo)。

因此，本文基于密集卷積神經(jīng)網(wǎng)絡(luò)提出一種結(jié)合局部與全局特征的聯(lián)合監(jiān)督識別方法，利用密集卷積網(wǎng)絡(luò)結(jié)構(gòu)的特征重用，密集連接等優(yōu)勢，產(chǎn)生高度參數(shù)化的高效率模型。再將局部特征（密集卷積網(wǎng)絡(luò)得到的特征）與全局特征（方向梯度直方圖特征）結(jié)合后輸入分類器中，分類器損失函數(shù)使用softmax損失和中心損失的聯(lián)合監(jiān)督，通過聯(lián)合監(jiān)督，不僅擴(kuò)大了不同類之間特征差異，而且減少了同類別的類內(nèi)特征變化。實(shí)驗(yàn)結(jié)果表明，本文算法能夠解決飛機(jī)識別時(shí)遇到遮擋、噪聲、模糊情況識別率低的問題，提高了網(wǎng)絡(luò)的判別力和魯棒性，是一種有效可行的遙感飛機(jī)識別方法。

2 密集卷積神經(jīng)網(wǎng)絡(luò)

康奈爾大學(xué)、清華大學(xué)、Facebook FAIR實(shí)驗(yàn)室合作在2016年提出了密集卷積神經(jīng)網(wǎng)絡(luò)（DenseNet）[11]，并且在多個(gè)數(shù)據(jù)集驗(yàn)證了其特征重用和降低梯度消失的特性，同時(shí)驗(yàn)證了40、100、190、250層網(wǎng)絡(luò)結(jié)構(gòu)的表現(xiàn)，其中圖1為40層密集卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。首先將圖像輸入卷積核為7×7的卷積層獲取圖像特征圖；再經(jīng)過池化窗口為3×3，步長設(shè)為2的最大池化層簡化網(wǎng)絡(luò)計(jì)算復(fù)雜度；之后為進(jìn)一步改善層與層之間的信息流，通過密集連接將密集塊（dense block）連接起來，每個(gè)密集塊中包含卷積核為1×1和3×3的卷積層。到第XL層時(shí)如圖1所示，XL層接收所有以前x0,x1,…,xL-1層的特征圖，即將等式中多個(gè)輸入變?yōu)閱蝹€(gè)張量，如公式：

其中復(fù)合函數(shù)HL表示批量歸一化（BN）、整流線性單元（ReLU）、池化（pool）以及3×3卷積（Conv）的復(fù)合操作；另外密集塊之間使用過渡層（transition layer）降低輸出維數(shù)，過渡層進(jìn)行卷積和池化。通過控制卷積核數(shù)量（通道數(shù)），可以幫助減少模型參數(shù)；隨后經(jīng)過池化層得到網(wǎng)絡(luò)特征，最后通過softmax函數(shù)輸出識別結(jié)果。

這種密集連接模式的優(yōu)勢：不需要重新學(xué)習(xí)冗余特征圖，比傳統(tǒng)卷積網(wǎng)絡(luò)具有更少的參數(shù)。傳統(tǒng)的前饋架構(gòu)可以被視為具有狀態(tài)的算法，從一層傳遞到另一層，每層從上層讀取狀態(tài)并寫入后續(xù)層，后續(xù)層得到前層特征。殘差網(wǎng)絡(luò)的最新研究[12]表明，許多卷積層的特征圖貢獻(xiàn)很少，因此可以在訓(xùn)練過程中隨機(jī)丟棄。密集卷積神經(jīng)網(wǎng)絡(luò)明確區(qū)分了添加到網(wǎng)絡(luò)的信息和保留的信息，它是通過特征重用來提高網(wǎng)絡(luò)的潛力，產(chǎn)生易于訓(xùn)練和高度參數(shù)化的精簡模型。

3 基于密集卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)合監(jiān)督識別方法

遙感圖像會受到光照、氣象、遮擋等多種因素的干擾，增加了遙感飛機(jī)識別的難度。本文實(shí)驗(yàn)基于密集卷積神經(jīng)網(wǎng)絡(luò)（Densenet），通過分層特征提取得到10類飛機(jī)的卷積特征圖。其中第一個(gè)卷積層（conv1）輸出通道數(shù)設(shè)為16，得到16維特征圖，同理三部分的密集塊（dense block）分別得到不同維數(shù)的特征圖，最終得到196維特征圖送到分類器中。取一類飛機(jī)為例，其特征圖如圖2所示。在網(wǎng)絡(luò)訓(xùn)練過程中將不斷放大不同類別飛機(jī)的關(guān)鍵特征權(quán)值，促使不同飛機(jī)特征分離，最后送到分類器中實(shí)現(xiàn)目標(biāo)識別。但是由于卷積神經(jīng)網(wǎng)絡(luò)提取的特征忽略了全局特征，導(dǎo)致飛機(jī)識別不準(zhǔn)確，而人類的視覺系統(tǒng)集中于紋理、輪廓等全局特征來識別圖像，因此結(jié)合局部與全局特征，并減少同類飛機(jī)特征差異提高不同類飛機(jī)特征差異是本文關(guān)鍵點(diǎn)。

圖1 密集卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖2 卷積特征可視化示意圖

3.1 結(jié)合方向梯度直方圖特征（HOG）

方向梯度直方圖[13]是結(jié)構(gòu)特征表達(dá)方法之一。傳統(tǒng)的方向梯度直方圖方法可以在非常混亂和明亮的背景中提取物體輪廓信息，且檢測結(jié)果表明方向梯度直方圖描述符與其他全局特征檢測方法（如小波方法）相比更好[14]。方向梯度直方圖特征獲取分為以下幾個(gè)步驟：

（1）圖像灰度化和伽瑪校正，目的是使圖像中深色與淺色部分的比例值增大，提高對比度效果，伽馬校正公式如下：

其中(x,y)表示圖像中的像素點(diǎn)，取gamma=1/2。

（2）計(jì)算圖像每個(gè)像素的梯度，公式如下：

其中Gx(x,y)、Gy(x,y)、H(x,y)分別表示圖像的像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度以及像素值。G(x,y)和β(x,y)表示像素點(diǎn)(x,y)處梯度幅值和梯度方向。

（3）將176×176像素的圖像分割為多個(gè)16×16像素的細(xì)胞單元，且直方圖通道為9。

（4）獲取方向梯度直方圖（HOG）特征。對細(xì)胞單元內(nèi)每個(gè)像素用梯度方向在直方圖中加權(quán)投影，梯度幅值就是權(quán)值，得到細(xì)胞單元的HOG特征。然后每2×2個(gè)細(xì)胞單元組成塊，以16個(gè)像素為步長，那么在水平和垂直方向會有10個(gè)掃描窗口，得到4×9×10×10=3 600維特征向量。

來自方向梯度直方圖方法的輪廓表示顯示出各種優(yōu)點(diǎn)。首先，方向梯度直方圖捕獲的邊緣和梯度結(jié)構(gòu)是局部和全局形狀的重要特征。其次，方向梯度直方圖局部表示是可控的，并且在一定程度上對于局部幾何和光度轉(zhuǎn)換是不變的，特別是當(dāng)旋轉(zhuǎn)比例小于局部定向單元大小時(shí)。方向梯度直方圖方法正確地檢測物體的輪廓如圖3所示。

圖3 遙感飛機(jī)圖像與其方向梯度直方圖特征

局部特征和全局特征均對圖像的識別有重要作用，因此結(jié)合現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)和早期的梯度直方圖方法形成一個(gè)新的算法，將使圖像識別更加智能和人性化。該識別算法基于密集卷積神經(jīng)網(wǎng)絡(luò)和梯度直方圖將局部和全局特征相結(jié)合來提高分類性能，其算法結(jié)構(gòu)圖如圖4所示，將密集卷積網(wǎng)絡(luò)得到的特征與梯度方向直方圖特征相結(jié)合，再輸入全連接層，最后通過聯(lián)合監(jiān)督輸出A、B、C、D、E、F、G、H、I、J共10類飛機(jī)的識別結(jié)果。該算法結(jié)合輪廓和全局結(jié)構(gòu)化特征方法的優(yōu)點(diǎn)，使得圖像分類更具人性化，更加智能化。

圖4 結(jié)合局部與全局特征的算法結(jié)構(gòu)圖

3.2 中心損失函數(shù)

當(dāng)遙感飛機(jī)圖像出現(xiàn)遮擋、模糊或者有噪聲異常情況時(shí)，不同類別飛機(jī)的特征差異變得不明顯，就會造成分類器的困惑，從而有很大的概率會分類錯誤，此時(shí)要求圖像特征不僅要分離，而且要有區(qū)別性，才能使復(fù)雜飛機(jī)圖像有較好的分類準(zhǔn)確率，因此僅僅依靠softmax函數(shù)不能有效地識別飛機(jī)。這就需要中心損失函數(shù)，將有效地提高神經(jīng)網(wǎng)絡(luò)對圖像深度特征的判別力。具體來說，中心損失函數(shù)在訓(xùn)練過程中學(xué)習(xí)每個(gè)類的深度特征的中心，最小化深度特征與其對應(yīng)的中心之間的距離[15]。

在卷積網(wǎng)絡(luò)中構(gòu)造高效判別特征的損失函數(shù)是非常重要的。原始密集卷積網(wǎng)絡(luò)的損失函數(shù)是傳統(tǒng)的softmax損失函數(shù)Ls如下所示：

其中，xi代表d維空間中第i個(gè)深層特征；yi為深層特征的類別；d為特征空間的維度；W為全連接層的參數(shù)矩陣（W={d×n}，d行n列）；Wj為W 的第 j列；m為批處理的大小；n為類別數(shù)；b為偏置。

對于遙感圖像的異常情況，傳統(tǒng)softmax函數(shù)的缺點(diǎn)主要有兩方面：一是其提取到的特征在很多情況下類內(nèi)間距要大于類間間距，不利于特征區(qū)分；二是softmax會使得訓(xùn)練得到模型過分自信，導(dǎo)致分類結(jié)果非1即0，圖2里有些特征點(diǎn)分散在邊界但是softmax將不再對這些特征點(diǎn)進(jìn)行修正。

由于softmax存在這些問題，使其對于飛機(jī)圖像異常情況（遮擋、噪聲、模糊）識別效果不佳，本文采用中心損失函數(shù)，來減少類內(nèi)間距。中心損失函數(shù)Lc如下所示：

其中，Cyi代表第yi類深層特征的類心。理想情況下，Cyi應(yīng)該隨著深度特征的變化來更新。也就是說，實(shí)驗(yàn)中需要考慮整個(gè)訓(xùn)練集，并在每次迭代中對每個(gè)類的特征進(jìn)行平均運(yùn)算，這是低效甚至不切實(shí)際的。因此，中心損失不能直接使用。

為了解決深度特征類心更新速度慢，不切實(shí)際的問題，本文采用一種基于小批量訓(xùn)練集更新深層特征類心的訓(xùn)練方法。在每次迭代中，通過平均相應(yīng)類的特征來計(jì)算類心。計(jì)算中心損失函數(shù)Lc對xi的梯度和Cyi的更新方程如下：

其中當(dāng)深層特征類別與標(biāo)簽相同時(shí)δ=1，否則δ=0。

采用softmax損失和中心損失的聯(lián)合監(jiān)督來訓(xùn)練CNN進(jìn)行判別性特征學(xué)習(xí)的公式如下：

其中，λ用于平衡兩個(gè)損失函數(shù)。如果將λ設(shè)置為0，那么可以看作是這種聯(lián)合監(jiān)督的一個(gè)特例，表示僅用softmax損失函數(shù)。

聯(lián)合監(jiān)督對深度學(xué)習(xí)特征分布的影響如圖5所示，其中圖（b）特征區(qū)域中間白圈表示深度特征類心。從圖5直觀地了解到，圖中10個(gè)分開的區(qū)域代表10類遙感飛機(jī)圖像的深層特征，公式（5）的softmax損失函數(shù)迫使不同類別的深層特征保持分離，但可以觀察到在每一類特征聚集區(qū)域邊緣有散落的特征，因?yàn)槠漕悆?nèi)間距甚至大于類間間距，所以softmax損失函數(shù)有很大的概率會將這些散落特征區(qū)分錯誤。

圖5 特征分布可視化圖

聯(lián)合監(jiān)督會根據(jù)中心損失函數(shù)來最小化深度特征與深度特征類心的距離，并且根據(jù)損失誤差調(diào)整權(quán)重，減少離深度特征類心遠(yuǎn)的特征權(quán)重，從而有效地將同一類的深度特征拉到了其類心附近。通過聯(lián)合監(jiān)督，不僅擴(kuò)大了10類遙感飛機(jī)之間特征差異，而且減少了每類飛機(jī)的類內(nèi)特征變化，因此通過聯(lián)合監(jiān)督能提高密集卷積網(wǎng)絡(luò)的判別能力，提高識別準(zhǔn)確率。

算法實(shí)現(xiàn)過程如圖6所示，首先輸入訓(xùn)練數(shù)據(jù)與標(biāo)簽，其次經(jīng)過卷積層并使用文獻(xiàn)[16]提出的Xavier方法進(jìn)行權(quán)值初始化，隨后經(jīng)過全連接層輸出得到的各種特征向量，再根據(jù)公式（9）計(jì)算聯(lián)合損失并與設(shè)定的閾值進(jìn)行比較，未達(dá)到要求則對聯(lián)合損失求偏導(dǎo)計(jì)算反向傳播誤差，方程如下：

圖6 計(jì)算聯(lián)合損失函數(shù)輸出的算法流程圖

得到誤差后更新權(quán)值與深度特征類心的方程如下，最后進(jìn)行權(quán)值以及類心調(diào)整，直到達(dá)到要求后輸出損失函數(shù)計(jì)算結(jié)果。在類心調(diào)整中，為了避免少量錯誤樣本造成的大擾動，使用α來控制類心的學(xué)習(xí)率，如公式（12）所示（t為循環(huán)次數(shù)）。

3.3 結(jié)合全局特征與局部特征的聯(lián)合監(jiān)督飛機(jī)目標(biāo)識別方法

（1）建立實(shí)驗(yàn)數(shù)據(jù)集

本文使用的數(shù)據(jù)集包含10類飛機(jī)機(jī)型，10類飛機(jī)圖是谷歌地圖美國圖森的飛機(jī)墓場中常見的10類目標(biāo)。訓(xùn)練集共有60 000張，驗(yàn)證集10 000張，測試集33 000張。為了保障網(wǎng)絡(luò)輸入大小相同，本實(shí)驗(yàn)將所有圖像大小設(shè)為176×176尺寸。其中部分飛機(jī)圖像如圖7所示。

圖7 遙感飛機(jī)部分圖像

訓(xùn)練集的預(yù)處理包括4種方式：一是將圖像旋轉(zhuǎn)60°、120°、180°。二是給圖像加入兩種噪聲，分別為均值0，方差0.1、0.05的高斯白噪聲以及噪聲密度為0.1、0.2的椒鹽噪聲。三是加入運(yùn)動模糊，運(yùn)動像素分別為10、20、30。四是加入不同程度的遮擋，分別為24×24、48×48、72×72和96×96大小的黑塊遮擋遙感飛機(jī)的任意位置。

測試集中圖像處理方法與訓(xùn)練集相似，不同的是采用不同的參數(shù)進(jìn)行數(shù)據(jù)的預(yù)處理：給圖像加入均值0，方差0.15、0.08的高斯白噪聲以及噪聲密度為0.15、0.25的椒鹽噪聲；給圖像加入運(yùn)動模糊，運(yùn)動像素分別為15、25、35；給圖像加入不同程度的遮擋，分別為24×24、48×48、72×72和96×96大小的黑塊遮擋遙感飛機(jī)的任意位置。

（2）確定網(wǎng)絡(luò)訓(xùn)練參數(shù)

學(xué)習(xí)率lr：在本次實(shí)驗(yàn)中采用傳統(tǒng)的梯度下降法來進(jìn)行算法的優(yōu)化調(diào)整，需要把學(xué)習(xí)率[17]設(shè)為合適的值，合適的學(xué)習(xí)率能夠使算法快速達(dá)到最優(yōu)值。如果學(xué)習(xí)率過大，很可能會越過最優(yōu)值，造成曲線來回振蕩；反而如果學(xué)習(xí)率過小，容易陷入局部最優(yōu)，算法長時(shí)間無法收斂。所以學(xué)習(xí)率對于算法性能的表現(xiàn)至關(guān)重要。其他訓(xùn)練參數(shù)一致，不同學(xué)習(xí)率對于訓(xùn)練過程的影響如圖8所示。從圖中曲線表現(xiàn)選擇學(xué)習(xí)率為0.01，之后進(jìn)行實(shí)驗(yàn)。

圖8 訓(xùn)練過程中損失隨迭代次數(shù)的變化曲線

平衡參數(shù)λ以及中心學(xué)習(xí)率α：在softmax與中心損失聯(lián)合監(jiān)督過程中，用公式（6）中λ平衡兩個(gè)損失函數(shù)，公式（9）中α控制中心的學(xué)習(xí)率。訓(xùn)練網(wǎng)絡(luò)之前需要確定這兩個(gè)參數(shù)確保網(wǎng)絡(luò)有更高的識別準(zhǔn)確率：首先我們將α固定為0.5，并將λ從0改變?yōu)?.1以學(xué)習(xí)不同的模型。這些模型在我們數(shù)據(jù)集上的準(zhǔn)確率如圖9中λ代表折線所示。很明顯，僅僅使用softmax損失（在這種情況下λ是0）導(dǎo)致性能差，而當(dāng)λ為0.01時(shí)識別準(zhǔn)確率達(dá)到最高值，因此選擇λ值為0.01。另外模型的測試性能在很寬的λ范圍內(nèi)基本保持穩(wěn)定。其次修正λ=0.01，并將α從0.01改變?yōu)?，以學(xué)習(xí)不同的模型。其識別率如圖9中α代表的折線所示。同樣觀察得出α為0.4時(shí)，模型識別準(zhǔn)確率達(dá)到最高，因此選擇α值為0.4。且模型的測試性能也在很寬的α范圍內(nèi)保持穩(wěn)定。

圖9 λ、α對識別準(zhǔn)確率的影響折線圖

（3）開始訓(xùn)練

本文實(shí)驗(yàn)平臺為Windows7 64位操作系統(tǒng)，處理器：Intel?Core? i3-3110M CPU@2.4 GHz，內(nèi)存：4 GB，深度學(xué)習(xí)框架：caffe。實(shí)驗(yàn)參數(shù)根據(jù)（1）、（2）設(shè)定：學(xué)習(xí)率為0.01；平衡參數(shù)λ為0.01；中心學(xué)習(xí)率α為0.4；批處理數(shù)目設(shè)為10，因此每6 000次iter完成一次訓(xùn)練集整體迭代。

為了驗(yàn)證本文方法的有效性，訓(xùn)練了兩種模型：一是僅使用softmax函數(shù)的密集卷積神經(jīng)網(wǎng)絡(luò)模型；二是將局部特征與全局特征結(jié)合，再使用聯(lián)合監(jiān)督作為損失函數(shù)的密集卷積神經(jīng)網(wǎng)絡(luò)模型。取10類飛機(jī)中的D類飛機(jī)為例，經(jīng)過密集卷積網(wǎng)絡(luò)最終得到196維卷積局部特征，取前100維進(jìn)行可視化；同時(shí)對飛機(jī)圖像獲取方向梯度直方圖特征。之后將兩種特征結(jié)合后用直方圖表示，如圖10所示。最后，將結(jié)合后特征送入分類器。

圖10 密集卷積特征與HOG特征結(jié)合示意圖

4 實(shí)驗(yàn)結(jié)果與分析

訓(xùn)練成功完成后，根據(jù)日志文件畫出兩種算法模型的準(zhǔn)確率和損失變化曲線，如圖11所示。

從圖中可以觀察到，快速收斂的曲線是結(jié)合局部與全局特征的聯(lián)合監(jiān)督密集卷積網(wǎng)絡(luò)，收斂較慢的是使用softmax損失函數(shù)的密集卷積網(wǎng)絡(luò)。觀察得出結(jié)論，結(jié)合局部與全局特征的聯(lián)合監(jiān)督網(wǎng)絡(luò)識別準(zhǔn)確率收斂后幾乎沒有振蕩，魯棒性更好，而單獨(dú)使用softmax損失函數(shù)的網(wǎng)絡(luò)識別準(zhǔn)確率收斂后在約0.04范圍內(nèi)持續(xù)震蕩，表明其對驗(yàn)證集部分圖像擬合較差。

為驗(yàn)證聯(lián)合監(jiān)督對于同類特征分布的聚合作用，在softmax損失函數(shù)與聯(lián)合監(jiān)督兩種條件下，對10類飛機(jī)特征的每類特征求方差，來表征特征分布狀況。為得到更加清晰的結(jié)論，將圖像按受干擾程度不同分別計(jì)算特征分布的方差，如圖12所示。從圖中觀察到，圖像的模糊像素為35、高斯噪聲方差0.15以及遮擋大小96×96時(shí)，softmax損失函數(shù)作用下的特征方差較高，表明當(dāng)圖像受到較大干擾時(shí)，特征分散嚴(yán)重，容易分類錯誤。而聯(lián)合監(jiān)督下的特征方差則保持在較低水平，從而得出結(jié)論：聯(lián)合監(jiān)督能夠減少每類特征分布的方差，即將同類特征向類心靠攏，提高算法判別能力，實(shí)現(xiàn)飛機(jī)機(jī)型的高精度識別。

為豐富驗(yàn)證本文網(wǎng)絡(luò)模型的性能，將實(shí)現(xiàn)文獻(xiàn)[18]提出的機(jī)器學(xué)習(xí)算法和傳統(tǒng)密集卷積網(wǎng)絡(luò)算法以及本文算法進(jìn)行比較。文獻(xiàn)[18]首先采用密集SIFT特征和Hu輪廓特征矩的方法來精確地描述飛機(jī)特征，然后將這些目標(biāo)特征輸入支持向量機(jī)中進(jìn)行飛機(jī)識別。3種算法在測試集中的識別準(zhǔn)確率如表1、2、3所示。定義識別準(zhǔn)確率的公式如下，ti為每一類別里識別正確的樣本數(shù)量，C為樣本類別，N為樣本總數(shù)。

圖11 Densenet與本文算法網(wǎng)絡(luò)訓(xùn)練的識別準(zhǔn)確率以及損失變化曲線

圖12 不同損失函數(shù)條件下的特征方差

表1 算法對遮擋遙感飛機(jī)圖像的識別精度對比 %

表2 算法對模糊遙感飛機(jī)圖像的識別精度對比%

表3 算法對加噪聲遙感飛機(jī)圖像的識別精度對比 %

從表1、2、3得出結(jié)論，文獻(xiàn)[18]提出的傳統(tǒng)機(jī)器學(xué)習(xí)算法對于受到輕微干擾（24×24像素遮擋，15像素運(yùn)動模糊，方差0.08高斯噪聲以及噪聲密度0.15椒鹽噪聲）的飛機(jī)圖像識別準(zhǔn)確率在90%左右，但是當(dāng)加大遮擋、模糊以及噪聲影響后，除了在48×48像素遮擋識別準(zhǔn)確率下降4%左右，其余識別準(zhǔn)確率下降9%以上，表明文獻(xiàn)[18]算法對于多種圖像干擾情況的魯棒性較差。而使用原始密集卷積網(wǎng)絡(luò)（densenet）時(shí)較文獻(xiàn)[18]算法有明顯進(jìn)步，對于受到輕微干擾的飛機(jī)圖像識別準(zhǔn)確率在95%以上，當(dāng)加大遮擋、模糊以及噪聲影響后，除了在48×48像素遮擋識別準(zhǔn)確率下降3%左右，其余識別準(zhǔn)確率下降7%以上。相比原始密集卷積網(wǎng)絡(luò)，本文提出的算法平均準(zhǔn)確率均提高了5%以上，充分表明結(jié)合全局特征與局部特征的聯(lián)合監(jiān)督較僅僅使用softmax損失函數(shù)，更能夠?qū)崿F(xiàn)每類圖像深度特征的類內(nèi)聚合、類間分散，提高算法智能化。從表中還可以看出，本文算法有良好的穩(wěn)定性，對于不同程度的干擾，識別準(zhǔn)確率高且穩(wěn)定。因此，本文算法能夠提高密集卷積網(wǎng)絡(luò)魯棒性，使其準(zhǔn)確識別出受到不同程度干擾的遙感飛機(jī)圖像。

5 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的識別遙感飛機(jī)圖像新方法，采用40層密集卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用其密集連接特性，降低網(wǎng)絡(luò)參數(shù)的冗余，提高訓(xùn)練速度，增強(qiáng)網(wǎng)絡(luò)泛化性；并且將全局特征與局部特征結(jié)合后采用聯(lián)合監(jiān)督的損失函數(shù)，增強(qiáng)深度學(xué)習(xí)算法的判別能力。實(shí)驗(yàn)結(jié)果表明，較傳統(tǒng)機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)的密集卷積神經(jīng)網(wǎng)絡(luò)識別準(zhǔn)確率有巨大優(yōu)勢，并且結(jié)合局部與全局特征的聯(lián)合監(jiān)督密集卷積網(wǎng)絡(luò)，能夠勝任對受到模糊、遮擋、噪聲影響的遙感飛機(jī)識別。