多層卷積特征融合的雙波段決策級船舶識別

邱曉華，李 敏，鄧光芒，王利濤

（1.火箭軍工程大學(xué)作戰(zhàn)保障學(xué)院，陜西西安710025；2.武警工程大學(xué)信息工程學(xué)院，陜西西安710086）

1 引 言

海上視頻監(jiān)控在民用和軍事應(yīng)用領(lǐng)域中發(fā)揮的作用越來越明顯，例如保護(hù)海洋環(huán)境、海上人員和貨物安全。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，海面自動化控制可實現(xiàn)可視化的船舶自動識別，受到人們的廣泛關(guān)注和深入研究。集成可見光（Visible Light，VIS）波段和紅 外（Infrared Spectroscopy，IR）波段互補(bǔ)信息的雙波段圖像相比單一波段圖像，具有受光照、遮擋和雨霧影響小的優(yōu)勢，已成功應(yīng)用于人臉識別領(lǐng)域［1］。近年來，面向雙波段圖像計算機(jī)視覺任務(wù)的深度學(xué)習(xí)技術(shù)，在場景三維重建［2］、工業(yè)自動化控制［3］以及目標(biāo)檢測跟蹤［4-6］等領(lǐng)域逐漸成為一個研究熱點。

深度學(xué)習(xí)大幅提升計算機(jī)視覺任務(wù)性能的關(guān)鍵因素之一在于大型標(biāo)注圖像數(shù)據(jù)集，例如ImageNet數(shù)據(jù)集。VIS波段海上船舶數(shù)據(jù)集的規(guī)模難以達(dá)到大型ImageNet數(shù)據(jù)集的數(shù)量級，目前公開的最大海上船舶數(shù)據(jù)集MARVEL具有40萬張樣本［7］，將其用于訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）網(wǎng)絡(luò)雖然不會出現(xiàn)過擬合問題，但識別效果并不明顯且訓(xùn)練耗時較多。VIS和IR雙波段圖像船舶數(shù)據(jù)集的標(biāo)注樣本更少，目前唯一公開的VAIS數(shù)據(jù)集［8］，僅有一千余對標(biāo)注樣本，其用于訓(xùn)練深度CNN網(wǎng)絡(luò)或微調(diào)預(yù)訓(xùn)練模型易出現(xiàn)過擬合問題。

在雙波段船舶識別中，為避免標(biāo)注樣本少導(dǎo)致過擬合問題，普遍采用基于ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的深度CNN模型提取圖像特征，而后再進(jìn)行融合識別。Zhang等人［8］將基于Gnostic區(qū)域和基于VGG-16模型［9］的船舶識別結(jié)果進(jìn)行融合，在VAIS數(shù)據(jù)集上獲得了87.4%的基準(zhǔn)船舶識別精度。Aziz等人［10］提出了基于MARVEL數(shù)據(jù)集訓(xùn)練和VAIS數(shù)據(jù)集微調(diào)深度CNN模型的船舶識別方法，但識別性能提升不明顯。Santos等人［11］提出了基于預(yù)訓(xùn)練VGG-19模型［9］和概率融合模型的識別框架。Zhang等人［12］利用預(yù)訓(xùn)練VGG-19模型和ResNet-152模型［13］分別提取VIS和IR波段的卷積特征，通過結(jié)構(gòu)化融合與線性判別分析，提出了一種基于譜回歸判別分析的多特征融合識別方法（SF-SRDA）。此外，劉峰等人［14］創(chuàng)建了包含可見光、中波和長波紅外三個波段的海上艦船數(shù)據(jù)集，提出了基于AlexNet模型卷積特征融合的多波段艦船目標(biāo)識別方法。同時，以基于協(xié)方差矩陣的特征融合策略擴(kuò)展了該方法［15］。然而，雙波段圖像特征級融合存在級聯(lián)特征融合質(zhì)量低、共同特征表示學(xué)習(xí)難的問題。

在計算機(jī)視覺中，決策級融合常用于單波段圖像的多分類器融合［16］，在目前基于雙波段圖像的目標(biāo)識別［17］、行人檢測［18］等任務(wù)中得到進(jìn)一步研究。為解決雙波段圖像船舶識別中存在的問題，本文利用預(yù)訓(xùn)練CNN模型中高級卷積特征和雙波段后驗概率的信息互補(bǔ)優(yōu)勢，提出了一種基于多層卷積特征和后驗概率加權(quán)的雙波段船舶決策級融合識別方法。

2 決策級融合識別算法

本文算法首先利用基于ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)VGG-16模型，分別提取雙波段圖像（VIS圖像和IR圖像）的低級、中級和高級卷積特征，克服因標(biāo)注數(shù)據(jù)匱乏引起深度網(wǎng)絡(luò)模型訓(xùn)練過擬合的問題。其次，采用主成分分析法降低卷積特征維度，避免高維度卷積特征占用存儲和計算資源多的不足，并采用L2范數(shù)歸一化和特征級聯(lián)方法，融合每個波段的中級和高級卷積特征。隨后，將級聯(lián)特征送入支持向量機(jī)（Support Vector Machines，SVM）分類器并計算每個波段船舶識別的后驗概率。最后，通過權(quán)重因子加權(quán)融合雙波段后驗概率，從而獲得雙波段船舶的決策級融合識別標(biāo)簽。算法總體框架如圖1所示，為比較雙波段特征級融合以突出決策級融合的優(yōu)勢，圖1同時給出了雙波段特征級融合識別模塊，如圖1中密集虛線部分所示。

2.1 卷積特征提取

VGG-16網(wǎng)絡(luò)模型是深度卷積神經(jīng)網(wǎng)絡(luò)中最經(jīng)典、最常用的模型，具有8個網(wǎng)絡(luò)層，其中5層為卷積塊（即圖1中的C1，C2，C3，C4和C5），最后3層為全連接層（即圖1中的F6，F(xiàn)7以及表示ImageNet數(shù)據(jù)集中1 000個類別語義信息的最后一個全連接層）。整個網(wǎng)絡(luò)體系架構(gòu)由下自上呈現(xiàn)特征表示的層次性，圖1中C1和C2卷積塊的特征為顏色、角點和邊緣等基本模式的視覺特征，適合于大多數(shù)數(shù)據(jù)集和視覺任務(wù)，屬于低級（Low level）特征。隨著網(wǎng)絡(luò)體系結(jié)構(gòu)層數(shù)的增加，卷積特征從低級視覺特征逐漸抽象為中級（Middle level）特征（C3～C5卷積塊的特征）和高級（High level）語義特征（F6～F7全連接層的特征），其中中級特征包含部分細(xì)節(jié)信息和語義信息。VGG-16模型以224×224 pixel的三通道圖像作為輸入樣本，對每個樣本可提取大小為r×r×K的卷積特征，其中r×r為卷積核大小，K為卷積核數(shù)量，而全連接層特征可以看作大小為1×1×K的卷積特征。本文將每個樣本的卷積特征轉(zhuǎn)化為一維特征向量fn∈Rr2K(n=1，2，…N)，N為樣本數(shù)。

圖1 基于決策級融合的雙波段船舶識別算法框架圖Fig.1 Overview of dual-band ship recognition method based on decision-level fusion

2.2 卷積特征降維

所提取的卷積特征維度高、消耗存儲和計算資源多，并含有一定的噪聲和較多的冗余信息。主 成 分 分 析（Principal Component Analysis，PCA）是機(jī)器學(xué)習(xí)中一種常用的數(shù)據(jù)降維方法，可以將卷積特征從高維空間投影到低維空間，其主要思想是通過計算高維特征的協(xié)方差矩陣，并進(jìn)行特征值分解，保留前幾個特征值對應(yīng)的特征向量，從而構(gòu)成低維特征空間。PCA通常采用設(shè)置固定維度確定低維特征空間的維度［19］。鑒于本文研究對象為雙波段船舶圖像數(shù)據(jù)集，不同波段具有不同的成像特性，而且樣本數(shù)遠(yuǎn)小于特征數(shù)，因此本文從特征重構(gòu)的角度，通過設(shè)置重構(gòu)閾值自動獲取低維特征空間維度，如式（1）所示：

其中：λd為高維特征協(xié)方差矩陣的第d個特征值，dh=r2K為高維空間維數(shù)，dl為低維空間維數(shù)，t為重構(gòu)閾值。由式可知，t值越大，則dl值越大。

2.3 單波段多層卷積特征融合設(shè)計

從VGG-16模型中各層提取的卷積特征數(shù)值差異較大，需對PCA降維后的各層卷積特征進(jìn)行歸一化處理，以實現(xiàn)后續(xù)每個波段多層卷積特征融合。此外，歸一化處理也有利于提升SVM分類器的分類性能。本文采用L2范數(shù)歸一化方法，該方法首先對每個樣本計算其L2范數(shù)，然后對該樣本中的元素除以該范數(shù)，其目的是使每個樣本的L2范數(shù)為1。令為第n個樣本經(jīng)L2范數(shù)歸一化處為PCA降維空間中的第n個樣本特征向量理后的特征向量，則中第m個元素的計算如式（2）所示：

經(jīng)典的特征融合策略包括基于串行融合策略的級聯(lián)方法和基于并行策略的疊加方法，其中疊加方法要求待融合特征必須具有相同的維度。由于經(jīng)PCA降維后的每個波段每層卷積特征的維度不一致，因此采用級聯(lián)方法融合每個波段的多層卷積特征。每個樣本級聯(lián)融合的特征向量計算如式（3）所示。其中：ff為級聯(lián)融合后的特征向量為多層中第l層特征向量的第dl個元素，本文方法級聯(lián)融合每個波段的兩層或三層卷積特征，因此l值為2或3。

在基于多層卷積特征的雙波段特征級融合中，同樣采取級聯(lián)融合方法，其融合特征向量的計算方式與式（3）類似。

2.4 雙波段概率融合與決策識別模型構(gòu)建

通過擬合Sigmoid模型的方法，可以將SVM分類器的標(biāo)準(zhǔn)類別輸出轉(zhuǎn)換為后驗概率輸出。將級聯(lián)融合的特征送入基于線性核的SVM分類器，分別計算每個波段每個樣本的后驗概率，而后構(gòu)建雙波段概率融合和決策識別模型，其步驟如下。

假設(shè)cj(j=1，2，…，c)為雙波段圖像數(shù)據(jù)集的樣本類別，s1和s2為VIS和IR雙波段圖像對應(yīng)的兩個相互獨立的SVM分類器，即S={s1，s2}。P(si)=(pi1，pi2，pi3，pi4，…，pij)表示第i個SVM分類器將樣本x標(biāo)記為所有類別的后驗概率。P(s1，s2)=(p1，p2，p3，p4，…，pj)表示兩個分類器的后驗概率經(jīng)權(quán)重因子加權(quán)求和后將樣本x標(biāo)記為所有類別的概率，其計算方式如式（4）所示。

其中，權(quán)重因子wi需對于VIS滿足和IR雙波段而言，若令VIS波段的權(quán)重因子w1=w，則IR波段的權(quán)重因子w2=(1?w)。

在決策識別過程中，取P(s1，s2)中最大值p對應(yīng)的類別作為樣本x的雙波段共同表示的類別，如式（5）所示。

式中max(?)表示取最大值。

3 實驗與分析

3.1 數(shù)據(jù)集與實驗平臺

算法驗證數(shù)據(jù)集采用唯一公開的可見光和紅外（VIS-IR）雙波段海面船舶基準(zhǔn)數(shù)據(jù)集VAIS［8］，該數(shù)據(jù)集包含2 865張船舶圖像（1 623張可見光圖像、1 242張紅外圖像），其中包含1 088對未配準(zhǔn)的VIS-IR圖像，船舶類別包括貨船、中級其它船、客船、帆船、小船和拖船等6類。這些圖像是在不同距離和一天中不同時間（含黃昏和黎明）情況下采集的。因此，有些圖像分辨率高，而有些圖像比較模糊即使進(jìn)行人工檢測也難以識別。VAIS數(shù)據(jù)集中，訓(xùn)練樣本為539對VIS-IR圖像，測試樣本為549對VIS-IR圖像。由于采用五折交叉驗證獲得SVM算法后驗概率，實驗中隨機(jī)選擇訓(xùn)練/測試組的10次試驗重復(fù)進(jìn)行，以10次識別精度的平均值和標(biāo)準(zhǔn)差（mean±std）評估算法的識別性能。

仿真驗證平臺采用硬件環(huán)境為：2.8 GHz英特爾Core i7-7700HQ處理器，16 GB內(nèi)存，NVIDIA GeForce 940MX顯卡。軟件環(huán)境為：Windows 10操作系統(tǒng)，PyCharm 2.4集成開發(fā)環(huán)境，PCA和基于線性核SVM算法的實現(xiàn)采用基于Python語言sklearn庫集成PCA和SVM模塊，深度學(xué)習(xí)框架采用前端Keras和后端Tensor?Flow平臺，深度卷積神經(jīng)網(wǎng)絡(luò)模型為基于Ima?geNet數(shù)據(jù)集預(yù)訓(xùn)練的VGG-16模型。

3.2 實驗結(jié)果與分析

3.2.1 PCA降維算法的性能評估

SVM的算法時間復(fù)雜度與輸入樣本特征維度成正比，維度越高時間復(fù)雜度越高，因此降低輸入樣本維度，可顯著加快SVM分類速度。鑒于數(shù)據(jù)樣本較少和雙波段圖像的差異性，采用重構(gòu)閾值t為0.99的PCA算法對CNN特征進(jìn)行降維，通過分析比較CNN原始特征和PCA降維特征的大小與識別精度，評估PCA降維算法的性能。

表1 CNN特征和PCA特征維度大小比較Tab.1 Dimension size comparison of CNN features and?PCA features

表1 顯示了VGG-16模型各層的CNN特征和PCA特征的維度大小比較，圖2為基于VGG-16模型各層CNN特征和PCA特征的識別精度比較。由表1可知，由于數(shù)據(jù)集樣本少，即使設(shè)置了最大的重構(gòu)閾值，PCA特征的維度遠(yuǎn)遠(yuǎn)小于CNN特征的維度。從圖2中可知，對于VIS圖像而言，低中級特征在PCA降維后，識別精度反而有所提升，而高級特征經(jīng)PCA降維后的識別精度降低幅度較小。對于IR圖像而言，識別精度稍有降低，但在C2和C4層有小幅提升。綜上分析，PCA算法雖然大幅降低了CNN特征維度，但對識別精度影響并不明顯，因此采用PCA算法對CNN特征進(jìn)行降維處理簡單有效。

圖2 CNN特征和PCA特征的識別精度比較Fig.2 Recognition accuracy comparison of CNN fea?tures and PCA features

3.2.2 權(quán)重因子對融合識別性能的影響

實驗中采用一組權(quán)重因子w=（0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1），計算基于VGG-16模型各層卷積特征的決策級融合識別精度，從而分析不同權(quán)重因子w對融合識別性能的影響。權(quán)重因子w為0表示基于IR圖像特征的識別精度，為1表示基于VIS圖像特征的識別精度。圖3為不同權(quán)重因子對基于單層卷積特征的決策級融合識別精度的影響。由于VAIS數(shù)據(jù)集中IR圖像相比VIS圖像對比度高，但分辨率低且目標(biāo)細(xì)節(jié)少，因此基于IR圖像的識別精度比基于VIS圖像的識別精度要低得多，如圖3中w為0和1時的識別精度。由圖3可知，隨著權(quán)重因子的逐漸增加，識別精度逐步提高，當(dāng)權(quán)重因子w為0.6，0.7和0.8時，基于各層卷積特征的識別精度達(dá)到最高值，隨后又降低。綜上分析，決策級融合識別以VIS圖像為主，以IR圖像為輔，并且可以提高每個波段圖像的識別精度。

圖3 權(quán)重因子對識別性能的影響Fig.3 Effect of weight factor for recognition performance

3.2.3基于多層卷積特征融合的決策級融合識別性能分析

中級卷積特征不僅具有低級卷積特征的視覺信息，還包含部分語義信息，而高級卷積特征的語義信息更為豐富。本文基于多層卷積特征的決策級融合對每個波段的中級和高級卷積特征進(jìn)行級聯(lián)融合，權(quán)重因子w取值為0.7。表2和表3分別為兩層和三層卷積特征融合的識別精度，其中FF表示特征級融合，DF表示決策級融合，C3F6縮寫表示每個波段C3層和F6層的卷積特征進(jìn)行級聯(lián)融合，其他類似縮寫表示意義相似。由表2和表3可知，由于在FF中采用簡單的級聯(lián)融合策略，VIS圖像特征受IR圖像特征的影響，導(dǎo)致特征融合質(zhì)量降低，使VIS圖像的識別精度下降了0.5%～1.5%。DF的識別精度高出FF的識別精度1.5%～2.5%，比VIS圖像的識別精度高出0.6%～1.1%。綜上分析，在雙波段船舶識別中，基于多層卷積特征的決策級融合識別性能明顯優(yōu)于特征級融合，而且基于三層卷積特征的識別性能普遍好于基于兩層卷積特征。

3.2.4 與其他現(xiàn)有方法比較

本文方法與其他現(xiàn)有7種方法進(jìn)行比較，如表4所示。表4中CNN+Gnostic Fields［8］，Multi?modal CNN［10］，DyFusion［11］和SF-SRDA［12］4種方法為雙波段VIS和IR圖像船舶融合識別方法，而CNN+Gabor+MS-CLBP［20］，MFL-ELM［21］和ME-CNN［22］3種方法為單波段VIS圖像船舶識別方法。由表4可知，本文方法在單波段VIS圖像和雙波段圖像上的船舶識別精度明顯高于其他方法，最好平均識別精度為88.8%和89.7%，比相應(yīng)的現(xiàn)有最好方法分別高出0.8%和1.5%。而SF-SRDA方法在單波段IR圖像上的船舶識別精度取得了74.7%的最佳值。圖4顯示了決策級融合（C4C5F6）識別精度為89.8%的歸一化矩陣。如圖4所示，中級其他船和拖船的識別精度普遍較低，中級其他船容易被誤識別為貨船和客船，而拖船容易被誤識別為客船和小船，其他類型船舶的識別精度均為85%以上，帆船的識別精度更是達(dá)到100%。

表2 兩層卷積特征融合的識別精度Tab.2 Recognition accuracy of two layers convolutional features fusion （%）

表3 三層卷積特征融合的識別精度Tab.3 Recognition accuracy of three layers convolution?al features fusion （%）

表4 與其他現(xiàn)有方法的識別精度比較Tab.4 Recognition accuracy comparison of other existing methods （%）

圖4 決策級融合（C4C5F6）識別精度的歸一化混淆矩陣Fig.4 Normalization confusion matrix for recognition ac?curacy of decision-level fusion（C4C5F6）

4 結(jié) 論

在單波段圖像攜帶船舶信息有限的情況下，對雙波段船舶識別問題展開研究。利用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型提取多層卷積特征，不僅避免了標(biāo)注數(shù)據(jù)樣本少導(dǎo)致網(wǎng)絡(luò)模型過擬合問題，而且利用了層次性卷積特征的信息互補(bǔ)優(yōu)勢。采用PCA數(shù)據(jù)降維、L2范數(shù)歸一化和特征級聯(lián)方法，既實現(xiàn)了多層卷積特征融合又減少了數(shù)據(jù)存儲和計算資源。通過加權(quán)融合每個波段的SVM后驗概率以實現(xiàn)決策級融合識別，解決了雙波段特征級融合識別精度低的問題。在公開數(shù)據(jù)集上的驗證表明，雙波段決策級融合的識別性能優(yōu)于單波段，基于中高級多層卷積特征的決策級融合的識別精度普遍高于特征級融合。此外，與其他現(xiàn)有方法相比，本文方法具有識別精度高、處理速度快的優(yōu)勢。在今后的工作中，將根據(jù)雙波段圖像的特性對特征級融合的影響展開研究。