基于遷移學習的小樣本SAR船只目標識別

王程麗，趙靜，楊攀攀，李姍

（1.中國人民解放軍92020部隊，山東 青島 266000；2.中國船舶工業(yè)系統(tǒng)工程研究院，北京 100094）

0 引言

合成孔徑雷達（SAR,Synthetic Aperture Radar）具有全天時、全天候的特點，不受光照和天氣的影響，有豐富的特征信號，包含極化、幅度和相位信息[1]，并具有很強的穿透能力且能快速檢測識別目標，全天時工作能及時提供數(shù)據(jù)，為SAR 圖像的目標識別提供了可靠的支持[2]。

目前在傳統(tǒng)方法中，SAR 目標識別的三種主流方法是：基于模板的方法[3]、基于模型的方法[4]以及基于特征的方法[5]?；谀０宓姆椒ㄊ峭ㄟ^與模板之間計算相似度來判斷目標類別，這種方法需要大量的目標圖像模板，不適合應用在SAR 船只目標識別上；對于基于模型的方法，使用復雜散射模型描述目標圖像，并根據(jù)模型參數(shù)的似然估計確定目標類型，然而由于這些復雜的散射模型是非線性的，因此難以獲得參數(shù)的準確估計；基于特征的方法是對圖像提取特征之后利用分類器進行分類，但受SAR 成像特性影響，特征易變，具有提取特征不穩(wěn)定的問題[6]。神經(jīng)網(wǎng)絡是圖像識別的新方向，不同于傳統(tǒng)的識別方法，神經(jīng)網(wǎng)絡的表示能力依賴于復雜模型中大量需要優(yōu)化調(diào)整的參數(shù)，而參數(shù)優(yōu)化需要大量的訓練數(shù)據(jù)，若訓練數(shù)據(jù)比較小，容易出現(xiàn)過擬合問題[7]。神經(jīng)網(wǎng)絡在計算機視覺應用上取得了優(yōu)異的成績，除了網(wǎng)絡設計的合理外，更重要的是大數(shù)據(jù)的支持，目前的卷積網(wǎng)絡研究現(xiàn)狀表明，訓練樣本數(shù)量對網(wǎng)絡性能有很大的影響，網(wǎng)絡性能隨著樣本數(shù)量的減少而下降[8]。

在SAR 船只目標識別中，由于環(huán)境的影響以及數(shù)據(jù)不公開等因素，可用的SAR 船只圖像十分有限，因此如何在小樣本情況下應用卷積神經(jīng)網(wǎng)絡是迫切需要解決的問題。神經(jīng)網(wǎng)絡通常使用多層感知器等方式實現(xiàn)目標分類，容錯性強，具有自動學習判別特征的能力，在自然圖像中取得了巨大的成功。但神經(jīng)網(wǎng)絡模型對訓練所需的樣本量要求很高，因此較少用于高分辨SAR 船只圖像分類研究中。在應用到小樣本數(shù)據(jù)集中時，一般采用遷移學習和微調(diào)[9]。Zeiler[10]、Yosinski[11]等人的研究表明，經(jīng)過充分訓練的卷積神經(jīng)網(wǎng)絡提取出的特征具有良好的可遷移性；李松等人利用深度卷積神經(jīng)網(wǎng)絡在遷移學習模式下進行SAR 目標識別，經(jīng)過試驗驗證了遷移學習的有效性[12]；石祥濱等人提出一種基于受限玻爾茲曼機與卷積神經(jīng)網(wǎng)絡混合模型遷移學習的圖像分類方法[13]。鑒于此，本文針對SAR 船只樣本受限問題，提出遷移學習識別模型，該模型將VGG16 網(wǎng)絡用于SAR 圖像船只分類，把訓練好的網(wǎng)絡的淺層網(wǎng)絡遷移到目標域數(shù)據(jù)中，然后使用常見的分類器進行分類，解決小樣本導致的過擬合問題，提高神經(jīng)網(wǎng)絡在小樣本下的識別率，同時與傳統(tǒng)識別方法相比也具有很大的優(yōu)勢。

1 傳統(tǒng)識別方法

傳統(tǒng)識別方法中特征量化是識別性能較高的方法。通過引入特征量化方法構造字典來將原始特征轉(zhuǎn)換為新的表示，通過該方法可以訓練第三方分類器。特征量化將不穩(wěn)定的低層特征量化為較穩(wěn)定的特征表示。下面將詳細介紹幾種特征量化模型：詞袋模型（BOW,Bags of Words）[14]、空間金字塔匹配模型（SPM,Spatial Pyramid Matching）[15]、Fisher Vector（FV）模型[16]。

1.1 詞袋模型

詞袋模型是將訓練樣本的圖像低層特征量化為視覺單詞，通過編碼得到圖像的視覺單詞分布直方圖來表達未知圖像的內(nèi)容。詞袋模型的基本流程圖如圖1 所示：

圖1 詞袋模型的基本流程圖

基于BOW 模型分類可分為特征提取、視覺詞典構建、特征編碼獲得圖像表達直方圖和訓練分類器四個步驟，具體如下：

（1）特征提取。對于圖像識別來說，首先需要提取一類相對穩(wěn)定有效的特征，根據(jù)實驗可知，梯度直方圖（HOG,Histogram of Oriented Gradient）在SAR 船只識別中相對有效。

（2）視覺詞典構建。將不同類別的局部特征放在一起進行聚類生成視覺詞典，在聚類過程中會產(chǎn)生屬于不同類別的視覺單詞，而視覺單詞的集合稱為視覺詞典。通常使用無監(jiān)督方法進行特征聚類，如k-means[17]。

（3）特征編碼獲得圖像表達直方圖。獲得視覺詞典后，將每個特征量化為與其歐氏距離最近的視覺單詞，這個過程稱之為編碼，每幅圖像編碼后得到的特征向量就是視覺單詞直方圖。

（4）訓練分類器。首先利用訓練集編碼后的特征向量訓練第三方分類器，然后利用訓練好的分類器對測試集樣本進行分類得到分類結果。

1.2 空間金字塔匹配模型

SPM 是基于BOW 模型的改進算法，BOW 是針對整張圖片進行特征量化，SPM 在此基礎上增加了圖像的空間分布信息。SPM 能夠在不同分辨率下統(tǒng)計特征的分布情況，該模型構建示意圖如圖2 所示：

圖2 SPM模型構建示意圖

首先將完整圖像看作金字塔的第一層，記為level 0，第二層level 1 是將原圖像分為四部分，level 2 依此類推。SPM 對每一子區(qū)域進行特征提取和編碼，方法和BOW相同，因此也可將level 0 的特征提取編碼看成BOW。得到所有子區(qū)域的特征表示直方圖之后，將所有直方圖都串聯(lián)起來，并且給每個子區(qū)域的直方圖賦予相應的權重，從左到右權重按照1/4、1/4、1/2 依次增大。

1.3 Fisher Vector模型

FV 模型也是在BOW 模型上進行改進的算法，其優(yōu)點在于對分類器不敏感。兩者的主要區(qū)別在于詞典生成過程和特征編碼，BOW 使用k-means 聚類方法生成詞典，而FV 使用高斯混合模型（GMM,Gaussian Mixture Model）算法[18]生成詞典。GMM 將每個聚類過程看成高斯分布，最終的量化結果可看成多個高斯分布疊加。

隨機選取K個聚類中心，認為都是高斯分布，其均值為μi，方差初始化為單位矩陣Σi，先驗概率初始化為wi=1/K，現(xiàn)在給定一個特征描述子向量xi，它屬于某個高斯分布的后驗概率為：

對于GMM 中的每個高斯分布，考慮均值和協(xié)方差偏差向量，得到：

則特征xi對應的編碼為：

最終圖像表達vg為所有特征的合并：

2 基于遷移學習的識別方法

為了解決樣本量受限問題，遷移學習開始被使用，其主要是為了解決在訓練樣本缺失情況下，識別過程中存在的過擬合和局部最優(yōu)解等問題[19]。遷移學習是指根據(jù)已有的知識，針對不同但有相關性的問題進行求解的智能解決方法。簡單來說，就是將從源域?qū)W到的知識遷移至新的目標域任務上。

2.1 遷移學習

遷移學習將經(jīng)過預訓練的淺層網(wǎng)絡結構及連接參數(shù)遷移至SAR 分類識別問題，將其已有的特征提取能力作為共享知識在源域數(shù)據(jù)與SAR 圖像數(shù)據(jù)間傳遞，提高神經(jīng)網(wǎng)絡在小樣本數(shù)據(jù)下的識別性能和泛化能力。利用神經(jīng)網(wǎng)絡遷移學習進行SAR 目標識別的算法模型如圖3 所示：

圖3 神經(jīng)網(wǎng)絡遷移學習進行SAR目標識別的算法模型

神經(jīng)網(wǎng)絡遷移學習SAR 目標識別方法包括以下步驟：

（1）預訓練。SAR 船只圖像數(shù)量較少，直接用于預訓練會出現(xiàn)過擬合問題。網(wǎng)絡的預訓練模型要在大數(shù)據(jù)量下進行，一般選用ImageNet 數(shù)據(jù)集，這樣可以確保預訓練模型也適用于目標域。

（2）網(wǎng)絡結構調(diào)整。由于源域和目標域的數(shù)據(jù)集類別不同，所以在對網(wǎng)絡進行訓練之前需要修改網(wǎng)絡結構，修改輸出層神經(jīng)元的數(shù)量，使其與目標域類別對應。

（3）網(wǎng)絡參數(shù)微調(diào)。在修改輸出神經(jīng)元數(shù)量之后，將預訓練模型中全連接層之前的網(wǎng)絡層遷移到目標域中，然后對該網(wǎng)絡層進行初始化，利用目標域圖像對網(wǎng)絡參數(shù)進行微調(diào)。

（4）目標類別預測。將SAR 圖像樣本輸入?yún)?shù)微調(diào)后的網(wǎng)絡進行前向傳播，完成特征的逐層提取與最終的類別判斷。

2.2 基于VGG16遷移學習識別模型

已有研究表明，由于SAR 圖像與自然圖像之間差異較大，因此利用預訓練模型提取的特征可能不適合SAR 圖像，相對較淺的卷積網(wǎng)絡如VGG16 更適合作為原始模型[20]?；谶w移學習SAR 船只目標識別工作流程如圖4 所示：

圖4 基于遷移學習SAR船只目標識別工作流程

其中，黑色、藍色、紅色箭頭分別表示數(shù)據(jù)處理、訓練和測試階段。首先將高分辨率SAR 船只樣本分為訓練和驗證數(shù)據(jù)集，樣本類別包括集裝箱船、散貨船和油輪；然后將訓練樣本應用在基于ImageNet 數(shù)據(jù)集的VGG16 預訓練模型上；最后驗證測試集用于評估訓練模型的性能。

遷移學習將在源數(shù)據(jù)域訓練得到的模型權重作為目標數(shù)據(jù)集的初始化權重，根據(jù)需要修改全連接層輸出，重新訓練VGG16 網(wǎng)絡。對網(wǎng)絡進程微調(diào)，可以避免小數(shù)據(jù)量造成的過擬合現(xiàn)象。

3 實驗結果

3.1 不同模型結果對比

為了驗證本文提出的SAR 船舶目標分類方法中基于VGG16 遷移學習的有效性，選擇了BOW 模型、SPM 模型、FV 模型進行對比試驗。所有方法都使用TerraSAR 作為驗證數(shù)據(jù)集，TerraSAR 數(shù)據(jù)集包括集裝箱船、散貨船和油輪三類。所有模型進行多次試驗，每次隨機選擇訓練和測試集以獲得分類結果，其中每類訓練樣本數(shù)量為30 張，每類測試樣本為20 張。表1 是多種模型幾次試驗的識別率平均值：

表1 多種模型的識別率

由表1 可知，VGG16 遷移學習與BOW 模型、SPM 模型、FV 模型相比有更優(yōu)的識別效果，識別率相差10%以上，這說明遷移學習能夠有效解決小樣本SAR 船只識別問題。

圖5 顯示了四種方法訓練樣本和測試樣本特征的可視化結果。其中，藍色、紅色、綠色分別表示集裝箱船、散貨船和油輪；符號“+”表示訓練樣本；符號“o”表示測試樣本；橫縱坐標分別為特征降維后的結果。通過BOW 模型、SPM 模型、FV 模型的特征二維可視化結果可以看出，集裝箱船、散貨船和油輪三類之間沒有明顯的類間界線，且同一類別測試樣本分布和訓練樣本分布有差異，這會導致訓練的分類器的分類性能較差。而VGG16遷移學習模型的特征可視化結果顯示，三類很容易區(qū)分且測試和訓練樣本特征分布一致，基于VGG16 遷移學習模型比其他框架更具區(qū)分性。傳統(tǒng)的識別方法提取特征的方法較為單一，由于成像影響，提取的特征穩(wěn)定性較差，而特征又是影響識別結果最重要的因素，因此識別效果較差。遷移學習的識別方法是基于大數(shù)據(jù)訓練下的模型進行調(diào)整，會更適合于船只目標，所以盡管缺乏訓練數(shù)據(jù)，該模型仍有良好的識別性能。

圖5 不同方法的可視化結果

3.2 不同訓練集數(shù)量結果對比

在上述實驗中，將TerraSAR 數(shù)據(jù)集每類訓練集設為30，為了驗證算法在樣本極其稀缺情況下的有效性，下面仍然選擇TerraSAR 數(shù)據(jù)集做對比實驗，當每類訓練集數(shù)量為10、15、20 和25 時，對比四類方法的識別效果如表2 所示：

表2 不同訓練集數(shù)量下不同模型的識別率（單位：%）

為了更加直觀地顯示分類正確率隨訓練集每類樣本數(shù)的變化，將四種方法的結果用折線圖表示，具體如圖6所示：

圖6 分類正確率隨訓練集每類樣本數(shù)的變化折線

由圖6 可知，BOW 模型、SPM 模型、FV 模型雖然在樣本數(shù)量為30 時識別準確率不高，但其魯棒性較強，隨著訓練樣本數(shù)量的減少，分類正確率下降速度較慢。而VGG16 遷移學習算法魯棒性較差，隨著訓練樣本數(shù)量的減少，該算法分類正確率降低較快，當每類樣本數(shù)為10 時，該模型識別效果在四類中最差，但在每類訓練樣本數(shù)量大于15 時，遷移學習算法和傳統(tǒng)算法相比還是具備一定的優(yōu)勢。

4 結束語

由于SAR 船只目標的樣本量受限且傳統(tǒng)算法提取特征具有局限性，本文提出了基于VGG16 模型遷移學習的SAR 船只目標識別方法。該模型將其已有的特征提取能力作為共享知識在源域數(shù)據(jù)與SAR 圖像數(shù)據(jù)間傳遞，可提高神經(jīng)網(wǎng)絡在小樣本數(shù)據(jù)下的識別性能和泛化能力。實驗結果表明，與傳統(tǒng)算法相比，本文算法在TerraSAR數(shù)據(jù)庫有較好的識別性能，但其魯棒性較差，這也是后續(xù)研究中需要解決的問題。