遷移學(xué)習(xí)在天基紅外目標(biāo)識別中的應(yīng)用

劉 浩,毛宏霞,肖志河,劉 錚

(1.北京環(huán)境特性研究所,北京 100039；2.光學(xué)輻射重點實驗室,北京 100854)

1 引 言

火箭在飛行過程中,溫度極高的尾噴焰能夠被星載紅外傳感器探測、跟蹤和識別[1]。由于距離遠(yuǎn)、空間分辨率低,紅外圖像中幾乎沒有尾噴焰形狀和輻射空間分布相關(guān)的信息。因此,提取出尾噴焰所占像素的總輻射強度隨時間變化的序列后,轉(zhuǎn)化為對時間序列的特征提取和識別問題,實現(xiàn)基于總輻射變化特性的火箭識別,是一種合理可行的方法。但是受火箭本身的發(fā)射試驗次數(shù)和紅外傳感器覆蓋范圍等條件的影響,能夠用于識別的紅外輻射強度序列數(shù)據(jù)不僅數(shù)量少,而且不同類別的樣本數(shù)量不平衡,甚至?xí)霈F(xiàn)部分火箭只有一條序列用于訓(xùn)練模型的情況。

單樣本學(xué)習(xí)(One-Shot Learning)是指每類只有一個樣本,大多數(shù)機(jī)器學(xué)習(xí)算法在這種情況下容易出現(xiàn)過擬合,訓(xùn)練效果不好,特別是層數(shù)較多的深度神經(jīng)網(wǎng)絡(luò)[2]。孿生神經(jīng)網(wǎng)絡(luò)(Siamese Neural Network)可以接收兩個輸入樣本,分別將它們輸入到完全相同的子網(wǎng)絡(luò)進(jìn)行特征提取,映射到高維空間并輸出對應(yīng)的特征向量,最后通過計算特征距離比較兩個樣本的相似程度[3]。孿生神經(jīng)網(wǎng)絡(luò)可以用于小樣本或單樣本的學(xué)習(xí)問題。

近年來,遷移學(xué)習(xí)的研究一直是機(jī)器學(xué)習(xí)領(lǐng)域的熱點,遷移學(xué)習(xí)旨在解決傳統(tǒng)機(jī)器學(xué)習(xí)方法在遇到樣本數(shù)量不足、缺乏標(biāo)注等情況時的局限性,是一個非常有前途和實用價值的研究方向[4]。因此本文嘗試通過遷移學(xué)習(xí)技術(shù),借助其他時間序列數(shù)據(jù)集作為源域,將學(xué)習(xí)到的知識遷移到火箭相似度比較的任務(wù)中。在完全不相似的兩個領(lǐng)域進(jìn)行遷移學(xué)習(xí),屬于遠(yuǎn)領(lǐng)域遷移學(xué)習(xí)問題,楊強團(tuán)隊[5]在2017年首次提出了這一概念,并借助傳遞式遷移學(xué)習(xí)的方法利用中間域?qū)崿F(xiàn)了用人臉數(shù)據(jù)集識別飛機(jī)的效果。

在基于圖像的目標(biāo)檢測和識別方面,研究者已經(jīng)認(rèn)識到較淺的二維卷積層提取出的特征往往是通用的低水平的特征,而較深的卷積層提取的特征失去了一般性,更針對特定的任務(wù)[6]。與圖像類似,對時間序列使用多層的一維卷積也具有相同的原理。針對時間序列進(jìn)行遷移學(xué)習(xí)的研究相比于圖像方面少很多。Hassan等人[7]在UCR數(shù)據(jù)集上進(jìn)行了大量的實驗,將其中85個數(shù)據(jù)集兩兩相互組成源域和目標(biāo)域,在源域上訓(xùn)練模型,然后在目標(biāo)域上微調(diào)模型并識別,比較模型遷移和不遷移的性能差異,結(jié)果表明遷移學(xué)習(xí)可以提高預(yù)測的準(zhǔn)確率,但是與所選擇的源數(shù)據(jù)集有關(guān),從某些數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)反而會達(dá)到相反的效果。

本文首先建立了一個孿生神經(jīng)網(wǎng)絡(luò),其子網(wǎng)絡(luò)采用多個一維卷積層堆疊而成,利用UCR中的數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練；然后從火箭序列中每一類別選擇一個序列,兩兩組成序列對組成訓(xùn)練樣本,對網(wǎng)絡(luò)進(jìn)行遷移和微調(diào)。在實驗部分,使用本方法得到了火箭輻射強度序列之間的相似度,并比較了UCR中部分?jǐn)?shù)據(jù)集的訓(xùn)練情況和遷移效果,最終的識別結(jié)果與傳統(tǒng)的相似度比較算法進(jìn)行了比較。

2 數(shù)據(jù)集介紹

2.1 箭尾噴焰輻射序列

本文所采用的火箭助推段尾噴焰表觀總輻射強度序列,分為實測數(shù)據(jù)和仿真數(shù)據(jù)兩部分,分別來自文獻(xiàn)[8]和文獻(xiàn)[9]:其中實測數(shù)據(jù)包含4型,分別為3條Thor ICBM序列、2條Titan II ICBM序列、1條Titan IIIB以及1條Titan IIIC序列,分別如圖1(a)、(b)、(c)所示；仿真數(shù)據(jù)包含1型,為3條Atlas II序列,如圖1(d)所示。圖中的縱坐標(biāo)軸輻射強度以對數(shù)坐標(biāo)的形式給出。為了統(tǒng)一采樣時間間隔,以及提高數(shù)據(jù)率,采用保形分段三次插值對數(shù)據(jù)進(jìn)行加密,時間間隔統(tǒng)一為0.1 s。

圖1 5型火箭尾噴焰紅外輻射強度隨時間變化的序列

實測數(shù)據(jù)均來自美國導(dǎo)彈探測和警報系統(tǒng)(Missile Detection and Alarm System,MIDAS),星載短波紅外傳感器的波段為2.65～2.80 μm。仿真數(shù)據(jù)的飛行軌跡、環(huán)境參數(shù)、仿真方法等均完全相同,唯一的不同在于設(shè)定的傳感器響應(yīng)波段。

雖然能夠收集到的數(shù)據(jù)很少,對于機(jī)器學(xué)習(xí)問題屬于單樣本學(xué)習(xí)的范疇,但是這些少量的輻射強度序列數(shù)據(jù)也能夠反映火箭尾噴焰紅外輻射的很多特性?？傮w來說,火箭的發(fā)動機(jī)類型、飛行高度和速度、大氣透過率、觀測視向角、傳感器特性等都是影響測量到的紅外輻射強度序列的重要因素,這種多元的、非線性的映射也使我們難以對目標(biāo)和環(huán)境特性等先驗知識建模,得到識別問題的解析解。因此本文不考慮目標(biāo)特性先驗知識,將其作為一個針對時間序列的分類任務(wù)。

2.2 UCR數(shù)據(jù)集

UCR數(shù)據(jù)集最早由加州大學(xué)河濱分校在2002年建立,是一個時間序列數(shù)據(jù)集的集合,并且持續(xù)進(jìn)行擴(kuò)充,到2018年為止已經(jīng)包含了128個數(shù)據(jù)集,涵蓋了醫(yī)學(xué)數(shù)據(jù)處理、行為識別等領(lǐng)域,成為時間序列分類算法進(jìn)行性能比較的標(biāo)準(zhǔn)數(shù)據(jù)集[10]。

UCR數(shù)據(jù)集被廣泛應(yīng)用于時間序列數(shù)據(jù)挖掘的研究,針對時間序列進(jìn)行分類的算法中,一般將動態(tài)時間規(guī)整(Dynamic Time Warping,DTW)算法作為性能度量的基準(zhǔn)[11]。

3 模型和訓(xùn)練

3.1 一維全卷積特征提取網(wǎng)絡(luò)

本文將UCR集合中的部分?jǐn)?shù)據(jù)集作為源領(lǐng)域數(shù)據(jù)集,所以可直接采用文獻(xiàn)[5]中的一維全卷積網(wǎng)絡(luò)結(jié)構(gòu),并使用其經(jīng)過預(yù)訓(xùn)練的權(quán)重。

該網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示,輸入層的尺寸是(batch_size,sequcence_length,feature_dim),由于UCR數(shù)據(jù)集和火箭數(shù)據(jù)均為單變量的時間序列,所以此處特征維度均為1。輸入樣本依次經(jīng)過3個堆疊的一維卷積層,濾波器數(shù)量即輸出空間的維度分別為128、256、128,卷積核尺寸分別為8、5、3,步長均為1,在序列的時間維度上滑動執(zhí)行卷積操作。每個卷積層后均跟隨一個批歸一化層和relu激活函數(shù)。經(jīng)過3個卷積層后,輸入樣本被映射至高維度的隱空間中。為了能夠適應(yīng)不同長度的時間序列,對高維特征執(zhí)行一個全局平均池化操作,沿時間維度對特征進(jìn)行壓縮,得到相同維度的特征,便于后續(xù)分類或相似度比較。

圖2 一維全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖

圖2中網(wǎng)絡(luò)最后的全連接層和softmax層是為了分類任務(wù)而設(shè)計的,為了適配本文整體的相似度比較網(wǎng)絡(luò),只截取圖中網(wǎng)絡(luò)的特征提取部分,即輸入層至全局平均池化層,作為孿生神經(jīng)網(wǎng)絡(luò)的主體結(jié)構(gòu)。

3.2 孿生神經(jīng)網(wǎng)絡(luò)

網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,兩個輸入序列分別經(jīng)過相同權(quán)重和偏置的一維全卷積網(wǎng)絡(luò)后,得到高維度特征,然后計算它們之間的L1距離(Manhattan Distance)[12]:

(1)

其中,p和q分別為兩個輸入序列對應(yīng)的特征,維度為N=128。兩個特征的距離經(jīng)過一個激活函數(shù)為sigmoid的全連接層,將其映射為p∈[0,1],以概率值的形式表示兩個輸入序列的相似度:p=0表示兩個輸入序列完全不相似(不同類別),p=1表示非常相似(相同類別)。

模型的損失函數(shù)使用二值交叉熵:

log(1-p)]+λ‖w‖2

(2)

式中,N為樣本數(shù);t∈{0,1}為訓(xùn)練數(shù)據(jù)的標(biāo)簽;0表示不同類別;1表示相同類別；第二項為參數(shù)L2距離的正則項。

圖3 孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.3 訓(xùn)練過程

模型的訓(xùn)練共分兩個階段。第一階段在UCR數(shù)據(jù)集上對孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第二階段在火箭輻射強度序列數(shù)據(jù)上進(jìn)行訓(xùn)練。

在第一階段,利用文獻(xiàn)[7]中提供的UCR數(shù)據(jù)集的模型預(yù)訓(xùn)練權(quán)重。首先如第3.1小節(jié)所述,建立與文獻(xiàn)中完全相同的一維全卷積網(wǎng)絡(luò),加載UCR集合中某個數(shù)據(jù)集的所有預(yù)訓(xùn)練權(quán)重,然后刪除不需要的全連接層,根據(jù)第3.2小節(jié)所述構(gòu)建完整的孿生神經(jīng)網(wǎng)絡(luò)。

4 結(jié)果與分析

在UCR集合中選擇了3個數(shù)據(jù)集,分別為Car、Trace和OliveOil,作為遷移學(xué)習(xí)的源域數(shù)據(jù)集?；拘畔⑷绫?所示。在第一個訓(xùn)練階段,比較預(yù)訓(xùn)練權(quán)重對孿生神經(jīng)網(wǎng)絡(luò)在源域訓(xùn)練結(jié)果的影響。分別在隨機(jī)初始化權(quán)重和使用預(yù)訓(xùn)練權(quán)重的情況下進(jìn)行訓(xùn)練孿生神經(jīng)網(wǎng)絡(luò),提高預(yù)測數(shù)據(jù)集中序列相似度的能力。

表1 UCR集合中3個數(shù)據(jù)集的基本信息

圖4和圖5分別展示了兩種情況下50輪內(nèi)的訓(xùn)練集和驗證集的準(zhǔn)確率?？梢钥闯?預(yù)訓(xùn)練權(quán)重對不同數(shù)據(jù)集的效果不同。對于Car和Trace兩個數(shù)據(jù)集的影響不大,特別是Trace數(shù)據(jù)集的收斂效果較好。模型在Car數(shù)據(jù)集上均出現(xiàn)了過擬合。兩種情況下的模型訓(xùn)練情況在OliveOil數(shù)據(jù)集上產(chǎn)生了顯著差異,在不加載預(yù)訓(xùn)練權(quán)重直接訓(xùn)練的情況下,孿生神經(jīng)網(wǎng)絡(luò)的損失無法下降,導(dǎo)致無法收斂。

圖4 不使用預(yù)訓(xùn)練權(quán)重時的準(zhǔn)確率變化

圖5 使用預(yù)訓(xùn)練權(quán)重時的準(zhǔn)確率變化

接下來對第二個訓(xùn)練階段中遷移學(xué)習(xí)的影響進(jìn)行分析。以Car數(shù)據(jù)集作為源域為例,測試集的火箭輻射強度序列的相似度如表2和表3所示,Thor的第1條數(shù)據(jù)簡寫為Thor-1。此時的訓(xùn)練集為每個類別的第1條序列,訓(xùn)練數(shù)據(jù)對應(yīng)的相似度(如Thor-1和TitanII-1)已經(jīng)從表中刪除。在這個案例中,不利用Car數(shù)據(jù)集的預(yù)訓(xùn)練權(quán)重時,孿生網(wǎng)絡(luò)已經(jīng)能夠正確識別火箭,但是不同類別和相同類別對應(yīng)的相似度差異不大,區(qū)分度不大。表3中利用Car數(shù)據(jù)集在孿生數(shù)據(jù)網(wǎng)絡(luò)中的預(yù)訓(xùn)練權(quán)重,然后通過少量火箭數(shù)據(jù)對模型進(jìn)行微調(diào),得到了更好的序列相似度度量的性能。

表2 無遷移學(xué)習(xí)下的不同輻射強度序列的相似度

表3 遷移學(xué)習(xí)下不同輻射強度序列的相似度

為了比較模型的總體性能,與經(jīng)典的DTW算法進(jìn)行對比。DTW算法基于路徑動態(tài)規(guī)劃的原理,不需要訓(xùn)練,可以計算不同長度的兩條序列之間的距離,距離越小表示相似度越高。DTW算法的結(jié)果如表2所示。對于每條待比較序列,計算與其他所有序列的距離,如果距離最小序列的標(biāo)簽與待比較序列標(biāo)簽相同,則標(biāo)記正確；否則標(biāo)記錯誤。最后統(tǒng)計所有待比較序列的平均正確率。由表2可知DTW算法對Thor和Titan II兩類火箭無法正確區(qū)分。

最后,根據(jù)交叉驗證的思想,遍歷所有的訓(xùn)練集和測試集劃分可能,對模型的平均識別正確率進(jìn)行驗證。從每個類別中選擇一個組成訓(xùn)練集,共18種劃分方式。對每個劃分進(jìn)行訓(xùn)練和測試,得到正確率。最后統(tǒng)計所有劃分的平均正確率。DTW算法和孿生神經(jīng)網(wǎng)絡(luò)的平均正確率如表2所示。

表4 DTW算法下不同輻射強度序列的距離

表5 不同方法的識別正確率

可以看出,不經(jīng)過任何預(yù)訓(xùn)練的孿生神經(jīng)網(wǎng)絡(luò)已經(jīng)可以得到較高的準(zhǔn)確率。經(jīng)過Car數(shù)據(jù)集的預(yù)訓(xùn)練,模型的性能得到了微小的提升；經(jīng)過Trace數(shù)據(jù)集的預(yù)訓(xùn)練,模型的性能提升顯著,能夠很好地通過輻射強度序列完成對火箭的識別；而OliveOil數(shù)據(jù)集對模型產(chǎn)生了負(fù)遷移效果。這個結(jié)果支持了前面對第一階段訓(xùn)練情況的分析,結(jié)論是不同的數(shù)據(jù)集在孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下的表現(xiàn)不同,遷移效果不同,這可能與數(shù)據(jù)集本身的特性或文獻(xiàn)中的預(yù)訓(xùn)練權(quán)重有關(guān)。通過上面的實驗結(jié)果可知,我們能夠從UCR集合中找到某些數(shù)據(jù)集,使得它對于訓(xùn)練一個用于比較相似度的孿生神經(jīng)網(wǎng)絡(luò)起到積極的作用,提高識別正確率。

5 結(jié) 語

本文建立的用于比較序列相似度的孿生神經(jīng)網(wǎng)絡(luò),在星載紅外傳感器識別火箭的任務(wù)中取得了較好的結(jié)果。通過遷移某些其他時間序列數(shù)據(jù)集的知識,可以進(jìn)一步提高模型的性能,對火箭輻射強度序列的相似性度量效果更好。本模型對于解決極少量數(shù)據(jù)下的時間序列分類問題有一定的借鑒意義。

此外,對于給定的目標(biāo)域,源域數(shù)據(jù)集的選擇方法一直是遷移學(xué)習(xí)領(lǐng)域需要解決的問題。如何設(shè)計一種能夠比較不同數(shù)據(jù)集之間相似度的算法,借此選擇合適的源域數(shù)據(jù)集以取得較好的遷移效果,是值得研究的方向。