基于自注意力機(jī)制和CNN-LSTM的空戰(zhàn)目標(biāo)機(jī)動(dòng)軌跡預(yù)測(cè)

李戰(zhàn)武,張 帥,喬英峰,王 強(qiáng),姜 勇,張 飛

(1.空軍工程大學(xué) 航空工程學(xué)院, 西安 710038;2.93066部隊(duì), 黑龍江 牡丹江 157000)

0 引言

空戰(zhàn)中,機(jī)載傳感器、指揮平臺(tái)、數(shù)據(jù)鏈等實(shí)時(shí)傳輸目標(biāo)狀態(tài)信息,如能預(yù)測(cè)目標(biāo)機(jī)動(dòng)軌跡,將對(duì)我方提前形成優(yōu)勢(shì)占位、創(chuàng)造開(kāi)火條件產(chǎn)生重要影響。軌跡預(yù)測(cè)廣泛應(yīng)用于民航交通管理(ATM)[1-2]、船舶軌跡預(yù)測(cè)[3]、導(dǎo)彈軌跡預(yù)測(cè)[4]、行人軌跡預(yù)測(cè)[5],航路規(guī)劃[6]。空戰(zhàn)中,如果能對(duì)目標(biāo)下一時(shí)刻或下一時(shí)間段的軌跡進(jìn)行預(yù)測(cè),將有利于我方飛行員進(jìn)行實(shí)時(shí)態(tài)勢(shì)感知和對(duì)敵作戰(zhàn)意圖進(jìn)行分析。

目標(biāo)機(jī)動(dòng)軌跡預(yù)測(cè)的一種方法是應(yīng)用濾波算法、線性擬合等方法結(jié)合飛機(jī)運(yùn)動(dòng)學(xué)模型進(jìn)行預(yù)測(cè),王超等[7]按照不同飛行階段特點(diǎn)構(gòu)造三維剖面,擬合生成完整的4D軌跡。文獻(xiàn)[8]采用隨機(jī)非線性混合系統(tǒng)對(duì)飛機(jī)進(jìn)行動(dòng)力學(xué)建模,為解決模型的非高斯性質(zhì)采用了粒子濾波的方法,為貝葉斯網(wǎng)絡(luò)提供數(shù)值解。Zhao等[9]針對(duì)模型預(yù)測(cè)帶來(lái)的線性化誤差,提出了一種基于配置法的非線性預(yù)測(cè)模型,既滿足了誤差要求又確保了實(shí)時(shí)性要求。喬少杰等[10]提出了一種基于動(dòng)態(tài)卡爾曼濾波的動(dòng)態(tài)估計(jì)預(yù)測(cè)方法,較傳統(tǒng)的軌跡預(yù)測(cè)方法提高了精度。謝麗等[11]提出了交互式多模型的濾波算法,并且在文章中證明了改進(jìn)算法的有效性。黃景帥等[12]為了適應(yīng)目標(biāo)靈活多樣的機(jī)動(dòng)模式,基于正交性原理和無(wú)跡卡爾曼濾波算法實(shí)現(xiàn)了模型中機(jī)動(dòng)頻率參數(shù)的自適應(yīng)。Wang等[13]將動(dòng)態(tài)測(cè)量與灰色系統(tǒng)理論相結(jié)合,該方法誤差是卡爾曼濾波法的1/5。Zhang等[14]建立了目標(biāo)的動(dòng)力學(xué)模型,而后用貝葉斯推理和蒙特卡洛方法實(shí)現(xiàn)了對(duì)彈道的預(yù)測(cè)。上述目標(biāo)機(jī)動(dòng)軌跡預(yù)測(cè)方法在運(yùn)動(dòng)特性相對(duì)簡(jiǎn)單、相對(duì)平穩(wěn)目標(biāo)上能起到較好的效果,但是空戰(zhàn)過(guò)程中,目標(biāo)的機(jī)動(dòng)較大,且存在很多的不確定性,無(wú)法建立完備的、與運(yùn)動(dòng)特點(diǎn)相適應(yīng)的運(yùn)動(dòng)學(xué)模型,導(dǎo)致模型的適用性差、預(yù)測(cè)誤差大。

另一種目標(biāo)機(jī)動(dòng)軌跡預(yù)測(cè)方法是利用智能算法進(jìn)行相應(yīng)的優(yōu)化。李戰(zhàn)武等[15]利用改進(jìn)的蝙蝠算法優(yōu)化Volterra泛函級(jí)數(shù)軌跡進(jìn)行預(yù)測(cè),并且針對(duì)不同的預(yù)測(cè)問(wèn)題得出最佳的截?cái)嚯A數(shù)。謝磊等[16]利用自適應(yīng)增強(qiáng)的粒子群優(yōu)化LSTM的算法來(lái)預(yù)測(cè)無(wú)人機(jī)機(jī)動(dòng)軌跡。王新等[17]在Elman神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)中引入時(shí)間收益因子,對(duì)三維坐標(biāo)分別進(jìn)行預(yù)測(cè)。張宏鵬等[18]基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)無(wú)人作戰(zhàn)飛機(jī)飛行軌跡進(jìn)行預(yù)測(cè),解決了原始動(dòng)力學(xué)模型不能正確仿真滾轉(zhuǎn)角有偏差的筋斗機(jī)動(dòng)的弊端。Qiao等[19]通過(guò)分析隱馬爾可夫模型的缺點(diǎn),提出了一種自適應(yīng)參數(shù)選擇算法HMTP*,可以獲取預(yù)測(cè)所需參數(shù),提高了預(yù)測(cè)效率。上述方法達(dá)到了預(yù)期的效果,但是在應(yīng)用的過(guò)程中對(duì)數(shù)據(jù)的類型要求相對(duì)比較嚴(yán)格,沒(méi)有考慮目標(biāo)多維狀態(tài)信息對(duì)目標(biāo)軌跡預(yù)測(cè)的影響,也未發(fā)掘出反映目標(biāo)狀態(tài)的時(shí)序信息之間的內(nèi)在關(guān)系。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)等深度學(xué)習(xí)模型廣泛應(yīng)用于自然語(yǔ)言處理[20]、時(shí)間序列處理[21]領(lǐng)域。針對(duì)目標(biāo)軌跡預(yù)測(cè)過(guò)程中建立運(yùn)動(dòng)學(xué)模型困難和容易忽略目標(biāo)狀態(tài)信息的問(wèn)題,本文中提出了自注意力機(jī)制(self-attention,ATT)和CNN-LSTM結(jié)合的深度學(xué)習(xí)模型,既能充分利用目標(biāo)的速度、高度、方位、距離等多維狀態(tài)信息,也能挖掘出目標(biāo)時(shí)序狀態(tài)信息之間隱含的內(nèi)在聯(lián)系。首先,利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)狀態(tài)信息進(jìn)行特征提取,將得到的結(jié)果轉(zhuǎn)型后輸入對(duì)長(zhǎng)時(shí)間序列處理能力更強(qiáng)的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)中,挖掘數(shù)據(jù)的時(shí)序特征;在輸出層前接入自注意力模塊,突出全局時(shí)序數(shù)據(jù)的特征,反映出目標(biāo)在進(jìn)行不同機(jī)動(dòng)動(dòng)作時(shí)數(shù)據(jù)特征的重要情況,從而達(dá)到目標(biāo)在做不同機(jī)動(dòng)時(shí)對(duì)目標(biāo)軌跡的預(yù)測(cè)能力。最后,通過(guò)輸出層將預(yù)測(cè)結(jié)果輸出。本文采用了文獻(xiàn)[17]中的整體法進(jìn)行預(yù)測(cè),同時(shí)本文還驗(yàn)證了模型對(duì)目標(biāo)多步軌跡預(yù)測(cè)的結(jié)果。

1 空戰(zhàn)數(shù)據(jù)分析與預(yù)處理

1.1 空戰(zhàn)數(shù)據(jù)分析

空戰(zhàn)中,機(jī)載傳感器、指揮平臺(tái)、數(shù)據(jù)鏈傳輸了大量的目標(biāo)信息,包括目標(biāo)的敵我屬性、方位、速度、高度、距離等靜態(tài)數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)、指令數(shù)據(jù),屬多層次時(shí)間序列[22]。

1.2 數(shù)據(jù)集構(gòu)建

輸入數(shù)據(jù)需包含樣本和標(biāo)簽,為保證和采集數(shù)據(jù)頻率一致,時(shí)間步長(zhǎng)設(shè)置為50,單步預(yù)測(cè)數(shù)據(jù)集構(gòu)建如圖1所示。

圖1中,利用T-49到T時(shí)刻的多維的特征數(shù)據(jù)來(lái)預(yù)測(cè)T+1時(shí)刻的標(biāo)簽數(shù)據(jù),采取滑動(dòng)窗口的方式,以保證在時(shí)間上的連續(xù)。

1.3 數(shù)據(jù)歸一化與反歸一化

為避免各特征數(shù)據(jù)量綱的不同對(duì)預(yù)測(cè)數(shù)據(jù)產(chǎn)生影響、加快模型的訓(xùn)練和收斂速度、防止出現(xiàn)過(guò)擬合,對(duì)數(shù)據(jù)進(jìn)行了歸一化處理,歸一化方法如式(1)所示。

式中:x′為歸一化后的數(shù)據(jù);xmin、xmax為特征數(shù)據(jù)的最小值、最大值。

反歸一化方法,如式(2)所示。

y'=y(ymax-ymin)+ymin

(2)

2 模型構(gòu)建

2.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)主要由卷積層、池化層、全連接層組成,各層的數(shù)量可以根據(jù)模型需要進(jìn)行調(diào)整。單通道的CNN(Conv2D)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)

卷積層:用來(lái)提取時(shí)間序列的特征。卷積層在局部感知、權(quán)值共享、空間不變性上有很大的優(yōu)點(diǎn)。

池化層:卷積運(yùn)算后數(shù)據(jù)維數(shù)較大,為防止過(guò)擬合,包括最大池化(max pool)和平均池化(mean pool)。

全連接層:將得到的特征進(jìn)行映射,傳遞給具體的分類器進(jìn)行分類或回歸處理。

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)

長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)[23]通過(guò)門控解決了在處理長(zhǎng)時(shí)間序列時(shí)易出現(xiàn)梯度爆炸和梯度消失[24]的問(wèn)題,可以對(duì)有價(jià)值的信息進(jìn)行長(zhǎng)期記憶,減小了網(wǎng)絡(luò)的學(xué)習(xí)難度。

LSTM通過(guò)遺忘門、輸入門、輸出門控制神經(jīng)元狀態(tài)。神經(jīng)元結(jié)構(gòu)如圖3所示。

圖3 LSTM神經(jīng)元結(jié)構(gòu)

遺忘門:對(duì)T-1時(shí)刻狀態(tài)選擇性“忘記”。fT如式(3)所示。

fT=σ(Wf·[hT-1,XT]+bf)

(3)

式中:σ為激活函數(shù);Wf為權(quán)重;bf為偏置量。

iT=σ(Wi·[hT-1,XT]+bi)

(4)

式中:Wi、WC為權(quán)重;bi、bC為偏置量;tanh為激活函數(shù)。

輸出門:輸出當(dāng)前時(shí)刻確定輸出的信息。oT、hT表達(dá)式如式(7)、(8)所示。

oT=σ(Wo·[ht-1,XT]+bo)

(7)

hT=oT*tanh(CT)

(8)

式中:Wo為權(quán)重;bo為偏置量。

2.3 自注意力機(jī)制(self-attention)

自注意力機(jī)制(self-attention)[25]是Transformer模型中重要組成部分。文獻(xiàn)[26]介紹了其與RNN的關(guān)系,不僅可以并行運(yùn)算,在計(jì)算過(guò)程中還充分考慮了不同輸入之間存在的內(nèi)部關(guān)系,可以提高預(yù)測(cè)的準(zhǔn)確率。

自注意力機(jī)制利用數(shù)據(jù)特征內(nèi)部固有的信息進(jìn)行注意力的交互,通過(guò)Input與Input計(jì)算查詢向量Q(Query)、鍵向量K(Key)和值向量V(Value),計(jì)算過(guò)程如式(9)所示。自注意力機(jī)制結(jié)構(gòu)如圖4所示。

圖4 自注意力機(jī)制結(jié)構(gòu)

式中:dk為K的維度,目的是對(duì)Q與K點(diǎn)乘后數(shù)值進(jìn)行放縮。

2.4 CNN-LSTM-ATT軌跡預(yù)測(cè)模型

空戰(zhàn)中,目標(biāo)軌跡預(yù)測(cè)受多種因素影響,時(shí)間序列間存在相互關(guān)聯(lián)成分。引入CNN模型,對(duì)輸入的多維序列數(shù)據(jù)進(jìn)行特征提取,挖掘各維度數(shù)據(jù)相互關(guān)系,將經(jīng)特征提取的時(shí)間序列作為L(zhǎng)STM輸入,構(gòu)建CNN-LSTM預(yù)測(cè)模型。自注意力機(jī)制(ATT)能很好的解決CNN-LSTM網(wǎng)絡(luò)只能單一的從T到T+1時(shí)刻的順序式的訓(xùn)練過(guò)程,通過(guò)挖掘全部時(shí)間序列中每一時(shí)刻信息的重要度,保證全部時(shí)間序列中各個(gè)特征維度內(nèi)部特征的關(guān)聯(lián),保證了目標(biāo)在不同時(shí)刻、做不同機(jī)動(dòng)特別是進(jìn)行較大機(jī)動(dòng)時(shí)的強(qiáng)預(yù)測(cè)能力。構(gòu)建的CNN-LSTM-ATT模型結(jié)構(gòu)如圖5所示。

圖5 CNN-LSTM-ATT模型結(jié)構(gòu)

3 仿真試驗(yàn)

3.1 數(shù)據(jù)集劃分

數(shù)據(jù)集采樣頻率50 Hz,共19 000條數(shù)據(jù),按6∶2∶2比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,數(shù)據(jù)集的目標(biāo)機(jī)動(dòng)軌跡劃分如圖6所示。

圖6 目標(biāo)機(jī)動(dòng)軌跡劃分

3.2 模型參數(shù)設(shè)置

在仿真中運(yùn)用Python語(yǔ)言,專業(yè)版Pycharm,TF2.1深度學(xué)習(xí)框架。模型訓(xùn)練超參數(shù)設(shè)置如表1所示。

表1 模型超參數(shù)

3.3 目標(biāo)軌跡預(yù)測(cè)步驟

劃分好的訓(xùn)練數(shù)據(jù),輸入深度學(xué)習(xí)模型,利用實(shí)時(shí)可視化工具Tensorboard觀察訓(xùn)練集Loss值和測(cè)試集Loss值,判斷模型擬合并滿足精度后保存模型,而后進(jìn)行預(yù)測(cè),輸出結(jié)果。軌跡預(yù)測(cè)流程如圖7所示。

圖7 軌跡預(yù)測(cè)流程

3.4 目標(biāo)機(jī)動(dòng)軌跡預(yù)測(cè)

3.4.1目標(biāo)機(jī)動(dòng)軌跡單步預(yù)測(cè)

仿真中,首先進(jìn)行目標(biāo)軌跡的單步預(yù)測(cè),即只進(jìn)行目標(biāo)下一時(shí)刻軌跡的預(yù)測(cè),模型收斂情況如圖8所示。

圖8 模型收斂情況

圖8中,觀察Loss值,訓(xùn)練集在第8輪已經(jīng)收斂,同時(shí)驗(yàn)證集在14輪也能夠收斂,構(gòu)建的模型已經(jīng)擬合。

在對(duì)目標(biāo)機(jī)動(dòng)軌跡進(jìn)行預(yù)測(cè)時(shí),與CNN-LSTM、LSTM模型進(jìn)行了對(duì)比分析。X、Y、Z軸以及三維軌跡對(duì)比結(jié)果如圖9—圖12所示。

圖10 預(yù)測(cè)軌跡Y軸對(duì)比

從圖9—圖12可以看出,3種模型對(duì)目標(biāo)的預(yù)測(cè)軌跡與實(shí)際軌跡保持了相同的趨勢(shì),但是本文中構(gòu)建的模型對(duì)目標(biāo)軌跡單步預(yù)測(cè)精度更高,并且隨著預(yù)測(cè)時(shí)刻的增加也表現(xiàn)出了良好的性能。圖9—圖11中的子圖可以看出,目標(biāo)在做機(jī)動(dòng)時(shí)(X、Y、Z數(shù)值變化劇烈),模型也能夠保持較小的誤差,并且優(yōu)于LSTM和CNN-LSTM模型,體現(xiàn)了自注意力機(jī)制在不同時(shí)刻的特征提取能力從而提高預(yù)測(cè)性能。

圖11 預(yù)測(cè)軌跡Z軸對(duì)比

圖12 預(yù)測(cè)軌跡三維對(duì)比

3.4.2目標(biāo)機(jī)動(dòng)軌跡5步預(yù)測(cè)

空戰(zhàn)態(tài)勢(shì)瞬息萬(wàn)變且傳輸數(shù)據(jù)存在誤差,對(duì)目標(biāo)的單步預(yù)測(cè)可能滿足不了作戰(zhàn)需要,所以本文對(duì)目標(biāo)軌跡進(jìn)行了5步預(yù)測(cè),結(jié)果如圖13所示。

圖13 目標(biāo)機(jī)動(dòng)軌跡5步預(yù)測(cè)

圖13中,在對(duì)目標(biāo)進(jìn)行5步預(yù)測(cè)時(shí),3種預(yù)測(cè)模型會(huì)隨著時(shí)間點(diǎn)的積累而出現(xiàn)累計(jì)誤差,本文中的模型不僅保證了較小的累積誤差,還保證了在目標(biāo)進(jìn)行機(jī)動(dòng)時(shí)較小的誤差,在多步預(yù)測(cè)的結(jié)果上明顯優(yōu)于CNN-LSTM和LSTM模型。

3.5 模型的評(píng)價(jià)指標(biāo)

3.5.1評(píng)價(jià)指標(biāo)選取

深度模型預(yù)測(cè)中經(jīng)常采用均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)、平均絕對(duì)百分比誤差(MAPE)評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)模型的預(yù)測(cè)能力和模型的穩(wěn)定性。計(jì)算方法如式(10)—式(12)所示。

式中:Pi表示i時(shí)刻預(yù)測(cè)的值;Ri表示與Pi相對(duì)應(yīng)的真實(shí)值;n表示預(yù)測(cè)的時(shí)序點(diǎn)個(gè)數(shù)。

3.5.2模型評(píng)價(jià)指標(biāo)計(jì)算

在進(jìn)行模型評(píng)價(jià)指標(biāo)計(jì)算時(shí)是對(duì)X、Y、Z軸分別進(jìn)行計(jì)算。表2、表3計(jì)算出了單步預(yù)測(cè)和5步預(yù)測(cè)各模型的評(píng)價(jià)指標(biāo)。

表2 單步預(yù)測(cè)各模型評(píng)價(jià)指標(biāo)數(shù)值

表3 5步預(yù)測(cè)各模型評(píng)價(jià)指標(biāo)數(shù)值

從仿真圖9—圖13和模型評(píng)價(jià)指標(biāo)表2、表3可以看出,模型在進(jìn)行目標(biāo)機(jī)動(dòng)軌跡的單步預(yù)測(cè)和5步預(yù)測(cè)的過(guò)程中,評(píng)價(jià)指標(biāo)均優(yōu)于CNN-LSTM和LSTM模型,特別是在進(jìn)行目標(biāo)多步預(yù)測(cè)時(shí),模型仍能保持較優(yōu)的評(píng)價(jià)指標(biāo),體現(xiàn)出了模型對(duì)長(zhǎng)時(shí)間序列的預(yù)測(cè)能力和穩(wěn)定性。

4 結(jié)論

1) CNN-LSTM-ATT模型進(jìn)行目標(biāo)軌跡預(yù)測(cè)時(shí),訓(xùn)練集Loss和驗(yàn)證集Loss均能夠可靠、快速收斂,滿足模型使用需求。

2) 從模型評(píng)估中可以看出,評(píng)價(jià)指標(biāo)數(shù)值上均優(yōu)于CNN-LSTM和LSTM模型。

3) 在對(duì)目標(biāo)軌跡進(jìn)行預(yù)測(cè),特別是做機(jī)動(dòng)動(dòng)作時(shí)自注意力機(jī)制能夠發(fā)揮其遠(yuǎn)距離學(xué)習(xí)、提高局部注意力的能力,從而保證機(jī)動(dòng)時(shí)目標(biāo)軌跡預(yù)測(cè)的精度。

4) 在進(jìn)行目標(biāo)的多步預(yù)測(cè)上,本文的模型誤差隨著步數(shù)的增加增長(zhǎng)很小,不會(huì)出現(xiàn)誤差快速積累的情況。