張百川,畢文豪,張安,毛澤銘,楊咪
西北工業(yè)大學 航空學院,西安 710072
空戰(zhàn)中的軌跡預測是根據目標飛行器的運動特性和歷史運動軌跡,對未來時刻飛行器可能到達的位置進行合理計算的過程。在信息化戰(zhàn)場環(huán)境下的空戰(zhàn)中,準確的軌跡預測結果能夠為戰(zhàn)術決策提供可靠的數據支撐。由包以德(Observation, Orientation, Decision and Action,OODA)循環(huán)理論可知,空戰(zhàn)中取得優(yōu)勢的關鍵在于比對手更快地形成連續(xù)的OODA 循環(huán)[1],從而達到“料敵于先,先發(fā)制人”的目的。優(yōu)秀的軌跡預測能力能夠使攻擊機更快地完成“觀察”過程,提前進入“判斷”階段,在空戰(zhàn)中迅速建立優(yōu)勢。因此,研究目標飛行器的軌跡預測算法對取得空中優(yōu)勢具有重要意義。
為了提高目標飛行器的飛行軌跡預測精度,國內外學者針對上述問題進行了大量研究。一部分學者對軌跡預測算法進行了深入優(yōu)化,其研究成果可大致分為2 類[2]。
第1 類是知識驅動的預測算法,這類算法需要結合預測目標的運動模型,對未來時刻目標的運動狀態(tài)進行最優(yōu)估計,適用于有限維度的線性和非線性的目標時空運動軌跡[3-5]。例如,文獻[6]針對長時預測問題,提出了一種基于高斯混合模型(Gaussian Mixture Models,GMMs)的車輛軌跡預測算法。文獻[7]通過分析臨近空間高超聲速目標的機動特性,建立了參數化的目標機動模型,并基于機動模型提出了可學習卡爾曼濾波軌跡預測方法。然而,上述知識驅動的軌跡預測算法在實際應用中仍存在一定的局限性。首先,目標飛行器的動力學方程或運動方程參數通常需要結合計算流體力學或風洞實驗獲得,而上述參數在實際的空戰(zhàn)場景中難以獲取。其次,機載雷達難以準確地捕獲到目標飛行器的姿態(tài)信息,在飛行器運動模型的基礎上所計算出的未來軌跡信息的可信度較低。
第2 類是以深度學習算法為代表的數據驅動的預測算法研究[8-10]。這類算法擺脫了飛行器運動模型的局限,能夠結合大量歷史數據建立目標機的軌跡預測模型。在更多情況下,循環(huán)神經網絡(Recurrent Neural Network,RNN)及其衍生模型能夠更好地處理序列型預測任務。文獻[8]在戰(zhàn)場空間柵格中添加了模糊機制,并結合長短時記憶(Long Short-Term Memory,LSTM)網絡提出了一種飛行器軌跡預測方法,一定程度上解決了柵格預測模式中邊界突變的問題,并同時對飛行器的運動模式加以考慮。文獻[9]將軌跡預測問題視為序列對序列的生成問題,通過結合RNN 和混合密度神經網絡(Mixture Density Network,MDN)對駕駛員進行分析,對未來時刻軌跡的概率分布進行了計算。文獻[11]結合了卷積神經網絡(Convolutional Neural Network, CNN) 與LSTM 網絡實現(xiàn)了民航飛行器的4-D 軌跡預測。盡管基于RNN 及其衍生模型的方法在軌跡預測任務中取得了較為優(yōu)秀的表現(xiàn),但依然存在計算資源消耗大、數據特征損耗嚴重等問題。除此之外,上述端到端(End To End)的方法由于過于依賴完備的數據集和訓練技巧,難以應對序列預測任務中的復雜多變的場景。
基于上述原因,另一部分學者將預測任務拆分成基準值預測和誤差補償2 個階段。例如文獻[12]采用反向傳播神經網絡(Back Propagation Neural Network,BPNN)對粒子群算法預測的原油價格進行補償,文獻[13]采用基于門控循環(huán)單元(Gated Recurrent Unit,GRU)的誤差補償算法實現(xiàn)了對電網中短期電力負荷的預測。文獻[14]提出了一種以小波變換為基準,結合超限學習機誤差補償的兩階段風力預測方法。文獻[15]提出了一種改進廣義誤差分布模型,用于計算風電功率預測誤差,并通過序列化數據的分析,對誤差變化趨勢進行描述。上述算法均將誤差補償問題作為序列型數據預測問題進行處理,并利用數據驅動的算法對誤差值進行求解。然而隨著應用場景逐漸復雜,模型輸入的序列數據維度日漸增大,現(xiàn)有的算法暴露出通用性差、特征提取能力弱、補償精度不足的問題。
Transformer 模型[16]以其強大的特征提取能力,自提出以來便在機器翻譯、閱讀理解、文本摘要等序列型數據場景中展現(xiàn)出了良好的應用效果。國內外學者也逐步探索Transformer 模型在序列數據預測方面的應用,例如文獻[17]在提出了一種基于Transformer 模型的滾動軸承剩余使用壽命預測方法,并在PHM2012 和XJTU-SY數據集上測試了其有效性。文獻[18]提出了一種LSTM-Transformer 結構的洋流預測模型,并在NOAA 發(fā)布的洋流數據集中進行了驗證。文獻[19]將多衛(wèi)星任務規(guī)劃過程描述為序列生成任務,并提出了基于Transformer 的任務初始方案規(guī)劃方法,并利用基于隨機爬山的約束修正算法對方案進行優(yōu)化調整。
因此,本文在對現(xiàn)有的軌跡預測算法分析的基礎上,結合Transformer 中自注意力機制特征提取能力強、計算復雜度低的特點,提出了一種基于Transformer 模型的預測誤差補償(Transformerbased Prediction Error Compensation,TFPEC)
方法,能夠針對現(xiàn)有的各類軌跡預測算法的預測結果,計算出相應的補償值,以提高軌跡預測精度。本文的主要創(chuàng)新點包括:
1)基于Transformer 結構建立了預測誤差補償模型。針對空戰(zhàn)環(huán)境中具有高機動運動特性的目標飛行器,結合現(xiàn)有的飛行器軌跡預測算法的特點,建立預測誤差補償模型,以提高現(xiàn)有軌跡預測算法的預測精度。
2)提出了誤差補償系數計算方法。針對目標飛行器的歷史軌跡序列,利用傅里葉變換求解其復指數形式的頻域表達,對軌跡的高頻分量模值特性進行分析,面向目標飛行器的不同運動狀態(tài)計算誤差補償系數,進一步提高誤差補償方法的性能。
論文組織如下:第1 節(jié)構建了目標飛行器軌跡預測誤差補償問題的數學模型;第2 節(jié)設計了基于Transformer 的軌跡預測誤差補償方法;第3節(jié)在所提出的模型的基礎上給出了仿真結果對比和分析;第4 節(jié)為本文的總結,并提出下一步的研究方向。
在空戰(zhàn)過程中,定義目標飛行器在t時刻的軌跡序列為P(t),同時給定軌跡預測算法F(P(t)),求取預測誤差補償模型G(P(t);θf),使軌跡預測點與誤差補償值的矢量和與目標下一時刻真實位置的歐式距離最小,即滿足下述目標
式中:θf代表誤差補償模型的參數集合;σ(t+1)代表誤差補償系數;p(t+1)代表目標下一時刻的真實位置。定義為給定的軌跡預測算法所計算出的t+1 時刻目標飛行器可能出現(xiàn)的位置基準預測值;為t+1 時刻位置基準預測值所對應的誤差補償值,則目標飛行器軌跡預測問題如圖1 所示。
圖1 軌跡預測誤差補償問題示意圖Fig. 1 Diagram of trajectory prediction error compensation problem
為便于后續(xù)研究,本文中對軌跡預測誤差補償問題進行如下假設:
1)目標飛行器軌跡序列中僅包含位置和速度信息,而不包含姿態(tài)、推力等機載雷達無法獲取的信息。
2)所獲取的目標飛行器軌跡為等間隔時間序列,且軌跡中間無丟拍、錯拍等問題。
3)在針對目標飛行器的預測過程中,不考慮飛行器與其所在集群中其他單位的交互。
1)p(t)=[x(t),y(t),z(t)]T代表目標飛行器在t時刻北天東坐標系Oxyz下的位置。
3)P(t)=<t,p(t),v(t)>代表目標飛行器在空戰(zhàn)過程中t時刻的軌跡點。
7)θf={θTF,θMLP,θFFT}代表軌跡預測算法F(P(t))所對應的誤差補償模型的參數集合,其中θTF、θMLP和θFFT分別代表誤差補償模型中Transformer 參數、多層感知機(Multiple Layer Perceptron,MLP)參數以及誤差補償系數相關參數。
8)Δt代表輸入序列的采樣間隔,δ代表預測步長。代表預測的飛行器下一時刻位置。
本文基于Transformer 模型和離散傅里葉級數設計了軌跡預測誤差補償方法,首先對軌跡序列進行塊分割處理,其次利用Transformer編碼器捕獲序列特征,然后引入MLP 結構計算誤差補償值,最后根據軌跡序列頻域上的模值特性來計算誤差補償系數?;赥ransformer模型的預測誤差補償方法的具體計算步驟如圖2 所示。
圖2 基于Transformer模型的預測誤差補償方法示意圖Fig. 2 Diagram of Transformer-based prediction error compensation method
步驟1給定軌跡預測算法以及預測時間間隔,并輸入指定長度的目標飛行器軌跡序列,計算目標飛行器下一時刻的軌跡的基準預測值。
步驟2基于Transformer 的誤差補償模型對軌跡預測算法可能產生的誤差進行計算,得到基準預測值的誤差補償值。
步驟3針對飛行器軌跡序列的傅里葉級數的模值特性進行研究,求解誤差補償系數,以修正飛行器在平穩(wěn)機動的過程中所產生的誤差補償過剩的問題。
步驟4綜合計算基準預測值、誤差補償值以及誤差補償系數,輸出目標飛行器下一時刻可能出現(xiàn)的位置的預測結果。
本文選取Transformer 模型作為目標飛行器的歷史軌跡特征提取器。該模型具有前向傳播速度快、結構復雜度低、特征提取效率高的特點,在自然語言等序列型數據處理任務中取得了良好的效果。放縮點積注意力[16]是構建Transformer 模型的基礎,其計算公式為
式中:Q代表查詢(Query)矩陣;K代表鍵值(Key)矩陣;V代表值(Value)矩陣;dk代表矩陣Q與K的維度,用于控制點積值的范圍。進一步地,由多組放縮點積注意力機制所組成的多頭注意力機制如圖3 所示。
圖3 多頭注意力機制示意圖Fig. 3 Diagram of multi-head attention mechanism
在多頭注意力機制中,h組不同的Query、Key 和Value 矩陣被分別計算放縮點積注意力(Scaled Dot-Product Attention)后,通過矩陣拼接和線性變換獲得最終的輸出。每一組矩陣所關注的軌跡塊均有所不同,通過多次的注意力處理,能夠實現(xiàn)對P(t)的特征提取和表達。在計算過程中,第i個注意力頭headi可表示為
式中:Qi、Ki和Vi分別代表注意力頭headi所對應的Query、Key 和Value 矩陣。則多頭注意力機制可表示為
式中:WO代表線性變換系數矩陣。
Transformer 模型是在多頭注意力的基礎上添加了求和、歸一化、多層感知機等結構,如圖4所示。該結構的編碼器由N層網絡堆疊而成,每層網絡包含編碼器與解碼器結構。其中編碼器中包含有多頭注意力機制和前饋神經網絡2 個子層,而解碼器中的每一層包含帶遮罩的多頭注意力機制、編碼-解碼多頭注意力機制和前饋神經網絡。
圖4 Transformer 模型結構示意圖Fig. 4 Structure diagram of Transformer model
編碼器的輸入嵌入為軌跡序列經過塊分割處理后的輸入矩陣I(t),而解碼器的輸出嵌入為軌跡預測算法輸出與目標下一時刻真實位置p(t+1)的矢量差。該模型的優(yōu)勢在于能夠最大限度地減少對于外部信息的依賴,將算力聚焦于序列數據自身的關聯(lián)信息中。
本文所提出的預測誤差補償模型在Transformer 模型的基礎上進行設計,主要包括軌跡序列的塊分割、Transformer 模型特征提取、多層感知機回歸等步驟,結構框圖如圖5 所示。
圖5 軌跡預測誤差補償模型結構圖Fig. 5 Structural diagram of trajectory prediction error compensation model
預測誤差補償模型首先對態(tài)勢序列P(t)中的每一幀軌跡進行塊分割處理后,變換成Transformer 編碼器的輸入矩陣I(t),具體表示為
式中:δ表示預測步長。
輸入矩陣I(t)被傳入至Transformer 編碼器中,設定矩陣通道數為1,寬和高分別為1 和9。編碼器中共有12 個注意力頭,能夠對序列中的塊特征進行有效提取,其結果被6 層全連接神經網絡所構成的多層感知機所處理。多層感知機為3輸出神經網絡,分別對應Oxyz坐標系下3 個分方向歸一化后的補償值,即
多層感知機的輸出為歸一化后3 個方向的補償值,其實際誤差補償值的求取方法為
式中:ct代表目標飛行器所在位置的聲速。
在對目標飛行器的軌跡預測過程中,大過載機動通常會帶來更大的基準預測值誤差。同理,在目標飛行器處于平穩(wěn)飛行的階段,基準預測值則更為準確,甚至幾乎沒有誤差。因此,在對基準預測值可能產生的誤差補償過程中,需要根據目標飛行器的機動狀態(tài),對誤差補償值進行動態(tài)調整。本文在目標飛行器的位置序列的基礎上,提出頻域空間下誤差補償系數計算方法,以區(qū)分大過載機動階段與平穩(wěn)飛行階段,進一步提升目標飛行器軌跡預測誤差補償精度。
目標飛行器的軌跡序列能夠通過離散傅里葉變換(Discrete Fourier Transform,DFT)方法,從時域表達轉換為復指數形式的頻域表達。考慮到DFT 的實時性限制,本文選用快速傅里葉變換(Fast Fourier Transform,F(xiàn)FT)方法求取飛行器軌跡序列的頻域表達形式。針對t時刻目標飛行器在Oxyz坐標系下3 個分方向的位置序列,其中ξ∈{x,y,z},通過FFT 處理,其在頻域空間上的復指數形式可表示為
由于FFT 的結果具有對稱性,式(10)中僅取結果的前半部分進行計算。在最大模值的基礎上,誤差補償系數σ(t+1)的計算方法可表示為
式中:η代表放縮系數。式(11)可以求取t時刻下所有分方向位置序列中頻率大于κ的分量的最大模值,并通過線性放縮獲得誤差補償系數σ(t)。誤差補償后的軌跡預測值可表示為
為驗證所提出的軌跡預測誤差算法的有效性和先進性,本文采用飛行員在模擬器上一對一格斗所產生的數據集上對算法進行測試。空戰(zhàn)數據集由2 種類型的數據組成:低速數據集(數據集編號Ⅰ)和高速數據集(數據集編號Ⅱ),其詳細信息如表1 所示。
表1 空戰(zhàn)數據集信息Table 1 Information of air combat dataset
試驗所采用的2 種數據集分別由2 種不同型號的飛行器所生成,其中低速數據集對應螺旋槳式飛行器,而高速數據集對應噴氣式飛行器。實驗計算機的配置為 Intel i7-9700F CPU,NVIDIA RTX 2070S GPU,32 GB 運行內存。仿真試驗的系統(tǒng)環(huán)境為Windows 10,利用Python 語言在Pytorch 框架下實現(xiàn)。
試驗過程中,設置預測所用軌跡序列長度Ts=128,采樣間隔Δt=100 ms,目標飛行器所在位置聲速ct≡340 m/s,誤差補償系數頻率閾值κ=1 Hz,放縮系數η=0.02。模型訓練過程中選取L2 損失函數和Adam 優(yōu)化器,學習率設置為0.001。試驗中用于模型訓練(包括軌跡預測模型及誤差補償模型)的數據占比85%,驗證數據占比10%,測試數據占比5%。由于本文重點研究飛行器軌跡預測誤差補償方法,除3.1 節(jié)外均采用勻加速(Constant Acceleration,CA)運動模型作為基準預測值生成策略,即
為更客觀地驗證本文所提出的TFPEC 方法的通用性,本節(jié)中選用不同飛行器軌跡預測算法作為基準預測值生成策略,分別對不同數據集下不同預測步長的場景進行測試。所選用的軌跡預測算法包括基于CA 運動模型的預測算法(Constant Acceleration Prediction Method CAPM)、基于卡爾曼濾波的軌跡預測(Kalman Filter-based Trajectory Prediction,KFTP)算法[20]、基于長短時記憶網絡的戰(zhàn)場目標軌跡預測(Prediction of Battle Target Trajectory based on LSTM,PBTT-LSTM)算法[21]以及輸出-輸入反饋艾爾曼(Output-Input Feedback Elman,OIF-Elman)網絡預測算法[22],結果如表2 所示。表中預測精度提升百分比指引入誤差補償模型后,預測結果降低的平均絕對誤差(Mean Absolute Error,MAE)與基準預測值MAE 的比值。
表2 基于Transformer 模型的預測誤差補償方法性能總體評估Table 2 Overall evaluation of performance of Transformer-based prediction error compensation method
對表2 進行分析,可得到如下結論:
1)從基準預測值和誤差補償后結果的比較中可以得出,本文所提出的誤差補償模型能夠有效地提升各類軌跡預測算法的預測精度,且能夠應用于不同飛行速度、不同預測步長的場景中。
2)通過分析不同預測步長的結果可以得出,誤差補償模型的作用效果隨著預測步長的增大而增加,其中對OIF-Elman 軌跡預測算法在預測步長為5 000 ms 時的作用效果最為明顯,在數據集Ⅱ中的預測精度提升46.061 1%。
3)通過分析運行時間增加的毫秒數可以得出,軌跡預測過程在引入誤差補償模型后,平均運行時間增加了8.731 7 ms。 其中PBTTLSTM 軌跡預測算法對應的軌跡預測過程平均耗時最久,為10.235 7 ms。因此,在引入誤差補償模型后,針對目標軌跡預測的頻率仍然能夠在50 Hz 以上。
為測試本文所提TFPEC 方法的性能,本節(jié)中選取若干已有的誤差補償算法作為比較對象,測試對比的誤差補償算法包括文獻[12]中所述的BPNN 算法以及文獻[13]中所述的基于GRU的誤差補償算法,并記錄其平均絕對誤差、精度提升百分比以及運行時間,對比結果如表3 所示。
表3 誤差補償方法性能對比Table 3 Comparison of performance of error compensation methods
表3 中的所有數據均采用CAPM 作為基準預測值生成策略,對其進行分析可得出以下結論:
1)3 種誤差補償方法運行所消耗的時間較為接近,其中BPNN 方法平均消耗時間最短,為4.684 1 ms,而本文所提出的TFPEC 方法平均消耗時間最長,為9.039 4 ms。
2)在本文所涉及的2 類軌跡數據集中的5 種不同的預測步長下,3 種方法的引入均能有效提高軌跡預測結果的精度。在高速數據集中5 000 ms步長的預測任務中,TFPEC 方法能夠將預測精度提升43.004 2%,遠高于BPNN 和GRU 誤差補償算法。
3)本文所提出的TFPEC 方法能夠在消耗時間可控的前提下,顯著提高目標飛行器軌跡預測結果的精度。
為驗證所提出的誤差補償系數的有效性和必要性,本節(jié)中首先對不同誤差補償系數下的預測結果MAE 進行測試,其結果如圖6所示。
圖6 各誤差補償系數下的預測結果MAEFig. 6 Mean absolute error of prediction result for each error compensation coefficient
由圖6 可以看出,由Transformer 模型直接計算得出的誤差補償值并不能取得最優(yōu)補償效果。因此,需要在TFPEC 方法中引入動態(tài)誤差補償系數,以提高目標飛行器軌跡預測誤差補償的效果。
為進一步驗證本文提出的誤差補償系數計算方法的合理性,在高速數據集中取100 s軌跡,繪制預測步長為5 000 ms 時未引入誤差補償系數時的MAE,以及其對應軌跡點頻域上>1 Hz 的各個分量的最大模值,如圖7 所示。圖中,實線為未引入TFPEC 方法時的MAE 變化曲線,而虛線為模值變化曲線。對2 條曲線進行相關性計算,其Pearson 相關系數為0.198 421,Spearman 相關系數為0.172 85。因此可以認為,軌跡預測的MAE 精度與軌跡頻域上的最大模值具有一定程度的相關性,利用軌跡頻域的最大模值求取出的誤差補償系數能夠幫助算法進一步地提高精度。
圖7 預測誤差與軌跡高頻分量最大模值曲線圖Fig. 7 Curves of prediction error and trajectory highfrequency component maximum modulus
頻率閾值κ也顯著地影響著TFPEC 方法的補償效果。為驗證本文所提方法中閾值選取的必要性和最優(yōu)性,對不同頻率閾值條件下的TFPEC方法所獲得的軌跡預測值MAE 進行測試,結果如表4 所示。由表中數據可知,在頻率閾值κ=1 Hz時,TFPEC 方法能夠獲得最優(yōu)軌跡的補償效果。
表4 各頻率閾值下的預測結果MAETable 4 MAE of prediction result for each frequency threshold
本節(jié)試驗中,分別在數據集Ⅰ和數據集Ⅱ上,利用CAPM 基準預測值生成方法,在預測步長為1 000 ms、2 000 ms、3 000 ms、4 000 ms、5 000 ms 的場景下進行仿真,并繪制預測結果,如圖8~圖11 所示。
圖8 數據集I 預測結果三維示意圖Fig. 8 3D schematic diagram of prediction results of dataset I
圖9 數據集Ⅱ預測結果三維示意圖Fig. 9 3D schematic diagram of prediction results of dataset Ⅱ
CAPM 基準預測值生成方法的特點是:飛行器在平穩(wěn)機動時能夠獲得較為準確的預測值,而在大過載機動時則會出現(xiàn)預測誤差較大的情況。由圖10、圖11 可知,TFPEC 方法能夠維持CAPM 方法在目標飛行器平穩(wěn)機動時的預測準確性,同時顯著降低在大過載機動時的預測誤差。這是由于動態(tài)誤差補償系數的引入,能夠在平穩(wěn)機動時對過大的誤差補償值進行抑制,優(yōu)化了TFPEC 方法的性能。因此,本文所提TFPEC 方法能夠廣泛適用于多種運動特性的目標飛行器,且均能取得較好的預測效果。
圖10 數據集Ⅰ預測結果二維示意圖Fig. 10 2D schematic diagram of prediction results of dataset I
圖11 數據集Ⅱ預測結果二維示意圖Fig. 11 2D schematic diagram of prediction results of dataset Ⅱ
本文針對空戰(zhàn)環(huán)境中的軌跡預測問題,提出了一種基于Transformer 模型的預測誤差補償方法。首先將飛行器的歷史軌跡序列進行塊分割處理,然后基于Transformer 設計了誤差補償模型,最后根據求取的誤差補償值特點,提出了誤差補償系數計算方法。通過實驗驗證得出以下結論:
1)相較于其他誤差補償方法,自注意力機制的引入使TFPEC 方法具有更高效的軌跡特征提取能力,與基于BPNN 和GRU 的方法相比,能夠在消耗時間可控的條件下獲得更為可信的軌跡預測誤差補償值。
2)目標飛行器歷史軌跡序列中,頻率>1 Hz 的高頻分量最大模值與預測誤差值具有相關性。本文所提出的基于傅里葉變換的動態(tài)誤差補償系數能夠一定程度上描述目標飛行器的機動特性,從而進一步提升軌跡預測誤差補償的準確性。
3)本文所提出的TFPEC 方法具有較強的通用性,能夠針對各類軌跡預測算法的誤差進行有效修正。實驗證明,在引入TFPEC 方法后,預測結果的精度相比原有算法至少提高了4.923 7%。在預測步長為5 000 ms 的高速數據集中,在OIFElman 預測算法的基礎上,TFPEC 方法的引入能使預測結果精度提高至46.061 1%。
隨著無人機技術的不斷發(fā)展,其高性能、大過載的特點將對現(xiàn)有方法的準確性和泛化性帶來更大的挑戰(zhàn)。在接下來的工作中,需要結合作戰(zhàn)樣式、空戰(zhàn)戰(zhàn)術決策等相關理論進行研究,以縮小軌跡預測的解空間的方式,進一步提高預測結果的精度和可信性。