基于神經(jīng)網(wǎng)絡(luò)的符號化飛行動作識別

方 偉, 王 玉, 閆文君, 林 沖

(1. 海軍航空大學航空作戰(zhàn)勤務(wù)學院, 山東 煙臺 264001; 2. 海戰(zhàn)場信息感知與融合技術(shù)國家級實驗教學中心, 山東 煙臺 264001)

0 引 言

近年來,美國國防高級研究計劃局為實現(xiàn)空對空自動作戰(zhàn)制定了“空戰(zhàn)進化”項目,該項目將開展以人工智能驅(qū)動的空中格斗競賽。進而推動戰(zhàn)斗機作戰(zhàn)的人工智能化控制,使飛行員有能力掌控更大的空中戰(zhàn)場。但無論是“空戰(zhàn)進化”項目還是其他智能空戰(zhàn)技術(shù)的研究都離不開飛行動作識別技術(shù)。在模擬飛行和飛行訓練中,快速有效的飛行動作識別有利于對參訓飛行員的飛行動作進行質(zhì)量評估,輔助提高飛行員操作水平;在實際飛行任務(wù)中,快速有效的飛行動作識別有利于實現(xiàn)對方行動意圖分析,輔助飛行員進行戰(zhàn)場決策,為進一步奪取制空權(quán)提供條件。

目前,飛行動作識別方法主要可以分成兩類:一是基于專家系統(tǒng)的識別方法,如隨機森林識別方法、蒙特卡羅搜索法等;二是基于模型的識別方法,如神經(jīng)網(wǎng)絡(luò)模型、支持向量機、貝葉斯網(wǎng)絡(luò)模型等。專家系統(tǒng)的識別方法以專家先驗知識為基礎(chǔ)構(gòu)建知識庫,通過逐條對比匹配形成動作推理機識別飛行動作,該方法雖然簡單有效,但過于依賴于先驗知識,可擴展性差。現(xiàn)有基于模型的識別方法,能夠通過輸入已知的飛行動作數(shù)據(jù)集迭代訓練生成規(guī)則判據(jù),不但有效解決了對先驗知識依賴大的問題,而且有效提高了識別準確度。但現(xiàn)有的模型識別方法存在兩個主要問題:① 需要對輸入數(shù)據(jù)根據(jù)規(guī)則判據(jù)進行逐一判斷,當需要處理批量數(shù)據(jù)時,所需識別時間較長;② 需預(yù)先給出飛行動作的起止時間,無法對整段飛行過程進行有效分段識別。

為解決上述兩個問題,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)和長短期記憶(long-short term memory, LSTM)在目標識別中的應(yīng)用。本文提出一種基于神經(jīng)網(wǎng)絡(luò)符號化模型的識別方法,首先運用CNN對基本飛行動作進行符號化處理,通過符號對整段飛行數(shù)據(jù)進行分段,提取復(fù)雜飛行動作符號變化的起止位置,再根據(jù)復(fù)雜飛行動作符號段的時序特征利用LSTM進行復(fù)雜飛行動作的識別。該方法通過神經(jīng)網(wǎng)絡(luò)訓練可以直接獲得模型參數(shù),利用模型參數(shù)計算識別飛行動作,實現(xiàn)飛行數(shù)據(jù)的批量化處理。

1 飛行動作特征分析

1.1 飛行參數(shù)選擇

圖1 坐標系示意圖Fig.1 Coordinate system diagram

1.2 飛行動作劃分

根據(jù)實際飛行軌跡,本文將飛行動作劃分為基本飛行動作和復(fù)雜飛行動作。其中,基本飛行動作可以為完整飛行動作,也可以為飛行片段,表示每個片段的動作;復(fù)雜飛行動作由基本飛行動作片段按時間順序組合而得。

美國國家航空航天局將基本飛行動作劃分為7種:原狀態(tài)飛行、加速直線飛行、減速直線飛行、左轉(zhuǎn)飛行、右轉(zhuǎn)飛行、爬升飛行、俯沖飛行。以此為基礎(chǔ)再根據(jù)飛行動作的實際情況將基本飛行動作總結(jié)為平飛類、轉(zhuǎn)彎類和滾轉(zhuǎn)類三大基礎(chǔ)類。其中,平飛類為主要的常態(tài)基本飛行動作,包括直線上升飛行、直線水平飛行和直線下降飛行;轉(zhuǎn)彎類為狀態(tài)轉(zhuǎn)換的基本飛行動作,包括右轉(zhuǎn)水平飛行、左轉(zhuǎn)水平飛行、右轉(zhuǎn)上升飛行、右轉(zhuǎn)下降飛行、左轉(zhuǎn)上升飛行、左轉(zhuǎn)下降飛行、垂直上升轉(zhuǎn)彎飛行和垂直下降轉(zhuǎn)彎飛行;滾轉(zhuǎn)類為特殊狀態(tài)的基本飛行動作,包括直線滾轉(zhuǎn)飛行和斜滾轉(zhuǎn)飛行?；撅w行動作分類如表1所示。

表1 基本飛行動作

復(fù)雜飛行動作是檢驗飛行員掌握飛行包線、深知飛行性能和熟練駕駛飛機的標準,主要包括告警改出機動、特技飛行機動和高級操作機動等。例如告警改出、筋斗機動、殷麥曼、半滾倒轉(zhuǎn)、草花筋斗、大姿態(tài)回轉(zhuǎn)、下降急轉(zhuǎn)、反轉(zhuǎn)滾轉(zhuǎn)等,部分復(fù)雜飛行動作如圖2所示。

圖2 復(fù)雜飛行動作Fig.2 Complex flight actions

但無論是哪種飛行動作，都可以看作是基本飛行按時間順序組合而成,每一個飛行動作可劃分為改入段、動作段和改出段。假設(shè)一個復(fù)雜飛行動作以平飛改入和改出,部分復(fù)雜飛行的組合構(gòu)成如表2所示。以半滾倒轉(zhuǎn)為例,可以將飛行動作分解為直線水平飛行段、直線滾轉(zhuǎn)段、垂直上升飛行段、飛行動作調(diào)整段和直線水平飛行段。其中,飛行動作調(diào)整段是飛行動作改變必須的姿態(tài)調(diào)整階段,由飛行員駕駛水平和飛機性能決定,并且其同樣可以分解為基本飛行動作,一般時間不長,其狀態(tài)特征如圖3所示。

表2 復(fù)雜飛行的組合構(gòu)成

圖3 復(fù)雜飛行動作分解Fig.3 Decomposition of complex flight actions

2 CNN-LSTM串聯(lián)網(wǎng)絡(luò)構(gòu)建

飛機在飛行過程中,飛行員通過電傳操縱系統(tǒng)控制飛行姿態(tài),進而隨時間保持或變換飛行姿態(tài)得到飛行動作,產(chǎn)生的飛行參數(shù)具有明顯的時間特性。為通過時間特性識別飛行動作,本文提出一種基于神經(jīng)網(wǎng)絡(luò)符號化模型的方法,利用微分分割將數(shù)據(jù)切片后按時間順序排列,將時間特征轉(zhuǎn)換為圖像特征,通過CNN自動識別形成特征圖,完成對基本飛行動作的識別;基本飛行動作按時間順序進行排列組合組成復(fù)雜飛行動作,以符號化基本飛行動作作為詞典,利用LSTM完成對復(fù)雜飛行動作的識別,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 飛行動作識別網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Flight actions recognition network architecture

2.1 微分分割

由于飛機性能的不同和駕駛員駕駛水平的差異,相同的飛行動作具有時間不等長的特點。在傳統(tǒng)的飛行動作識別方法中,需要首先對飛行動作狀態(tài)變化的變點進行檢測,具體確定需識別飛行段,對識別速度和準確率有較大影響。因此本文通過對飛行參數(shù)進行微分分割的預(yù)處理有效避免這一問題的出現(xiàn)。

對選取的飛行參數(shù)采樣點進行按時間等樣的微分分割,得到符合飛行動作的組合特點飛行數(shù)據(jù)片段,將其重新構(gòu)造為飛參數(shù)據(jù)的矩陣形式,這種重構(gòu)的矩陣形式以基本飛行動作空間特征代替表示其原本的時序特征,將其作為飛行動作圖像輸入CNN。由于CNN對圖像處理具有明顯優(yōu)勢,因此可以利用CNN提取飛行動作圖像相關(guān)特征,實現(xiàn)基本飛行動作的快速識別。

2.2 CNN網(wǎng)絡(luò)構(gòu)建

將飛行過程按選定的特征參數(shù)向量按時間順序組成單一基本飛行動作的全過程特征參數(shù)矩陣(,,…,),其中為總采樣個數(shù)。由于CNN需要等長且具有特征屬性的輸入樣本,利用微分思想,將全過程特征參數(shù)矩陣按時間等樣分割,得到基本飛行動作單元的矩陣形式,再通過CNN的核計算將其時序特征轉(zhuǎn)換為特征圖,基本飛行動作的特征圖如圖5所示。通過微分分割全過程特征參數(shù)矩陣可以有效避免傳統(tǒng)算法中的推理判斷,對基本飛行動作進行模塊化處理,進而提高識別速度。

圖5 基本飛行動作的特征圖Fig.5 Features of basic flight actions

以為微分參數(shù),將(,,…,)等長分割為+1個基本飛行動作特征參數(shù)矩陣,表示為

=[(,,…,),(+1,+2,…,2),…,
(+1,+2,…,)]

(1)

利用獨熱編碼方式將基本飛行動作進行符號化預(yù)處理得到數(shù)據(jù)標簽,如表3所示,,即為CNN輸入樣本。

表3 基本飛行動作動作符號化

該網(wǎng)絡(luò)主要由填充層、卷積層、丟棄層和全連接層組成。填充層在卷積層之前,實現(xiàn)輸入數(shù)據(jù)的邊緣補齊防止邊緣信息丟失;利用卷積層完成特征圖提取;丟棄層在卷積層之后,防止過擬合;全連接層為最后一層,使用歸一化指數(shù)函數(shù)實現(xiàn)基本飛行動作單元的分類。網(wǎng)絡(luò)參數(shù)如表4所示。

表4 CNN參數(shù)

2.3 LSTM網(wǎng)絡(luò)構(gòu)建

利用CNN將復(fù)雜飛行動作分解為由基本飛行動作符號組成的飛行動作向量,利用獨熱編碼方式將復(fù)雜飛行動作進行預(yù)處理得到數(shù)據(jù)標簽,(,)即為LSTM輸入樣本。

該網(wǎng)絡(luò)主要由嵌入層、LSTM層、丟棄層和全連接層組成。嵌入層可以對輸入數(shù)據(jù)進行升維處理,擴大其特征;丟棄層和全連接層的作用與CNN結(jié)構(gòu)中的丟棄層和全連接層的作用相同;LSTM層由一組遞歸連接的塊組成,稱為存儲塊。每一個存儲塊主要包括傳遞數(shù)據(jù)信息的細胞狀態(tài)和控制單元,控制單元由輸入門、輸出門和遺忘門組成,為細胞狀態(tài)提供輸入、輸出和信息保留與刪除的操作。有效解決了傳統(tǒng)循環(huán)網(wǎng)絡(luò)的梯度消失和梯度爆炸問題,有利于對時間較長的復(fù)雜飛行動作進行學習訓練。網(wǎng)絡(luò)參數(shù)如表5所示(以兩種復(fù)雜飛行動作的識別為例)。

表5 LSTM網(wǎng)絡(luò)參數(shù)

將復(fù)雜飛行動作看作一段特殊的語言描述,其字典由符號化的基本飛行動作單元組成。在同類復(fù)雜飛行動作中,每個基本飛行動作單元的排列及出現(xiàn)順序具有較強的相似性,且前后出現(xiàn)的基本飛行動作具有強相關(guān)性,利用LSTM可以有效解決長期依賴問題,得到復(fù)雜飛行動作的權(quán)重參數(shù),以此將復(fù)雜飛行動作模塊化,進而實現(xiàn)復(fù)雜飛行動作的快速識別。

2.4 飛行動作識別步驟

本文對整段飛行過程識別進行建模,完成整段飛行動作的全過程識別。該模型主要由兩部分構(gòu)成:第一部分為模型訓練部分,主要完成基本飛行動作和復(fù)雜飛行動作網(wǎng)絡(luò)權(quán)重的訓練;第二部分為動作識別部分,主要完成整段飛行過程的分割和識別?；静襟E如圖6所示。

圖6 流程圖Fig.6 Flow graph

提取飛行特征參數(shù)矩陣,組成基本飛行動作和復(fù)雜飛行動作的訓練數(shù)據(jù)。

通過微分分割對訓練數(shù)據(jù)切片。

訓練CNN,得到基本飛行動作權(quán)重參數(shù)。

對復(fù)雜飛行動作的訓練數(shù)據(jù)執(zhí)行步驟1和步驟2,利用步驟3中的權(quán)重參數(shù)將復(fù)雜飛行動作的訓練數(shù)據(jù)分解為基本飛行動作。

符號化基本飛行動作。

訓練LSTM,得到復(fù)雜飛行動作權(quán)重參數(shù)。

提取整段飛行過程的特征參數(shù)矩陣,形成待識別數(shù)據(jù)。

執(zhí)行步驟2,利用步驟3中的權(quán)重參數(shù)將待識別數(shù)據(jù)分解為基本飛行動作單元。

設(shè)置飛行動作閾值判斷是否為復(fù)雜飛行動作。

判斷為否的數(shù)據(jù)段識別為基本飛行動作,判斷為是的數(shù)據(jù)段利用步驟6中得到復(fù)雜飛行動作權(quán)重參數(shù)對其進行識別分類。

3 仿真實驗

為驗證基于神經(jīng)網(wǎng)絡(luò)的符號化飛行動作識別的有效性,進行了實驗仿真,提取所需的飛行參數(shù)輸入識別網(wǎng)絡(luò),依次訓練完成基本飛行動作和復(fù)雜飛行動作的識別。再取一段完整飛行過程的飛參數(shù)據(jù)輸入網(wǎng)絡(luò),完成整段數(shù)據(jù)的分割和識別工作,驗證本文方法對整段飛行識別的有效性。本實驗通過PREPAR3D(P3D)軟件產(chǎn)生飛行動作;利用Tacview軟件記錄飛行軌跡、輸出飛行參數(shù);飛參數(shù)據(jù)存儲頻率為30 Hz。

3.1 基本飛行動作識別仿真實驗

對基本飛行動作進行識別分類得到訓練損失與驗證損失,如圖7(a)所示,從圖中可以看出,隨迭代次數(shù)的增加,模型的損失逐漸減小。訓練準確率與驗證準確率如圖7(b)所示,可以看出,隨迭代次數(shù)的增加,模型的準確率逐漸升高,最終準確率達到93.8%。當訓練至58輪時,網(wǎng)絡(luò)訓練趨于穩(wěn)定,其損失和準確率基本不再發(fā)生變化。

圖7 CNN模型性能Fig.7 Performance of CNN model

提取CNN訓練中測試數(shù)據(jù)相關(guān)參數(shù),得到每種基本飛行動作單元識別種類,即預(yù)測符號,個數(shù)記為。已知每種基本飛行動作單元的真實符號的個數(shù)為。兩者相比得到每種基本飛行動作單元識別準確率。識別準確率的計算公式為

(2)

混淆矩陣如圖8所示,圖中每個小方塊的數(shù)值代表每種基本飛行動作單元識別準確率,對角線中數(shù)值為識別正確的識別準確率,其他數(shù)值為識別錯誤的識別準確率,且顏色越深識別準確率越高。不難看出,網(wǎng)絡(luò)識別預(yù)測符號能夠正確反應(yīng)13種基本飛行單元真實符號,證明本網(wǎng)絡(luò)充分區(qū)分13種基本飛行單元,分類效果較好。

圖8 CNN混淆矩陣Fig.8 Matrix of CNN confusion

3.2 復(fù)雜飛行動作識別仿真實驗

本文以筋斗和殷麥曼兩種復(fù)雜飛行動作作為實驗對象驗證本文方法的有效性,使用P3D軟件仿真生成筋斗和殷麥曼兩種復(fù)雜飛行動作各315條數(shù)據(jù)樣本,從Tacview軟件記錄的飛行參數(shù)中提取全過程特征參數(shù)矩陣,同樣利用微分思想將每條數(shù)據(jù)分割為同等大小的征參數(shù)矩陣來表示基本飛行動作單元,利用訓練得到的CNN權(quán)重參數(shù)對特征參數(shù)矩陣進行識別,將復(fù)雜飛行動作分解為基本飛行動作單元,如圖9所示。

圖9 復(fù)雜飛行動作分解表示Fig.9 Decomposition representation of complex flight actions

圖9(a)為某一段殷麥曼飛行動作的基本飛行動作分解,以輸入時間為開始時間,殷麥曼飛行動作分解過程如表6所示。

表6 殷麥曼飛行動作分解

圖9(b)為某一段筋斗飛行動作的基本飛行動作分解,以輸入時間為開始時間,筋斗飛行動分解過程如表7所示。

表7 筋斗飛行動作分解

將全部數(shù)據(jù)樣本通過CNN識別后得到730條由基本飛行動作單元符號表示的不等長飛行動作向量,由于復(fù)雜飛行動作以直線水平飛行為改入改出,本文以最長的數(shù)據(jù)樣本長度作為LSTM的樣本長度,再使用直線水平飛行的符號將所有飛行動作向量兩端補齊,進而得到等長的飛行動作向量。利用嵌入層將基本飛行動作符號升維,擴大其特征。對復(fù)雜飛行動作進行識別得到訓練損失與驗證損失如圖10所示。

圖10 訓練損失與驗證損失Fig.10 Training loss and validation loss

從圖10中可以看出,網(wǎng)絡(luò)訓練到第5輪時開始收斂,20輪后網(wǎng)絡(luò)的訓練損失與驗證損失接近到達最小值并趨于穩(wěn)定,網(wǎng)絡(luò)的收斂速度快,較好地與復(fù)雜動作的飛行過程進行了擬合,最終準確率高達到98.7%。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)識別算法、動態(tài)貝葉斯識別算法和多元動態(tài)時間規(guī)整識別算法相比,本文算法對復(fù)雜飛行動作的識別率均有明顯提高,如表8所示。本文算法通過LSTM將復(fù)雜飛行動作模塊化,能夠更加有效地提取復(fù)雜飛行動作的特征,消除了傳統(tǒng)算法需用對飛參數(shù)據(jù)逐一判斷推理的缺點,進而提高了識別準確率。同時,通過對基本飛行動作單元的符號化,實現(xiàn)對飛參數(shù)據(jù)的降維,能夠自動判斷飛行動作變化點的位置,實現(xiàn)對整段飛行過程的識別,更有利于飛行訓練后的飛行質(zhì)量評估。

表8 算法識別率對比

根據(jù)式(2)得出LSTM模型的混淆矩陣如圖11所示。其中,數(shù)字“0”代表筋斗,數(shù)字“1”代表殷麥曼飛行動作,對角線區(qū)域表示識別正確的飛行動作。

圖11 LSTM混淆矩陣Fig.11 Matrix of LSTM confusion

從圖11中可以看出,兩種復(fù)雜飛行動作顏色區(qū)分明顯,并且真實標簽與網(wǎng)絡(luò)識別標簽一致,證明本網(wǎng)絡(luò)可以有效對復(fù)雜飛行動作進行分類。

3.3 整段飛行數(shù)據(jù)仿真實驗

無論是基本飛行動作還是復(fù)雜飛行動作都是飛行全過程的一部分,為解決現(xiàn)有方法中僅對飛行片段識別的問題,本文利用神經(jīng)網(wǎng)絡(luò)符號化模型的方法對整段飛行數(shù)據(jù)進行識別。首先利用P3D軟件模擬仿真出一整段F16飛行過程,設(shè)定本段飛行只包含筋斗和殷麥曼兩種復(fù)雜飛行動作。使用Tacview軟件復(fù)現(xiàn)飛行軌跡,如圖12所示,并輸出特征參數(shù)向量所需的飛參數(shù)據(jù),按=10對整段特征參數(shù)向量微分預(yù)處理生成飛行全過程特征參數(shù)矩陣。

圖12 飛行軌跡Fig.12 Flight path

利用CNN訓練好的權(quán)重參數(shù)對飛行全過程特征參數(shù)矩陣進行基本動作識別,得到由基本飛行動作單元組成的飛行軌跡。為提取飛行過程中復(fù)雜飛行動作,將基本飛行動作單元劃分為平飛類飛行單元、轉(zhuǎn)彎類飛行單元和滾轉(zhuǎn)類飛行單元。其中,平飛類飛行單元包括直線上升飛行單元、直線水平飛行單元和直線下降飛行單元,飛行軌跡分解如圖13所示。

為消除由于飛行員操作失誤或識別錯誤產(chǎn)生的誤差,設(shè)置飛行動作閾值=10,去除相同飛行動作單元中相連個數(shù)小于飛行動作閾值且兩端為同類飛行動作單元的飛行段。根據(jù)筋斗和殷麥曼兩種復(fù)雜飛行動作的特點,圖13中轉(zhuǎn)彎類和滾轉(zhuǎn)類飛行動作單元即為去除改入改出飛行過程的復(fù)雜飛行動作。將直線水平飛行作為改入改出飛行過程,兩端補齊復(fù)雜飛行動作,形成由基本飛行動作單元符號化表示的復(fù)雜飛行動作的飛行動作向量,最后利用LSTM訓練好的權(quán)重參數(shù)對分割出的飛行動作向量識別,實現(xiàn)復(fù)雜飛行動作識別,如圖14所示。

圖13 飛行軌跡分解Fig.13 Decomposition of flight path

圖14 整段飛行動作識別Fig.14 Recognition of whole flight actions

4 結(jié) 論

文本針對飛行動作識別的問題,提出了一種基于神經(jīng)網(wǎng)絡(luò)符號化模型的深度學習識別算法。提取與飛行動作識別相關(guān)的飛參數(shù)據(jù),對其進行微分分割切片后構(gòu)成飛行動作相對應(yīng)的矩陣形式,通過CNN和LSTM分別實現(xiàn)基本飛行動作和復(fù)雜飛行動作的識別,并利用識別后的基本飛行動作單元對完整飛行過程進行分段,實現(xiàn)全飛行過程中基本飛行動作和復(fù)雜飛行動作的提取和識別。本文方法可以根據(jù)先驗知識設(shè)置不同的識別個數(shù),具有較好的可擴展性,并且通過模型建立實現(xiàn)了飛行動作的快速正確識別。在自動化飛行訓練評估、空戰(zhàn)智能決策、預(yù)估目標作戰(zhàn)意圖等應(yīng)用方面具有重大意義。