基于經(jīng)驗直覺的無人機威脅規(guī)避機動決策方法

王盼盼，陳 謀，吳慶憲，邵書義

（南京航空航天大學(xué)自動化學(xué)院, 南京 211106）

近年來，無人機因具有戰(zhàn)場適應(yīng)能力強、生存能力強、低成本高效費比、配置靈活等優(yōu)點，迅速成為一種新型武器裝備。無人機為了有效完成不同任務(wù)，須具有一定程度的自主決策和自主規(guī)避能力［1］，能在保證自身安全的前提下，自主完成進攻、防御和偵察等不同任務(wù)。因此，無人機應(yīng)具有自主認知、自主決策、自主規(guī)劃和自主控制能力［2］。提高無人機的自主威脅規(guī)避決策能力是適應(yīng)現(xiàn)代化戰(zhàn)爭的必然趨勢［3］。

依據(jù)人腦的行為認知模式，美國空軍上校博伊德提出觀察?判斷?決策?行動的循環(huán)模型［4］。傳統(tǒng)的威脅規(guī)避方法主要有預(yù)規(guī)劃的全局式規(guī)避和反應(yīng)式及時規(guī)避［5］。由于環(huán)境的變化，全局式威脅規(guī)避需要不斷地進行重規(guī)劃，使得其應(yīng)用有很大的局限性；反應(yīng)式及時規(guī)避方法是通過雷達等傳感器實時獲取局部環(huán)境的變化并做出反應(yīng)動作。文獻［6］提出一種可以提高無人機在動態(tài)環(huán)境下態(tài)勢感知能力的速度障礙法，有助于生成規(guī)避威脅的機動。文獻［7］提出基于混合時間集的脈沖微分包含模型，通過分析認知無人機?環(huán)境系統(tǒng)狀態(tài)的運動模式，推導(dǎo)出系統(tǒng)防碰撞穩(wěn)定的條件。結(jié)合人腦的思維模式和思維過程，文獻［8］提出了基于知識庫來實現(xiàn)無人機自主決策的方法。文獻［9］提出了一種在非均勻結(jié)構(gòu)雷達威脅模型下基于改進馬爾科夫決策過程模型的多無人機航路規(guī)劃算法，將航路威脅代價和航路綜合代價有效降低了25%。利用卷積神經(jīng)網(wǎng)絡(luò)（Recurrent neural networks，RNNs）模擬人類的運動皮層，文獻［10］在認知地圖的基礎(chǔ)上進行路徑規(guī)劃和控制決策，并用長短時記憶（Long short term memory，LSTM）神經(jīng)網(wǎng)絡(luò)對交通數(shù)據(jù)、車輛狀態(tài)數(shù)據(jù)和車輛機動行為集合進行訓(xùn)練，輔助系統(tǒng)生成規(guī)劃路徑和決策。以上文獻從類腦智能規(guī)避決策的角度出發(fā)，取得了一定的研究成果，但針對無人機威脅規(guī)避智能決策的研究仍處于初級階段，需要進一步深入研究。

無人機自主威脅規(guī)避決策是無人機自主控制系統(tǒng)的核心環(huán)節(jié)，在無人機進行威脅規(guī)避時快速做出合理的機動決策對其安全具有至關(guān)重要的作用。受上述文獻啟發(fā)，借鑒人類在現(xiàn)實中遇到威脅，能利用直覺結(jié)合經(jīng)驗知識迅速做出適宜的判斷和決策，快速高效的決策結(jié)果能有效避免安全事故的發(fā)生。因此，本文提出一種基于經(jīng)驗直覺的無人機威脅規(guī)避機動決策方法，模擬人類進行思維決策的過程，使無人機在面臨威脅時能像人一樣快速做出有效的威脅規(guī)避決策。

1 問題描述與預(yù)備知識

1.1 無人機直覺威脅規(guī)避決策原理

在復(fù)雜的飛行環(huán)境下，無人機不僅面臨地形威脅、探測威脅、氣象威脅，還面臨非合作飛行單位威脅等。為了提高無人機的生存能力，需要快速高效地對所面臨威脅做出規(guī)避決策。無人機通過模擬人類的直覺思維決策過程來進行威脅規(guī)避機動，實現(xiàn)基于機器直覺決策原則［11］的無人機威脅規(guī)避決策，可以提高無人機的智能威脅規(guī)避能力。無人機基于直覺決策原理的威脅規(guī)避系統(tǒng)工作原理如圖1所示。

圖1 無人機直覺威脅規(guī)避決策原理圖Fig.1 Schematic diagram of UAV threat avoidance decision-making based on intuitions

無人機直覺決策首先要對外界環(huán)境進行感知和處理，信息感知過程包括通過傳感器獲取外界環(huán)境中的原始信息并將原始數(shù)據(jù)進行結(jié)構(gòu)化處理；然后對感知的信息進行搜索匹配，包括情景記憶中相似情景的映射和對情景廣義特征的提取；最后根據(jù)提取的特征進行機動決策輸出。為了實現(xiàn)無人機有效威脅規(guī)避決策，本文選取無人機位置、速度、迎角、側(cè)滑角、航跡傾斜角、航跡滾轉(zhuǎn)角、航跡方位角、目標點位置、威脅距離、威脅方位和威脅速度等共15 維數(shù)據(jù)信息作為廣義特征中的關(guān)鍵影響因素；接著對當前態(tài)勢進行直覺決策，直覺決策包含直覺啟發(fā)［11］規(guī)避和隱式直覺決策。隱式直覺決策是將本征抽象的廣義特征直接映射到?jīng)Q策結(jié)果的策略空間，即根據(jù)當前態(tài)勢信息直接獲得決策結(jié)果。另外，直覺啟發(fā)會對直覺本原中存儲的知識進行更新以獲得新知識并作用于策略空間，本文利用直覺啟發(fā)以輔助無人機進行威脅規(guī)避決策。最后，通過隱式直覺決策出的結(jié)果和直覺啟發(fā)決策出的結(jié)果進行博弈選擇，從而獲得最合適的決策結(jié)果。

1.2 規(guī)避動作描述

在無人機飛行過程中，主要考慮無人機的前視區(qū)域威脅和機動限制條件，忽略無人機前視區(qū)域之外的威脅。假設(shè)無人機的機載傳感器能夠準確實時感知并獲取無人機狀態(tài)信息，并且機載雷達能準確實時探測到如圖2 所示的前視錐形區(qū)域的威脅方位與威脅距離。由于雷達的原始數(shù)據(jù)是使用離散的點描述威脅信息，單個數(shù)據(jù)點不能準確描述威脅的相關(guān)信息，所以需要先將雷達探測到的數(shù)據(jù)點進行聚類處理。本文將無人機雷達掃描的前視錐形區(qū)域均等地劃分為若干個扇形棱錐區(qū)域，扇形棱錐區(qū)域劃分的越多，無人機威脅規(guī)避性能也就越靈活，但是計算量也會越大。綜合考慮，將無人機前視探測區(qū)域均等劃分成如圖2 所示的12 個扇形棱錐，從機頭正上方按照順時針方向依次標記為S1，S2，…，S12。結(jié)合無人機威脅規(guī)避機動決策需要對7 種基本操作庫［12］進行擴充并與12 種不同威脅規(guī)避區(qū)域相對應(yīng)，如圖3 所示，除此之外無人機動作庫中還有勻速前飛、減速前飛和加速前飛。

圖2 雷達探測區(qū)域與目標點距離示意圖Fig.2 Schematic diagram of the distance between the radar detection area and the target point

圖3 改進基本機動動作庫Fig.3 Improved basic maneuvers library

2 無人機安全規(guī)避的直覺決策方法

2.1 無人機感知數(shù)據(jù)處理

威脅規(guī)避直覺決策模型中需要獲取無人機當前態(tài)勢下的環(huán)境信息。從無人機自身角度出發(fā)，需要準確獲取無人機的位置信息、速度信息和姿態(tài)信息，包括無人機的位置、速度、迎角、側(cè)滑角、航跡傾斜角、航跡滾轉(zhuǎn)角和航跡方位角?？紤]到復(fù)雜環(huán)境下無人機會遇到的地形威脅和非合作單位威脅，還需實時獲取威脅的位置、速度和方位信息。同時為了防止無人機進行機動規(guī)避時背離目標點飛行，還需已知目標點的位置。

通過空速管、陀螺儀和機載雷達等傳感器獲取無人機的飛行參數(shù)和導(dǎo)航參數(shù)等如圖4 所示的態(tài)勢信息，將采集的連續(xù)12 幀［13］狀態(tài)信息作為特征向量。對原始數(shù)據(jù)進行濾波，去除明顯錯誤數(shù)據(jù)，并修補缺失數(shù)據(jù)［13］，再對數(shù)據(jù)進行歸一化處理并編碼成特征向量，為直覺感知中的相似情景的映射和本征抽樣做準備［11］。

圖4 無人機態(tài)勢信息感知數(shù)據(jù)樹形圖Fig.4 Tree diagram of UAV situation perception data

2.2 無人機直覺機動決策結(jié)果標簽化

無人機直覺情景決策知識庫的建立，不僅需要將感知數(shù)據(jù)結(jié)構(gòu)化處理后作為輸入數(shù)據(jù)，還需要輸出直覺決策的機動動作。為了便于情景與決策結(jié)果之間的映射，將機動動作決策結(jié)果與決策標簽進行對應(yīng)。

根據(jù)飛行區(qū)域、法向過載和推力的改變，對無人機機動動作的7 種基本操作庫［12］進行擴充后分別為向上爬升、右上爬升1、右上爬升2、右轉(zhuǎn)彎、右下俯沖1、右下俯沖2、向下俯沖、左下俯沖1、左下俯沖2、左轉(zhuǎn)彎、左上爬升1、左上爬升2、勻速前飛、減速前飛和加速前飛15 種模式。針對這15 種機動模式，分別設(shè)置1、2、3、4、5、6、7、8、9、10、11、12、13、14、15 共15 個標簽值與之對應(yīng)，如圖5 所示。

圖5 機動動作決策與模式解析標簽對應(yīng)圖Fig.5 Maneuver decision modes and corresponding labels

2.3 無人機直覺啟發(fā)規(guī)避

無人機機動決策是一個動態(tài)的連續(xù)變化過程，在無人機機動決策過程中，威脅信息、無人機的機動狀態(tài)和目標點的位置都有可能發(fā)生改變。為了使無人機在不同的飛行狀態(tài)下，面對復(fù)雜的飛行環(huán)境都能實時規(guī)避威脅，必須準確感知無人機的態(tài)勢信息，模擬人腦的大局觀對當前態(tài)勢信息進行預(yù)測評估，從而對無人機下一幀機動動作做出決策。當無人機直覺情景決策知識庫中情景匹配不成功時，需要采用直覺啟發(fā)算法輔助無人機進行規(guī)避決策。

若無人機當前時刻沒有感知到威脅信息，只需按照預(yù)定的飛行路線保持原飛行狀態(tài)繼續(xù)飛行，但當無人機檢測到威脅信號時，無人機需要改變原飛行狀態(tài)，對機動動作選擇進行實時迭代更新并進行機動規(guī)避。針對威脅信息的不同，需要選取不同的機動動作進行安全規(guī)避。為確定威脅規(guī)避區(qū)域，本文綜合考慮威脅等級、目標點的引導(dǎo)作用和無人機的機動限制條件選擇無人機的規(guī)避區(qū)域及其對應(yīng)的機動動作，如圖6 所示。

圖6 無人機直覺啟發(fā)規(guī)避區(qū)域選擇原理圖Fig.6 Schematic diagram of UAV intuition-inspired avoid?ance area selection

外部威脅對無人機的機動決策起到主要的影響作用，首先需要雷達準確獲取威脅所在的方位、距離和速度信息。基于雷達探測所獲取的威脅距離和威脅速度，對威脅等級進行評估判定。

無人機在規(guī)避的過程中還要考慮到目標點對無人機的引導(dǎo)作用，避免無人機為了規(guī)避威脅而逐漸偏離目標點甚至背離目標點飛行情況的發(fā)生，因此加入目標點引導(dǎo)概率函數(shù)。假設(shè)任務(wù)目標點的坐標為Oobj(xobj，yobj，zobj)，為了方便計算，將其轉(zhuǎn)化到機體坐標系下有［14］：

式中d為無人機前視區(qū)域的最大距離，p為無人機雷達的掃描角度。

此外無人機的機動限制條件也會影響其威脅規(guī)避動作的選擇，所以要在無人機安全邊界保護系統(tǒng)的范圍內(nèi)進行機動動作規(guī)避，以無人機安全飛行邊界為基準，對規(guī)避動作進行排除，綜合形成無人機直覺啟發(fā)輔助規(guī)避機動決策結(jié)果。

2.4 無人機隱式直覺決策

LSTM 網(wǎng)絡(luò)是在RNN 網(wǎng)絡(luò)的基礎(chǔ)上引入人腦的記憶機制和遺忘機制，能有效克服RNN 網(wǎng)絡(luò)在訓(xùn)練過程中的梯度爆炸和梯度消失問題，而且利用LSTM 模擬人腦的記憶機制和遺忘機制的過程符合人對突發(fā)威脅的預(yù)判規(guī)避機制［13］，所以用LSTM 網(wǎng)絡(luò)訓(xùn)練無人機飛行數(shù)據(jù)，威脅數(shù)據(jù)和目標點數(shù)據(jù)，并與相應(yīng)的機動決策標簽集形成對應(yīng)關(guān)系，從而建立無人機直覺情景決策知識庫。

在無人機安全規(guī)避決策時，需要考慮LSTM網(wǎng)絡(luò)在當前時刻的決策輸出，然后通過softmax 函數(shù)［16］計算模型的輸出，softmax 函數(shù)如下式所示

式中，A為無人機威脅規(guī)避的機動決策集合，s為機動決策集合A中的某個元素，y為機動決策s的輸出概率，h為LSTM 網(wǎng)絡(luò)隱含層最后輸出，Wysh為邏輯回歸的權(quán)重系數(shù)，by為邏輯回歸的偏置項。

采用0?1損失函數(shù)計算樣本的平均輸出誤差［16］，通過基于時間的誤差反向傳播算法（Back propaga?tion trough time，BPTT）［17］，來訓(xùn)練LSTM 網(wǎng)絡(luò)。

以無人機飛行過程中威脅機動規(guī)避為研究背景，實驗數(shù)據(jù)從某仿真系統(tǒng)［18］中提取。通過多次運行該仿真系統(tǒng)，得出無人機的態(tài)勢信息以及機動決策信息，從中選取多組原始數(shù)據(jù)，針對每組12×15 數(shù)據(jù)信息進行濾波，去除明顯錯誤數(shù)據(jù)，并修補缺失數(shù)據(jù)，再對數(shù)據(jù)進行歸一化處理并編碼成特征向量［13］，同時記錄下與之對應(yīng)的機動決策標簽集，形成映射關(guān)系并輸入到LSTM 網(wǎng)絡(luò)中進行訓(xùn)練，進而獲得無人機直覺情景決策知識庫，無人機隱式直覺決策基本框架如圖7 所示。

圖7 無人機隱式直覺決策框架圖Fig.7 Framework of UAV’s implicit intuitive decision-making

2.5 無人機威脅規(guī)避直覺決策算法

本節(jié)結(jié)合2.3 節(jié)無人機直覺啟發(fā)規(guī)避和2.4 節(jié)無人機隱式直覺決策，提出無人機威脅規(guī)避直覺決策算法，進而模擬有經(jīng)驗的飛行員進行直覺規(guī)避威脅。

通過對無人機直覺啟發(fā)輔助規(guī)避決策和隱式直覺決策的研究，建立如圖8 所示的無人機威脅規(guī)避直覺決策算法。對無人機多種經(jīng)驗?zāi)B(tài)的原始結(jié)構(gòu)化信息進行訓(xùn)練，形成無人機情景記憶決策知識庫。首先獲取無人機的當前飛行態(tài)勢數(shù)據(jù)，判斷是否存在威脅，如果無威脅或威脅等級較低時，無人機保持原計劃飛行；如果威脅等級處于中等但并不一定會對無人機造成實質(zhì)性的損傷，無人機減速前行；如果威脅等級較高時，需要對無人機進行機動規(guī)避決策。然后提取并結(jié)構(gòu)化處理傳感器采集到的飛行數(shù)據(jù)、威脅數(shù)據(jù)和目標點數(shù)據(jù)等，歸一化處理并編碼成特征向量同時進行情景匹配，如果情景匹配成功，則對決策方案進行預(yù)評估，并選取最優(yōu)決策方案到執(zhí)行環(huán)節(jié)；如果沒有匹配到成功的情景模式，則需要根據(jù)直覺啟發(fā)輔助規(guī)避算法確定無人機的規(guī)避機動決策給執(zhí)行環(huán)節(jié)，并更新無人機直覺情景決策知識庫。

圖8 無人機威脅規(guī)避直覺決策算法Fig.8 Intuitive decision-making algorithm for UAV threat avoidance

3 驗證與仿真

3.1 數(shù)據(jù)準備

因?qū)嶋H地形過大，為便于仿真分析，將一個實際場景地形數(shù)據(jù)按照164∶1 的比例尺縮放到仿真三維地圖上，包含地形威脅數(shù)據(jù)，則單個柵格長、寬和高均記為164 m。后續(xù)為便于仿真分析，直接使用柵格坐標。假設(shè)無人機起始柵格坐標為（10，10，86），無人機的終止目標柵格坐標為（290，270，34）。非合作探測雷達威脅數(shù)據(jù)和氣象威脅數(shù)據(jù)如表1 所示，非合作飛行器威脅的起始柵格坐標為（300，10，35），終止柵格坐標為（10，300，20）。

表1 雷達威脅和氣象威脅數(shù)據(jù)信息Table 1 Information of radar threats and weather threats

3.2 無人機直覺情景決策知識庫訓(xùn)練

將20 000 組特征向量隨機抽取80%作為訓(xùn)練集，剩下20%作為驗證集。通過多次仿真實驗得出效果最好的LSTM 網(wǎng)絡(luò)的參數(shù)如下：隱含層記憶單元數(shù)目N=100，分批訓(xùn)練mini_BatchSize=512，訓(xùn)練迭代次數(shù)為2 000，步長α=0.001，超參數(shù)β1=0.900，β2=0.999，平滑項ε=10-8。圖9 為訓(xùn)練樣本在不同迭代次數(shù)下的訓(xùn)練準確率，從圖中可以看出測試集準確率大約在1 400 次迭代之后達到90%，在1 640 次之后逐漸穩(wěn)定在92%左右。圖10 為信息迭代過程中LSTM 網(wǎng)絡(luò)的損失函數(shù)的變化曲線，Mini?batch 損失收斂到0.35 附近。Adam算法［19］結(jié)合了Momentum 算法和RMSprop（Root mean square prop）算法的優(yōu)點，能夠自適應(yīng)地調(diào)整學(xué)習(xí)率更新策略［20］，對比使用SGDM 算法和RM?SProp 算法訓(xùn)練無人機直覺情景決策知識庫模型，使用Adam 算法具有更好的直覺機動決策效果，如圖11 所示。對比3 種模型可知Adam 算法不僅收斂速度快，且測試集決策準確度高于SGDM 和RMSProp 算法，所以基于Adam 算法的LSTM 網(wǎng)絡(luò)更適用于實現(xiàn)無人機直覺情景決策知識庫的建立。

圖9 訓(xùn)練集和驗證集決策準確率變化曲線Fig.9 Curves of decision accuracy rate changing with itera?tion for the training set and the validation set

圖10 Mini-batch 損失變化曲線Fig.10 Curve of the mini-batch loss changing with iteration

圖11 不同優(yōu)化算法決策準確率變化對比圖Fig.11 Comparison of changes in decision accuracy rates of different optimization algorithms

3.3 經(jīng)驗直覺模型決策準確性驗證實驗

將地形數(shù)據(jù)信息、威脅信息和目標點信息經(jīng)歸一化處理并編碼成特征向量輸入到無人機直覺決策情景匹配數(shù)據(jù)庫中，無人機基于經(jīng)驗直覺的機動規(guī)避決策序列如表2 所示。

表2 無人機直覺機動決策表Table 2 UAV intuitive maneuver decisions

航跡輸出結(jié)果如圖12～14 所示。其中綠色和黃色半球是不同威脅半徑的雷達威脅，紅色球體是氣象威脅，紅色曲線是非合作飛行器的飛行軌跡，綠色軌跡是無人機基于直覺決策平滑處理后的軌跡路線圖。圖12 是規(guī)避航跡俯視圖，從圖中可以看出無人機的飛行軌跡，實現(xiàn)了氣象威脅的規(guī)避，但該圖對無人機是否進入非合作目標探測雷達的探測區(qū)域不能清晰反映。從圖13 中可以清楚地看出無人機通過左轉(zhuǎn)彎有效地規(guī)避了非合作單位的威脅。結(jié)合圖13，14，可以看出無人機不僅規(guī)避了非合作雷達的探測區(qū)域，還實現(xiàn)了地形規(guī)避。綜上可知，無人機直覺決策算法成功規(guī)避多種威脅，確保航跡安全。

圖12 多威脅情況下無人機直覺決策規(guī)避路徑俯視圖Fig.12 Top view of the UAV’s intuitive decision-making avoidance path in the multi-threat situation

圖13 多威脅情況下無人機直覺決策規(guī)避路徑左視圖Fig.13 Left view of the UAV’s intuitive decision-making avoidance path in the multi-threat situation

圖14 多威脅情況下無人機直覺決策規(guī)避路徑前視圖Fig.14 Front view of the UAV’s intuitive decision-making avoidance path in the multi-threat situation

相同飛行環(huán)境下無人機直覺決策規(guī)避路徑與基于群智能算法的規(guī)避路徑進行對比，如圖15 所示，其中黃色曲線是基于群智能算法的規(guī)避路徑。兩種方法均能實現(xiàn)無人機安全規(guī)避，從圖15（a）俯視圖中可以看出兩種方法規(guī)避路線沒有太大的區(qū)別，從圖15（b）的側(cè)視圖中可以看出直覺決策規(guī)避路徑曲線更為平滑，尤其是機動5 到機動8 直覺決策規(guī)避路徑比群智能優(yōu)化算法規(guī)避路徑的平滑性高。另外，對于具備成熟的情景決策知識庫的直覺決策算法時間復(fù)雜度為O(1)，即直接輸出機動決策，而群智能算法時間復(fù)雜度為O(n)，主要與樣本的迭代次數(shù)相關(guān)。此時在時間復(fù)雜度上直覺決策算法優(yōu)于群智能算法，但是前期需要花費大量的時間來建立和完善無人機情景決策知識庫。該仿真實驗中直覺決策算法的航跡總長度為68 671.72 m，群智能算法的航跡總長度為71 812.32 m，可見在航跡代價上直覺決策算法略優(yōu)于群智能算法。

圖15 兩種不同算法下的無人機航跡曲線側(cè)視圖Fig.15 Side view of UAV trajectory curve of the two differ?ent algorithms

4 結(jié)論

本文針對無人機在非博弈對抗飛行環(huán)境中安全規(guī)避威脅及智能機動決策問題，提出了一種基于經(jīng)驗直覺的無人機威脅規(guī)避機動決策方法。首先設(shè)計了無人機直覺啟發(fā)輔助規(guī)避決策算法，然后提出基于數(shù)據(jù)的無人機隱式直覺決策算法，選用Ad?am 梯度下降算法調(diào)整的LSTM 網(wǎng)絡(luò)對處理好的數(shù)據(jù)進行訓(xùn)練，建立了無人機直覺情景決策知識庫，應(yīng)用于無人機基于經(jīng)驗直覺的機動威脅規(guī)避決策。最終仿真結(jié)果表明該方法能準確地對無人機威脅規(guī)避進行直覺決策，進一步驗證了所提出的基于經(jīng)驗直覺的無人機機動規(guī)避方法的有效性。