復雜場境下無人機圖像匹配導航技術研究

陳小平 石浚茹

研究背景

俄烏沖突自2022年2月爆發(fā)，距今已經持續(xù)約一年半。無人機在持續(xù)的沖突中使用頻率遠超傳統(tǒng)武器中的飛機大炮，這場沖突可以說是人類戰(zhàn)爭歷史上動用無人機等無人設備最多、規(guī)模最大，并且起到關鍵作用的一場軍事沖突。近期烏克蘭多次使用無人機襲擊莫斯科，據俄媒報道，今年俄羅斯本土以及克里米亞和戰(zhàn)場上的俄控地區(qū)，已經發(fā)生了超過120次疑似無人機的襲擊。另據報道，烏克蘭基輔近期遭到無人機大規(guī)?？找u，有一種說法是俄羅斯開始對烏克蘭進行報復性打擊。在沖突中，俄烏雙方大量運用中低空、中低速武裝無人機開展對抗，以察打一體無人機為突破點，運用了智能化游擊戰(zhàn)戰(zhàn)法，并取得不錯的作戰(zhàn)效果。

經過整理各媒體對俄烏沖突的報道，雙方無人機主要在情報信息支援、智能決策支撐、攻防轉換支持等方面發(fā)揮關鍵作用。攻防轉換支持方面，近期烏克蘭方面在反電子干擾上有典型應用。據報道，在烏克蘭利沃夫附近的一個露天測試場上，一架攻擊無人機在受到電子干擾后失去了目標信號，但無人機并沒有直接墜毀，而是加速向目標飛去并摧毀目標。烏克蘭生產的無人機雖然可以攜帶炸彈進行攻擊，但容易受到俄羅斯方面的干擾，然而新的人工智能軟件可以使無人機保持鎖定，不受電子干擾和物理障礙的影響，即便俄方遍布電子干擾系統(tǒng)，無人機依舊依靠軟件鎖死預選目標，完成攻擊任務。在這個場景下，此攻擊無人機在電子防御方面完成得非常好，受到干擾后依舊能夠完成任務，抗電子干擾的能力是作戰(zhàn)無人機的一個重要能力。

我們對于電子對抗（又稱電子戰(zhàn)）的最新定義是：使用電磁能、定向能和聲能等技術手段，控制電磁頻譜，削弱、破壞敵方電子信息設備、系統(tǒng)、網絡及相關武器系統(tǒng)或人員的作戰(zhàn)效能，同時保護己方的電子信息設備、系統(tǒng)、網絡及相關武器系統(tǒng)或人員作戰(zhàn)效能正常發(fā)揮的作戰(zhàn)行動，是信息作戰(zhàn)的主要形式。

在本次沖突中，俄烏雙方均使用無人機進行情報偵察和火力打擊，同時采用多種無人機反制樣式。在干擾敵方無人機方面，主要存在導航定位干擾、偵察干擾、信息干擾三個方面。導航定位干擾使無人機無法精確定位自身的空間位置而偏離預定飛行路線，或者無法獲取目標精確位置信息而造成打擊失效。

導航定位干擾是最基礎、最常用的干擾手段之一。無人機常用的導航系統(tǒng)主要有衛(wèi)星導航系統(tǒng)、慣性導航系統(tǒng)和視覺導航系統(tǒng)。單一導航系統(tǒng)有天然的限制，為獲取更加準確可靠的位置信息，無人機導航系統(tǒng)一般利用不止一種導航技術實現組合導航。美國“捕食者”無人機就采用衛(wèi)星導航、慣性導航和視覺導航的組合導航。盡管現階段的無人機、特別是軍用打擊、察打一體等無人機基本都采用多種導航技術實現組合導航，但是由于慣性導航和視覺導航的缺陷和限制，依然以衛(wèi)星導航為主要手段。作為電子對抗/電子干擾的對象，衛(wèi)星導航系統(tǒng)的信號功率極其微弱、信號體制半公開，在電子對抗環(huán)境下極其容易受到干擾。

衛(wèi)星信號被干擾、遮擋以及欺騙攻擊等導致的全球衛(wèi)星導航系統(tǒng)（Global Navigation Satellite System，GNSS）定位設備無法正常輸出導航參數的情形稱為GNSS拒止環(huán)境（Denied Environment）。在GNSS拒止環(huán)境下保持無人機導航參數的正確、正常輸出，是應對敵方干擾必須解決的問題之一。GNSS/INS組合導航經過幾十年的發(fā)展已經非常成熟，這也是大多數移動體采用的導航方式。這種方式在GNSS拒止環(huán)境下，雖然可以通過提升INS的性能、改進GNSS/INS組合方式來提升導航成功率，但是仍然不能長時間地支持移動體進行運動。應對拒止環(huán)境，使無人機在其中依然能保持較長時間的導航參數輸出，實現無人機在拒止環(huán)境下的全局自主導航，是反電子干擾必須走的一步。

視覺導航的本質是以圖像處理的手段挖掘圖像中所包含的導航信息，利用相機獲取周圍環(huán)境信息，通過圖像處理技術和定位算法提取導航信息完成導航任務。視覺導航（Vision-based Navigation，VBN）是一種新型的導航技術，其結構簡單、價格低廉、信息量大和抗干擾能力強的優(yōu)點使之在軍用領域具有極強的應用前景，成為在強拒止環(huán)境中代替GNSS的一大選擇。

基于匹配的視覺導航方法

視覺導航技術方法根據是否參考了圖像先驗信息，可以分為兩種類型：一種是通過圖像序列進行匹配，根據匹配結果得到無人機位姿信息，其中即時定位與地圖構建（Simultaneous Localization and Mapping，SLAM）技術較為成熟；另一種是通過將無人機遙感圖像和坐標信息已知的基準圖像進行配準，根據配準結果完成視覺定位。

無人機基于圖像匹配的方法是以圖像配準技術為基礎的視覺導航方法。需要預先采集環(huán)境圖像、建立導航環(huán)境的圖像數據庫，在飛行過程中從圖像數據庫中搜索與相機拍攝圖像最為匹配的圖像，從而估計當前狀態(tài)的飛行平臺位姿。與SLAM技術相比，該方法的特點在于其中地圖的創(chuàng)建與導航的實時定位是分開完成的。

如采用高精的三維數字地圖，視覺導航的定位成功率和可靠性都大幅提高。然而高精的地圖獲取成本極高，并且需要隨著時間變化不停更新，并不是一個經濟實用的方法。相對于高精三維地圖，將帶有經緯度的衛(wèi)星圖像作為地圖是一個較為理想的選擇。

網絡上有大量的免費的、GPS對齊的衛(wèi)星圖像可以在線獲取，無人機上只需要安裝一個向下的單目相機，并預先加載好飛行地點附近的衛(wèi)星圖像，通過比較、對齊無人機實時獲取的圖像和衛(wèi)星圖像，即可獲得飛機的實時位置。主要問題是處理衛(wèi)星圖像和無人機傳入的圖像之間的成像條件的差異。由于無人機圖像是在遠低于衛(wèi)星地圖的高度上拍攝的，因此高于地平面的結構存在較大的透視效應。植被的季節(jié)性變化、陰影角度、建筑物的視角、車輛的存在以及由于成像硬件不同產生的變化都是我們需要克服的差異。

除了要克服衛(wèi)星圖像和實時圖像之間的差異之外，算法的實時性和輕量化也是一大要點。隨著遙感技術的發(fā)展，數字影像地圖的數據量越來越大，對這類超高像素、超大幅面影像與較小的實時圖像進行配準的問題，以現有的配準方法不僅匹配成功率低，消耗的時間對于實時導航的要求來說也是負擔不起。針對無人機視覺導航快速匹配處理問題，研究無人機實時影響與數字影響地圖的快速配準的新方法與技術途徑沒實現GNSS拒止條件下的無人機視覺導航定位的高效、快速圖像配準處理，解決現有配準算法在無人機視覺導航應用中定位精度差、定位用時長的問題。并且，當前應用于無人機上的CPU、FPGA等傳統(tǒng)機載計算平臺算力有限，無法承載計算量過于龐大的算法，這也是困擾深度學習進入實際應用的難點之一。因此綜合來看，我們需要一種快速實時的、可靠的、符合機載算力的視覺導航定位算法。

特征點匹配是在深度學習給圖像處理領域帶來新一輪潮流之前經過長足發(fā)展的一種匹配方法。特征點匹配包括兩個任務：特征點檢測和描述子提取。特征點檢測的目標是在同一區(qū)域的不同圖像上完成的兩次完全獨立的檢測迭代中找到易被檢測的顯著點，這些圖像可能在光照、尺度、旋轉和視點等方面存在較大差異。描述符提取是從特征點周圍區(qū)域提取特征向量的步驟，目標是構造一個描述符，該描述符將用于使用歐氏距離或漢明距離等度量來匹配特征點。一般使用特征點匹配和統(tǒng)計濾波相結合的方法來進行無人機定位。

隨著卷積神經網絡架構在ImageNet的大規(guī)模視覺識別競賽中獲勝，研究人員開始將CNN應用于視覺定位等計算機視覺任務中。卷積神經網絡在特征提取方面有其獨特優(yōu)質，對圖像高層特征的提取和表示能力可以有效提升光學遙感影像的配準質量。Hunter等人提出一種利用預先存在的衛(wèi)星圖像在GNSS拒止環(huán)境下進行定位的方法，該方法只需一個單目RGB相機，以及預先存在的飛行地點衛(wèi)星圖像，然后將無人機圖與之進行比較和對齊。為了克服衛(wèi)星和無額人際在圖像捕獲條件上的差異，使用卷積神經網絡（CNN）在易于獲得的衛(wèi)星數據上進行訓練，并開發(fā)一種優(yōu)化方法，將相鄰無人機之間的誤差以及衛(wèi)星地圖的誤差降至最低。最終該方法實現在0.2千米高度、0.85千米的飛行距離上，平均定位誤差小于8米。南方科技大學的Zheng、Wei等人提出University-1652的數據集，包含來自3個平臺（無人機、衛(wèi)星和地面相機）的數據，涉及全球1652座大學建筑。University-1652是首個基于無人機的地理定位數據集，可實現無人機視角目標定位和無人機導航。利用該數據集，研究人員分析了各種現成的CNN特征，并在該數據集上提出了一個強大的CNN基線；經過實驗，University-1652有助于模型學習視點不變特征，在真實世界場景中有良好的泛化能力。西北工業(yè)大學的劉、孫等人提出了一種名為F3-Net的端到端地理定位框架，用于計算多源和多視角圖像的相似性。該方法設計了分割與融合（SF）模塊，通過全局自注意機制充分利用特征；為改進多視圖語義特征，引入了基于不變性目標語義一致性原則的目標特征增強（TFE）模塊；在多視圖特征學習之后，使用特征對齊與統(tǒng)一（FAU）模塊與Earthmover（EM）距離計算非對齊特征的相似性。F3-Net充分利用了多源圖像特征對應性和多視圖圖像語義一致性。F3-Net將多視圖圖像的特征視為一種概率分布，因此可以在學習過程中量化并消除多視圖圖像的特征差異。經過實驗，F3-Net在University-1652數據集上達到很高的準確率。深度強化學習結合了深度學習的特征提取能力和強化學習的決策能力，當前關于深度強化學習的視覺導航測試的數據集主要是室內的導航任務，取得了不錯的效果。武漢大學孟怡悅等人利用基于端到端的深度強化學習框架來解決視覺目標導航問題，利用放縮點積注意力機制構建更加的當前時間步的狀態(tài)，利用獎勵塑造自動化設置獎勵空間，解決獎勵稀疏問題，最終提出一種基于注意力機制和獎勵塑造的深度強化學習視覺目標導航方法。該方法在AI2-THOR數據集上進行實驗，相較以往方法成功率提高7%、路徑長度加權成功率提高20%。

視覺導航的完整性

雖然視覺導航領域的研究已經非常成熟，但是和GNSS/INS數十年的研究和廣泛應用相比，系統(tǒng)的完整性和對故障的魯棒性并沒有得到足夠的重視和重點的研究。

完整性是一種可以放置在導航系統(tǒng)輸出中的信任度，通過定義為完整性風險（Integrity Risk，IR）的概率來反映。一般完整性風險是指位置（或姿態(tài)）估計誤差大于可以容忍的極限，而導航系統(tǒng)卻沒有意識到這種危險的情況：

其中‖·‖表示定位誤差的一個度量，AL表示警戒線（Alert Limit，AL），定義為度量空間中的最大允許誤差。為了避免完整性失效，GNSS研究界和航空工業(yè)在過去幾十年開發(fā)了完整性監(jiān)測方法。然而相對于GNSS接收機知道每個發(fā)射信號確切結構，相機是被動式光學春干起，對曝光時間內捕獲的信息知之甚少，結構（特征、對象設計圖案等）的檢測是一項非常具有挑戰(zhàn)性的工作。簡單地采用現有的針對GNSS開發(fā)的方法并不是視覺定位完整性的最佳解決方案。相反，我們需要巧妙地設計完整性框架，以包括跨越不同領域的所有基本故障模式。盡管基于深度學習的系統(tǒng)取得了顯著的成果，但這些方法仍然沒有達到完全取代傳統(tǒng)導航和制導技術的足夠高的技術準備水平。在實際中，驗證深度神經網絡的輸出完整性是非常困難的。

當前算法開發(fā)的重點通常放在提高可用性和準確性，然而更高的準確性和可用性并不一定導致更好的完整性。系統(tǒng)的復雜性通常使故障監(jiān)測和完整性監(jiān)測變得更加困難。因此，如果一個視覺算法為錯誤量化和可行的完整性檢查選項提供了清晰的結構，那么只要能夠滿足這方面的基本要求，其他性能因素（如準確性）的微小犧牲是可以接受的。以面向完整性的觀點重新審視現有的視覺導航相關算法，并為安全關鍵應用確定更好的解決方案，這將是非常有價值的，盡管這并不一定是最先進的算法。

預期成果

經過本項目的研究，預期能夠取得以下成果：

（1）開發(fā)出基于無人機平臺的、基于端到端訓練的深度強化學習框架實現的視覺導航算法，探索人工智能在無人機視覺導航領域應用的可能性；

（2）以多源數據融合的視角，開發(fā)出一種INS/VBN組合導航方法，實現拒止環(huán)境下的無人機自主導航；

（3）在高導航成功率、準確率、實時性的前提下，優(yōu)化系統(tǒng)性能，提高GNSS/INS/VBN無人機導航系統(tǒng)的完整性和魯棒性。