低空小型無人機空域沖突視覺感知技術研究進展

張洲宇，曹云峰, *，范彥銘

1. 南京航空航天大學 航天學院，南京 210016 2. 中航工業(yè)沈陽飛機設計研究所，沈陽 110035

國家空域系統(tǒng)是指由飛行器和空中交通管制相互作用而形成的復雜系統(tǒng)，傳統(tǒng)意義上國家空域系統(tǒng)中的飛行器只包含有人機。近年來隨著無人機的快速發(fā)展，各種類型的無人機已經(jīng)開始進入到社會生活的方方面面，在世界各國都受到了廣泛的重視。

與此同時，無人機的全空域、無限制使用給整個國家空域系統(tǒng)帶來了巨大威脅，如何將無人機安全地集成到國家空域系統(tǒng)，是世界各國的空域管理都需要共同面對的問題。無人機空域沖突感知技術是國家空域集成中最具挑戰(zhàn)性的關鍵技術，在現(xiàn)有的空域沖突感知技術中，適用于低空小型無人機的空域沖突視覺感知技術因具備非合作目標感知能力、安全的工作模式、低尺寸/重量/能耗等優(yōu)勢，受到了世界各國尤為廣泛的關注。

本文針對小型無人機在低空空域應用愈加廣泛、迫切需要融入低空空域的背景，綜述了低空小型無人機空域沖突視覺感知技術的研究進展。第1節(jié)論述了空域沖突感知技術的研究現(xiàn)狀與發(fā)展趨勢；第2節(jié)介紹了低空小型無人機的應用現(xiàn)狀，歸納了低空空域環(huán)境與小型無人機的典型特征；第3節(jié)根據(jù)感知對象的類型，將空域沖突感知設備分為協(xié)同式與非協(xié)同式2類，由此總結出適用于低空小型無人機的空域沖突感知設備應該具備的特點；第4節(jié)介紹了視覺信息預處理、入侵目標視覺檢測、入侵目標相對距離估計這3項空域沖突視覺感知關鍵技術的最新研究進展；第5節(jié)總結了該領域有待進一步解決的難點，并對未來的發(fā)展方向進行展望。

1 空域沖突感知技術的發(fā)展現(xiàn)狀

圖1展示了北美無人機產(chǎn)業(yè)市場規(guī)模的迅猛發(fā)展，預計到2025年北美無人機的市場規(guī)模將達到6 000億美元以上。美國聯(lián)邦航空局的統(tǒng)計數(shù)據(jù)顯示，2016年美國民用無人機保有量是190萬臺，到2021年將達到430萬臺。

圖1 2014—2025年北美商用無人機市場 規(guī)模(單位：億美元)Fig.1 Market size of commercial UAV in North America from 2014 to 2025 (unit: one hundred million dollar)

現(xiàn)有無人機的重量從幾百克到幾十噸不等，飛行高度覆蓋范圍從近地面的幾十米到幾萬米高空，典型無人機的分類如圖2所示，與無人機類型對應的航時、航程、飛行高度等指標如表1所示，、、、分別表示重量、續(xù)航時間、飛行半徑、最大升限?？傮w而言，無人機的全空域、無限制使用給整個國家空域系統(tǒng)帶來了巨大的威脅。因此，如何將無人機安全的集成到國家空域系統(tǒng)，與有人機共享空域是世界各國的空域管理都需要面對的一個共同問題。

圖2 典型無人機分類Fig.2 Classification of UAV

表1 與無人機類型對應的航時、航程、飛行高度

美國在《2009—2040年無人機路線圖》中分析指出：現(xiàn)有無人機飛行過程中的災難性事故率比有人軍用飛機高出1～2個數(shù)量級，提高無人機飛行的安全性與適航性刻不容緩。為此，如圖3所示，美國聯(lián)邦航空管理局針對現(xiàn)有空域的特點制定了適用于無人機的國家空域系統(tǒng)集成方案，其中最外層的空域沖突感知依賴現(xiàn)有的空中交通控制系統(tǒng)，而最內(nèi)層的空域沖突感知主要依賴于無人機自身的機載設備。

圖3 美國聯(lián)邦航空管理局制定的國家空域系統(tǒng)集成方案Fig.3 National aerospace system integration scheme made by federal aviation administration

顯然，無人機的國家空域系統(tǒng)集成是一個龐大的工程，不僅涉及空中交通管理相關法律法規(guī)的制定，也包含無人機空域沖突感知技術的研究與應用。在技術層面上，無人機空域沖突感知技術是國家空域集成中最具挑戰(zhàn)性的關鍵技術，美國聯(lián)邦航空管理局在《2009—2040年無人機路線圖》對無人機空域沖突感知技術作出了如下的明確定義。

無人機空域沖突感知技術為無人機提供在飛行過程中探測潛在威脅的功能，需要達到類似于有人機飛行員用人眼發(fā)現(xiàn)入侵目標并目測相對距離的能力。

近10年來，無人機空域沖突感知技術受到了尤為廣泛的關注，美國、加拿大、意大利、匈牙利等國家的研究機構先后針對無人機空域沖突感知技術開展了大量的深入研究。為此，眾多學者開展了無人機空域沖突感知技術的綜述工作，其中最具代表性的綜述文獻及其內(nèi)容如表2所示。在現(xiàn)有的綜述中，絕大部分綜述文獻都將適用于所有無人機類型的空域沖突感知技術包含在內(nèi)統(tǒng)一進行對比分析，缺乏對適用于某一特定空域、特定類型無人機的空域沖突感知技術的深入探討。例如，文獻[7]對空域沖突感知技術中的感知、決策、避障3個功能模塊進行全面梳理，文獻[9]從硬件實現(xiàn)的角度綜述了空域沖突感知技術的幾種典型方案，文獻[10]綜述了無人機感知與規(guī)避的概念、核心技術和系統(tǒng)設計，文獻[8]梳理了空域沖突視覺感知技術的硬件實現(xiàn)方案；部分綜述文獻側(cè)重于闡述現(xiàn)有空中交通管理的法律法規(guī)對無人機空域沖突感知技術的兼容性，例如，文獻[6]從政策、法規(guī)、標準3個角度系統(tǒng)地闡述了空域沖突感知的需求與挑戰(zhàn)；部分綜述文獻只討論了空域沖突感知技術中的一個較小的組成部分，例如，文獻[11]綜述了入侵目標檢測識別算法的研究進展。

然而隨著時間的推移，無人機空域沖突感知技術的發(fā)展可謂日新月異，每年在《Progress in Aerospace Sciences》《IEEE Transactions on Aerospace & Electronic Systems》《Aerospace Science and Technology》等航空航天領域的頂級期刊和IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)、IEEE Intern-ational Conference on Robotics & Automation (ICRA)、American Institute of Aeronautics and Astronautics (AIAA)、International Conference on Unmanned Aircraft Systems (ICUAS)等無人機與機器人領域的頂級會議上公開的研究成果層出不窮，圖4給出了過去10年無人機與機器人領域的頂級會議與Web of Science收錄的期刊上發(fā)表的有關空域沖突視覺感知的論文數(shù)量統(tǒng)計。截至2021年，適用于低空小型無人機的空域沖突視覺感知技術已經(jīng)可以作為一個獨立的專題進行深入研討，及時地總結梳理將有效推動無人機空域沖突感知技術的進一步發(fā)展。為此，本文針對小型無人機在低空空域應用愈加廣泛、迫切需要融入低空空域的背景，綜述了低空小型無人機空域沖突視覺感知技術的研究進展。

表2 無人機空域沖突感知技術的代表性綜述文獻Table 2 Representative survey papers of UAV aerospace conflict sensing technologies

圖4 過去10年無人機與機器人領域的頂級會議與Web of Science收錄的期刊上發(fā)表的有關空域沖突視覺感知的論文數(shù)量統(tǒng)計Fig.4 Papers related to vision based aerospace conflict sensing published in top conferences on UAV and robotics and indexed in Web of Science during past decade

2 低空小型無人機的應用現(xiàn)狀

如圖5所示，在現(xiàn)有空中交通管理系統(tǒng)中，根據(jù)飛行與管制規(guī)則的不同，整個空域被劃分為6類：

A6 000～20 000 m高度空域，現(xiàn)有民航運輸類飛機主要飛行區(qū)域，嚴格按照現(xiàn)有空管規(guī)則進行飛行。

B主要機場周邊高度低于3 000 m空域。

C次于B類機場的繁忙機場周邊高度低于1 200 m的空域。

D有塔臺的機場周邊高度低于800 m的空域。

E從地面開始，A～D類外的空域。

G非管制空域。

一般而言，空中交通管理系統(tǒng)中的低空空域主要是指除A類空域以外的B、C、D、E、G類空域。

結合圖2與表1給出的無人機分類可知：在上述6類空域中，能夠在A類空域飛行的無人機占現(xiàn)有無人機總數(shù)的比例極小，且多數(shù)為大型軍用無人機，其成本較高、各種探測與感知設備完備，自身一般都具備有人機駕駛員所具有的“感知與規(guī)避(Sense and Avoid, SAA)”能力，加之這一空域范圍巨大，在此空域飛行的各類飛行器數(shù)量有限，由無人機所引起的安全事故極少。

但是，對于B、C、D類等低空空域而言，飛行在這一區(qū)域無人機主要是圖2中示出的小型/微小型無人機(本文統(tǒng)一稱之為小型無人機)，其共同特點可歸納為：

1) 數(shù)量巨大,低空小型無人機因為成本低廉、操作簡單、起降便捷等優(yōu)勢受到了尤為廣泛的青睞，目前已有相當數(shù)量的這一類型的無人機投入實際應用，為實際監(jiān)管帶來了巨大的挑戰(zhàn)。

2) 操作簡便,不需要對地面操縱人員進行系統(tǒng)培訓就可以直接操縱無人機，這也導致操縱人員素質(zhì)參差不齊，相關由操縱人員引起的安全事故屢有發(fā)生。

圖5 空中交通管理系統(tǒng)中的空域劃分Fig.5 Aerospace classification in aerospace traffic control system

3) 負載較低,絕大多數(shù)的低空無人機的自重在200 kg以下，其中中型無人機小于200 kg，小型無人機小于50 kg，微小型無人機小于5 kg，其有效載荷小于其自重，故其有效搭載能力有限。但是，幾乎所有此類無人機都裝備了機器視覺傳感器，即光學相機，并將其作為主要任務載荷。

總體而言，在B、C、D類等低空空域飛行的無人機數(shù)量巨大，且絕大多數(shù)為低成本、低負載的小型無人機，其自身完全不具備SAA能力。因此，低空小型無人機在B、C、D類低空空域?qū)γ窈斤w機起飛、進近與著陸安全帶來了巨大安全隱患，在國內(nèi)外引發(fā)的航空安全事故層出不窮：如圖6所示，2017年1月7日，莫桑比克航空(LAM Mozambique Airlines, LAM)的波音737-700客機在馬普托飛往太特的航行途中與一架無人飛行器發(fā)生碰撞，碰撞導致波音737-700的鼻錐嚴重受損。2017年2月2日晚近22點，一架疑似無人機的飛行器進入四川綿陽機場凈空保護區(qū)，導致3架飛機備降。2017年2月6日下午，一架軍機在降落臺北松山機場過程中發(fā)現(xiàn)在飛機下滑通道上有無人機，且高度與飛機相當，導致松山機場暫停了所有航班的起降。

圖6 莫桑比克航空的波音737-700客機受損情況[15]Fig.6 Damage of Boeing 737-700 of LAM[15]

綜上所述，由低空小型無人機所引起的安全事故或事故征候給包括空中交通管理系統(tǒng)在內(nèi)的整個航空運輸安全體系帶來了巨大的挑戰(zhàn)和威脅。為此，2013年美國FAA和歐洲無人機系統(tǒng)指導小組分別制定了無人機集成國家空域系統(tǒng)的路線圖，2018年美國FAA又進一步完善了無人機集成國家空域系統(tǒng)路線圖。美國和歐洲空管部門制定的路線圖都明確指出發(fā)展新的空域沖突感知技術是民用無人機系統(tǒng)集成進入現(xiàn)有空域管理體系的關鍵。

3 空域沖突視覺感知的優(yōu)勢

根據(jù)感知對象是否可以進行信息交互，現(xiàn)有機載空域沖突感知設備可以分為2類：① 針對合作目標的協(xié)同式感知設備，如空中交通預警與防撞系統(tǒng)(Traffic Alert and Collision Avoidance System, TACAS)，廣播式自動相關監(jiān)視(Automatic Dependent Surveillance Broadcast, ADS-B)等，該類感知設備通常是指包含探測設備與應答設備在內(nèi)的一組設備，需要通過探測設備與應答設備的相互配合實現(xiàn)對空域入侵目標的感知；② 針對非合作目標的非協(xié)同式感知設備，如合成孔徑雷達(Synthetic Aperture Radar, SAR)、超聲系統(tǒng)、激光雷達、機器視覺等，該類感知設備只包含探測設備，無需應答設備的配合即可實現(xiàn)空域入侵目標的感知。

協(xié)同式感知設備與非協(xié)同式感知設備在感知距離、可提供的信息、目視氣象條件(Visual Meteorological Conditions, VMC)下能否工作、儀表氣象條件下(Instrument Meteorological Conditions, IMC)下能否工作、SWAP(Size, Weight and Power)特征等方面的比較如表3和圖7所示。

表3 機載感知設備的各類特性對比Table 3 Comparison of features of airborne sensing equipment

圖7 機載感知設備的感知距離Fig.7 Sensing ranges of airborne sensing equipment

總體而言，協(xié)同式感知設備的優(yōu)勢是可以實時魯棒地獲取空域入侵目標的類型、高度、速度、位置信息，但是要求感知對象必須是安裝有應答裝置，因此其共同不足可歸納為：① SWAP特征不佳，因此對載荷的要求較高，低空小型無人機往往不具備搭載協(xié)同式感知設備的能力；② 缺乏非合作目標的感知能力，不適用于低空空域。因此，低空小型無人機一般不考慮采用協(xié)同式感知設備。

非協(xié)同式感知設備的優(yōu)勢是無需應答裝置，具有較強的適用性，但是基于非協(xié)同式感知設備的空域沖突感知效果極大地依賴于算法的設計。

在上述6種空域沖突感知設備中，采用機器視覺作為低空小型無人機空域沖突感知的感知設備具有如下3點與眾不同的優(yōu)勢：

1) 非合作目標感知能力

如第2節(jié)所述，低空空域存在著大量的非合作目標，機器視覺以光學圖像為輸入信息，在視覺目標檢測算法的基礎上無需探測設備與應答裝置的相互配合即可實現(xiàn)對影響飛行安全的入侵目標的感知。

2) 安全的工作模式

機器視覺傳感器的被動工作模式不需要向外發(fā)射信號，也不需要接收信號，因此裝備視覺傳感器的無人機不會不占用無線電頻段，從而與國家空域系統(tǒng)內(nèi)的其他飛機相互干擾，在敵對環(huán)境下也不易被敵方探測。

3) 良好SWAP特征

如圖2所示，小型無人機的自重決定了對于空域沖突感知設備的掛載要求極高。在上述6種空域沖突感知設備中，TACAS與ADS-B這2類協(xié)同式感知設備一般是作為民航客機的空域沖突感知使用的，明顯不符合低空小型無人機的掛載要求；而SAR、超聲系統(tǒng)、激光雷達這3類非協(xié)同式感知設備的共同不足包括：機載設備自重大、獨立天線、設備昂貴、能耗高，均無法滿足低空小型無人機的載荷要求。相比之下，機器視覺成像設備重量輕、尺寸小、能耗低、信號穩(wěn)定可靠，符合低空小型無人機的掛載要求。

4 無人機空域沖突視覺感知的關鍵技術

根據(jù)現(xiàn)有的研究工作，無人機空域沖突視覺感知技術的工作原理可歸納為如圖8所示的框架，進一步又可以分為3項逐次遞進的關鍵技術：視覺信息預處理、入侵目標視覺檢測、基于視覺的避障路徑規(guī)劃，圖9給出了過去10年頂級會議與期刊上發(fā)表的論文針對上述3項關鍵技術的研究方向統(tǒng)計。無人機空域沖突視覺感知技術的具體工作原理是：首先通過機載視覺傳感器獲取視覺信息，通過視覺信息預處理模塊對原始視覺信息進行預處理，從而滿足空域沖突感知的基本要求；其次，通過入侵目標視覺檢測模塊完成圖像中入侵目標的定位，作為避障路徑規(guī)劃的基礎；接著，基于視覺的避障路徑規(guī)劃模塊將根據(jù)目標檢測的結果估計相對距離，并計算一條安全的避障路徑；最后，無人機飛行控制系統(tǒng)和無人機動力學模型將共同配合，跟蹤期望的避障路徑。本節(jié)將依次介紹上述3項關鍵技術的研究進展。

圖8 無人機空域沖突視覺感知技術的工作原理Fig.8 Operation procedure of vision based UAV aerospace conflict sensing technology

圖9 過去10年頂級會議與Web of Science收錄期刊上發(fā)表的論文研究方向統(tǒng)計Fig.9 Census about research fields of papers published in top conferences and indexed in Web of Science during past decade

4.1 視覺信息預處理

視覺信息預處理的作用是：對機載視覺傳感器獲取的初始圖像/視頻等信息進行初步處理，以滿足空域沖突感知的基本需求。現(xiàn)有的研究中，空域沖突視覺感知的視覺信息預處理方法主要包括：天地分割、圖像配準、圖像融合，圖10～圖12分別示出了上述3種方法研究現(xiàn)狀的體系結構，表4進一步歸納了視覺信息預處理的典型方法分類與對比。

圖10 天地分割方法的體系結構Fig.10 Structure for sky and ground segmentation

圖11 圖像匹配方法的體系結構Fig.11 Structure for image matching

圖12 圖像融合方法的體系結構Fig.12 Structure for image fusion

4.1.1 天地分割

天地分割是通過檢測機載圖像中的地平線將初始圖像分割為天空區(qū)域與地面區(qū)域2個部分，其目的是減少初始圖像的面積，從而降低后續(xù)算法的計算復雜度。因此，天地分割方法的核心為機載圖像中的地平線檢測，如圖10所示，現(xiàn)有的天地分割方法可分為：基于Hough變換、基于邊緣組合、基于相似梯度3類。

Hough變換是地平線檢測最為常見的方法之一，于1962年由Hough本人首次提出，其初衷是在笛卡爾坐標系中將離散的點轉(zhuǎn)化到參數(shù)空間，從而確定直線方程。然而，最初的Hough變換方法存在的缺陷在于無法表征直線斜率的極值，因此后續(xù)文獻提出了標準Hough變換方法(Standard Hough Transform, SHT)，將Hough變換的思想轉(zhuǎn)化到極坐標系下，從而克服了斜率無法取極值的不足。SHT算法首先對初始圖像進行邊緣檢測，在此基礎上通過Hough變換確定圖像中的直線方程，最后根據(jù)預設期望直線段的閾值(長度、角度等)提取所需要的直線段。文獻[36]采用SHT對初始機載圖像進行天地分割，在此基礎上采用簡單的紋理濾波器即可實現(xiàn)入侵目標檢測?；贖ough變換的天地分割算法的優(yōu)點在于通過集成全局的圖像信息生成方向穩(wěn)定的直線段，其缺點在于僅通過直線方程難以精確地確定地平線的起止點，因此在地平線檢測過程中常需要結合圖像的紋理、梯度等信息綜合判斷。

相比之下，基于邊緣組合與基于相似梯度的天地分割算法都是先提取圖像中的局部信息，通過局部信息的一致性、相似性等約束條件來確定地平線。邊緣組合算法首先通過Canny等邊緣檢測算子提取初始圖像中的邊緣信息，通過將方向一致的局部邊緣首位相連組合為直線段。邊緣組合算法的優(yōu)點在于運行速度快、抗噪性能好，但是其缺點在于非常依賴機載圖像的邊緣豐富程度，當機載圖像中的邊緣信息不夠豐富時，邊緣組合算法的天地分割效果會受到較大的影響。為了彌補這一不足，考慮到圖像中的梯度信息比邊緣信息更穩(wěn)定可靠，文獻[49]提出了基于相似梯度的直線段檢測(Line Segment Detector, LSD)算法，首先計算初始圖像中每個像素點的梯度方向與幅值，在此基礎上選擇梯度最大的像素點作為起始點進行區(qū)域生長，將矩形區(qū)域近似等價為直線段。對于機載圖像而言，基于相似梯度的地平線檢測算法優(yōu)點在于只需要圖像的梯度信息，因此對紅外、可見光等多種源圖像都可以獲得不錯的效果，但是缺點在于易產(chǎn)生過分割。

4.1.2 圖像配準

圖像配準預處理的用途包括2個方面：① 匹配2個機載視覺傳感器獲取的異視角圖像，從而便于后續(xù)的入侵目標檢測、深度圖獲取等處理；② 匹配同一個機載視覺傳感器前一時刻與后一時刻獲取的序列圖像，從而便于后續(xù)提取序列圖像中的時域信息。如圖11所示，現(xiàn)有的圖像匹配方法可分為：基于灰度、基于特征、基于深度學習3類。

基于灰度的圖像匹配方法的核心思想是將灰度信息作為機載圖像的相似性度量指標，其基本步驟包括：灰度信息的計算、灰度相似度檢測、匹配區(qū)域確定。因此，相似度檢測算法的性能是制約該方法效果的關鍵，目前機載圖像常用的相似度檢測算法包括平均絕對差、主成分分析(Principal Component Analysis, PCA)等?？傮w而言，基于灰度的圖像匹配方法原理簡單、易于實現(xiàn)，然而該方法對于幾何形變的魯棒性明顯不足，且計算復雜度完全取決于圖像的尺寸。

基于特征的圖像匹配方法是最經(jīng)典、應用最為廣泛的圖像匹配方法，其核心思想是將圖像中的點、線、區(qū)域等特征作為機載圖像的相似度度量指標，因此，其性能直接取決于所選用的特征。常用的點特征包括SIFT (Scale-Invariant Feature Transform)及其衍生出的特征檢測算子，線特征包括直線、輪廓曲線等，區(qū)域特征包括Hu不變矩等。總體而言，基于特征的圖像匹配方法對幾何形變及遮擋具有較好的魯棒性，但是其缺點在于匹配性能受圖像中提取到的特征豐富度的極大制約，如何根據(jù)圖像的類型選取恰當?shù)奶卣魇窃摲椒ǖ年P鍵。

隨著卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks, CNN)相關理論的發(fā)展，基于深度學習的圖像匹配方法近年來開始逐步出現(xiàn)，相比于CNN在目標檢測、圖像分割等領域的應用，CNN應用于圖像匹配需要增加一個額外的功能組件：度量網(wǎng)絡。MatchNet是卷積神經(jīng)網(wǎng)絡在圖像匹配中成功應用的代表算法，通過卷積神經(jīng)網(wǎng)絡對2幅初始圖像分別提取特征，然后通過度量網(wǎng)絡衡量特征的相似度，利用帶標簽的數(shù)據(jù)聯(lián)合訓練特征提取網(wǎng)絡與度量網(wǎng)絡。DeepCompare在MatchNet的基礎上進一步增加了空間金字塔池化模塊(Spatial Pyramid Pooling, SPP)，從而可以處理任意尺寸的輸入圖像。總體而言，基于深度學習的圖像匹配方法是提升圖像匹配精度的有效方案，且卷積神經(jīng)網(wǎng)絡的工作機制更符合人類視覺皮層的認知過程，但是其缺點在于依賴大量帶有標注的訓練樣本，訓練時間較長。

4.1.3 圖像融合

圖像融合預處理的作用是為了提升低照度條件下視覺感知的可用性，低照度條件下的可見光圖像幾乎無法捕獲入侵目標，但是可以獲取燈光等細節(jié)信息；與此互補的是，紅外圖像可以準確地捕獲入侵目標，但是對于地面紋理、燈光等信息的獲取能力明顯不足；而融合圖像可以較好地保留兩者的優(yōu)點，提升低照度條件下的視覺質(zhì)量。如圖12所示，圖像融合方法根據(jù)其發(fā)展的歷史可分為：基于多尺度變換、基于壓縮感知、基于深度學習3類。

基于多尺度變換的圖像融合方法的核心思想是利用一組手工設計的基函數(shù)對初始圖像進行圖像變換，在變換域?qū)D像的表示系數(shù)進行融合，最后利用基函數(shù)對融合后的系數(shù)進行重建，獲取融合結果。顯然，基函數(shù)的設計是多尺度變換方法的核心，直接決定了最終圖像融合的效果，常用的多尺度變換方法包括小波基、金字塔基等?？傮w而言，基于多尺度變換的圖像融合方法原理簡單，且克服了最初空間域融合方法的不足，但是其最大的缺點在于基函數(shù)的圖像表示能力有限，無法挖掘圖像內(nèi)在的語義信息。

壓縮感知理論的出現(xiàn)在一定程度上克服了多尺度變換理論的不足，其最大的改進在于采用從自然圖像中訓練得到的過完備字典對初始圖像進行稀疏表示。相比于人工設計的基函數(shù)，過完備字典的圖像表示能力大幅提升。因此，基于壓縮感知理論的圖像融合方法在融合效果上有較大的改善，因此一度成為圖像融合領域的SOTA(State Of The Art)算法。但是，由于過完備字典維度的限制，壓縮感知理論只能處理尺寸有限的圖像，因此往往需要先對源圖像進行網(wǎng)格化的分割處理，然后對分割后的圖像塊逐一進行圖像變換，這種局部建模的方式打破了圖像的語義結構，并對匹配精度提出了嚴苛的要求。

深度學習的出現(xiàn)進一步推動了圖像融合方法的發(fā)展，相比于壓縮感知理論，深度學習應用于圖像融合的優(yōu)勢在于：通過全局變換的方式最大程度地保留了初始圖像的語義結構。基于深度學習的圖像融合方法可以分為：基于卷積神經(jīng)網(wǎng)絡與基于卷積稀疏表示2類?；诰矸e神經(jīng)網(wǎng)絡的圖像融合方法目前采用的網(wǎng)絡類型包括回歸式卷積神經(jīng)網(wǎng)絡與分類式卷積神經(jīng)網(wǎng)絡，回歸式卷積神經(jīng)網(wǎng)絡采用全卷積網(wǎng)絡(Fully Convolutional Networks, FCN)結構從初始的異源圖像直接獲取端到端的融合結果，其優(yōu)勢在于無需人工設計融合規(guī)則，但是目前最大的難點在于無法直接獲取用于網(wǎng)絡訓練的監(jiān)督數(shù)據(jù)；分類式卷積神經(jīng)網(wǎng)絡采用圖像分類任務的預訓練網(wǎng)絡對初始的異源圖像提取卷積圖，將卷積圖作為圖像融合的判據(jù)，其優(yōu)勢在于可以直接借鑒VGGNet等分類式預訓練網(wǎng)絡，但是缺點在于依然需要手工設計融合規(guī)則?；诰矸e稀疏表示的圖像融合方法可以視為壓縮感知理論的進一步延伸與拓展，相比于壓縮感知理論所采用的過完備字典，卷積稀疏表示采用的卷積字典濾波器可以直接對初始源圖像進行全局變換，由此克服了壓縮感知理論應用于圖像融合的不足，但是其缺點在于需要手工設計融合規(guī)則。

表4 視覺信息預處理的典型方法分類與對比Table 4 Classification and comparison of typical visual pre-processing methods

4.2 基于視覺的入侵目標檢測

基于視覺的入侵目標檢測的作用是：在視覺信息預處理的基礎上，從視覺信息中提取對無人機可能存在威脅的入侵目標，為后續(xù)的避障路徑規(guī)劃提供參考信息。

區(qū)別于一般的視覺目標檢測任務，入侵目標視覺檢測存在如下3點特殊性。

1) 三維運動環(huán)境帶來的軌跡不可預測性

三維運動環(huán)境帶來的第1個問題是目標的運動軌跡完全無法預測。如圖13(a)所示，基于視覺的車輛與行人運動預測方法目前已經(jīng)得到了廣泛的研究，目標運動的預測可以極大地降低視覺檢測的難度，因此在車輛與行人視覺檢測等任務中，部分研究采用了運動預測模塊來提升檢測算法的精度。然而，由于空域入侵目標的三維運動環(huán)境，很難通過引入運動預測來提升算法精度。

2) 入侵目標外觀差異帶來的類內(nèi)差異性

與車輛視覺檢測、行人視覺檢測等傳統(tǒng)任務不同，入侵目標的外觀具有較大類內(nèi)差異性。如圖13(b)所示，盡管四旋翼無人機、無人直升機、固定翼無人機的外觀差異明顯，但三者都有可能成為入侵目標；另一方面，同一入侵目標的外觀也有可能因為姿態(tài)的調(diào)整而發(fā)生較大的改變。在過去10年中，手工設計的特征都在某一類特定的視覺檢測任務場景中得到了廣泛的應用，例如梯度直方圖(Histogram of Oriented Gradients, HOG)適用于檢測行人、車輛等具有中心對稱性的物體，SIFT適用于處理尺度變化等。盡管現(xiàn)有的研究也嘗試過采用這些手工設計的特征來檢測入侵目標，但是都存在驗證場景過于理想的不足，未能解決入侵目標外觀差異帶來的挑戰(zhàn)。因此，僅依賴手工設計的特征難以應對入侵目標的外觀差異，有必要采用特征學習的手段來獲取更具判別力的特征表達。

3) 避障任務帶來的小目標檢測難題

一般的目標視覺檢測都是致力于檢測圖像中出現(xiàn)的所有目標，而空域沖突視覺感知所需解決的入侵目標檢測是由避障任務驅(qū)動的。因此，當無人機與入侵目標之間的接近速度很大時，需要在盡可能遠的距離檢測入侵目標。如圖13(c)所示，在距離很遠的情況下，入侵目標一般呈現(xiàn)為極小的像素圖案，因而引出了小目標(Dim Target)檢測的問題。因此，在這種情況下入侵目標的時間域信息對于小目標的視覺檢測具有重要的意義。

圖13 入侵目標視覺檢測問題的3點特殊性Fig.13 Three specificities of vision based intruder detection

現(xiàn)有的研究中，基于視覺的入侵目標檢測方法主要包括：采用空間域特征的目標檢測、采用時間域特征的目標檢測，表5歸納了基于視覺的入侵目標檢測典型方法分類與對比。

表5 入侵目標視覺檢測的典型方法分類與對比Table 5 Classification and comparison of typical methods for vision based intruder detection

4.2.1 采用空間域特征的目標檢測方法

采用空間域特征提取的目標檢測方法主要是針對單幅圖像，利用從單幅圖像中提取的空間域特征完成目標檢測。如圖14所示，現(xiàn)有采用空間域特征的目標檢測方法可分為：傳統(tǒng)方法、基于深度學習的方法2類。

圖14 采用空間域特征的目標檢測方法體系結構Fig.14 Structure for spatial feature based object detection

傳統(tǒng)基于空間域特征的目標檢測方法包含2個獨立的環(huán)節(jié)：離線訓練與在線檢測。離線訓練環(huán)節(jié)的目的是為了獲取分類器的參數(shù)，在線檢測環(huán)節(jié)包含3個步驟：候選區(qū)域提取、特征提取、候選區(qū)域分類。候選區(qū)域提取是利用紋理、邊緣等信息從初始圖像中提取出潛在的、可能包含待檢目標的區(qū)域，其目的是避免對初始圖像進行遍歷搜索，提升算法的速度，常見的候選區(qū)域提取算法包括EdgeBoxes、SelectiveSearch；特征提取在選定候選區(qū)域的基礎上進一步提取特征向量，其目的是將候選區(qū)域從圖像空間映射到特征空間，以便進一步分類，常見的空間域特征包括SIFT、局部二值模式(Local Binary Patterns, LBP)等底層特征以及采用稀疏表示進一步學習得到的空間金字塔特征；分類器設計根據(jù)所提取的特征，利用分類算法完成對特征類別的判斷，最終確定候選區(qū)域是否為待檢目標，常見的分類器包括支持向量機(Support Vector Machine, SVM)等。總體而言，傳統(tǒng)基于空間域特征的目標檢測方法設計思路清晰，易于解釋與理解，但是其缺點在于在線檢測3個步驟相互依賴，需要對每個步驟分別調(diào)試才能獲得最佳的檢測效果。

基于深度學習的空間域特征目標檢測方法又可以進一步分為無候選區(qū)域的方法(又稱單步法)和采用候選區(qū)域的方法(又稱雙步法)。單步法的核心思想是采用卷積神經(jīng)網(wǎng)絡同時完成候選區(qū)域的分類與回歸，由于簡化了候選區(qū)域提取這個步驟，因此單步法在目標檢測速度上得到了很快的提升。YOLO系列算法是單步法最為經(jīng)典的代表，首先對初始圖像進行網(wǎng)格化分割，每個網(wǎng)格都要預測一定數(shù)量的邊框，邊框不僅包含了位置信息也包含了置信度信息，從而將候選區(qū)域的提取與預測合二為一，YOLO系列算法通過這種機制減少對同一個目標的重復檢測，因此速度大幅提升。單步法的優(yōu)勢在于目標檢測的速度較快，但是早期的單步法均存在檢測精度不足、對小目標的檢測效果不夠理想等不足。雙步法則繼承了傳統(tǒng)基于空間域特征的目標檢測方法的框架，最初的雙步法如RCNN等算法，其框架與傳統(tǒng)目標檢測算法完全一致，將CNN作為一個單獨的特征提取器來使用，結合SelectiveSearch與SVM來完成目標檢測。后續(xù)算法對RCNN進行了相應的改進，如Fast RCNN實現(xiàn)了只需對全圖提取一次特征從而實現(xiàn)加速的改進，F(xiàn)aster RCNN進一步增加了區(qū)域建議提取網(wǎng)絡(Region Proposal Network, RPN)模塊，進一步提升了算法的速度。雙步法的優(yōu)勢在于目標檢測的精度更高，但是由于需要首先提取候選區(qū)域，因此速度普遍較單步法更慢。

4.2.2 采用時間域特征提取的目標檢測方法

采用時間域特征的目標檢測方法主要是針對序列圖像，利用從連續(xù)圖像的幀與幀之間提取到的時間域特征完成目標檢測。如圖15所示，現(xiàn)有的采用時間域特征的目標檢測方法可分為：背景減除法、幀差法、光流法3類。

圖15 采用時間域特征的目標檢測方法體系結構Fig.15 Structure for temporal feature based object detection

背景減除法最適用于視覺傳感器完全靜止不動的情況，由于背景始終固定，因此只需要對先后幀圖像做簡單的差分即可提取目標。由于機載視覺傳感器始終處于運動狀態(tài)，因此背景減除法并不適用于空域沖突感知的應用背景。

背景減除法的應用場景過于局限，幀差法的基本思路是將背景減除法擴展到視覺傳感器運動的情況，通過對前后幀圖像進行運動估計從而補償前后幀之間的相對運動，在此基礎上進一步做差分提取目標。幀差法的經(jīng)典算法包括魯棒主成分分析(Robust Principal ComponentsAnalysis, RPCA)、前后向運動歷史圖(Forward and Back Motion History Image, FBMHI)等，其主要缺點在于無法有效地檢測出慢速運動目標。

光流法尤其適用于目標與背景之間存在相對運動的情況，通過提取圖像中每個像素點在不同時刻的光流矢量確定圖像中可能存在目標的區(qū)域，其經(jīng)典算法包括Lucas-Kanada等。光流法的優(yōu)勢在于不僅可以檢測目標，還可以獲取目標的運動速度大小、運動方向等信息，但同樣存在計算耗時、對亮度變化敏感等不足。

4.3 基于視覺的避障路徑規(guī)劃

基于視覺的避障路徑規(guī)劃的作用是：在入侵目標視覺檢測的基礎上，通過視覺測量手段獲取入侵目標與無人機之間的相對位置關系(包括距離、角度等)，由此完成入侵目標的威脅度評估，并根據(jù)威脅度評估的結果規(guī)劃安全的避障路徑。

區(qū)別于一般意義上的路徑規(guī)劃，基于視覺的避障路徑規(guī)劃的主要難點在于，路徑規(guī)劃算法需要充分考慮視覺感知的特點。

圖16展示了基于視覺的避障路徑規(guī)劃與基于ADS-B的路徑規(guī)劃的主要區(qū)別，圖中為機體坐標系，原點位于單目相機的光心；()()()()(=1,2,…,)為固連在入侵目標上的相對世界坐標系，其中為每個時刻檢測到的入侵目標總數(shù)；′′′′為固定在地面的絕對世界坐標系。

如圖16(a)所示，當采用相對世界坐標系進行避障路徑規(guī)劃時，絕對世界坐標系′′′′主要用于無人機的導航定位，借助GPS等手段，可以確定機體坐標系相對于絕對世界坐標系′′′′的轉(zhuǎn)換關系。而相對世界坐標系則用于獲取無人機與侵入目標之間的相對位置關系，從而完成避障路徑規(guī)劃的目的。在數(shù)學意義上，由于無法獲取空域內(nèi)所有侵入目標的位置信息，相對世界坐標系下的避障路徑只能達到局部最優(yōu)。

如圖16(b)所示，當采用絕對世界坐標系進行避障路徑規(guī)劃時，首先，借助于GPS提供的定位數(shù)據(jù)，空域內(nèi)所有的飛行器(包含無人機與其他侵入目標)都可以獲取其自身在絕對世界坐標系′′′′下的坐標；其次，借助于地面站和機載雷達及接收機，無人機可以獲取空域內(nèi)所有侵入目標在絕對世界坐標系下的坐標；最后，利用絕對世界坐標系下的全局信息，規(guī)劃出一條避障路徑。在數(shù)學意義上，絕對世界坐標系下的避障路徑可以實現(xiàn)全局最優(yōu)。

圖16 基于視覺的避障路徑規(guī)劃問題與基于ADS-B的避障路徑規(guī)劃問題對比Fig.16 Comparison of vision based and ADS-B based collision avoidance trajectory planning

綜上所述，基于視覺的避障路徑規(guī)劃不僅需要充分考慮通過視覺獲取相對距離的特點，還要在此基礎上結合視覺感知的特點設計避障路徑規(guī)劃算法。因此，現(xiàn)有研究中，基于視覺的避障路徑規(guī)劃方法包括：基于視覺的相對位置估計、避障路徑規(guī)劃，圖17和圖18分別示出了上述2個方法研究現(xiàn)狀的體系結構，表6進一步歸納了基于視覺的避障路徑規(guī)劃方法的分類與對比。

圖17 基于視覺的相對位置估計方法體系結構Fig.17 Structure for vision based relative position estimation

圖18 避障路徑規(guī)劃方法體系結構Fig.18 Structure for vision based collision avoidance path planning

表6 基于視覺的避障路徑規(guī)劃問題的典型方法分類與對比Table 6 Classification and comparison of typical methods for vision based collision avoidance trajectory planning

4.3.1 基于視覺的相對位置估計

基于視覺的相對位置估計是指利用機載視覺傳感器獲取的圖像信息，采用三維重建的手段獲取入侵目標與無人機之間的相對位置關系。如圖17所示，現(xiàn)有基于視覺的相對位置估計方法可分為：基于單目視覺的相對位置估計、基于立體視覺的相對位置估計2類。

基于單目視覺的相對位置估計是指僅利用一個視覺傳感器采集的單幀圖像或圖像序列完成距離估計，因此又可以進一步分為基于單幀和基于多幀的相對位置估計方法?；趩螏南鄬ξ恢霉烙嫹椒ň褪侵徊捎靡环鶊D像完成目標的定位，通過提取在場景中預先設置的特征標志物，利用幾何約束關系結合相機的內(nèi)參數(shù)完成相對位置的解算。因此，特征標志物的設定與提取是該方法的關鍵，現(xiàn)有研究中的特征標志物包括點、直線段、曲線段等。總體而言，基于單幀的相對位置估計方法具有所需圖像信息少的優(yōu)勢，但是其不足之處在于對先驗知識的要求較高，當場景中不包含特征標志物時無法采用該方法進行定位。基于多幀的相對位置估計方法是通過視覺傳感器采集同一個場景不同時刻的圖像，利用幀與幀之間每個像素點的位置偏差實現(xiàn)目標的定位。運動視覺里程計(Dynamic Visual Odometry, DVO)是該方法的代表性算法，在DVO的基礎上又進一步衍生出了多運動視覺里程計(Multi-motion Visual Odometry, MVO)，通過幀間動態(tài)目標的特征點匹配，實現(xiàn)了多目標的距離估計。總體而言，基于多幀的方法克服了單幀方法對于先驗知識的依賴，但是存在計算復雜度高、實時性差的不足。

基于立體視覺的相對位置估計在原理上最初受到了仿生視覺的啟發(fā)，通過模仿生物的雙目感知系統(tǒng)從不同的方位獲取異視角圖像，最終利用三角測距原理完成目標的定位，Marrd和Poggio提出的視覺理論為立體視覺奠定了堅實的理論基礎?；诹Ⅲw視覺的相對位置估計首先需要對異視角圖像進行校正，確保異視角圖像的共軛極線位于同一水平線上，在此基礎上完成異視角圖像的匹配，最后利用三角測距原理完成每個像素點的位置估計。根據(jù)視覺傳感器的安置方式，基于立體視覺的相對位置估計包括平行式光軸與匯聚式光軸2種模式。平行式光軸的相機拍攝角度完全相同，光軸平行，這種模式極大地降低了圖像匹配的難度，但是存在重疊視場有限的不足；匯聚式光軸相當于是將平行式光軸的左右相機分別向內(nèi)或向外旋轉(zhuǎn)一定的角度，匯聚式光軸可以擴大重疊視場的范圍，但是極大地增加了圖像匹配的難度。總體而言，基于立體視覺的相對位置估計可以穩(wěn)定地獲取位置信息，但是針對空域沖突視覺感知的應用背景，其不足之處在于位置估計的精度受基線寬度的制約，無法實現(xiàn)對遠距離小目標的精確位置估計。

4.3.2 避障路徑規(guī)劃

避障路徑規(guī)劃是根據(jù)相對位置估計的結果計算安全的避障路徑，本節(jié)開頭已經(jīng)指出基于視覺的避障路徑規(guī)劃需充分考慮視覺感知的特點，采用全局信息的避障路徑規(guī)劃算法無法適用于空域沖突感知的應用背景。因此，如圖18所示，現(xiàn)有避障路徑規(guī)劃方法均只采用了視覺感知獲取的局部信息，可分為：基于人工勢場、基于幾何約束、基于強化學習3類。

基于人工勢場的路徑規(guī)劃(Artificial Potential Field, APF)核心思想是借鑒物理學中的原子間的互吸、互斥關系完成對避障路徑規(guī)劃的數(shù)學建模，具體而言，采用引力場描述無人機與目的地之間的關系，采用斥力場描述無人機與障礙物之間的關系，由此確定無人機的實時運動方向與速度，求解避障路徑。顯然，引/斥力函數(shù)的設計是基于APF的避障路徑規(guī)劃方法關鍵，文獻[128]結合空域沖突感知的應用背景，設計了一種快速響應的APF函數(shù)，并考慮了無人機的轉(zhuǎn)彎半徑等運動特點?？傮w而言，基于APF的避障路徑規(guī)劃方法原理簡單、易于實施與計算，然而其不足之處在于容易陷入局部最優(yōu)。

基于幾何約束的避障路徑規(guī)劃是在無人機避障中應用最為廣泛的方法，通過無人機與外部環(huán)境之間的幾何關系來檢測碰撞，最終實現(xiàn)避障路徑的求解。該方法的經(jīng)典算法包括比例導引(Proportional Guidance)、最小接近距離(Closest Point of Approach, CPA)、沖突核(Collision Core)等，其共同特點都是通過定義空域沖突的幾何約束關系設計避障規(guī)則，而基于視覺的相對位置估計是設計避障規(guī)則的基礎。針對單目視覺難以獲取距離信息的不足，文獻[109] 進一步模擬人類感知系統(tǒng)設計了基于相對視線角變化率的避障規(guī)則?？傮w而言，基于幾何約束的避障路徑規(guī)劃是一種直觀高效的方法，但是三維空間中的避障幾何約束設計復雜，導致該方法的計算負荷偏高。

強化學習(Reinforcement Learning, RL)是一種直接與環(huán)境進行互動，通過不斷地試錯來選擇最優(yōu)動作的人工智能算法。當應用于空域沖突感知時，首先需要將測量的感知數(shù)據(jù)映射到控制系統(tǒng)的狀態(tài)空間，然后通過Q學習選擇最優(yōu)的避障動作，最后通過組合一系列的動作完成避障路徑的求解。最初的強化學習算法受限于動作和樣本空間的維度，無法處理復雜的實際問題，因此后續(xù)算法將深度學習與強化學習結合，提出了深度Q網(wǎng)絡(Deep Q Network, DQN)，深度強化學習最大的優(yōu)勢在于可以直接從圖像信息中解算得到避障路徑。文獻[135]采用深度強化學習模仿基于幾何約束的避障路徑規(guī)劃，在群智能感知的框架下取得了理想的效果，文獻[136]在此基礎上改進了獎勵函數(shù)，進一步增強了避障性能?？傮w而言，基于強化學習的避障路徑規(guī)劃通過與環(huán)境之間的不斷互動，相比于其他2類方法在避障效率方面得到了增強，但是其不足之處在于需要調(diào)試獎勵函數(shù)和學習策略才能獲得理想的效果。

5 總結與展望

低空小型無人機空域沖突視覺感知至今仍然是世界各國亟待突破的技術瓶頸，具體而言，包含3項逐次遞進的關鍵技術有待進一步解決：視覺信息預處理、入侵目標視覺檢測、基于視覺的避障路徑規(guī)劃。視覺信息預處理是對機載視覺傳感器獲取的初始圖像/視頻等信息進行初步處理，以滿足空域沖突感知的基本需求；基于視覺的入侵目標檢測是在視覺信息預處理的基礎上，從視覺信息中提取對無人機可能存在威脅的入侵目標，為后續(xù)的避障路徑規(guī)劃提供參考信息；基于視覺的避障路徑規(guī)劃是在入侵目標視覺檢測的基礎上，通過視覺測量手段獲取入侵目標與無人機之間的相對位置，由此規(guī)劃安全的避障路徑。

基于本文所聚焦的關鍵技術，結合當前的技術發(fā)展趨勢，未來還有以下問題值得進一步探討：

第一，在視覺信息預處理方面，現(xiàn)有的研究工作主要包括圖像分割、圖像配準、圖像融合，其核心目的都是為了提升圖像質(zhì)量，為后續(xù)的進一步圖像處理提供高質(zhì)量的視覺信息。然而在實際應用中還存在大量亟待解決的視覺信息預處理難題，如：去除圖像中的運動模糊、圖像去雨/霧/塵、過曝光/欠曝光圖像的后處理等等。后續(xù)研究應該著眼于建立一個適用于多種條件下視覺信息增強的統(tǒng)一范式，并給出視覺感知的圖像質(zhì)量評價體系。

第二，在入侵目標視覺檢測方面，現(xiàn)有的研究工作主要包括基于空間域特征提取的目標檢測、基于時間域特征提取的目標檢測，由于入侵目標視覺檢測的3點特殊性，現(xiàn)階段單一的空間域特征與時間域特征都無法完全滿足入侵目標視覺檢測的需求。后續(xù)研究可以通過機器學習的手段，自動獲取空時域上下文概率圖的融合權重，從而增強不同條件下入侵目標檢測的魯棒性。

第三，在基于視覺的避障路徑規(guī)劃方面，現(xiàn)有的研究主要包括基于視覺的相對位置估計、路徑規(guī)劃算法，其中路徑規(guī)劃算法的設計需要充分考慮通過視覺獲取相對距離的特點。近年來單目視覺圖像中的場景深度信息提取得到了愈發(fā)廣泛的關注，場景深度信息同樣可以作為入侵目標位置的觀測信息。后續(xù)研究可以針對場景深度信息在避障路徑規(guī)劃中的應用展開研究，設計與之對應的避障規(guī)則。