基于特征聚合的空中加油錐套檢測算法

陶承陽，袁 杰，回 天，加爾肯別克

（1.新疆大學(xué) 電氣工程學(xué)院，新疆 烏魯木齊 830046；2.西北工業(yè)大學(xué) 無人系統(tǒng)技術(shù)研究院，陜西 西安 710072）

0 引 言

空中加油技術(shù)是指在飛行過程中通過加油機向受油機傳輸燃油的技術(shù)?？罩屑佑图夹g(shù)可以有效延長飛機滯空時間、擴大作戰(zhàn)半徑，在軍事方面具有重要的作用。

目前，空中加油技術(shù)較為成熟的實現(xiàn)方式分別為軟管式和硬管式。由于硬管式空中加油技術(shù)使用的加油設(shè)備體積龐大、通用性差且加油管數(shù)量少，因此我國普遍采用軟管式空中加油方式。但相較于硬管式空中加油技術(shù)，軟管式空中加油技術(shù)由于采用柔性結(jié)構(gòu)的加油軟管-錐套組合體，其運動狀態(tài)一方面取決于加油機的運動狀態(tài)，另一方面則受到加油機尾流以及大氣湍流的影響，在多種因素的綜合作用下，加油錐套出現(xiàn)不規(guī)則的擺動現(xiàn)象，因此，在成像端易出現(xiàn)退化幀（運動模糊、失焦、遮擋等）。

隨著卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測領(lǐng)域的應(yīng)用越來越廣泛，目前的目標(biāo)檢測算法如SSD、Faster R-CNN、Yolo系列等，相較于傳統(tǒng)方法取得了優(yōu)秀的檢測效果。近年來，受到需求的牽引，基于深度學(xué)習(xí)技術(shù)的空中加油錐套檢測技術(shù)逐漸成為研究熱點，國內(nèi)外學(xué)者通過不同的方法開展了大量研究工作，取得了重大的突破。文獻(xiàn)[1]通過融合多尺度特征改進(jìn)了SSD算法，增強了算法對大分辨率特征圖全局語義信息的理解能力，提高了加油錐套檢測的準(zhǔn)確率；文獻(xiàn)[2]通過改進(jìn)的Yolov3算法實現(xiàn)了對加油錐套的檢測與跟蹤；文獻(xiàn)[10]提出了改進(jìn)的雙邊濾波方法，并引入多次迭代計算圖像雙門限高低閾值，有效降低圖像噪聲的同時保留了更多邊緣信息，提高了圖像中弱邊緣的檢測準(zhǔn)確度，有效地檢測出加油錐套。

然而，目前的加油錐套檢測算法主要基于靜態(tài)圖像目標(biāo)檢測算法，沒有充分利用視頻中臨近幀之間的時空上下文信息。當(dāng)成像端出現(xiàn)退化幀現(xiàn)象時，現(xiàn)有算法提取的特征質(zhì)量下降，檢測效果隨之變差，出現(xiàn)誤檢、漏檢、置信度下降等情況，給受油機與加油錐套對接的過程帶來了潛在的風(fēng)險。

綜上所述，本文在Yolov3算法的基礎(chǔ)上進(jìn)行改進(jìn)，在保留Yolov3算法強大的空間特征提取能力的同時結(jié)合光流估計網(wǎng)絡(luò)將臨近幀特征聚合到當(dāng)前幀，增強網(wǎng)絡(luò)對時空上下文的利用能力，提高算法在退化幀上的檢測效果。具體研究內(nèi)容包括以下三方面：

1）引入特征聚合機制。通過光流估計網(wǎng)絡(luò)將臨近幀與當(dāng)前幀聯(lián)系起來，獲得含有加油錐套運動信息的光流場，根據(jù)光流場進(jìn)行特征對齊及特征聚合。

2）將光流估計網(wǎng)絡(luò)與Yolov3網(wǎng)絡(luò)結(jié)合，構(gòu)建端到端的網(wǎng)絡(luò)模型，增強算法在復(fù)雜環(huán)境下的抗干擾能力，不需要單獨對光流估計網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

3）設(shè)計檢測結(jié)果穩(wěn)定性的評價指標(biāo)。通過分析檢測結(jié)果的穩(wěn)定性與目標(biāo)邊界框面積的變化關(guān)系，設(shè)計適合空中加油任務(wù)的檢測結(jié)果穩(wěn)定性評價指標(biāo)，驗證不同算法檢測結(jié)果的穩(wěn)定性。

1 特征聚合

特征聚合廣泛地應(yīng)用于動作識別以及視頻描述領(lǐng)域。利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）將連續(xù)幀中的特征進(jìn)行聚合，增強網(wǎng)絡(luò)對視頻時空上下文信息的利用能力，但此類算法普遍內(nèi)存占用量較大。利用時空卷積層可以直接提取時空特征，盡管此類方法內(nèi)存占用量較小，但卷積核尺寸較大時會極大地增加參數(shù)數(shù)量，帶來過擬合、計算量增大等問題；卷積核尺寸較小時會限制模型對快速移動目標(biāo)時空特征的提取能力，容易造成目標(biāo)丟失。考慮到自主空中加油過程中加油錐套目標(biāo)會產(chǎn)生不規(guī)則位移，因此本文基于光流場實現(xiàn)臨近幀之間的特征聚合，以適應(yīng)不同類型的加油錐套目標(biāo)位移。

1.1 光流估計

光流估計是利用視頻中臨近幀之間的相關(guān)性，尋找臨近幀中對應(yīng)像素的位移，從而計算出物體運動信息的一種方法。

針對目標(biāo)位移問題，如圖1所示，物體在空間中運動時會產(chǎn)生三維運動場，運動前后空間對應(yīng)點在成像端上投影的運動會形成一個二維運動場，也被稱為光流場，光流場中包含物體結(jié)構(gòu)及運動參數(shù)等信息。

圖1 運動場與光流場對應(yīng)關(guān)系

設(shè)視頻幀的寬、高像素值分別為、，則光流估計得到的光流場維度為(2,,)，其中2個通道分別記錄了對應(yīng)像素位移在軸的分量及其在軸的分量。為了直觀地表示出光流場中物體的位移，首先將像素的位移轉(zhuǎn)換為極坐標(biāo)的形式，轉(zhuǎn)換公式為：

式中：為極徑，表示位移的大?。粸闃O角，表示位移的方向。為了更直觀地表示光流場，本文將維度為(2,,)的光流場轉(zhuǎn)化為維度為(3,,)的HSV圖像，其中通道（色調(diào)）表示對應(yīng)像素點的位移方向，通道（飽和度）表示對應(yīng)像素點位移大小，通道（明度）取固定值255。

轉(zhuǎn)化后形成的HSV圖像的顏色與像素位移的對應(yīng)關(guān)系如圖2所示，加油錐套對接過程中的光流場可視化圖像如圖3所示。

圖2 位移矢量與HSV圖像顏色對應(yīng)關(guān)系圖

圖3 光流場估計示意圖

1.2 特征對齊

在進(jìn)行特征聚合之前，需要先根據(jù)光流場中物體的運動信息將目標(biāo)特征的空間位置進(jìn)行對齊。給定輸入視頻的當(dāng)前幀I以及臨近幀I，光流場M=?()I,I通過FlowNet進(jìn)行估計。對齊方程定義為：

式中：f表示臨近幀I經(jīng)過神經(jīng)網(wǎng)絡(luò)主干網(wǎng)提取的特征圖；()使用雙線性插值算法在特征圖每個通道的每個位置進(jìn)行運算；f表示特征圖f經(jīng)過對齊后產(chǎn)生的特征圖。

式中：以及表示特征圖上的空間位置；(,)表示雙線性插值核。

經(jīng)過特征對齊后，由于物體運動導(dǎo)致的當(dāng)前幀特征與臨近幀特征之間的空間位置差異被縮小，為特征聚合做好準(zhǔn)備。

1.3 特征聚合

對齊后的特征圖按照式（7）進(jìn)行聚合，聚合時特征圖上不同空間位置的權(quán)重不同，相同特征圖的不同通道之間共享權(quán)重。

式中：表示參與聚合的臨近幀范圍（本文設(shè)置為1）；w表示特征圖f參與聚合時的權(quán)重，其寬高與f相同。特征聚合過程如圖4所示。

圖4 特征聚合示意圖

2 網(wǎng)絡(luò)結(jié)構(gòu)及損失函數(shù)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

原Yolov3算法的網(wǎng)絡(luò)架構(gòu)按照功能可以劃分為兩個部分：

1）特征提取網(wǎng)絡(luò)：Yolov3使用Darknet-53作為主干網(wǎng)絡(luò)對圖像特征進(jìn)行提取，該主干網(wǎng)共包含53個卷積層以及5個最大值池化層，每個卷積層后進(jìn)行批歸一化操作提高網(wǎng)絡(luò)訓(xùn)練速度，輸入圖像經(jīng)過該網(wǎng)絡(luò)提取出相應(yīng)的特征圖；

2）檢測網(wǎng)絡(luò)：基于特征圖生成檢測結(jié)果，檢測網(wǎng)絡(luò)對三種不同尺寸的特征圖進(jìn)行回歸，在每個位置上產(chǎn)生多個預(yù)測的目標(biāo)邊界框，然后通過非極大值抑制算法（Non-maximum Suppression，NMS）剔除置信度較低以及重合度較高的目標(biāo)邊界框。

本文針對空中加油錐套檢測任務(wù)對Yolov3網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入光流估計網(wǎng)絡(luò)以及特征聚合模塊，增強網(wǎng)絡(luò)對時空上下文的利用能力，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示，光流場數(shù)據(jù)從光流估計網(wǎng)絡(luò)（FlowNet）往特征對齊模塊（Warp）方向流動，特征對齊模塊以及特征聚合模塊均在Feature aggregation虛線框內(nèi)。

圖5 改進(jìn)后的Yolov3網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 損失函數(shù)

損失函數(shù)計算公式如式（8）所示，由4個部分組合而成，分別為中心坐標(biāo)誤差、寬高誤差、置信度誤差以及分類誤差。

2.3 模型訓(xùn)練

訓(xùn)練時使用的硬件配置如表1所示，軟件環(huán)境為：Windows 10系統(tǒng)、CUDA 10.2、Python 3.7、PyTorch 1.6等。

表1 硬件配置

主干網(wǎng)絡(luò)的權(quán)重使用預(yù)訓(xùn)練的DarkNet-53網(wǎng)絡(luò)權(quán)重進(jìn)行初始化，使用自建的11 379張空中加油錐套圖片作為訓(xùn)練集對模型進(jìn)行訓(xùn)練，989張空中加油錐套圖片作為測試集對模型進(jìn)行評估。訓(xùn)練時每次從訓(xùn)練集中隨機抽取兩張臨近幀圖片作為模型輸入，訓(xùn)練參數(shù)設(shè)置如表2所示。

表2 訓(xùn)練參數(shù)

3 實驗結(jié)果分析

3.1 評價指標(biāo)

在目標(biāo)檢測領(lǐng)域，常用的評價指標(biāo)有精確率（Precision）、召回率（Recall）、（Score）、mAP（mean Average Precision）等。但在加油錐套檢測任務(wù)中，除了通過上述指標(biāo)對本文算法以及對比算法進(jìn)行評價以外，還需要設(shè)計一個評價指標(biāo)對檢測結(jié)果的穩(wěn)定性進(jìn)行評價，從而保證加油錐套對接過程的平穩(wěn)進(jìn)行。

設(shè)連續(xù)幀I，I，I之間的時間間隔為，對應(yīng)預(yù)測的目標(biāo)邊界框面積為S，S，S。在理想情況下，若受油機與加油錐套之間的距離不斷接近，則目標(biāo)邊界框之間面積的關(guān)系應(yīng)為S＜S＜S；若受油機與加油錐套之間的距離不斷遠(yuǎn)離，則目標(biāo)邊界框之間面積的關(guān)系應(yīng)為S＞S＞S；若受油機與加油錐套之間的距離保持不變，則目標(biāo)邊界框之間的面積關(guān)系應(yīng)為S≈S≈S。

綜上所述，可將連續(xù)幀檢測出的目標(biāo)邊界框面積之間的關(guān)系用式（9）來描述。

式中：表示所有樣本數(shù)即視頻總幀數(shù)；S表示第幀的面積。理想情況下，受油機與錐套之間的距離均勻變化，則檢測出的錐套面積應(yīng)均勻增大、均勻減小或不變，此時SE取值應(yīng)接近0。但SE的值不僅與受油機與加油錐套之間的距離有關(guān)，還與檢測算法的穩(wěn)定性有關(guān)。當(dāng)檢測算法不穩(wěn)定，檢測出的加油錐套目標(biāo)邊界框忽大忽小時，SE的取值將會增大，當(dāng)檢測出的加油錐套目標(biāo)邊界框均勻變化或不變時，SE將僅受到受油機與加油錐套之間距離變化的影響。綜上所述，對于同一個視頻數(shù)據(jù)來說，SE可以反映不同算法檢測結(jié)果的穩(wěn)定性差異。

3.2 實驗結(jié)果

圖6為在加油錐套測試集上的部分實驗結(jié)果，從左到右依次對應(yīng)模糊、遮擋、正常三種空中加油情景，自上而下分別對應(yīng)Yolov3算法、Yolov3-SPP算法、Faster-RCNN算法以及本文算法的檢測結(jié)果。

圖6 不同情景下檢測結(jié)果對比

由圖6可以看出：在圖像模糊的情況下Yolov3算法會出現(xiàn)誤檢測的現(xiàn)象，F(xiàn)aster R-CNN以及Yolov3-SPP盡管可以正確檢測到加油錐套，但是置信度較低，而本文算法則能夠在模糊幀上得到高置信度的正確檢測結(jié)果；在錐套目標(biāo)被大面積遮擋的情況下，只有Faster R-CNN以及本文算法正確檢測到了加油錐套，且本文算法檢測置信度高于Faster R-CNN；在正常情況下，F(xiàn)aster R-CNN、Yolov3、Yolov3-SPP以及本文算法均能正確檢測出加油錐套目標(biāo)，且本文算法對加油錐套目標(biāo)檢測的置信度高于其他對比算法。

將對比算法與本文算法在加油錐套測試集上進(jìn)行實驗后，詳細(xì)評價指標(biāo)見表3，結(jié)果顯示在平均檢測精度方面，F(xiàn)aster R-CNN算法平均精度為82.29%，Yolov3算法的平均精度為75.94%，Yolov3-SPP算法平均精度為79.46%，本文算法平均精度為85.81%，相較于Yolov3算法提高了9.87%，相較于Faster R-CNN算法提升了3.52%。在召回率方面，本文算法相較于Yolov3算法提高了8.06%，相較于Faster R-CNN算法提高了4.77%。在檢測結(jié)果穩(wěn)定性方面，本文算法相較于Yolov3算法提高了20.14%，相較于Faster R-CNN算法提高了15.14%。

表3 實驗結(jié)果對比

4 結(jié) 語

自主空中加油過程中，加油錐套檢測算法精度的高低以及對劣化幀處理能力的有無直接決定了受油機與加油錐套對接過程風(fēng)險的大小。因此本文基于Yolov3算法進(jìn)行改進(jìn)，加入光流估計網(wǎng)絡(luò)，并根據(jù)光流場將臨近幀提取的特征對齊并聚合到當(dāng)前幀，增強網(wǎng)絡(luò)對成像端時空上下文信息的提取能力，使網(wǎng)絡(luò)遇到劣化幀時能夠通過臨近幀提取的特征來提升當(dāng)前劣化幀提取的特征質(zhì)量，從而提高算法在劣化幀上的檢測精度以及穩(wěn)定性。通過不同算法在加油錐套測試集上的對比實驗，實驗結(jié)果表明本文算法對加油錐套的平均檢測精度相較于原Yolov3算法提高了9.87%，在召回率方面相較于原Yolov3算法提高了8.06%，在檢測結(jié)果穩(wěn)定性方面相較于原Yolov3算法提高了20.14%，而且本文算法降低了誤檢測、漏檢測等情況發(fā)生的概率，為加油錐套自主對接過程的安全順利進(jìn)行提供了保障。

針對光流網(wǎng)絡(luò)運算量大的問題，在未來的研究中，對光流估計網(wǎng)絡(luò)進(jìn)行參數(shù)優(yōu)化以及特征聚合機制進(jìn)行改進(jìn)，提高光流估計的精度以及速度，進(jìn)一步增強算法特征聚合后的特征圖質(zhì)量。