空中加油場景下的目標聯(lián)合檢測跟蹤算法

張 怡，孫永榮，趙科東，李華，曾慶化

（南京航空航天大學導航研究中心，南京 210016）

0 引言

空中加油作為現(xiàn)代空軍有效擴大作戰(zhàn)范圍、提高作戰(zhàn)能力的重要手段，已經(jīng)成為世界各軍事強國空中力量的標準配置［1］。我國空軍和海軍通常采用軟管式空中加油技術(shù)，加油過程基本可以分為5 個階段：會和、編隊、對接、加油以及退出［2］。其中對接階段尤為重要，高精度、高實時性、高可靠性的加油錐套的檢測、跟蹤與定位是空中加油對接成敗的關(guān)鍵［3］。本文主要針對空中加油過程中錐套目標的跟蹤問題開展相應(yīng)研究。

目前主流的目標跟蹤方法是基于檢測的跟蹤［4］，即先利用檢測器在每幀圖片中找到目標，再根據(jù)檢測框之間的關(guān)聯(lián)完成目標的追蹤［5］。在這種方法中，用于關(guān)聯(lián)的策略大多復雜、計算量大，而且檢測器與跟蹤器是完全獨立的，跟蹤性能的好壞依賴于初始幀檢測的結(jié)果。2020 年，文獻［6］中提出了一種可以同時進行檢測與跟蹤的新型網(wǎng)絡(luò)——CenterTrack，在CenterNet 檢測器的基礎(chǔ)上進行了改進與擴充，做到了真正的檢測跟蹤一體化；但也正是由于將檢測與跟蹤融合到了一個網(wǎng)絡(luò)中，該網(wǎng)絡(luò)模型的體量較大，在一臺擁有兩塊GTX1080Ti 顯卡的高性能計算機上進行150 個周期的訓練使其收斂至穩(wěn)定狀態(tài)，共耗時54.3 h。本文將從模型設(shè)計以及優(yōu)化算法兩部分對CenterTrack 網(wǎng)絡(luò)進行改進，利用膨脹卷積組與深度可分離卷積層代替網(wǎng)絡(luò)中的部分標準卷積層以減少網(wǎng)絡(luò)模型的參數(shù)量與計算量，并對網(wǎng)絡(luò)做進一步的優(yōu)化，采用一種帶動量的隨機梯度下降（Stochastic Gradient Descent，SGD）與Adam（Adaptive moment estimation）算法相結(jié)合的模型參數(shù)學習方法，從而實現(xiàn)對錐套目標的有效跟蹤。

1 CenterTrack網(wǎng)絡(luò)簡介

CenterTrack 屬于一種多目標跟蹤網(wǎng)絡(luò)，在本文應(yīng)用于空中加油場景下錐套目標的跟蹤。與以往的跟蹤方法不同的是，在CenterTrack 網(wǎng)絡(luò)中，目標均由邊界框的中心點表示，只要按時間順序?qū)c進行跟蹤就可以實現(xiàn)對目標整體的跟蹤［6］，顯著降低了目標關(guān)聯(lián)的計算量與復雜性。

該網(wǎng)絡(luò)模型的輸入輸出如圖1 所示，輸入共分為三部分：前一幀圖像、當前幀圖像和根據(jù)上一幀圖像渲染出的中心點位置分布熱力圖（heatmap），輸出為當前幀圖像的heatmap、檢測框的尺寸以及從當前目標中心到前一幀目標中心的偏移向量，根據(jù)該偏移向量和當前目標中心即可與前一幀中的目標建立聯(lián)系，從而達到學習跟蹤的目的。在跟蹤過程中，目標會被賦予ID（Identity Document）值，每一幀中目標ID 的變化次數(shù)也是評估跟蹤效果好壞的標準之一。

圖1 CenterTrack網(wǎng)絡(luò)框架Fig.1 Framework of CenterTrack network

該模型的主干網(wǎng)絡(luò)采用的是在DLA（Deep Layer Aggregation）基礎(chǔ)上加入可變形卷積的分割網(wǎng)絡(luò)DLASeg，通過迭代的方式將網(wǎng)絡(luò)結(jié)構(gòu)的特征信息聚合［7］。

2 改進的輕量化CenterTrack跟蹤器

2.1 Tiny-CenterTrack模型的提出

本文對CenterTrack 網(wǎng)絡(luò)從模型設(shè)計與優(yōu)化方法兩方面進行了改進，為了方便表述，下文將改進后的網(wǎng)絡(luò)模型稱作Tiny-CenterTrack。

2.2 基于膨脹卷積與深度可分離卷積的輕量化網(wǎng)絡(luò)

基于深度學習的檢測與跟蹤方法相較于傳統(tǒng)方法的一個重要優(yōu)勢在于可以自動提取圖像特征［8］，但是隨著研究的深入，網(wǎng)絡(luò)參數(shù)量也隨之增加，給實際應(yīng)用帶來了困難。為了方便將網(wǎng)絡(luò)移植到嵌入式平臺等計算量有限的設(shè)備中，研究者們提出了輕量化網(wǎng)絡(luò)［9］的概念，著重研究如何在保持網(wǎng)絡(luò)模型性能的基礎(chǔ)上減小網(wǎng)絡(luò)的計算量，改變卷積方式便是研究方向之一。因此本文引入了膨脹卷積與深度可分離卷積，通過將部分標準卷積層替換為膨脹卷積層與深度可分離卷積層減小網(wǎng)絡(luò)的計算量與參數(shù)量。

膨脹卷積是在標準卷積的基礎(chǔ)上加入空洞，可以理解為等間隔采樣，間隔數(shù)量與膨脹率（dilation）有關(guān)，如圖2 所示，3 幅圖均采用3 × 3 的卷積核。從圖2 中可以看出，在卷積核尺寸相同的情況下，膨脹率越大，卷積層的感受野范圍（方框）也越大，提取到的特征也越多。

圖2 膨脹卷積Fig.2 Dilated convolution

該方法常被用于提高圖像的分辨率，從而實現(xiàn)密集特征的提?。?0］。除此之外，膨脹卷積可以在增大感受野的同時不增加網(wǎng)絡(luò)的參數(shù)量和計算量［11］。

假設(shè)卷積核的大小為k×k，圖像尺寸為W×H，輸入、輸出通道數(shù)分別為Cin、Cout。在不考慮偏置的情況下，卷積層的參數(shù)量Np為：

計算量Nc為：

在各參數(shù)相同的條件下分別對圖像進行一次標準卷積和一次膨脹卷積，標準卷積得到的感受野范圍為k×k，膨脹卷積得到的感受野范圍R為：

一般的神經(jīng)網(wǎng)絡(luò)都需要多個連續(xù)的卷積層提取特征，若多次疊加相同膨脹率的膨脹卷積層會引起網(wǎng)格效應(yīng)，導致信息不夠連續(xù)以及局部信息丟失［12］。因此，本文將擁有不同膨脹率的卷積層組合成不同大小的block，替換原有網(wǎng)絡(luò)的部分卷積層以避免網(wǎng)格效應(yīng)的出現(xiàn)，如圖3 所示。

圖3 改進前后的網(wǎng)絡(luò)結(jié)構(gòu)對比Fig.3 Comparison of network structure before and after improvement

以輸入模塊中的當前幀圖像為例，原網(wǎng)絡(luò)中對該圖像進行一次卷積核尺寸為7 的標準卷積，得到的感受野范圍為7 × 7，根據(jù)式（1）和式（2）可以得到參數(shù)量為7 056，計算量約為7.2 × 109，將其替換為由兩層卷積核尺寸為3 的膨脹卷積層組成的block，第一層膨脹率為1，第二層膨脹率為2，得到的感受野依然為7 × 7，參數(shù)量為1 539，計算量約為1.56 ×109。該方法可以在不改變感受野大小的前提下，減少78.2%的參數(shù)量與78.3%的計算量。

如圖3 所示，本文還將head 部分的標準卷積層替換為了深度可分離卷積層。深度可分離卷積分為深度卷積與逐點卷積兩部分，主要思想是將卷積核拆分為單通道形式，對輸入特征圖的每一個通道都進行卷積操作，然后再利用1 × 1卷積改變輸出特征圖的維度［13］，如圖4 所示。

圖4 標準卷積與深度可分離卷積對比Fig.4 Comparison of standard convolution and depthwise separable convolution

假設(shè)卷積層各參數(shù)與上文相同，在偏置為1 的情況下，深度可分離卷積層的參數(shù)量Np為：

計算量Nc為：

以head 部分的中心點位置分布熱力圖為例，原網(wǎng)絡(luò)對其依次進行了一次卷積核尺寸為3、一次卷積核尺寸為1 的標準卷積，根據(jù)式（4）和式（5）可得其參數(shù)量約為6.0 × 105，計算量約為3.84 × 1010，將其替換為深度可分離卷積層（圖4 中分組個數(shù)g與輸入通道數(shù)相同）后參數(shù)量約為0.68 × 105，計算量約為0.44 × 1010，由此可見，深度可分離卷積可以減少88.7%的計算量與88.5%的參數(shù)量。

2.3 優(yōu)化策略的改進

在深度學習中，損失函數(shù)被用于評估模型預測的能力，目前最常用的損失函數(shù)優(yōu)化方法主要有SGD 和Adam 算法。

隨機梯度下降的基本思想是在計算過程中隨機選取一組樣本進行計算迭代更新，計算公式如下：

式中：gt是t時刻的梯度，θt-1是t-1 時刻損失函數(shù)中的參數(shù)，η是學習率，Δθt是參數(shù)變化量。

從式（7）中可以看出，SGD 的參數(shù)更新完全依賴于當前組樣本的梯度，因此最終可能只是收斂到了局部最優(yōu)而非全局最優(yōu)，并且容易在局部最優(yōu)值附近產(chǎn)生震蕩［14］。為了抑制這種震蕩，SGDM（SGD with Momentum）在梯度下降過程中加入了慣性思想，引入了動量的SGD 應(yīng)用也更為廣泛。

SGDM 采用的是單一學習率η，需要人為設(shè)置，目前很難找到一個可以獲取適合當前所有樣本和學習階段學習率的通用計算方法，自適應(yīng)優(yōu)化方法應(yīng)運而生。Adam 與經(jīng)典的隨機梯度下降法最大的不同之處就在于學習率的選取，它可以在學習過程中利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學習率［15-16］，計算公式如下：

式中：mt、vt分別指的是t時刻梯度的一階矩估計和二階矩估計，mt-1、vt-1分別指的是t-1 時刻梯度的一階矩估計和二階矩估計指的是對mt、vt的校正，gt是t時刻的梯度，Δλt是參數(shù)變化量，β1、β2、ε默認設(shè)置為0.9、0.999、10-8。

從式（12）中可以看出，經(jīng)過偏置校正后，對學習率形成了動態(tài)約束，參數(shù)的更新不會發(fā)生劇烈變化。

大量已有實驗表明，Adam 在訓練初期無論是在收斂速度還是泛化能力上都優(yōu)于SGDM［17］，在訓練后期卻因為梯度的不均勻縮放［18］導致泛化能力遜于SGDM。本文也在初始學習率相同的條件下對訓練集分別采用了Adam 優(yōu)化與SGDM 優(yōu)化進行訓練，損失函數(shù)變化曲線如圖5 所示，成功率及準確率曲線對比如圖6 與圖7 所示。

圖5 不同優(yōu)化函數(shù)下的損失函數(shù)曲線Fig.5 Loss function curves with different optimization functions

圖6 不同優(yōu)化函數(shù)下的成功率曲線對比Fig.6 Comparison of success rate curves with different optimization functions

圖7 不同優(yōu)化函數(shù)下的準確率曲線對比Fig.7 Comparison of accuracy curves with different optimization functions

從loss 曲線圖中可以很明顯看出，在初始學習率相同的情況下，Adam 算法的收斂速度更快，而成功率及準確率對比曲線表明該網(wǎng)絡(luò)模型中SGDM 方法在性能方面基本優(yōu)于Adam。

因此，本文在錐套樣本訓練的初期采用Adam 優(yōu)化，接近收斂后切換到帶動量的隨機梯度下降方法，并根據(jù)錐套樣本訓練實際過程對優(yōu)化函數(shù)的切換時機進行調(diào)整，引入了一個超參數(shù)δ，當滿足以下條件時，則認為可以切換到SGDM：

式中：se-1和se分別代表第e個epoch 及第e-1 個epoch 時的loss 函數(shù)值，在本文中δ取0.01。

為避免出現(xiàn)偶然現(xiàn)象，本文認為當連續(xù)8 個epoch 均滿足式（13）則進行切換。

3 實驗與分析

3.1 基于錐套數(shù)據(jù)集的算法性能分析

3.1.1 樣本的制作

大量有效的樣本是深度學習中各網(wǎng)絡(luò)進行訓練的基礎(chǔ)，本文采用的樣本數(shù)據(jù)主要包括真實的空中加油場景視頻與地面采集的錐套相對運動視頻，共有17 組視頻、15 058 幅圖像，按照約8∶1∶1 的比例關(guān)系將其分為訓練集、驗證集與測試集，如圖8 所示。

圖8 部分錐套樣本示意圖Fig.8 Schematic diagram of some drogue samples

在對樣本進行簡單的調(diào)整與篩選之后，需要對原始樣本進行標注，本文采用COCO（Common Objects in COntext）數(shù)據(jù)集標注格式，生成的JSON（JavaScript Object Notation）文件由圖片信息、目標類別、目標邊界框尺寸、目標編號等部分組成。

3.1.2 算法準確性評估

考慮到跟蹤是為了后續(xù)定位做準備，本文通過衡量目標在圖像中二維位置的準確程度對算法的準確性進行評估，指標包括成功率與準確率。

成功率體現(xiàn)的是能夠正確檢測到目標區(qū)域的幀數(shù)的比例，認為被檢測區(qū)域與實際區(qū)域的重疊度大于設(shè)定的閾值即可算作正確檢測到目標，重疊度IoU（Intersection over Union）的計算方法為：

式中：area(D)表示被檢測區(qū)域，area(G)表示實際區(qū)域。

準確率體現(xiàn)的是邊界框位置偏離程度小于所給位置誤差閾值的幀數(shù)的比例，位置誤差一般由結(jié)果目標框與實際目標框中心點之間的歐氏距離lerr來表示，其計算方法為：

式中：(xr，yr)、(xc，yc)分別代表實際目標框中心點坐標與結(jié)果目標框中心點坐標。

3.1.3 實驗測試環(huán)境

硬件環(huán)境 本文算法通過計算機平臺對視頻數(shù)據(jù)進行處 理，所用CPU 為Intel Core i7-6800K，GPU 為Nvidia GTX1080 Ti，內(nèi)存和顯存分別為32 GB 與12 GB。

軟件環(huán)境 本文算法的操作平臺是Ubuntu16.04 操作系統(tǒng)，編程語言包括C++與Python，網(wǎng)絡(luò)框架采用的是Pytorch，環(huán)境配置包括CUDA10.0、cuDNN7.6.5、OpenCV2.4.9 和Python3.6 等。

3.1.4 實驗結(jié)果與分析

利用上述模型對不同的視頻序列進行測試，算法實現(xiàn)的效果圖如圖9 所示，包含了正常、遮擋、小目標、夜間四種情況。

圖9 算法實現(xiàn)效果Fig.9 Effect of algorithm implementation

在同一個視頻序列中選取連續(xù)4 幀的局部放大圖，錐套目標位置變化情況如圖10 所示，圖中標識出了幀數(shù)、錐套的圖像坐標、類別名稱、ID 值、位移向量以及中心點位置分布熱力圖。

圖10 錐套目標位置變化Fig.10 Drogue target position change

以初始值為0.000 125 的學習率對改進后的網(wǎng)絡(luò)模型進行訓練得到的損失函數(shù)曲線如圖11 所示，對改進前模型訓練100 個周期與改進后模型訓練50 個周期統(tǒng)計得到的成功率與準確率曲線如圖12、13 所示。

圖11 改進前后的模型損失函數(shù)曲線對比Fig.11 Comparison of loss function curves before and after model optimization

圖12 改進前后模型的成功率曲線對比Fig.12 Comparison of success rate curves before and after model optimization

圖13 改進前后模型的準確率曲線對比Fig.13 Comparison of accuracy curves before and after model optimization

從圖11 中可以看出Tiny-CenterTrack 更快地收斂到一固定值并達到穩(wěn)定；從圖12、13 中可以看出，從第50 個訓練周期開始，Tiny-CenterTrack 的成功率與準確率基本達到了改進前模型訓練100 個周期的效果。因此，在相同的硬件條件下，改進之后的模型可將訓練時長從36 h 縮減到18.5 h，大約減少了48.6%。

除此之外，在測試集中隨機選取500 幀圖片進行耗時測試，如圖14 所示，Tiny-CenterTrack 將圖像處理的平均耗時從34 ms 降到了31 ms，下降率約為8.8%。

圖14 兩種算法處理時間對比Fig.14 Processing time comparison of two algorithms

因此，在未損失網(wǎng)絡(luò)性能的情況下，改進后的模型可以極大地減少訓練時長，節(jié)省計算資源并且更加穩(wěn)定。

3.2 基于公共數(shù)據(jù)集的算法性能分析

由于MOTChallenge（Multiple Object Tracking Challenge）是多目標跟蹤領(lǐng)域常用的基準，因此，將本文算法在MOT17數(shù)據(jù)集上進行訓練與測試，并與其他多目標跟蹤方法進行比較。

3.2.1 算法性能評估指標

本文采用的算法性能評估指標如表1 所示。

表1 MOT17數(shù)據(jù)集上的部分評估指標Tab.1 Part of evaluation indicators on MOT17 dataset

3.2.2 MOT17數(shù)據(jù)集測試結(jié)果對比

由于CenterTrack 原作者提供了在MOT17-FRCNN 部分數(shù)據(jù)集上進行驗證的評估結(jié)果，本文也相應(yīng)進行了訓練與測試，結(jié)果如表2。

表2 MOT17-FRCNN數(shù)據(jù)集上的評估結(jié)果對比Tab.2 Comparison of evaluation results on MOT17-FRCNN dataset

除與改進前的網(wǎng)絡(luò)在公共數(shù)據(jù)集上進行對比之外，本文還將所提網(wǎng)絡(luò)與目前MOT17 榜前的部分跟蹤網(wǎng)絡(luò)進行了比較，結(jié)果如表3 所示，其中public 表示采用公共檢測器作為外部輸入，private 表示無需公共檢測器作為輸入。

表3 MOT17數(shù)據(jù)集上的評估結(jié)果對比Tab.3 Comparison of evaluation results on MOT17 dataset

從表2、3 中可以看出，本文所提網(wǎng)絡(luò)與改進前的CenterTrack 網(wǎng)絡(luò)及其他多目標跟蹤網(wǎng)絡(luò)在性能上不相上下，算法的有效性得到了證實。

4 結(jié)語

針對空中加油場景下錐套目標的跟蹤問題，本文將檢測與跟蹤一體化的CenterTrack 跟蹤方法進行了改進，提出了一種空中加油場景下的目標聯(lián)合檢測跟蹤算法。首先為了滿足網(wǎng)絡(luò)輕量化的需求，利用深度可分離卷積層與膨脹卷積層替換部分標準卷積以減小網(wǎng)絡(luò)的計算量與參數(shù)量；然后結(jié)合Adam 優(yōu)化與SGDM 優(yōu)化方法的優(yōu)缺點對該網(wǎng)絡(luò)的優(yōu)化策略進行了改進；最后根據(jù)真實場景下的空中加油視頻以及自行采集的錐套運動視頻制作了相應(yīng)格式的數(shù)據(jù)集以供實驗驗證。

最終分別對錐套數(shù)據(jù)集與MOT17 公共數(shù)據(jù)集進行了算法的驗證與評估。實驗數(shù)據(jù)表明，Tiny-CenterTrack 網(wǎng)絡(luò)模型可以更快地收斂到穩(wěn)定狀態(tài)，在沒有損失網(wǎng)絡(luò)性能的情況下將訓練時長縮減48.6%，有效節(jié)省了計算資源，并在實時性方面提高了8.8%。