基于融合數(shù)據(jù)關聯(lián)的無人機多目標跟蹤算法?

周嘉麒 王指輝 廖萬斌

（南京航空航天大學 南京 211106）

1 引言

隨著無人機在軍用及民用領域的廣泛應用，以無人機為平臺的圖像獲取和處理技術在軍事、交通、物流和攝影等諸多領域得到快速發(fā)展?；跓o人機視覺的多目標跟蹤技術已成為一項重要的研究課題。而無人機采集的視頻中往往存在目標被遮擋而發(fā)生身份跳變的問題，因此研究一種高效、魯棒的無人機多目標跟蹤算法對無人機的應用具有十分重要的意義。

在已提出的多目標跟蹤（Multiple Object Track?ing，MOT）算法中，有一些是全局優(yōu)化的視頻批處理算法，它們的跟蹤框架大多基于最小成本流法和概率圖模型［1～3］。然而，批處理方法不能達到實時檢測和跟蹤的目的。因此，另一部分基于在線處理的跟蹤算法更具實用性，滿足當前任務的要求。例如，多假設跟蹤算法（Multiple Hypothesis Tracking，MHT）［4～5］和聯(lián)合概率數(shù)據(jù)關聯(lián)過濾器（Joint Proba?bilistic Data Association，JPDA）［6～7］的在線算法在逐幀的基礎上執(zhí)行數(shù)據(jù)關聯(lián)，其精度也排在MOT基準的前列。然而，包括上述兩種方法在內(nèi)的許多在線跟蹤器對遮擋問題執(zhí)行復雜處理，無疑增加了計算復雜性。

SORT（Simple Online and Real-time Tracking，SORT）［8～10］是一個在實際應用中使用較為廣泛的一個算法，它使用經(jīng)典有效的方法，即卡爾曼濾波器［11］和匈牙利算法［12］，來處理跟蹤問題中的運動預測和數(shù)據(jù)關聯(lián)。將前一幀和當前幀發(fā)送給跟蹤器進行處理，最簡單的跟蹤方法雖然能提高在線跟蹤的效率和可靠性，但難以解決長期遮擋和目標識別問題，隨后，Wojke［13］等提出基于表觀特征的深度關聯(lián)度量的在線實時跟蹤方法，即基于TBD策略的DeepSORT算法，解決了目標的重新識別問題。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）［14］用于大規(guī)模行人識別數(shù)據(jù)集，借助ReID（Re-identification，ReID）領域模型加入了外觀信息，深度神經(jīng)網(wǎng)絡對特征的強大表達用于建立跟蹤問題中的明顯特征，并將數(shù)據(jù)關聯(lián)轉(zhuǎn)化為運動信息與表觀特征相結合的度量，解決了跟蹤過程中遮擋造成ID Switch的缺陷。盡管新的度量在一定程度上減少了遮擋的干擾，但這個問題仍然無法消除。使用基于檢測的跟蹤方法必須將準確的檢測結果輸入跟蹤器，以便在線實時跟蹤。然而，傳統(tǒng)的目標檢測算法精度差，無法給出準確的檢測結果，使得后續(xù)跟蹤難以達到更高的精度，甚至造成更多的失配。因此，本文將基于深度神經(jīng)網(wǎng)絡的YOLOv4-ti?ny［15］目標檢測算法集成到DeepSORT跟蹤算法框架中。利用YOLOv4檢測到的目標作為后續(xù)跟蹤的基礎，完成無人機多目標跟蹤的實現(xiàn)與優(yōu)化。

由于無人機視頻是以幀格式呈現(xiàn)的，如果目標檢測器能夠準確地識別每幀中的多個目標，那么在線多目標跟蹤問題可以簡化為數(shù)據(jù)關聯(lián)，為了提高在線多目標跟蹤的性能，提出了一種融合型數(shù)據(jù)關聯(lián)框架，該框架結合了局部數(shù)據(jù)關聯(lián)和全局數(shù)據(jù)關聯(lián)的優(yōu)點。根據(jù)實驗結果和數(shù)據(jù)集的性能指標，與基準的YOLOv4-DeepSORT算法對比，提升了跟蹤準確度，且降低了身份跳變次數(shù)。

2 算法概述

基于目標檢測的多目標跟蹤策略，也稱為TBD（Tracking By Detection）策略，是當前MOT算法研究的熱點。本文采用的TBD策略為先用YOLOv4-ti?ny檢測進行目標檢測，再用DeepSORT進行多目標跟蹤。具體實現(xiàn)步驟：首先使用YOLOv4-tiny目標檢測算法對當前無人機視頻中的行人及車輛進行檢測，得到其位置坐標、分類及可信度；其次使用卡爾曼濾波算法預測下一幀的目標框狀態(tài)，對預測結果和測量結果進行更新；緊接著使用匈牙利算法將當前檢測到的目標與上一幀檢測到的目標進行級聯(lián)匹配，得到關聯(lián)的目標框；最后根據(jù)匹配結果將關聯(lián)的目標框作為觀測值更新狀態(tài)，得到當前幀的更新結果。具體的算法流程圖如圖1所示。

圖1 基于TBD策略的算法流程圖

3 基于YOLOv4-tiny的無人機目標檢測

基于TBD的MOT系統(tǒng)中，檢測器對跟蹤效果的魯棒性和速度有很大的影響，且隨著目標數(shù)量的增加，運行速度顯著變慢。因此，綜合考慮跟蹤性能和速度，本文采用高效的YOLOv4-tiny來實現(xiàn)檢測精度和速度之間的平衡。區(qū)別于YOLOv4［16～17］的深層復雜網(wǎng)絡結構，YOLOv4-tiny是一種輕量級卷積神經(jīng)網(wǎng)絡，其網(wǎng)絡結構如圖2所示。

圖2 YOLOv4-tiny網(wǎng)絡結構

YOLOv4-tiny采用CSPDarknet53-tiny網(wǎng)絡作為骨干網(wǎng)絡，應用CBLblock和CSPBlock進行特征提取。其中，CBLblock包含卷積運算（Convolution?al）、批量標準化（BN）和激活函數(shù)。為了減少計算量，激活函數(shù)采用LeakyRelu函數(shù)，其定義如下：

其中ai是大于1的常量。CSPBlock采用跨階段部分連接結構，將輸入特征映射分為兩部分，并在跨階段殘差中將這兩部分連接起來。CSPBlock在保證網(wǎng)絡檢測精度的同時，可以顯著降低10%～20%的計算復雜度。在多特征階段，YOLOv4-tiny構建特征金字塔網(wǎng)絡來提取特征，通過特征金字塔網(wǎng)絡，可以得到兩個不同大小的有效特征圖。為了評估檢測率，YOLOv4-tiny根據(jù)目標的分類和定位采用特征映射。

預測過程中，YOLOv4-tiny將輸入圖像劃分為大小為S×S的網(wǎng)格，CSPDarknet53-tiny將13×13的特征層與26×26的特征層進行，最后會分別生成通道數(shù)為na×(nc+5)的兩個輸出通道，na代表錨框數(shù)量，nc為類別數(shù)。26×26的通道預測小目標，13×13的通道預測大目標。隨后，為了減少冗余的邊界框，我們可以計算每個檢測框的置信度得分。置信度分數(shù)低于預設閾值的檢測將被刪除。每次檢測的置信度得分Conf定義為

其中P(object)表示檢測框包含對象的可能性，若網(wǎng)格中含有目標則P(object)=1，反之P(object)=0。表示真實值邊框與預測值邊框的交并比，可表示為

為計算預測框和真實框之間的類別誤差。采用分類損失函數(shù)為

其中，i,j表示第i個網(wǎng)格的第j個邊界框，若包含對象，反之，不包含對象表示邊界框包含目標真實值的可能性，pi(c)表示邊界框包含目標預測值的可能性。YOLOv4-tiny采用預測框更加符合真實框的CIoU損失函數(shù)［18］進行邊界框回歸。CIoU損失函數(shù)定義如式（5）所示：

其中，ρ2表示歐氏距離，bpred,btruth分別表示area(pred)，area(truth）的中心點，c為真實框和預測框的最小包圍框的對角線長度，wtruth、htruth表示真實框的寬度和高度，wpred、hpred表示預測框的寬度和高度。隨后得到其位置坐標、分類及置信度，將每個視頻幀的檢測結果發(fā)送到數(shù)據(jù)關聯(lián)模型，以接收目標的關聯(lián)結果。

4 基于DeepSORT的無人機多目標跟蹤

DeepSORT算法在SORT算法的基礎上增加了級聯(lián)匹配和新軌跡的確認，以檢測結果的邊界框和置信度為輸入，經(jīng)過卡爾曼濾波器預測軌跡，將預測得到的新軌跡通過匈牙利算法和無人機視頻的當前幀進行級聯(lián)匹配和IoU匹配，最后進行卡爾曼濾波更新。本文主要針對DeepSORT算法中的級聯(lián)匹配的數(shù)據(jù)關聯(lián)方法進行優(yōu)化，在原有基礎上減少了ID Switch的次數(shù)，有效降低了遮擋的干擾。

在MOT研究領域，數(shù)據(jù)關聯(lián)屬于個體檢測技術的子領域。DeepSORT算法通過數(shù)據(jù)關聯(lián)的間接方法，將復雜的多目標跟蹤問題分解為幾個簡單的子問題，在無約束環(huán)境下表現(xiàn)出良好的跟蹤性能。數(shù)據(jù)關聯(lián)的標準方法是逐幀遞歸，以匹配現(xiàn)有軌跡和更新后的檢測結果。局部關聯(lián)匹配方法具有較高的計算效率，由于時間是局部的，因此局部數(shù)據(jù)關聯(lián)適用于在線跟蹤。但局部數(shù)據(jù)關聯(lián)僅針對單幀檢測匹配對象，當存在運動突變、對象檢測錯誤或匹配錯誤等因素時，可能會導致嚴重的不可修復錯誤，這一弱點直接影響在線多目標跟蹤的性能。為了克服局部數(shù)據(jù)關聯(lián)方法的不足，對整個視頻幀進行全局數(shù)據(jù)關聯(lián)來推斷多目標跟蹤的最優(yōu)軌跡。全局數(shù)據(jù)關聯(lián)方法考慮了多幀之間更多的關聯(lián)假設，能夠有效地減少頻繁遮擋或運動突變引起的跟蹤誤差。然而，全局數(shù)據(jù)關聯(lián)是在獲取整個視頻幀的前提下進行的，對于復雜場景和長視頻來說效率很低，因此難以應用于無人機在線視頻的實時跟蹤。

為了提高在線多目標跟蹤的性能，本文提出了一種融合型數(shù)據(jù)關聯(lián)框架，該框架結合了局部數(shù)據(jù)關聯(lián)和全局數(shù)據(jù)關聯(lián)的優(yōu)點。

4.1 融合型數(shù)據(jù)關聯(lián)框架

融合型數(shù)據(jù)關聯(lián)方法的核心思想是在時間窗內(nèi)找出現(xiàn)有軌跡與連續(xù)視頻幀檢測之間的相關性。與最小費用網(wǎng)絡流模型類似，融合型數(shù)據(jù)關聯(lián)框架將每個現(xiàn)有軌跡識別為特定對象。所有對象和關聯(lián)可能性組成一個網(wǎng)絡，其中對象由網(wǎng)絡的節(jié)點表示，關聯(lián)可能性由邊緣表示，邊緣代價用來衡量關聯(lián)的可能性。然后，該方法的實現(xiàn)轉(zhuǎn)化為通過指定對象流的最小代價來尋找最佳關聯(lián)。為了實現(xiàn)該方法，引入一個虛擬對象來識別新的對象，該對象被認為是軌跡的原點。根據(jù)不同的現(xiàn)有軌跡，建立一個特定的模型，將特定對象與其他對象和背景區(qū)分開來，用于計算網(wǎng)絡各方的成本。

4.2 邊緣代價函數(shù)

本文使用邊緣代價函數(shù)度量關聯(lián)的可能性，并評估特定對象流的最小代價以找到最佳關聯(lián)。假設現(xiàn)有軌跡集為，其中Hj是第j條軌跡，K是軌跡總數(shù)。該檢測集合表示為，其中xi是第i次檢測的檢測結果，N是檢測的總次數(shù)。同時引入了一個有向網(wǎng)絡W（X），它具有多個起點STJ和終點ENJ，其中j?{1,2,3…，K}，第j條軌道的起點和終點表示為 (STJ,ENJ）。

當YOLOv4-tiny檢測到新的目標時，引入虛擬對象的起點和終點表示為(ST0,EN0），軌跡的起始邊緣代價和結束邊緣代價表示為（ST，UI）和（vi，EN)。定義起始邊緣的成本和流量為權重CSTi和權重CENi，結束邊緣的成本和流量為權重FSTi和權重FENi，由起點STJ,發(fā)送的流量由終點ENJ接收。在檢測的集合中存在?xi?X，與其對應的一對節(jié)點(ui,vi)由觀測邊緣連接，權重為Ci和Fi；其檢查點(xi,xj)由帶有權重Cij和Fij的移動邊緣表示，其中Cij是成本，F(xiàn)ij是流量。

使用該網(wǎng)絡，將多目標跟蹤問題轉(zhuǎn)化為在多組起始點和結束點之間尋找最佳對象流，以最小化總成本，如式（6）所示：

將式（6）應用于現(xiàn)有軌跡集的所有軌跡，并添加每條軌跡的起始成本、結束成本、觀測成本和遷移成本。多目標跟蹤的最小化總成本的公式可以表示為式（7）：

其中η是衰減系數(shù)，并且O表示兩個邊界框之間的重疊比率。

其中函數(shù)?用于評估軌跡Hh和對應對象的相似度。mh表示跟蹤軌跡Hh的外觀特征，mi表示檢測結果xi經(jīng)過卷積神經(jīng)網(wǎng)絡提取的外觀特征，然后對軌跡的外觀特征進行分析，最后以10幀的平均外觀特征輸出。當兩個特征屬于同一個對象時，函數(shù)?給出高相似度分數(shù)，當兩個特征不匹配時，給出低相似度分數(shù)。在相似度函數(shù)前增加一個負號，構成觀測成本，當相似性得分為正時，觀察成本為負，對于虛擬對象，設置負相似性分數(shù)。

其中mj表示檢測結果xj經(jīng)過卷積神經(jīng)網(wǎng)絡提取的外觀特征。

5 實驗結果

為了驗證本算法在無人機多目標跟蹤任務上的有效性，選用 Visdrone2019-MOT［19］多目標跟蹤數(shù)據(jù)集作為數(shù)據(jù)集進行仿真測試，Vis?drone2019-MOT包含63段完整標注的無人機多目標跟蹤視頻，主要目標為行人及車輛，該數(shù)據(jù)集與本次實驗背景有較高的契合度。實驗平臺采用In?tel i5-9400F處理器，Nvidia GTX 1660 Ti顯卡，內(nèi)存為16G、Windows 10操作系統(tǒng)。

本實驗使用CLEAR-MOT［20］定義的多項指標來評估本算法模型的跟蹤軌跡結果，如多目標跟蹤準確度 MOTA（Multiple Object Tracking Accuracy，MOTA）、多目標跟蹤精度MOTP（Multiple Object Tracking Precision，MOTP）、命中的軌跡假設占ground truth總軌跡的比例（MT）、丟失的目標軌跡占ground truth總軌跡的比例（ML）、誤檢總數(shù)（FP）和漏檢總數(shù)（FN）作為評判標準以及表示目標丟失次數(shù)的身份跳變次數(shù)（ID-S）。

通過對測試集Visdrone2019-MOT中無人機視頻的目標進行跟蹤來驗證對本算法對于無人機多目標跟蹤的優(yōu)化，并將測試序列的多目標跟蹤結果進行可視化，其結果如圖3～圖5所示。實驗結果列于表1。

圖3 車輛跟蹤結果圖

圖4 行人跟蹤結果圖

圖5 行人、車輛跟蹤結果圖

圖3為視頻序列uav0000268_05773_v對車輛的跟蹤效果；圖4為視頻序列uav0000084_00000_v對行人的跟蹤實驗效果；圖5為視頻序列uav0000315_00000_v對行人和車輛的跟蹤效果，不同顏色的矩形框代表跟蹤框，左上角標注了目標類別和ID序號。

由表1可知，本文算法在視頻序列uav0000268_05773_v上效果最佳，在視頻序列uav0000084_00000_v上效果最差，這是因為序列uav0000084_00000_v中行人目標過小，基數(shù)龐大且分布集中，易發(fā)生遮擋而造成誤檢和漏檢現(xiàn)象，導致誤差較大，跟蹤效果差。在視頻序列uav0000315_00000_v相對背景比較鮮明，車輛目標大小適宜，跟蹤效果良好，但又部分行人目標較小，導致行人跟蹤效果一般。

表1 本文算法在測試集Visdrone2019-MOT不同序列上的量化跟蹤結果

為驗證基于融合數(shù)據(jù)關聯(lián)算法能有效降低身份跳變次數(shù)，選用多個交通目標在遮擋條件下的場景，與基準YOLOv4-tiny DeepSORT算法進行了對比，遮擋效果截圖如圖6、圖7所示。實驗結果列于表2。

圖6 基準YOLOv4-tiny DeepSORT算法跟蹤結果圖

圖7 基于融合數(shù)據(jù)關聯(lián)的YOLOv4-tiny DeepSORT算法跟蹤結果圖

表2 本文算法與基準算法跟蹤結果對比

由表2所示，本文算法的跟蹤準確度為62.5%，比基準算法跟蹤準確度提升1%，身份跳變次數(shù)減少4%，從而證明了本文算法有良好的跟蹤準確度且可有效解決目標被遮擋問題而造成ID Switch的問題。

圖6為基準YOLOv4-tiny DeepSORT算法跟蹤結果圖，第一張圖片為第185幀目標被遮擋發(fā)生前，人行道上白車前的行人ID序號為75；第二張圖片第209幀目標被遮擋，此時發(fā)生身份跳變，行人ID序號跳變?yōu)?9；第三張圖片為第223幀目標遮擋過程已結束，行人ID序號依然為59，說明基準YO?LOv4-tiny DeepSORT不能完全改善因遮擋造成ID Switch的缺陷。圖7為基于融合數(shù)據(jù)關聯(lián)的YO?LOv4-tiny DeepSORT算法跟蹤結果圖，第一張圖片為第185幀目標被遮擋發(fā)生前，人行道上白車前的行人ID序號為5；第二張圖片第209幀目標被遮擋，因發(fā)生遮擋造成目標丟失；第三張圖片為第223幀找回丟失目標，行人ID序號依然為5，由此可見，基于融合數(shù)據(jù)關聯(lián)的YOLOv4-tiny DeepSORT算法比基準YOLOv4-tiny DeepSORT算法對遮擋的處理要好，有效地降低被遮擋然后再出現(xiàn)的目標發(fā)生的身份跳變次數(shù)，提高了無人機的跟蹤性能。

6 結語

本文提出了一種融合型數(shù)據(jù)關聯(lián)框架，基于YOLOv4-tiny目標檢測算法和DeepSORT目標跟蹤算法可實現(xiàn)無人機視頻中多目標的實時檢測與跟蹤，仿真結果表明，與基準算法相比跟蹤準確度提升1%，身份跳變次數(shù)減少4%，能夠有效改善目前無人機多目標跟蹤任務中由于遮擋而發(fā)生身份跳變的問題。融合型數(shù)據(jù)關聯(lián)框架也會有不足之處，比如在跟蹤視頻時會導致在時間幀(a+1)處發(fā)生延遲，即便如此，也可以在要求時間內(nèi)完成有效的在線多目標跟蹤問題，后續(xù)可作進一步研究。