深度學(xué)習(xí)下的目標(biāo)跟蹤綜述＊

陳浩東，蔣鑫，張桓瑋

(南京理工大學(xué)計算機科學(xué)與工程學(xué)院，江蘇 南京 210094)

0 引言

基于視頻的目標(biāo)跟蹤是在得到視頻序列中目標(biāo)初始狀態(tài)的情況下，預(yù)測后續(xù)序列中目標(biāo)的大小、位置和方向等狀態(tài)信息。視覺跟蹤技術(shù)無論是在軍用還是民用領(lǐng)域都具有重要的研究意義和廣闊的應(yīng)用前景。

本文主要內(nèi)容如圖1所示，主要貢獻如下：

圖1 深度學(xué)習(xí)下的目標(biāo)跟蹤方法

⑴以深度學(xué)習(xí)下目標(biāo)跟蹤方法的網(wǎng)絡(luò)結(jié)構(gòu)為出發(fā)點，對基于卷積神經(jīng)網(wǎng)絡(luò)、基于循環(huán)神經(jīng)網(wǎng)絡(luò)、基于對抗生成網(wǎng)絡(luò)和基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤方法的發(fā)展進行了總結(jié)。

⑵對常用的數(shù)據(jù)集進行的對比和分析，作為研究工作中選擇數(shù)據(jù)集的一個參考。

⑶總結(jié)了目前目標(biāo)跟蹤領(lǐng)域存在的問題，展望了視覺目標(biāo)跟蹤技術(shù)的發(fā)展趨勢。

1 目標(biāo)跟蹤方法

1.1 單分支網(wǎng)絡(luò)

1.1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法在計算機在計算機視覺領(lǐng)域取得突破后，一系列基于CNN 的方法被提出，它們的研究動機可以歸為以下幾點。

使用大數(shù)據(jù)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)：MDNet和UCT，它們使用ResNet等深度卷積網(wǎng)絡(luò)提取圖像特征。

融合多層深度圖像特征：Wang 等人在FCNT 中發(fā)現(xiàn)頂層的特征包含更多的語義信息可以用作檢測器，較低層攜帶更多判別信息，可以更好的將目標(biāo)與具有相似外觀的干擾物區(qū)分開來。基于以上發(fā)現(xiàn)，Wang等人提出了融合多層深層圖像特征的FCNT。

相關(guān)濾波方法：這類方法將模型與相關(guān)濾波方法結(jié)合，發(fā)揮了CNN的特征表征能力和相關(guān)濾波的速度優(yōu)勢。C-COT將CNN 與相關(guān)濾波結(jié)合后，取得了極大的轟動，ECO還針對相關(guān)濾波方法的計算復(fù)雜度問題進行優(yōu)化。

1.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

MemTrack引入了可動態(tài)更新的動態(tài)存儲網(wǎng)絡(luò)，由具有注意力機制的LSTM 控制的外部記憶塊適應(yīng)外觀變化。SANet在模型的學(xué)習(xí)過程中利用RNN結(jié)構(gòu)對對象的自結(jié)構(gòu)進行編碼，不僅提高了模型區(qū)分類間背景對象的能力，還提高了類內(nèi)類似干擾項的能力。

1.1.3 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（GAN）雖然難以訓(xùn)練和評估，但還是有基于深度學(xué)習(xí)的方法利用GAN 生成訓(xùn)練樣本VITAL針對基于檢測的跟蹤中存在的正樣本過少負(fù)樣本過多的問題，使用GAN來增加特征空間中的正樣本，以捕獲時間跨度內(nèi)的各種外觀變化。

1.2 雙分支網(wǎng)絡(luò)

雙分支網(wǎng)絡(luò)即孿生網(wǎng)絡(luò)，基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法思想是學(xué)習(xí)一個魯棒的外觀模型，并訓(xùn)練一個相似度匹配函數(shù)，通過相似度匹配函數(shù)尋找到當(dāng)前幀的目標(biāo)區(qū)域。孿生網(wǎng)絡(luò)的研究動機可以劃分為研究判別性目標(biāo)表示和自適應(yīng)目標(biāo)變化兩部分。

1.2.1 判別性目標(biāo)表示

孿生網(wǎng)絡(luò)為了得到更具判別性的深度圖像特征并提升外觀模型的，孿生網(wǎng)絡(luò)采用了以下方法。

⑴采用更深層的神經(jīng)網(wǎng)絡(luò)：Zhang 等人提出了SiamDW 算法，通過設(shè)計一個殘差結(jié)構(gòu)消除深度網(wǎng)絡(luò)帶來的負(fù)面影響，同時調(diào)整了主干網(wǎng)絡(luò)的步長和感受野，將ResNet引入了孿生網(wǎng)絡(luò)，在SiamFC上進行了實驗驗證，取得了較原始模型更優(yōu)異的性能。

⑵融合多層深度圖像特征：Fan 等人提出了使用了級聯(lián)區(qū)域推薦網(wǎng)絡(luò)(RPN)的C-RPN。C-RPN 通過多層RPN 網(wǎng)絡(luò)，逐層篩選其中屬于負(fù)樣本的anchor，將模型視為正樣本的anchor 輸入到下一層的RPN 網(wǎng)絡(luò)，在復(fù)雜的背景下如存在相似語義障礙物時能夠取得更加魯棒的表現(xiàn)。

⑶精確的目標(biāo)估計：Zhang 等人提出的Ocean基于像素級的訓(xùn)練策略：將在真實邊界框內(nèi)的所有像素視為正樣本，邊界框外視為負(fù)樣本，訓(xùn)練出的回歸網(wǎng)絡(luò)即使目標(biāo)只有一個小區(qū)域被識別為前景，也能預(yù)測目標(biāo)對象的尺度。

⑷向深度圖像特征施加注意力：Yu等在SiamAttn在目標(biāo)分支和搜索分支中分別做self-attention 操作，實現(xiàn)對通道和特殊位置進行關(guān)注。在搜索分支和目標(biāo)分支之間進行了cross-attention計算，讓搜索分支學(xué)習(xí)到目標(biāo)信息。此外，類似工作還有TranT和STARK,它們向深度特征施加注意力的方式如表1所示。

表1 目標(biāo)跟蹤方法提出的施加注意力的方法

⑸ 利用性能更強的相似度匹配函數(shù)：Chen 等人提出的TransT 通過將原本孿生網(wǎng)絡(luò)跟蹤器的相關(guān)運算（如深度互相關(guān)）替換成了Transform-er中的attention運算，有效地解決了孿生網(wǎng)絡(luò)中相關(guān)性計算的局部線性匹配問題。此外，類似的工作還有STARK和SiamGAT，它們的相似匹配函數(shù)如表2所示。

表2 目標(biāo)跟蹤方法提出的相似匹配函數(shù)

1.2.2 自適應(yīng)目標(biāo)外觀變化

⑴在線更新方法：Zhang等人提出了UpdateNet，通過訓(xùn)練得到UpdateNet 的參數(shù)，將初始模板、上一幀計算模板和上一次計算出的模板輸入到網(wǎng)絡(luò)中，得到新的模板，用新的模板進行相似性計算。

⑵將跟蹤視為檢測任務(wù)：Voigtlaender 等人將Faster R-CNN應(yīng)用到目標(biāo)跟蹤上，利用一個來自第一幀的重檢測模型和來自歷史幀的重檢測模型，對當(dāng)前幀進行檢測，以得到最終目標(biāo)位置。

2 數(shù)據(jù)集

隨著目標(biāo)跟蹤領(lǐng)域的發(fā)展，規(guī)模越來越大、場景越來越多的目標(biāo)跟蹤數(shù)據(jù)集被提出，如圖2所示。根據(jù)數(shù)據(jù)集中單個視頻序列的長度可分為短期目標(biāo)跟蹤數(shù)據(jù)集和長期目標(biāo)跟蹤數(shù)據(jù)集。短期目標(biāo)跟蹤數(shù)據(jù)集如OTB2015、VOT2017、UAV123、TrackingNet、GoT-10k等，長期目標(biāo)跟蹤數(shù)據(jù)集包括LaSoT、OxUvA等。此外，Wang等人提出了自然語言規(guī)范跟蹤的多媒體數(shù)據(jù)集：TNL2K 數(shù)據(jù)集，表3 主要總結(jié)了上述數(shù)據(jù)集的信息。

圖2 深度學(xué)習(xí)下數(shù)據(jù)集的發(fā)展

表3 不同數(shù)據(jù)集信息對比

⑴OTB數(shù)據(jù)集

OTB 數(shù)據(jù)集包含光照變化、目標(biāo)尺度變化、遮擋、目標(biāo)形變等總共11 種視覺屬性，此外還包含25%的灰度圖像。OTB 數(shù)據(jù)集將精確圖、成功圖、魯棒性評估作為數(shù)據(jù)集對模型的評價指標(biāo)。魯棒性評估包括一次性評估、時間魯棒性評估和空間魯棒性評估。

⑵VOT數(shù)據(jù)集

VOT 數(shù)據(jù)集包含相機移動、光照變化、目標(biāo)尺寸變化、目標(biāo)動作變化和遮擋等6種視覺屬性。VOT數(shù)據(jù)集的主要評估指標(biāo)為預(yù)期平均重疊、準(zhǔn)確率和魯棒性。

⑶UAV123數(shù)據(jù)集

UAV123 數(shù)據(jù)集是Mueller 等人在2016 年提出的基于無人機視角的低空目標(biāo)跟蹤數(shù)據(jù)集，與OTB，VOT等使用常規(guī)攝像機拍攝的數(shù)據(jù)集存在本質(zhì)區(qū)別。UAV123 數(shù)據(jù)集包括縱橫比變化、背景干擾、攝像機移動、完全遮擋、光照變化等總共12種視覺屬性。UAV123數(shù)據(jù)集采用與OTB 數(shù)據(jù)集相同的模型評估策略。

⑷TrackingNet數(shù)據(jù)集

TrackingNet 數(shù)據(jù)集接近真實世界的目標(biāo)跟蹤任務(wù)，密集的數(shù)據(jù)注釋使目標(biāo)跟蹤模型的設(shè)計能更偏重于挖掘視頻序列中目標(biāo)的運動信息。TrackingNet 使用OTB 數(shù)據(jù)集中采用的一次評估策略，并將成功率和精度作為評估指標(biāo)。

OxUvA 中視頻序列的平均時長超過2 分鐘,且OxUvA 中超過一半的視頻都包含目標(biāo)消失的情況，貼近真實世界的情況，對目標(biāo)跟蹤模型的性能提出了更高的要求。

值得注意的是OxUvA 每30 幀才標(biāo)注1幀，因此，雖然OxUvA數(shù)據(jù)集的數(shù)據(jù)量非常大，但它適合用于模型評估，而不是用于訓(xùn)練。

GoT-10k 數(shù)據(jù)集總共包含563 種目標(biāo)類別和87種運動模式。GoT-10k提供了目標(biāo)對象的可見率，表示目標(biāo)對象可見的大致比例。可見率為發(fā)展處理遮擋問題的跟蹤方法提供了便利。模型評估上，Huang 等人選擇具有明確含義且簡單的指標(biāo)：平均重疊和成功率作為數(shù)據(jù)集的評估指標(biāo)。

LaSoT 包含1400 個視頻序列，包含70 種目標(biāo)類別，每個類別包含20 個視頻序列，減少目標(biāo)類別給目標(biāo)跟蹤模型帶來的影響；每個視頻序列都包含戶外場景的各種挑戰(zhàn)；每個視頻序列平均長度超過2500 幀。此外重要的一點在于LaSoT 除傳統(tǒng)的BBox 注釋外，還為每個視頻序列添加了自然語言注釋，使其能夠用于自然語言輔助目標(biāo)跟蹤任務(wù)。

TNL2K 包含了17種視覺屬性，總計2000個視頻。在注釋方式上，每個視頻使用自然語言注釋，指示了第一幀中目標(biāo)對象的空間位置、與其他對象的相對位置、目標(biāo)屬性和類別，使其能夠用于自然語言規(guī)范目標(biāo)跟蹤任務(wù)，并為該視頻中的每一幀注釋一個邊界框。評價指標(biāo)上依舊采用了流行的準(zhǔn)確圖和成功圖。

3 總結(jié)

回顧基于深度學(xué)習(xí)的目標(biāo)跟蹤算法的發(fā)展，很多在目標(biāo)跟蹤上取得成就的技術(shù)都是來自深度學(xué)習(xí)的其他領(lǐng)域的理論，如自然語言、注意力機制等。如何更好的利用這些已引入的理論以及如何從其他領(lǐng)域引入新的理論，將是基于深度學(xué)習(xí)的目標(biāo)跟蹤算法現(xiàn)在以及未來的研究熱點。