面向多目標跟蹤系統(tǒng)的專用循環(huán)目標檢測器

牛嘉豐，石蘊玉，劉 翔，賀 楨，戴佩哲

上海工程技術(shù)大學 電子電氣工程學院，上海201600

多目標跟蹤（MOT）是對視頻幀中多個目標的運動軌跡進行預(yù)測的一種方法，它的應(yīng)用從無人駕駛到智能視頻分析和視頻摘要等的研究都有著重要意義。

解決MOT 問題的主要策略，即按檢測跟蹤方法將多目標跟蹤分解為兩個步驟：（1）目標檢測步驟，將視頻中各個幀的目標檢測出來備用；（2）目標關(guān)聯(lián)步驟，將檢測到的目標區(qū)域匹配到現(xiàn)有軌跡或者作為軌跡起點。近年來，為了提高多目標跟蹤任務(wù)的跟蹤精度和跟蹤速度，學者們針對按檢測跟蹤方法的兩個步驟提出了一系列新的方法。步驟（1）中使用的目標檢測器主要分為二階段和一階段目標檢測器。對二階段目標檢測器，文獻[1]使用了Selective search 方法選取候選框并分別進行分類和位置回歸。在此基礎(chǔ)上，文獻[2]和文獻[3]分別實現(xiàn)了端到端的訓練方式、ROI Pooling 技術(shù)和候選框推薦網(wǎng)絡(luò)（RPN）代替Selective search 選取候選框等優(yōu)化策略，進一步提高了網(wǎng)絡(luò)的訓練速度和檢測速度。文獻[4]通過級聯(lián)幾個檢測網(wǎng)絡(luò)達到不斷優(yōu)化預(yù)測結(jié)果的目的，與普通級聯(lián)不同的是，它的幾個檢測網(wǎng)絡(luò)是基于不同IOU 閾值確定的正負樣本上訓練得到的。對一階段目標檢測器，文獻[5]首先在圖像上預(yù)定義預(yù)測區(qū)域，相當于在圖像上畫網(wǎng)格，并且每個網(wǎng)格有若干個不同大小和不同比例的預(yù)候選區(qū)域，每個網(wǎng)格負責預(yù)測中心點落在該網(wǎng)格的目標，由于其僅使用一個CNN 網(wǎng)絡(luò)直接預(yù)測不同目標的類別與位置，所以檢測速度很快。一階段檢測器檢測速度比二階段檢測器要快，但兩者在檢測精度的性能表現(xiàn)卻相反。步驟（2）的研究重點是提取目標的外觀特征，如使用梯度直方圖、顏色直方圖和積分通道特征表示目標的外觀特征。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，文獻[6]訓練了可以輸出具有辨識度的目標外觀特征的神經(jīng)網(wǎng)絡(luò)模型，并且在訓練時引入了空間注意力機制。以上方法均一定程度上提升了目標外觀特征的辨識能力，但對MOT系統(tǒng)而言，也多出了一些運算消耗。

為提高MOT系統(tǒng)的運行效率，設(shè)計了面向MOT系統(tǒng)的專用循環(huán)目標檢測器（dedicated cyclic detector，DCD）。它以二階段目標檢測器為基礎(chǔ)，提出了低參數(shù)量需求和低計算消耗的候選框推薦方法，替代了傳統(tǒng)的RPN，使得檢測器的檢測速度有所提升，并且檢測精度不受影響。同時DCD融入了目標外觀特征提取分支共享了圖像特征圖，減少了計算消耗，進一步提高了MOT系統(tǒng)的運行效率。

1 專用循環(huán)目標檢測器DCD

DCD 結(jié)構(gòu)如圖1 所示，其中C表示網(wǎng)絡(luò)預(yù)測類別數(shù)，M表示選取的候選框數(shù)量的最大值，t代表幀號且最小值為2。DCD網(wǎng)絡(luò)輸入由當前幀圖像、先前幀特征圖和先前幀目標位置信息三部分組成。網(wǎng)絡(luò)輸出為當前幀特征圖、目標類別位置信息和目標外觀特征。DCD網(wǎng)絡(luò)使用了CSPDarkNet-53[7]作為主干特征提取網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)（PANet[8]）生成多尺度特征圖，PANet 后共生成四種尺度下的特征圖，分別對應(yīng)原圖像1/4、1/8、1/16、1/32的下采樣比例。DCD整體網(wǎng)絡(luò)結(jié)構(gòu)分為目標檢測分支和外觀特征提取分支，將分別在1.1節(jié)和1.2節(jié)介紹。

圖1 DCD結(jié)構(gòu)流程框圖Fig.1 DCD structure flow diagram

1.1 目標檢測分支

目標檢測分支分為兩個部分完成。第一部分的任務(wù)類似于搭建傳統(tǒng)的二階段目標檢測網(wǎng)絡(luò)并進行訓練，第二部分的任務(wù)是用新的候選框選取方法替換RPN選取候選框，替換過程不涉及新參數(shù)的引入，不需要再次進行網(wǎng)絡(luò)訓練。

1.1.1 二階段目標檢測網(wǎng)絡(luò)

搭建的二階段檢測網(wǎng)絡(luò)與DCD網(wǎng)絡(luò)的不同在于候選框的獲取方法不一樣，兩種候選框的獲取方法將在1.1.2節(jié)通過仿真圖示說明。另外在anchor模板方面，根據(jù)數(shù)量，比例和縱橫比設(shè)計anchor，以使其能夠適應(yīng)目標，即本例中的行人。根據(jù)共同的先驗，將所有anchor的縱橫比設(shè)置為3∶1。將anchor模板的數(shù)量設(shè)置為12，以使每個尺度特征圖anchor 模板數(shù)量為3，并且anchor的寬度范圍約為11到512。

類似于Faster-RCNN[3]，網(wǎng)絡(luò)的損失主要分為RPN和Fast-RCNN[2]的損失，并且兩部分損失都包含分類損失和回歸損失。

對于分類損失，由于RPN 分為前景和背景兩個類別，F(xiàn)ast-RCNN 分為行人和背景兩個類別，因此RPN 和Fast-RCNN 都使用了二分類交叉熵損失，計算公式如式（1）所示：

其中，pi是預(yù)測為行人的概率，0代表負樣本，1代表正樣本。

對于回歸損失，RPN和Fast-RCNN都是對邊框位置偏移預(yù)測形成的損失，所用損失函數(shù)為Smooth-L1 函數(shù)，計算公式如式（2）所示：

其中，ti={tx,ty,tw,th} 是一個向量，包含的元素分別表示邊框的左上角橫縱坐標以及寬和高的預(yù)測偏移量。是與ti維度相同的向量，表示邊框左上角橫縱坐標以及寬和高相對于真實框的偏移量。不同的是，RPN 和Fast-RCNN訓練時σ的取值分別為3和1。

RPN 和Fast-RCNN 的損失函數(shù)由分類損失和回歸損失加權(quán)融合而成，其計算公式如式（3）所示：

其中，RPN和Fast-RCNN訓練時Ncls的值分別為256和64，Nreg取值和Ncls相同，λ值取1。

1.1.2 替換候選框選取方法

傳統(tǒng)二階段目標檢測器的RPN結(jié)構(gòu)和DCD檢測器在圖像t(1 024×1 024×3)的1/4下采樣比例特征圖上獲取候選框的過程對比如圖2 所示。不同于傳統(tǒng)二階段目標檢測器的候選框來源于RPN，DCD 的候選框一部分由先前幀檢測到的目標位置信息轉(zhuǎn)化而來，另一部分通過度量相鄰幀間的相似度來判斷最容易出現(xiàn)目標的區(qū)域，進而選取出的候選框。對于后者，將這種候選框選取方法命名為D-RPN。

圖2 候選框獲取流程框圖Fig.2 Block diagram of candidate frame acquisition process

D-RPN 計算了當前幀對于先前幀在不同尺度下的變化得分圖（variation score map，VSM），其在k(k∈{1/4,1/8,1/16,1/32})尺度特征圖上位置(i,j)處的得分計算如式（4）所示：

考慮到共有4 種不同尺度的VSM，且不同尺度VSM得分基準、先驗框數(shù)量和大小都不同，所以候選框的選取需要在不同尺度VSM 上分別進行，記4 種不同尺度的VSM 尺度由淺到深依次為V1、V2、V3、V4。依據(jù)經(jīng)驗，不同尺度VSM 候選框選取過程中所需參數(shù)如表1 所示。例如對尺度V1 的后選框選取過程為：依據(jù)先驗框得分依次選取4 000 組，每組先驗框個數(shù)為6，隨后在每組中隨機挑選出一個先驗框匯總后進行閾值為0.2 的極大值抑制（NMS），同時后選框個數(shù)最大值設(shè)為400。以上選取過程中分組時如果先驗框數(shù)量不夠則停止分組，極大值抑制后未達到候選框個數(shù)最大值時則補0。

表1 后選框選取參數(shù)表Table 1 Parameters of candidate boxes select

DCD檢測器的候選框獲取方法的計算消耗主要來自于D-RPN，但是相對于RPN的候選框獲取方法而言，D-RPN的候選框獲取方法不但不需要參數(shù)，而且減少了檢測分支的計算消耗。通過計算可知，RPN 和D-RPN在特征圖大小為256×256×256上選取候選框時，所需的參數(shù)量分別是119 萬和0，所需浮點數(shù)計算次數(shù)分別是780 億次和0.735 億次。而且這只是其中一個尺度特征圖的計算消耗對比，4種尺度都計算情況下這種差距還會進一步拉大?？梢娫诤蜻x框選取方法的計算消耗中，DCD檢測器相較于RPN結(jié)構(gòu)具有很大的優(yōu)勢。

1.2 外觀特征提取分支

1.2.1 外觀特征提取

外觀特征提取分支共享了目標檢測分支的多尺度特征圖，并使用檢測到的目標位置信息以ROIAlign技術(shù)獲取目標特征塊，并調(diào)節(jié)為統(tǒng)一的形狀7×7×256。隨后經(jīng)過卷積和全連接操作后生成128維的目標外觀特征。結(jié)構(gòu)圖如圖3所示，其中N為圖像中檢測到目標的個數(shù)。

圖3 外觀特征提取分支結(jié)構(gòu)Fig.3 Appearance feature extraction branch

1.2.2 損失函數(shù)

外觀特征提取分支使用的損失函數(shù)如式（5）所示：

其中，E(?)表示f(xi)和f(xj)之間的歐式距離，f(xi)和f(xj)分別是目標xi和目標xj的128 維外觀特征。y=0 時，代表兩個目標相似，此時的損失值是兩個目標外觀特征的歐式距離；而y=1 時，代表兩個目標不相似，當E(f(xi),f(xj))不小于邊界值ε時，即認為兩張圖像的不相似程度非常高，損失值設(shè)為0，若E(f(xi),f(xj))小于邊界值ε時，損失值為ε-E(f(xi),f(xj))，ε設(shè)為30。

2 實驗

2.1 實驗設(shè)置

實驗硬件：處理器CPU為AMD Ryzen Threadr-ipper 1900X 8-Core 3.8 GHz，GPU為4×Nvidia GTX 1080Ti，內(nèi)存RAM為64 GB，操作系統(tǒng)為Windows 10專業(yè)版。

2.2 數(shù)據(jù)集和評估指標

通過將6個關(guān)于行人檢測、多目標跟蹤和行人搜索的公開數(shù)據(jù)集組合在一起，為目標檢測分支構(gòu)建了大規(guī)模的數(shù)據(jù)集。這些數(shù)據(jù)集可分為兩種類型：僅包含邊界框注釋的數(shù)據(jù)集，以及同時具有邊界框和身份注釋的數(shù)據(jù)集。第一類包括ETH[9]數(shù)據(jù)集和CityPersons（CP）[10]數(shù)據(jù)集。第二類包括CalTech（CT）[11]數(shù)據(jù)集、MOT-16[12]數(shù)據(jù)集、CUHK-SYSU（CS）[13]數(shù)據(jù)集和PRW[14]數(shù)據(jù)集。收集所有這些數(shù)據(jù)集的訓練子集以形成聯(lián)合訓練集，并排除ETH 數(shù)據(jù)集中與MOT-16 測試集重疊的視頻以進行檢測性能的公平評估。以上步驟生成的聯(lián)合數(shù)據(jù)集記為Data-A，其中圖像的數(shù)量約為50 000，目標框的數(shù)量約為240 000，有ID標注目標框的數(shù)量約為8 500。

外觀特征提取分支融合在了目標檢測器中，是在完成了目標檢測分支的訓練，固定了目標檢測分支的參數(shù)后才對外觀特征提取任務(wù)進行訓練，根據(jù)DCD 檢測器的結(jié)構(gòu)和外觀特征提取分支的損失函數(shù)，外觀特征提取分支的數(shù)據(jù)集的準備有如下兩點要求：

（1）訓練樣本3 個為一組，每組中包含兩幅相似圖像，一幅非相似圖像。

（2）訓練樣本的輸入形式相當于圖像經(jīng)過目標檢測后，檢測目標在特征圖上的映射特征。

為了滿足以上兩點要求，使用了公開的行人重識別（REID）數(shù)據(jù)集Market-1501[15]以要求a為條件選取N組圖像，然后把每組的圖像分別隨機粘貼在具有固定尺寸的空白圖像上（分辨率為1 024×1 024）。記錄每組中圖像的粘貼位置，這樣就形成了N張具有相同背景且每張圖像具有一組滿足數(shù)據(jù)集要求a 的目標和位置已知的圖像集。這些圖像作為訓練集進入網(wǎng)絡(luò)后經(jīng)過主干特征提取網(wǎng)絡(luò)和ROI-Align步驟后得到的目標特征滿足要求b。以上步驟生成的數(shù)據(jù)集記為Data-B，其中N約為16 000，Data-B數(shù)據(jù)集示例如圖4所示。

圖4 Data-B數(shù)據(jù)集示例Fig.4 Data-B demo

使用平均準確率（AP）和運行速度（FPS，幀每秒）作為專用循環(huán)目標檢測器（DCD）的檢測準確度和檢測速度的評估指標。使用多目標跟蹤準確度（MOTA）、ID F1分數(shù)（IDF1）、軌跡改變ID的次數(shù)（IDS）、大部分軌跡被跟蹤到的目標占比（MT，80%的軌跡被跟蹤到）、大部分軌跡跟丟了的目標占比（ML，跟蹤到的軌跡小于20%）、運行速度（FPS，幀每秒）作為多目標跟蹤系統(tǒng)的評估指標。其中MOTA指標計算如式（6）所示：

其中，mt、fpt、mmet分別是t幀時漏檢、誤檢和錯誤匹配的數(shù)量，gt是t幀時真實框的數(shù)量。注意在計算MOTA時計算的是整個跟蹤過程的平均值，而不是每一幀的結(jié)果。

2.3 實現(xiàn)細節(jié)

檢測分支：1.1.1小節(jié)中二階段檢測網(wǎng)絡(luò)共分為兩個類別，即行人和背景。訓練時輸入圖像通過加灰條的方式保持橫縱比，分辨率調(diào)整為1 024×1 024，借鑒文獻[3]中近似聯(lián)合訓練方式（approximate joint training）使用數(shù)據(jù)集Data-A 以Adam 優(yōu)化器訓練100 個Epoch，學習率初始化為0.01 并在第30、第60 個和第90 個epoch 時減少到原來的0.1 倍。采用了多種數(shù)據(jù)增強技術(shù)，例如隨機縮放和色彩抖動，以減少過擬合，網(wǎng)絡(luò)的損失收斂曲線如圖5 所示。隨后繼續(xù)完成1.1.2 小節(jié)中候選框選取方法的替換工作。由于替換過程不需要參數(shù)，所以不需要進行額外訓練。

圖5 損失值曲線Fig.5 Curve of loss

外觀特征提取分支：完成DCD檢測分支的任務(wù)后，接入外觀特征提取分支，凍結(jié)除外觀特征提取分支以外的其他所有權(quán)重參數(shù)，使用數(shù)據(jù)集Data-B作為網(wǎng)絡(luò)輸入以SGD 優(yōu)化器訓練21 個epoch，學習率初始化為0.001并在第16、第19 個epoch 時減少到原來的0.1 倍。訓練時輸入圖像分辨率為1 024×1 024。訓練的損失值和準確率曲線如圖6所示。

圖6 損失值和準確率曲線Fig.6 Curve of loss and accuracy

2.4 實驗結(jié)果分析

對于視頻的初始幀，使用了候選框推薦結(jié)構(gòu)改變前的目標檢測器輸出初始幀的特征圖、目標類別和位置作為DCD檢測器啟動的條件。實驗中起始幀檢測不進行數(shù)據(jù)統(tǒng)計。

2.4.1 專用循環(huán)目標檢測器DCD的消融實驗

為了證明DCD在多目標跟蹤任務(wù)上作為檢測器的優(yōu)勢，做了專用循環(huán)目標檢測器DCD 的消融實驗。實現(xiàn)了幾種最新的檢測器與DCD做檢測準確度和檢測速度評估指標的對比。實現(xiàn)的檢測器包括以ResNet-50和ResNet-101[16]為主干特征提取網(wǎng)絡(luò)的DCD、Faster RCNN和Cascade RCNN。為公平起見，這些實現(xiàn)的檢測器使用的訓練數(shù)據(jù)與DCD相同，同時DCD屏蔽掉外觀特征提取分支。評測的基準數(shù)據(jù)集為MOT-15[17]。對比結(jié)果如表2所示。

表2 DCD消融實驗對比結(jié)果Table 2 Ablation experiments result

從表2可以看出，對于相同檢測器，使用ResNet-101比使用ResNet50 作為主干特征提取網(wǎng)絡(luò)時的AP 性能好，但在FPS性能上的表現(xiàn)相反。如交變比（IOU）閾值為0.5 時，帶有ResNet101 的FasterRCNN（ResNet101+Faster RCNN）的AP數(shù)值為63.5%，運行速度為9.6 FPS，但是ResNet50+Faster RCNN 的AP 數(shù)值為59.2%，運行速度卻為11.4 FPS。其次，IOU閾值設(shè)置越大，檢測器的AP 數(shù)值越小，例如當IOU 閾值設(shè)為0.5 時，ResNet50+cascade 的AP 數(shù)值為62.3%，當IOU 閾值設(shè)為0.7 時，ResNet50+cascade的AP數(shù)值為47.2%。

當IOU 閾值設(shè)為0.5 時，ResNet101+cascade 的AP數(shù)值達到了最高67.1%。緊隨其后的是CSPDarkNet-53+DCD，它的AP數(shù)值達到了66.2%。ResNet101+DCD的AP 數(shù)值比ResNet101+cascade 低了3.7%，比ResNet-101+FRCNN 的AP 數(shù)值高了1.7%。但是在檢測速度上，ResNet101+DCD 的FPS 數(shù)值達到了12.3 FPS，約是ResNet101+cascade的FPS數(shù)值的1.4倍，約是ResNet101+FRCNN 的FPS 數(shù)值的1.3 倍。CSPDarkNet53+DCD 的AP數(shù)值不但比ResNet101+DCD檢測器高了1.2%，而且檢測速度比ResNet101+DCD的提升了約1.6倍，檢測速度為20.1 FPS。當IOU閾值設(shè)為0.7時表現(xiàn)與IOU閾值設(shè)為0.5 時有相同的趨勢。因此可得出DCD 方法在多目標跟蹤任務(wù)上檢測準確度和現(xiàn)有檢測器相差不大，但是檢測速度具有優(yōu)越性。

2.4.2 MOT系統(tǒng)對比實驗

為了證明使用DCD 的MOT（Proposeds）系統(tǒng)的優(yōu)越性，對比了幾種最新的MOT方法。由于DCD訓練使用了聯(lián)合數(shù)據(jù)集而不僅僅是MOT-16 數(shù)據(jù)集訓練檢測分支和外觀特征提取分支，公平起見，對比的MOT系統(tǒng)同樣使用了除MOT-16以外的數(shù)據(jù)集，目標關(guān)聯(lián)策略統(tǒng)一使用文獻[18]中的方法。對比的MOT方法是TAP[19]、RAR16wVGG[20]、POI[21]和DeepSORT-2[18]。它們都使用了相同的檢測器，即以VGG-16為主干特征提取網(wǎng)絡(luò)的Faster RCNN，該檢測器在大型行人檢測數(shù)據(jù)集中進行了訓練。它們之間的主要區(qū)別在于它們的目標外觀特征獲取方法。例如TAP、RAR16withVGG和POI分別使用了Mask-RCNN[22]、Inception[23]和QAN[24]作為其外觀特征提取模型，且訓練數(shù)據(jù)集互不相同。DeepSORT-2 使用深度殘差網(wǎng)絡(luò)（WRN[25]）作為外觀特征提取模型，并使用MARS[26]數(shù)據(jù)集訓練。表3 中列出了這些MOT 系統(tǒng)和使用DCD的MOT系統(tǒng)在MOT-16基準數(shù)據(jù)集上的對比結(jié)果。

表3 MOT系統(tǒng)對比結(jié)果Table 3 MOT system comparison results

從表3 可以看出，對于MOTA 指標。POI 系統(tǒng)的MOTA數(shù)值最高，為68.2%。其次是TAP系統(tǒng)，為64.5%。Proposeds 系統(tǒng)在MOTA 指標上比最高的POI 系統(tǒng)低了約6.6%，比TAP 低了約1.2%，比DeepSORT-2 系統(tǒng)高了約2.7%。對于IDF1 指標、IDS 指標和MT 指標，類似于MOTA 指標，Proposeds 系統(tǒng)沒有表現(xiàn)出明顯的優(yōu)劣勢。而在ML指標上Proposeds系統(tǒng)是5種MOT系統(tǒng)中最優(yōu)的，分析原因是DCD 檢測器的候選框的一部分來自于先前幀的檢測結(jié)果，因此在當前幀中很容易檢測到先前幀出現(xiàn)過的目標，所以使得軌跡中的目標不容易丟失，進而提升了ML的性能。對于運行速度指標FPS，由于其他4種方法均沒有計算檢測器的運行時間，因此重新實現(xiàn)了基于VGG-16 的Faster RCNN 檢測器，計算時間后，Proposeds系統(tǒng)相較于其他4種方法中最快的DeepSORT-2 方法還要快2.2 倍，為18.2 FPS。圖7 為Proposeds系統(tǒng)跟蹤效果圖。

圖7 目標運動軌跡跟蹤效果圖Fig.7 Objects trajectory tracking result demo

3 結(jié)束語

提出的面向MOT 系統(tǒng)的專用循環(huán)目標檢測器DCD 利用了視頻幀序列間具有高度相似性的特點，依據(jù)先前幀的目標位置信息和當前幀相對于先前幀的變化得分圖VSM 來選取候選框，簡單高效地替換了候選框推薦網(wǎng)絡(luò)RPN 的功能，在保證檢測準確度的前提下提升了檢測速度，并且DCD 中融入了目標外觀特征提取分支，進一步減少了MOT 系統(tǒng)整體的運算消耗。實驗表明，DCD 目標檢測器提升了MOT 系統(tǒng)的跟蹤速度，并且具有較好的跟蹤準確度。下一步，將繼續(xù)改進DCD選取候選框的方法，進一步提高MOT系統(tǒng)的跟蹤準確度和跟蹤速度。