基于深度學(xué)習(xí)和顏色特征的行人跟蹤算法?

曹建榮 李 凱 尚 碩 韓發(fā)通 莊 園 朱亞琴

（山東建筑大學(xué)信息與電氣工程學(xué)院 濟(jì)南 250101）

1 引言

近年來，得益于深度學(xué)習(xí)和計(jì)算機(jī)視覺的發(fā)展，視頻中運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤進(jìn)入新的發(fā)展階段［1～2］，目標(biāo)跟蹤作為計(jì)算機(jī)視覺最重要的子任務(wù)之一，被廣泛應(yīng)用到各個(gè)領(lǐng)域，例如視頻監(jiān)控、運(yùn)動(dòng)目標(biāo)分析、動(dòng)作識(shí)別和流量統(tǒng)計(jì)等［3］。為了完成行人跟蹤任務(wù)，首先要在一幀中定位人體初始位置并提取相關(guān)信息，為每個(gè)行人賦予唯一的ID 號(hào)，在后續(xù)幀中保持該對(duì)象的ID號(hào)不發(fā)生跳變［4］。

早期目標(biāo)跟蹤算法主要集中在對(duì)單目標(biāo)跟蹤研究。1950年提出的光流法［5］，它是對(duì)視頻中像素的變化進(jìn)行建模，在相鄰幀之間尋找像素位置的變化來實(shí)現(xiàn)目標(biāo)跟蹤。但是，光流法的局限性比較大，對(duì)光照變化比較敏感。Camshift［6］算法是利用顏色直方圖的概率分布進(jìn)行追蹤，其運(yùn)行速度較快，但是在背景顏色相近時(shí)，會(huì)出現(xiàn)跟蹤誤報(bào)?？柭鼮V波算法能夠?qū)π腥宋恢眠M(jìn)行觀測估計(jì)，可以利用人體目標(biāo)的動(dòng)態(tài)信息，預(yù)測出下一時(shí)刻目標(biāo)的位置?；贙alman［7］濾波的目標(biāo)跟蹤認(rèn)為物體的運(yùn)動(dòng)模型服從高斯分布，用物體的動(dòng)態(tài)信息估計(jì)運(yùn)動(dòng)狀態(tài)，將得到的狀態(tài)與觀察模型對(duì)比，利用誤差來更新目標(biāo)運(yùn)動(dòng)狀態(tài)，該算法的運(yùn)行效率不高。早期跟蹤算法主要針對(duì)單目標(biāo)軌跡跟蹤，無法適應(yīng)場景中多個(gè)目標(biāo)。

隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺的發(fā)展，目前主流的多目標(biāo)跟蹤框架主要分為兩種［8］：第一種是基于檢測器的跟蹤（Tracking-by-Detection），先用檢測器進(jìn)行目標(biāo)檢測，然后將檢測結(jié)果進(jìn)行關(guān)聯(lián)匹配。第二種是將檢測和跟蹤聯(lián)合（Detection-Free Tracking），在第一幀中手動(dòng)初始化一定數(shù)量的對(duì)象，然后在后續(xù)幀中定位這些對(duì)象。基于檢測器的跟蹤首先利用目標(biāo)檢測器如Faster R-CNN［9］和YOLO［10］等算法檢測定位視頻幀中的行人，并提取行人的運(yùn)動(dòng)特征或顏色紋理等特征來區(qū)分不同的行人及背景，然后建立跟蹤模型并進(jìn)行行人軌跡預(yù)測，最后根據(jù)行人的運(yùn)動(dòng)模型或外觀模型等特征完成匹配。Bewley 等提出的Sort［11］跟蹤算法，是一種簡單的在線實(shí)時(shí)行人跟蹤算法，首先檢測出視頻中的行人，再利用卡爾曼濾波器預(yù)測行人軌跡，最后利用匈牙利算法進(jìn)行線性分配。其優(yōu)點(diǎn)是跟蹤速度快，缺點(diǎn)是該算法幾乎不對(duì)遮擋環(huán)境下行人進(jìn)行處理，因此該算法的ID Switch 較多。針對(duì)Sort 跟蹤算法中目標(biāo)ID 切換頻繁的問題，該團(tuán)隊(duì)又提出的Deep-Sort［12］跟蹤算法，在Sort 跟蹤算法基礎(chǔ)上加入了深度外觀特征和級(jí)聯(lián)匹配，利用一個(gè)輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)去提取行人的外觀特征并保存下來，最后結(jié)合級(jí)聯(lián)匹配，在遮擋的環(huán)境下大量降低行人的ID Switch 現(xiàn)象，但是該算法要用卷積神經(jīng)網(wǎng)絡(luò)去提取行人的深度外觀特征，因此該算法的運(yùn)行速度會(huì)變慢。Chen等［13］提出的MOTDT算法從檢測和跟蹤結(jié)果輸出中收集候選者來處理不可靠的檢測，并且用大規(guī)模行人重識(shí)別數(shù)據(jù)集訓(xùn)練深度外觀網(wǎng)絡(luò)，但是整體準(zhǔn)確率不高。Wang等［14］針對(duì)檢測后再提取特征，提出一種檢測和ReID 融為一體的網(wǎng)絡(luò)，減少了重新提取行人外觀特征的時(shí)間，算法運(yùn)行效率變高。

基于檢測器的跟蹤算法在提取行人外觀特征時(shí)，因行人遮擋可能會(huì)造成行人特征混淆，本文針對(duì)行人存在遮擋的情況下，用坐標(biāo)判斷行人是否發(fā)生遮擋，如果存在遮擋則劃分遮擋區(qū)域，用非遮擋區(qū)域提取行人外觀特征。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)提取特征速度慢的問題，本文提出使用行人HSV 顏色特征，將顏色特征量化并提取顏色直方圖，最后轉(zhuǎn)化為一維向量，可以有效提升精度和速度。

2 基于深度學(xué)習(xí)和顏色特征的行人跟蹤算法

2.1 算法總框架

本文跟蹤算法首先使用預(yù)訓(xùn)練好的yolov5m_c模型檢測視頻中的行人，輸出帶有行人框的視頻流，根據(jù)行人框的坐標(biāo)來判斷行人之間是否存在遮擋，若行人之間存在遮擋，則將行人遮擋區(qū)域像素設(shè)為0，提取非遮擋區(qū)域HSV 顏色特征作為行人特征，若不存在遮擋，則直接提取矩形框中行人的HSV 顏色特征。提取HSV 顏色特征后，量化HSV分量并提取顏色直方圖，最終用一維向量表示。在跟蹤階段利用每個(gè)行人框質(zhì)心的變化來預(yù)測下一幀該行人的質(zhì)心和行人框大小，匹配階段利用IOU匹配結(jié)合行人的外觀特征完成匹配，最后由匈牙利算法完成分配。本文的算法總框架如圖1所示。

圖1 本文跟蹤算法框架

2.2 yolov5行人檢測算法

yolov5 是一種單階段目標(biāo)檢測算法，其按照模型大小分為yolov5s、yolov5m、yolov5l、yolov5x 四種，隨著模型深度和寬度的增加，檢測效果和精度也會(huì)增加。yolov5 將目標(biāo)檢測視為一種回歸任務(wù)［15］，能夠端到端進(jìn)行訓(xùn)練和檢測，yolov5 在yolov4 的基礎(chǔ)上添加了一些新的改進(jìn)，使其在檢測精度和檢測速度方面有了很大的提升。yolov5 網(wǎng)絡(luò)結(jié)構(gòu)分為主干特征提取網(wǎng)絡(luò)、特征融合部分和檢測輸出三部分。主干特征提取網(wǎng)絡(luò)采用CSPDarknet53，經(jīng)過一系列卷積層和殘差塊完成圖像特征提取，最終得到三個(gè)不同尺寸大小的特征層輸出。特征融合部分不僅采用特征金字塔網(wǎng)絡(luò)還采用路徑聚合結(jié)構(gòu)，目的是充分融合各個(gè)特征層的特征，有利于目標(biāo)的預(yù)測。在檢測輸出端有三個(gè)尺度的預(yù)測輸出，分別對(duì)應(yīng)小型、中型和大型目標(biāo)的輸出?；跈z測器的跟蹤算法中，檢測器檢測的質(zhì)量對(duì)跟蹤的準(zhǔn)確率影響較大，在本文行人跟蹤中，首先使用預(yù)訓(xùn)練好的yolov5m_c 目標(biāo)檢測算法檢測視頻中的行人，輸出帶有行人框的視頻流，然后再進(jìn)行跟蹤。

2.3 行人特征提取區(qū)域

在行人跟蹤中，準(zhǔn)確提取行人的特征是完成跟蹤的前提，傳統(tǒng)算法提取的Harr 特征［16］和SIFT 特征［17］僅用于未遮擋環(huán)境下行人的匹配，在遮擋的情況下會(huì)出現(xiàn)錯(cuò)誤匹配的情況。在實(shí)際的跟蹤任務(wù)中，會(huì)存在行人之間的遮擋問題［18］，為了避免行人之間的特征發(fā)生混淆，在本文中用行人非遮擋區(qū)域的HSV顏色特征完成匹配。

首先根據(jù)行人框的坐標(biāo)信息來判斷行人之間是否存在遮擋，假設(shè)視頻幀中的行人由左到右分為G與G，行人G左上角的坐標(biāo)為G，右下角的坐標(biāo)為G，行人G左上角的坐標(biāo)為G，右下角的坐標(biāo)為G，如果G且G則行人G與行人G之間存在遮擋，此時(shí)將對(duì)遮擋的行人框進(jìn)行分割，如圖2 所示，將行人框劃分為遮擋區(qū)域和特征區(qū)域，遮擋區(qū)域的像素設(shè)置為0，將行人非遮擋區(qū)域作為該行人的特征區(qū)域。如果不存在遮擋，則直接提取行人的HSV顏色特征。

圖2 行人遮擋區(qū)域劃分

2.4 行人HSV顏色特征提取

HSV 顏色模型對(duì)顏色的描述簡潔完備，H 為色調(diào)，S 為飽和度，V 一般稱為明度［19］。相比RGB 顏色空間，HSV顏色空間能夠非常直觀地表達(dá)顏色的明暗、色調(diào)以及鮮艷程度，且與人類視覺系統(tǒng)對(duì)顏色感知的自然描述一致。這些特點(diǎn)使得HSV 顏色特征更適合圖像處理。在特征提取階段針對(duì)行人之間有遮擋的情況下，分割出行人非遮擋區(qū)域提取HSV 顏色特征，行人無遮擋的情況下則直接提取HSV 顏色特征。對(duì)行人特征區(qū)域進(jìn)行HSV 顏色特征提取的流程圖如圖3所示。

圖3 行人HSV顏色特征提取流程

首先獲取行人框圖像，由于不同的檢測框大小不同，而一幅圖像中顏色直方圖只與圖像中顏色的組成分布有關(guān)，為了后續(xù)的特征匹配，需要對(duì)提取出來的行人框進(jìn)行統(tǒng)一預(yù)處理，將圖片裁剪到64*128 統(tǒng)一像素大小，然后將圖像從RGB 顏色空間轉(zhuǎn)換到HSV 顏色空間。為了方便后續(xù)計(jì)算，采用量化的方法，量化H、S、V 三分量為8、3、3，量化方法如式（1）所示，構(gòu)造顏色特征直方圖，并表示為一維向量，G是長度為72bin的一維特征向量［20］。

量化公式：

2.5 行人軌跡預(yù)測

在本文中，行人軌跡預(yù)測框的位置和大小是由前兩幀行人跟蹤框質(zhì)心變化來確定的，由于第一幀只有檢測框，沒有跟蹤框，首先要初始化跟蹤對(duì)象［21］。從第三幀開始行人軌跡預(yù)測，假設(shè)當(dāng)前為第t幀，其前一幀為t-1，前兩幀為t-2。假設(shè)第t-2幀行人IDi跟蹤框左上角坐標(biāo)表示為(xi1,t-2,yi1,t-2) ，右下角的坐標(biāo)為(xi2,t-2,yi2,t-2) ，那么第t-2 幀行人IDi質(zhì)心坐標(biāo)Ci,t-2如式（2）所示：

其中，第t-2 幀行人IDi質(zhì)心Ci,t-2的橫縱坐標(biāo)可表示為

同理，假設(shè)第t-1 幀行人IDi跟蹤框的左上角坐標(biāo)表示為(xi1,t-1,yi1,t-1)，右下角的坐標(biāo)為(xi2,t-1,yi2,t-1)，則第t-1幀行人IDi質(zhì)心Ci,t-1坐標(biāo)表示為

最后，根據(jù)第t-2 幀到第t-1 幀質(zhì)心坐標(biāo)的變化?xi和?yi，以及第t-1 幀行人IDi跟蹤框的w、h和Ci,t-1，可預(yù)測第t幀行人IDi的質(zhì)心Ci,t坐標(biāo)和行人IDi的位置。第t幀行人IDi質(zhì)心坐標(biāo)Ci,t可表示為

2.6 行人跟蹤與匹配

在本文中使用IOU 匹配和行人HSV 顏色特征進(jìn)行跟蹤匹配，只有當(dāng)前幀的行人軌跡預(yù)測框和當(dāng)前幀的行人檢測框匹配成功才能完成跟蹤。IOU匹配階段，首先計(jì)算行人檢測框和行人預(yù)測框兩兩之間的IOU，經(jīng)過1-IOU 得到代價(jià)矩陣，將代價(jià)矩陣輸入到匈牙利算法中完成線性匹配，IOU 匹配的特點(diǎn)是速度快，但是在行人受到遮擋，或者長時(shí)間檢測不到行人時(shí)，IOU匹配會(huì)重新給該行人賦予ID號(hào)，為了減少ID 切換次數(shù)，本文在遮擋情況下引入行人的外觀顏色特征，結(jié)合行人的HSV 顏色特征進(jìn)行特征匹配，以減少行人ID 切換次數(shù)。在行人HSV顏色特征匹配階段，利用之前提取的行人HSV顏色特征得到的一維特征向量計(jì)算檢測框和預(yù)測框之間的余弦相似度，通過1 減余弦相似度［22］得到余弦距離，使用余弦距離來衡量檢測框和預(yù)測框之間的行人相似度，余弦距離公式如式（13）所示：

其中G與Gi,pre計(jì)算的是檢測框與預(yù)測框的余弦相似度，余弦距離則是1 減余弦相似度。通過余弦距離來度量當(dāng)前幀行人檢測框和行人預(yù)測框相似程度，在遮擋情況下準(zhǔn)確匹配行人ID，如果最小余弦距離小于所設(shè)定的閾值t，則代表當(dāng)前幀行人i預(yù)測框與行人i檢測框匹配成功，完成跟蹤任務(wù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)操作系統(tǒng)為Windows，硬件環(huán)境CPU為Intel（R）Core（TM）i7-7700 顯 卡 為GeForce GTX 1050TI，軟件平臺(tái)為python3.9+pytorch1.10 深度學(xué)習(xí)框架。

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中采用MOT 評(píng)價(jià)指標(biāo)［23］，所用的評(píng)價(jià)指標(biāo)和含義如下所示，MOTA（%）：多目標(biāo)跟蹤準(zhǔn)確度，該度量結(jié)合了三個(gè)錯(cuò)誤源，誤報(bào)、錯(cuò)過目標(biāo)和身份轉(zhuǎn)換；IDF1（%）：正確識(shí)別的檢測與平均真實(shí)數(shù)和計(jì)算檢測數(shù)之比。MOTP（%）：多目標(biāo)跟蹤精度，標(biāo)注框和預(yù)測框的不匹配程度；ID Sw：跟蹤對(duì)象ID切換的次數(shù)；IDP（%）：識(shí)別準(zhǔn)確率；IDR（%）：識(shí)別召回率；平均FPS：平均每秒運(yùn)行的幀數(shù)。

3.3 不同目標(biāo)檢測權(quán)重實(shí)驗(yàn)

在基于檢測器的跟蹤算法中，檢測質(zhì)量的好壞非常影響跟蹤質(zhì)量，為了研究不同的檢測效果對(duì)跟蹤質(zhì)量的影響，本文選擇使用在coco數(shù)據(jù)集預(yù)訓(xùn)練的yolov5s.pt、yolov5m.pt和在Crowdhuman 行人數(shù)據(jù)集訓(xùn)練好的yolov5m_c.pt 權(quán)重進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同檢測模型之間對(duì)比

由表1 可以看出，針對(duì)較大模型的檢測權(quán)重，檢測質(zhì)量好跟蹤準(zhǔn)確率高，在大模型中有針對(duì)性訓(xùn)練后，跟蹤準(zhǔn)確率提高較大，并且ID切換次數(shù)變少。

3.4 多行人跟蹤實(shí)驗(yàn)

在日常環(huán)境中，行人跟蹤的場景是復(fù)雜多變的，為了驗(yàn)證算法在真實(shí)場景下跟蹤的適用性與準(zhǔn)確性，本文選取了一段真實(shí)的監(jiān)控視頻，該視頻中監(jiān)控?cái)z像頭固定，共有274 幀，視頻中有多個(gè)行人，并且部分行人在行走過程中存在遮擋情況，本文選取Sort 和DeepSort 算法進(jìn)行可視化對(duì)比，部分實(shí)驗(yàn)結(jié)果對(duì)比如圖4～6所示。

圖4 Sort跟蹤算法

圖5 DeepSort跟蹤算法

圖6 Ours跟蹤算法

本文算法在第8幀時(shí)檢測到視頻中共有5個(gè)行人，完成行人軌跡初始化并建立跟蹤對(duì)象，每個(gè)行人由不同顏色的跟蹤框和ID號(hào)組成。在第26幀時(shí)因?yàn)樾腥酥g的遮擋原因，未檢測到行人ID3（棕色框）和行人ID5（綠色框），到第90 幀后重新檢測到行人ID3（棕色框）和ID5（綠色框），并且他們的ID 號(hào)保持不變。從第164 幀到第231 幀，行人ID5（綠色框）一直在ID4（藍(lán)色框）的遮擋下，但在跟蹤中卻能始終保持其ID 號(hào)唯一。本文算法在整個(gè)跟蹤過程中沒有發(fā)生任何ID Switch 現(xiàn)象，跟蹤精度較高。而Sort 跟蹤算法和DeepSort 跟蹤算法在第164 幀到第231 幀跟蹤過程中，在遮擋環(huán)境下改變了被遮擋人的ID號(hào)，發(fā)生了一系列的ID跳變現(xiàn)象，當(dāng)遮擋結(jié)束后，前方行人的跟蹤框ID 號(hào)跳變到后方被遮擋行人的身上。

3.5 公開數(shù)據(jù)集測試

為了測試本文算法的跟蹤性能，本文選擇在公開數(shù)據(jù)集MOT-16［24］數(shù)據(jù)集進(jìn)行跟蹤測試，MOT-16 是2016 年提出的多目標(biāo)跟蹤MOT Challenge 系列的一個(gè)衡量多目標(biāo)檢測跟蹤方法標(biāo)準(zhǔn)的數(shù)據(jù)集，該數(shù)據(jù)集訓(xùn)練集包含7 個(gè)視頻片段，測試集包含7 個(gè)視頻片段。不僅含有固定機(jī)位拍攝，而且還有動(dòng)態(tài)機(jī)位拍攝。MOT-16 數(shù)據(jù)集視頻背景較為復(fù)雜，畫面比較豐富，人員比較密集，行人間遮擋嚴(yán)重。部分實(shí)驗(yàn)結(jié)果如圖7～9所示。

圖7 Sort跟蹤算法結(jié)果圖

圖8 DeepSort跟蹤算法結(jié)果圖

本文跟蹤算法在行人的外觀和運(yùn)動(dòng)方向相似時(shí)會(huì)發(fā)生ID Switch現(xiàn)象，如圖9 第182 幀到308 幀，兩個(gè)行人的運(yùn)動(dòng)方向和外觀比較相似所以發(fā)生了ID Switch 現(xiàn)象，圖中被遮擋住的行人ID32（紅色框）跳轉(zhuǎn)到了外觀相似的黑衣行人身上。當(dāng)運(yùn)動(dòng)方向相反且顏色外觀差別較大時(shí)，不容易發(fā)生ID Switch。如圖第308 幀到第342 幀，右側(cè)ID23（白衣服）和ID42（黑衣服），雖然在中間ID23 會(huì)被ID42遮擋，但當(dāng)遮擋結(jié)束后，ID23（白衣服）并沒有發(fā)生跳變。但是Sort 和DeepSort 跟蹤算法在遮擋過程中發(fā)生了ID切換、跟蹤不準(zhǔn)確現(xiàn)象。

圖9 Ours跟蹤算法結(jié)果圖

3.6 不同算法之間對(duì)比

為了對(duì)比該算法的優(yōu)越性，本文選擇在多目標(biāo)跟蹤數(shù)據(jù)集MOT-16 訓(xùn)練集上與常見的基于檢測器跟蹤算法Sort、MOTDT 和DeepSort 算法進(jìn)行對(duì)比。目標(biāo)檢測使用的檢測權(quán)重是yolov5m_c 模型，該模型是在Crowdhuman數(shù)據(jù)集預(yù)訓(xùn)練得到。所有的實(shí)驗(yàn)使用相同權(quán)重、相同數(shù)據(jù)集和同一硬件平臺(tái)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同算法之間對(duì)比

由上表所示，本文算法在公開數(shù)據(jù)集MOT-16數(shù)據(jù)集上MOTA 為49.78%，相比于Sort、MOTDT 和DeepSort 算法分別提高1.51%、0.85%和0.33%；在IDF1分?jǐn)?shù)上分別高于Sort、MOTDT和DeepSort算法7.07%、1.03%和3.46%；在ID Switch 上比Sort 算法降低了33%，比MOTDT算法降低59%，但是比DeepSort 算法略高，是因?yàn)镠SV 顏色特征比深度學(xué)習(xí)提取的特征對(duì)光線變化等更加敏感。本文算法的識(shí)別精確率是最高的。由于本文實(shí)驗(yàn)硬件設(shè)備較低端并且目標(biāo)檢測模型較大，本文的平均FPS僅有7.24frame/s。Sort 算法在跟蹤過程中對(duì)遮擋的人幾乎不做任何處理，故其運(yùn)行速度最快，但也是ID Switch 最高的。而DeepSort 算法和MOTDT 算法在提取行人深度外觀信息時(shí)都會(huì)用到卷積神經(jīng)網(wǎng)絡(luò)，算法大多耗時(shí)在了提取外觀特征，導(dǎo)致其運(yùn)行速度變慢，本文的算法兼顧了精度和速度，在這幾個(gè)算法中表現(xiàn)較佳。

4 結(jié)語

本文在兼顧跟蹤精度與跟蹤速度的前提下，提出了一種基于深度學(xué)習(xí)和顏色特征的行人跟蹤算法，算法首先使用yolov5 目標(biāo)檢測算法檢測出視頻幀中的行人，并根據(jù)行人框之間的坐標(biāo)關(guān)系選擇合適的特征提取方式，有效解決行人特征匹配時(shí)的特征混淆問題。為了驗(yàn)證算法的有效性，在公開數(shù)據(jù)集MOT-16 上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文提出的跟蹤算法與經(jīng)典的Sort 和DeepSort 算法對(duì)比，不僅在跟蹤精度上有所提升，并且在運(yùn)行速度上比DeepSort 快。盡管該算法在相同的實(shí)驗(yàn)條件下具有優(yōu)越性，但是仍然存在較多的ID Switch 現(xiàn)象，下一步的工作是進(jìn)一步研究該算法ID Switch 較多的原因，降低ID Switch現(xiàn)象，進(jìn)而提高跟蹤準(zhǔn)確率。