胡碩,王潔,孫妍,周思恩,姚美玉
(燕山大學(xué) 電氣工程學(xué)院,河北 秦皇島 066004)
多目標(biāo)跟蹤在現(xiàn)實(shí)生活中有很多應(yīng)用,例如視頻監(jiān)控、人機(jī)交互、智慧交通系統(tǒng)等[1-2],已經(jīng)成為了計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)不可或缺的研究課題。在智能交通系統(tǒng)中,車輛檢測(cè)技術(shù)和跟蹤算法為路況監(jiān)測(cè)和行駛安全行為等高級(jí)任務(wù)提供技術(shù)支持。無(wú)人機(jī)具有體積小、飛行靈活等優(yōu)點(diǎn)[3],若將其用于對(duì)道路交通進(jìn)行輔助監(jiān)控,若將其應(yīng)用于輔助監(jiān)控道路交通中的安全行為,可以有效地監(jiān)控固定攝像機(jī)無(wú)法拍攝到的盲區(qū)范圍,從而對(duì)實(shí)時(shí)路況中的車輛進(jìn)行全方位的檢測(cè)和跟蹤。
對(duì)于目標(biāo)檢測(cè),早期的算法注重檢測(cè)精度但檢測(cè)速度較慢,典型的算法有R-CNN[4]、Fast RCNN[5]、Faster R-CNN[6]、Mask R-CNN[7]等。為了提升檢測(cè)速度,一系列基于回歸的單階段檢測(cè)算法相繼被提出,如YOLO系列[8-10]、SSD[11]系列等。此外,Tian 等[12]通過(guò)使用一種雙神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)方法對(duì)目標(biāo)區(qū)域的二次特征進(jìn)行分類,快速篩選出一階段檢測(cè)中遺漏的目標(biāo),從而實(shí)現(xiàn)對(duì)小目標(biāo)的高質(zhì)量檢測(cè)。Wu 等[13]提出了一種基于光流和深度卷積網(wǎng)絡(luò)的無(wú)人機(jī)快速人體檢測(cè)系統(tǒng)。Tijtgat 等[14]提出一種新的多分支并行特征金字塔網(wǎng)絡(luò)來(lái)提升對(duì)無(wú)人機(jī)圖像中小目標(biāo)的檢測(cè)性能。Liu 等[15]提出一個(gè)集成網(wǎng)絡(luò)SyNet 將單階段和多階段檢測(cè)算法相結(jié)合從而實(shí)現(xiàn)對(duì)無(wú)人機(jī)圖像的檢測(cè)。
基于深度學(xué)習(xí)的跟蹤算法在速度和精度兩方面得到雙重提升,行人重識(shí)別(person re-identification,RelD)技術(shù)[16-17]的引入在一定程度推動(dòng)其發(fā)展,其模型均為基于檢測(cè)的跟蹤方法。Sort 算法[18]利用卡爾曼濾波器預(yù)測(cè)目標(biāo)狀態(tài)和匈牙利算法計(jì)算相似度從而實(shí)現(xiàn)預(yù)測(cè)軌跡與檢測(cè)目標(biāo)的數(shù)據(jù)關(guān)聯(lián)。DeepSort 算法[19]結(jié)構(gòu)是檢測(cè)和匹配兩個(gè)獨(dú)立過(guò)程,采用兩個(gè)不同網(wǎng)絡(luò)提取特征,引入ReID 特征與運(yùn)動(dòng)信息計(jì)算相似度矩陣,數(shù)據(jù)關(guān)聯(lián)采用級(jí)聯(lián)匹配和IoU(intersection over union ratio)匹配相結(jié)合方式。Bewley 等[20]針對(duì)無(wú)人機(jī)長(zhǎng)時(shí)跟蹤中的遮擋問(wèn)題提出了一種基于局部特征匹配和密度聚類的跟蹤算法。Xue 等[21]對(duì)DCF 跟蹤算法進(jìn)行了改進(jìn),提出了一個(gè)新的無(wú)人機(jī)視頻語(yǔ)義感知實(shí)時(shí)相關(guān)跟蹤框架。Li 等[22]研究了無(wú)人機(jī)場(chǎng)景下進(jìn)行實(shí)時(shí)跟蹤的限制因素,提出了一種利用背景線索和畸變響應(yīng)抑制機(jī)制進(jìn)行跟蹤的方法。Yu 等[23]提出了一種針對(duì)無(wú)人機(jī)視頻的基于個(gè)體和全局運(yùn)動(dòng)融合的條件生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)跟蹤算法。當(dāng)前的研究更多的注意力在于提高算法準(zhǔn)確率,但是隨著深度網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,導(dǎo)致了模型參數(shù)量和計(jì)算量增加,雖然提升了精度但是也極大的犧牲了速度。
在無(wú)人機(jī)視角下拍攝的監(jiān)控畫面進(jìn)行目標(biāo)跟蹤存在以下難點(diǎn):1)無(wú)人機(jī)視角下車輛整體偏小且目標(biāo)密集,無(wú)人機(jī)飛行靈活,在拍攝視頻中易出現(xiàn)目標(biāo)模糊和快速移動(dòng)等問(wèn)題;2)同一類別車輛僅有車型和顏色之分,俯視角度下極易造成相似車輛干擾。
本文以無(wú)人機(jī)拍攝的視頻作為研究對(duì)象,提出一種基于無(wú)人機(jī)交通視頻的多車輛跟蹤算法。針對(duì)實(shí)時(shí)性要求,提出了一種改進(jìn)YOLOv3 的車輛檢測(cè)算法;為提高跟蹤系統(tǒng)的特征表達(dá)能力,提出一種基于度量學(xué)習(xí)的特征提取網(wǎng)絡(luò)Resi-8;在該算法中,卡爾曼濾波器用于預(yù)測(cè)車輛的狀態(tài),相鄰幀的相似性矩陣由運(yùn)動(dòng)信息相似度和外觀特征相似度相結(jié)合方式計(jì)算,通過(guò)匈牙利算法實(shí)現(xiàn)相鄰幀之間的數(shù)據(jù)關(guān)聯(lián),進(jìn)而實(shí)現(xiàn)多目標(biāo)的精準(zhǔn)穩(wěn)定跟蹤。
本文算法包含2 個(gè)部分:檢測(cè)模塊和跟蹤模塊。在檢測(cè)模塊,針對(duì)無(wú)人機(jī)視頻的車輛檢測(cè)特點(diǎn),本文提出了一種改進(jìn)YOLOv3 的目標(biāo)檢測(cè)網(wǎng)絡(luò)YOMOv3-CIoU;在跟蹤模塊,本文提出一種基于度量學(xué)習(xí)的特征提取網(wǎng)絡(luò)Resi-8,以提高系統(tǒng)的特征表達(dá)能力。
YOLOv3 算法作為一個(gè)基于回歸的單階段檢測(cè)算法,在檢測(cè)精度上有著優(yōu)異的表現(xiàn)。為使其進(jìn)一步適用于無(wú)人機(jī)拍攝視頻中的車輛檢測(cè),提出以下幾點(diǎn)改進(jìn)策略。
1.1.1 先驗(yàn)框聚類算法
YOLOv3 算法在聚類先驗(yàn)框時(shí)使用的是kmeans 算法[24],該算法是采用隨機(jī)地選取k個(gè)聚類點(diǎn)作為初始聚類中心的策略,初始聚類中心的選取會(huì)對(duì)于聚類結(jié)果具有較大的影響。為了應(yīng)對(duì)初始點(diǎn)敏感的問(wèn)題,我們引入k-means++算法[25]完成先驗(yàn)框的聚類。
采用控制變量法,將k-means 和k-means++兩種算法聚類出的anchor box 分別用于同一檢測(cè)算法YOLOv3,在數(shù)據(jù)集上分別對(duì)模型進(jìn)行訓(xùn)練,實(shí)驗(yàn)結(jié)果如表1 所示。通過(guò)k-means++算法得到的先驗(yàn)框(anchor box)在車輛檢測(cè)算法中獲得更高的檢測(cè)結(jié)果,召回率、mAP(mean average precision)和F1分?jǐn)?shù)均得到顯著提升。
1.1.2 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)
視頻序列下的車輛所處的環(huán)境相對(duì)是固定的,通常位于停車場(chǎng)或道路上,檢測(cè)類別單一,同時(shí)算法應(yīng)盡可能滿足實(shí)時(shí)性要求。為了達(dá)到上述目的,需要考慮模型的計(jì)算量和網(wǎng)絡(luò)的參數(shù)量,盡可能的降低復(fù)雜度進(jìn)而滿足實(shí)時(shí)性需求,于是選擇輕量級(jí)網(wǎng)絡(luò)MobileNetv3[26]作為YOLOv3 的特征提取網(wǎng)絡(luò),本網(wǎng)絡(luò)結(jié)合通道注意力模塊,逆殘差模塊和深度可分離卷積結(jié)構(gòu),具體結(jié)構(gòu)細(xì)節(jié)如圖1 所示。
圖1 MobileNetv3 模塊Fig.1 MobileNetv3 Module
1.1.3 損失函數(shù)優(yōu)化
IoU 通常是衡量預(yù)測(cè)框與真實(shí)框的交并比,其作為評(píng)價(jià)標(biāo)準(zhǔn)具有尺度不變性特點(diǎn),基于IoU的損失函數(shù)[27]被定義為
式中:R(b,bgt)是添加的懲罰項(xiàng),b是預(yù)測(cè)框中心點(diǎn),bgt是目標(biāo)框中心點(diǎn)。但是當(dāng)兩個(gè)框并沒(méi)有重合時(shí),本損失函數(shù)無(wú)法確定預(yù)測(cè)框的位置信息,并不能有效表達(dá)預(yù)測(cè)框和目標(biāo)框的位置信息。
綜上損失函數(shù)分析,本文引入CIoU Loss[26]作為本文算法的邊框回歸損失函數(shù)。CIoU 損失函數(shù)克服上述損失函數(shù)的缺點(diǎn),引入兩個(gè)懲罰項(xiàng)如式(1)所示,第1 項(xiàng)中c表示包含兩個(gè)框最小矩形區(qū)域的對(duì)角線距離,ρ(·) 表示兩個(gè)中心點(diǎn)的歐式距離;第2 項(xiàng)是考慮到形狀的差異,即引入寬高比,通過(guò)式(2) 計(jì)算參數(shù)v,a是平衡參數(shù),由式(3)進(jìn)行計(jì)算。
CIoU Loss 可以定義為
參數(shù)v在反向傳播時(shí)的梯度由式(4)計(jì)算,為避免訓(xùn)練時(shí)發(fā)生梯度爆炸,一般將1/(w2+h2) 用1 代替計(jì)算。
現(xiàn)有的多目標(biāo)跟蹤算法,無(wú)法有效地適用于無(wú)人機(jī)視角下的車輛檢測(cè),交通視頻中目標(biāo)尺寸偏小且相似度高,在車輛跟蹤中精度無(wú)法得到保證。因此我們?cè)?.1 節(jié)提出的目標(biāo)檢測(cè)算法的基礎(chǔ)上,提出一種基于深度度量學(xué)習(xí)的多車輛跟蹤算法。
1.2.1 運(yùn)動(dòng)特征相似度
馬氏距離是計(jì)算兩種未知樣本之間相似度的一種方法,它區(qū)別于歐氏距離更加考慮各種特性之間的聯(lián)系,有效的解決維度尺度相關(guān)且不一致的問(wèn)題,本文將其用來(lái)度量預(yù)測(cè)狀態(tài)與當(dāng)前幀的檢測(cè)距離,計(jì)算如式(5)所示。
式中:dj表示第j個(gè)預(yù)測(cè)框?qū)?yīng)的位置狀態(tài)(u,v,γ,h),yi表示第i個(gè)跟蹤軌跡的預(yù)測(cè)位置,Si是由卡爾曼濾波預(yù)測(cè)此刻位置的協(xié)方差矩陣。
在計(jì)算馬氏距離時(shí)通過(guò)添加一個(gè)門控函數(shù),使用卡方分布0.95 作為置信度,t(1)=9.487 7,可以有效剔除不合適的數(shù)據(jù)關(guān)聯(lián),具體表達(dá)式如式(6),當(dāng)馬氏距離低于t(1)數(shù)值時(shí),表示匹配成功。
式中:[]中是條件,滿足條件則保留該軌跡,即匹配成功。
1.2.2 外觀特征相似度
在路況復(fù)雜的環(huán)境下,檢測(cè)跟蹤目標(biāo)車輛只用運(yùn)動(dòng)特征相似度進(jìn)行判斷會(huì)導(dǎo)致跟蹤算法的ID 跳變嚴(yán)重,我們通過(guò)使用運(yùn)動(dòng)特征和外觀特征共同加權(quán)計(jì)算相似度矩陣的方式來(lái)避免因檢測(cè)跟蹤復(fù)雜環(huán)境造成問(wèn)題,即
如式(9)所示,將運(yùn)動(dòng)特征相似度和外觀特征相似度作為綜合相似性矩陣C=[ci,j],添加門控函數(shù)如式(10)所示,只有當(dāng)bi,j=1 時(shí)為匹配成功。
1.2.3 基于度量學(xué)習(xí)的外觀特征提取
度量學(xué)習(xí)[28](metric learning)即相似度學(xué)習(xí)。兩個(gè)樣本數(shù)據(jù)之間的深度度量學(xué)習(xí)的歐氏距離可以表達(dá)為
深度度量學(xué)習(xí)中關(guān)鍵的一環(huán)是損失函數(shù)。本文將使用Triplet Loss[29]損失函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練,將其稱為Triplet Network。Triplet Loss 具體表達(dá)如圖2 所示。該損失函數(shù)旨在通過(guò)訓(xùn)練拉近正樣
圖2 Triplet Loss 示意圖Fig.2 Triplet Loss Schematic diagram
本,遠(yuǎn)離負(fù)樣本,計(jì)算相似度損失,表示為式(11)。
式中:f(·) 表示卷積神經(jīng)網(wǎng)絡(luò)操作,α為邊界閾值。Triplet Loss 表達(dá)式如式(12),其中“[·]+”表示當(dāng)數(shù)值大于零的常數(shù)時(shí),優(yōu)化錨樣本與正樣本距離,遠(yuǎn)離與負(fù)樣本距離,否則不需要優(yōu)化:
本文算法整體跟蹤框圖如圖3 所示,具體流程如下:
圖3 本文算法整體流程Fig.3 Flow of the algorithm
1) 目標(biāo)檢測(cè)網(wǎng)絡(luò)YOMOv3-CIoU 對(duì)圖像幀進(jìn)行車輛檢測(cè),獲取車輛位置信息dj。
2) 車輛狀態(tài)是包括目標(biāo)候選框坐標(biāo)信息和相應(yīng)速度信息的8 維向量。利用卡爾曼濾波預(yù)測(cè)前一幀中車輛軌跡的狀態(tài),得到當(dāng)前幀中車輛坐標(biāo)信息yi。
3) 通過(guò)公式(5) 計(jì)算車輛運(yùn)動(dòng)特征相似度Cm,采用平方馬氏距離來(lái)度量預(yù)測(cè)狀態(tài)與當(dāng)前幀的檢測(cè)距離。
4) 對(duì)上述檢測(cè)得到的車輛圖像通過(guò)度量學(xué)習(xí)網(wǎng)絡(luò)Resi-8 提取外觀特征rj;將距離最近Lk=100個(gè)跟蹤軌跡存放在外觀描述集合Rk中。
5) 計(jì)算車輛外觀特征相似度矩陣Cn,通過(guò)式(7)計(jì)算rj和之間的最小余弦距離為Cn。
6) 計(jì)算綜合相似度矩陣Cmn,利用式(9)得到Cm和Cn的線性加權(quán)結(jié)果作為Cmn。
7) 使用匈牙利算法實(shí)現(xiàn)前后幀之間的數(shù)據(jù)關(guān)聯(lián),并分配相應(yīng)的ID。
8) 利用匈牙利算法匹配程度判斷是否參數(shù)更新。對(duì)于運(yùn)動(dòng)軌跡和目標(biāo)檢測(cè)匹配一致,則更新卡爾曼濾波器的參數(shù);若沒(méi)有對(duì)應(yīng)的軌跡,則不更新參數(shù)但繼續(xù)在70 幀之內(nèi)對(duì)軌跡進(jìn)行匹配,否則刪除該軌跡;若沒(méi)有匹配的檢測(cè)結(jié)果,將其作為新目標(biāo)分配新軌跡。
9) 重復(fù)上述過(guò)程,完成整個(gè)序列的檢測(cè)跟蹤。
本文引入運(yùn)動(dòng)特征和外觀特征共同決定相似性矩陣,有效的解決在跟蹤遮擋等復(fù)雜環(huán)境下造成的ID 跳變等問(wèn)題,算法魯棒性更強(qiáng)。
為了驗(yàn)證本文算法性能,本文進(jìn)行了實(shí)驗(yàn)并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析。使用Python 作為編程語(yǔ)言,深度學(xué)習(xí)框架基于Pytorch0.4.0,實(shí)驗(yàn)環(huán)境如表2:
表2 實(shí)驗(yàn)平臺(tái)參數(shù)Table 2 Experimental platform parameters
將1.1 中僅修改特征提取網(wǎng)絡(luò)后的模型記為YOMOv3,將在YOMOv3 基礎(chǔ)上修改損失函數(shù)為CIoU Loss 的檢測(cè)模型記為YOMOv3-CIoU。
本節(jié)車輛檢測(cè)實(shí)驗(yàn)所使用的數(shù)據(jù)集為Vis-Drone2019[31]。將其中4 種類別車輛的數(shù)據(jù)集稱為Vis-4。
2.1.1 模型參數(shù)量對(duì)比
表3 中對(duì)YOLOv3-tiny、YOLOv3 和YOMOv3,3 個(gè)模型進(jìn)行參數(shù)量統(tǒng)計(jì),Mobilenetv3 網(wǎng)絡(luò)由于引入深度可分離卷積在一定程度上減少參數(shù)量,僅為Darknet-53 的2/5,有效地減小了網(wǎng)絡(luò)的計(jì)算復(fù)雜度,為檢測(cè)速度的實(shí)時(shí)性提供了可能。
表3 不同模型參數(shù)量對(duì)比Table 3 Comparison of the number of different model parameters
2.1.2 閾值選擇對(duì)比實(shí)驗(yàn)
在網(wǎng)絡(luò)檢測(cè)層輸出結(jié)果中會(huì)存在多個(gè)預(yù)測(cè)框,為篩選最終合適的目標(biāo)框,我們通過(guò)引入非極大值抑制[32](non-maximum suppression,NMS)方法進(jìn)行篩選。本節(jié)通過(guò)選擇不同的NMS 閾值來(lái)判斷對(duì)模型結(jié)果的影響,在實(shí)驗(yàn)中通常將mAP 作為閾值選擇標(biāo)準(zhǔn),實(shí)驗(yàn)對(duì)比結(jié)果如表4 所示。
表4 閾值選擇對(duì)比結(jié)果Table 4 Threshold selection comparison results
在實(shí)驗(yàn)結(jié)果中,當(dāng)閾值為0.5 時(shí),mAP 達(dá)到了53.5%,在對(duì)比實(shí)驗(yàn)中結(jié)果最高,因此將閾值設(shè)為0.5。
2.1.3 優(yōu)化后的檢測(cè)算法實(shí)驗(yàn)結(jié)果對(duì)比
表5 為進(jìn)行不同模型的檢測(cè)結(jié)果,YOLOv3 算法是4 種算法里檢測(cè)精度最高的一個(gè),但YOLOv3算法參數(shù)量多且復(fù)雜程度高,速度僅為21 f/s,對(duì)于實(shí)時(shí)性要求有待提高;YOLOv3-tiny 的mAP只有29.6%,但其速度達(dá)到了188 f/s,屬于典型的犧牲檢測(cè)精度換取檢測(cè)速度的模型,對(duì)于精度要求高的情況無(wú)法滿足。本文所提出的YOMOv3算法通過(guò)輕量化特征提取網(wǎng)絡(luò),在保證檢測(cè)精度的情況下檢測(cè)速度達(dá)到 31 f/s;經(jīng)過(guò)損失函數(shù)優(yōu)化后,mAP 提升0.9%。
表5 不同模型檢測(cè)結(jié)果對(duì)比Table 5 Comparison of testing results of different models
表6 是檢測(cè)算法YOMOv3 以及損失函數(shù)優(yōu)化后算法YOMOv3-CIoU 與各項(xiàng)檢測(cè)算法的實(shí)驗(yàn)對(duì)比結(jié)果。本文所提的兩個(gè)算法作為一階段檢測(cè)算法,在精度相當(dāng)?shù)那闆r下,速度上提高了近兩倍。
表6 YOMOv3 與其他檢測(cè)算法性能對(duì)比Table 6 Performance comparison between YOMOv3 and other detection algorithms
2.1.4 實(shí)際場(chǎng)景下的檢測(cè)結(jié)果
我們?cè)赩is-4 數(shù)據(jù)集中選取幾個(gè)較為典型的圖像序列進(jìn)行檢測(cè)結(jié)果對(duì)比,可以有效直觀的分析跟蹤效果。圖4 是本文算法在夜間情況下實(shí)驗(yàn)結(jié)果。從圖4 可知,YOLOv3-tiny 中出現(xiàn)漏檢和誤檢的情況,YOMOv3-CIoU 成功將其檢測(cè)出且置信度較高。圖5 是模糊情況下對(duì)車輛檢測(cè)的效果,以下檢測(cè)算法均在一定程度上對(duì)車輛出現(xiàn)漏檢誤檢的情況,YOLOv3-tiny 和YOLOv3 算法均出現(xiàn)漏檢和誤檢情況,且定位出現(xiàn)漂移現(xiàn)象,抗遮擋能力差;本文所提出的算法YOMOv3 和YOMOv3-CIoU 沒(méi)有出現(xiàn)誤檢情況且定位精準(zhǔn)。
圖4 夜間情況檢測(cè)結(jié)果Fig.4 Detection results of nocturnal environment
圖5 模糊情況下的檢測(cè)結(jié)果Fig.5 Detection results in the case of fuzziness
為有效證明提出的跟蹤算法進(jìn)行評(píng)估,在數(shù)據(jù)集中選擇6 個(gè)具有代表性的視頻序列進(jìn)行分析。從表7 中可以看出對(duì)于不同的視頻序列,本文所提車輛跟蹤算法的MOTP (multiple object tracking precision) 的值均在54% 左右,MOTA(multiple object tracking accuracy)均值為62.0%,在所有視頻序列中最高達(dá)到了71.8%,最低也保持在58.7%。MOTA 是衡量確定目標(biāo)數(shù)目、相關(guān)屬性準(zhǔn)確度以及定位誤差累計(jì)的指標(biāo)。MOTP 主要體現(xiàn)在確定目標(biāo)定位上的精確度,比如預(yù)測(cè)框的定位。這兩個(gè)數(shù)值越大則跟蹤算法越好。二者共同衡量算法連續(xù)跟蹤目標(biāo)的能力。實(shí)驗(yàn)數(shù)據(jù)表明本文算法的有效性。
表7 多車輛跟蹤算法實(shí)驗(yàn)結(jié)果Table 7 Experimental results of multi-vehicle tracking algorithm
在6 個(gè)視頻序列中將本文算法與Sort 和Deep-Sort 算法進(jìn)行性能評(píng)測(cè),對(duì)比結(jié)果如表8 所示。在Sort 算法的對(duì)比下,本文算法的ID 大幅度降低,有效證明算法中引入深度度量學(xué)習(xí)的特征實(shí)現(xiàn)相似性度量具有更好的判別效果。與Deep-Sort 算法相比,實(shí)時(shí)性得到更好的滿足,提升到17 f/s。綜上,本文多車輛跟蹤算法有效改善目標(biāo)ID 跳變問(wèn)題,速度上滿足實(shí)時(shí)性。
表8 不同跟蹤算法實(shí)驗(yàn)對(duì)比結(jié)果Table 8 Experimental comparison of different tracking algorithms
我們?cè)谝曨l序列測(cè)試了不同影響因素下的車輛跟蹤。圖6 中主要是針對(duì)車輛之間的局部或全部遮擋情況,且目標(biāo)外觀相似,對(duì)車輛跟蹤有直接的干擾;圖7 中出現(xiàn)了外部遮擋,路燈對(duì)車輛進(jìn)行了遮擋。本算法中使用基于度量學(xué)習(xí)提取車輛外觀特征和運(yùn)動(dòng)特征共同計(jì)算相似度矩陣,使用級(jí)聯(lián)匹配策略將目標(biāo)軌跡進(jìn)行關(guān)聯(lián),保證目標(biāo)ID不發(fā)生跳變和車輛跟蹤的穩(wěn)定性;圖8 中是車輛發(fā)生不同尺度下測(cè)試效果,本算法對(duì)網(wǎng)絡(luò)的3 個(gè)檢測(cè)層輸出特征圖進(jìn)行融合以及引入k-means++完成先驗(yàn)框的聚類,可以很好地應(yīng)對(duì)尺度變化問(wèn)題,算法依然保持穩(wěn)定的跟蹤和相同的ID。
圖6 車輛間遮擋Fig.6 Occlusion of a vehicle
圖7 外部遮擋Fig.7 External occlusion
圖8 尺度變化Fig.8 Scale change
為有效適用于無(wú)人機(jī)視角下車輛視頻的檢測(cè)與跟蹤,本文提出了一種改進(jìn)YOLOv3 的車輛檢測(cè)算法,通過(guò)k-means++算法聚類出合適的候選框,采用MobileNetV3 網(wǎng)絡(luò)作為算法中的特征提取網(wǎng)絡(luò);選擇CIoU Loss 作為預(yù)測(cè)框的損失函數(shù),有效得到預(yù)測(cè)框與真實(shí)框之間的位置信息;針對(duì)車輛跟蹤過(guò)程中ID 易跳變的問(wèn)題,和進(jìn)一步提升對(duì)車輛目標(biāo)的特征表達(dá),本文提出了一種基于深度度量學(xué)習(xí)的多車輛跟蹤算法,將運(yùn)動(dòng)信息和外觀信息相結(jié)合確定相似性矩陣,通過(guò)匈牙利算法實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)。實(shí)驗(yàn)結(jié)果表明,本文所提車輛跟蹤算法改善了ID 跳變問(wèn)題,在保證跟蹤精度的前提下提升了跟蹤速度,達(dá)到17 f/s。