軌跡聚類的車輛再識(shí)別方法

劉 銳，雒江濤，文 韜，許國(guó)良

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065；2.重慶郵電大學(xué) 電子信息與網(wǎng)絡(luò)工程研究院，重慶 400065)

0 引 言

車輛再識(shí)別(vehicle re-identification)旨在從大型圖像數(shù)據(jù)集中檢索一組與查詢圖像身份一致的車輛圖像。它廣泛應(yīng)用于智能交通系統(tǒng)和智慧城市建設(shè)，也一直是計(jì)算機(jī)視覺(jué)領(lǐng)域極具挑戰(zhàn)的研究熱點(diǎn)。

車牌本來(lái)是車輛最直接的身份標(biāo)識(shí)符，但在應(yīng)用時(shí)存在諸多限制。首先，在真實(shí)場(chǎng)景中由于車流移動(dòng)導(dǎo)致的遮擋，以及車牌本身的污損甚至變?cè)斓染唧w情況，使得完全依賴車牌識(shí)別來(lái)辨別車輛身份穩(wěn)定性不足；其次，在公開數(shù)據(jù)集中，車牌受隱私保護(hù)的考慮往往需要遮罩而不可用。因此，車輛再識(shí)別任務(wù)實(shí)際上主要采用2類方法：①基于視覺(jué)特征的方法；②附加信息提升的方法。基于視覺(jué)特征的方法使用車輛圖像來(lái)學(xué)習(xí)外觀特征，而附加信息提升的方法在視覺(jué)特征的基礎(chǔ)上輔以車輛本身的語(yǔ)義信息以及車輛在監(jiān)控網(wǎng)絡(luò)中的上下文信息，提升性能表現(xiàn)。

從車輛外觀來(lái)看，相同車型和年款的不同車輛，以及相同車輛在不同攝像頭場(chǎng)景中的差別，使得車輛再識(shí)別需要面臨復(fù)雜的類間相似性和類內(nèi)差異性的雙重挑戰(zhàn)。文獻(xiàn)[1]對(duì)近期基于視覺(jué)特征的再識(shí)別方法進(jìn)行了總結(jié)，將外觀特征方法分為手工特征提取和深度學(xué)習(xí)特征提取兩大類，并在VeRi和VehicleID數(shù)據(jù)集上進(jìn)行了分析對(duì)比。

車輛語(yǔ)義信息包括車輛車型、顏色、品牌等車輛屬性。文獻(xiàn)[2]對(duì)車輛細(xì)粒度分類問(wèn)題進(jìn)行了系統(tǒng)梳理，并針對(duì)不同網(wǎng)絡(luò)架構(gòu)在Stanford Cars數(shù)據(jù)集上的性能進(jìn)行了分析對(duì)比。文獻(xiàn)[3]提出了目前標(biāo)注信息最豐富的CompCars數(shù)據(jù)集，一方面將網(wǎng)絡(luò)爬取的數(shù)據(jù)和監(jiān)控場(chǎng)景數(shù)據(jù)進(jìn)行了細(xì)致的標(biāo)注，提升了車輛語(yǔ)義信息的提取能力；另一方面，車輛在監(jiān)控網(wǎng)絡(luò)中的上下文信息主要指行駛過(guò)程中由拍攝攝像頭決定的攝像頭ID和拍攝時(shí)間，分別從時(shí)間和空間上對(duì)車輛移動(dòng)進(jìn)行了約束，文獻(xiàn)[4-5]使用時(shí)空關(guān)系約束從優(yōu)化排序結(jié)果角度對(duì)時(shí)空關(guān)系進(jìn)行了探索。

從前文分析可以看出，車輛再識(shí)別若僅依賴外觀特征或僅依賴車牌識(shí)別結(jié)果往往性能不佳，需要研究綜合車輛外觀特征和附加信息的再識(shí)別方法。目前也有研究者在此方向上做出了較好成果。在文獻(xiàn)[6]中，提出了一個(gè)雙流模型來(lái)建模行人再識(shí)別領(lǐng)域中的外觀信息和時(shí)空約束。該問(wèn)題主要是對(duì)行人進(jìn)行時(shí)空關(guān)系建模，而車輛本身的移動(dòng)特性與行人不同，需要針對(duì)性進(jìn)行車輛時(shí)空關(guān)系建模。因此，本文在其基礎(chǔ)上改進(jìn)了車輛在監(jiān)控網(wǎng)絡(luò)中的時(shí)空關(guān)系建模方法。總的來(lái)看，本方法具有以下2個(gè)特點(diǎn)：①將車輛再識(shí)別問(wèn)題建模為查詢圖像在大型圖像候選集中相似軌跡的搜索問(wèn)題；②設(shè)計(jì)一個(gè)融合視覺(jué)特征和時(shí)空約束的統(tǒng)一框架，在聯(lián)合度量模塊的優(yōu)化下超過(guò)了現(xiàn)有最優(yōu)模型。

1 車輛再識(shí)別任務(wù)概述

作為視頻智能處理系統(tǒng)的2個(gè)關(guān)鍵任務(wù)，行人再識(shí)別和車輛再識(shí)別分別對(duì)行人和車輛這兩類感興趣目標(biāo)(object of interest)在大規(guī)模數(shù)據(jù)集中的檢索問(wèn)題進(jìn)行了深入研究[7]。文獻(xiàn)[8]指出，行人再識(shí)別需要分辨由當(dāng)前攝像頭中觀測(cè)到的行人是否出現(xiàn)在另一攝像頭或另一時(shí)間點(diǎn)中。而車輛再識(shí)別同樣要找出在視域不重疊的監(jiān)控?cái)z像頭中出現(xiàn)的同一車輛。兩者都需要對(duì)檢測(cè)物體進(jìn)行身份一致性判斷，具體處理流程見(jiàn)圖1。

圖1 再識(shí)別任務(wù)處理示意圖Fig.1 Diagram of re-identification task

從圖1可以看出，再識(shí)別任務(wù)可以作為單攝像頭目標(biāo)檢測(cè)和目標(biāo)追蹤的后續(xù)任務(wù)，其輸入是由目標(biāo)檢測(cè)算法從視頻幀或圖像中檢測(cè)出來(lái)的緊密裁切的感興趣物體圖像區(qū)域；輸出則是根據(jù)物體外觀特征和其他附加信息得到的候選集排序列表，相似度高的物體排序在前，反之靠后。

文獻(xiàn)[9]指出行人再識(shí)別正從封閉場(chǎng)景向開放場(chǎng)景發(fā)展，挑戰(zhàn)也更大。而目前車輛再識(shí)別任務(wù)仍基于圖像數(shù)據(jù)集如VeRi，VehicleID，PKU-VD等進(jìn)行，而隨著攝像頭數(shù)量的增加，車輛再識(shí)別任務(wù)的難度也隨之增加。因此，文獻(xiàn)[10]在原有數(shù)據(jù)集VehicleID基礎(chǔ)上，進(jìn)一步擴(kuò)大了監(jiān)控網(wǎng)絡(luò)的覆蓋范圍和數(shù)據(jù)采集的環(huán)境條件，包括174個(gè)攝像頭，覆蓋了超過(guò)200平方公里的城市場(chǎng)景。另外，從物體追蹤的角度而言，車輛再識(shí)別任務(wù)與車輛跨攝像頭追蹤任務(wù)緊密相關(guān)，文獻(xiàn)[11]提出了一個(gè)城市級(jí)別的交通攝像頭數(shù)據(jù)集，包括原始視頻數(shù)據(jù)以及標(biāo)注后的再識(shí)別圖像數(shù)據(jù)，并在此數(shù)據(jù)集的基礎(chǔ)上展開智慧城市挑戰(zhàn)賽，推動(dòng)交通監(jiān)控視頻智能分析的研究。

車輛再識(shí)別任務(wù)相較于行人再識(shí)別任務(wù)在圖像上具有更大的類內(nèi)差異性和更小的類間相似性?；谝曈X(jué)的方法中，文獻(xiàn)[12]提出了一個(gè)雙路模型，將全局外觀特征和局部關(guān)鍵點(diǎn)特征通過(guò)注意力機(jī)制融合到一起。文獻(xiàn)[13]在特征嵌入空間中，通過(guò)對(duì)抗學(xué)習(xí)生成難以分辨的負(fù)樣本，通過(guò)訓(xùn)練提升模型判別能力。在類內(nèi)差異性上，文獻(xiàn)[14]通過(guò)視角依賴矩陣的關(guān)聯(lián)與變換來(lái)增強(qiáng)特征在跨視角情況下的泛化能力。

從信息的維度看，附加信息與圖像信息不同。附加信息主要以文本的形態(tài)表示車輛在監(jiān)控網(wǎng)絡(luò)結(jié)點(diǎn)中的語(yǔ)義信息。文獻(xiàn)[4]通過(guò)漸進(jìn)式的過(guò)濾，將不相似的車輛通過(guò)外觀對(duì)比進(jìn)行了排除，之后再使用車牌對(duì)比來(lái)精確地匹配身份，并通過(guò)時(shí)空關(guān)系約束檢索范圍；文獻(xiàn)[15]對(duì)車身局部特征進(jìn)行了全面的標(biāo)注和檢測(cè)，在此基礎(chǔ)上提出了基于感興趣區(qū)域的再識(shí)別模型；針對(duì)車輛在網(wǎng)絡(luò)中的上下文信息，文獻(xiàn)[5]提出的視覺(jué)-時(shí)間-空間的路徑建議方法通過(guò)時(shí)空關(guān)系和視覺(jué)特征的耦合，有效地規(guī)范了再識(shí)別排序列表；文獻(xiàn)[16]指出車輛軌跡數(shù)據(jù)可以通過(guò)聚類分析方法挖掘出車輛行駛的潛在規(guī)律；文獻(xiàn)[17]指出再識(shí)別結(jié)果能夠通過(guò)與多目標(biāo)跨攝像頭追蹤任務(wù)的關(guān)聯(lián)得到優(yōu)化。附加信息和視覺(jué)特征的混合模型能夠充分利用不同模態(tài)的數(shù)據(jù)，提升再識(shí)別精度。

2 基于軌跡聚類的車輛再識(shí)別

本文受文獻(xiàn)[6]思路的啟發(fā)，在行人再識(shí)別方案的基礎(chǔ)上改進(jìn)了車輛時(shí)空關(guān)系的建模方式，通過(guò)聯(lián)合度量模塊的優(yōu)化提升視覺(jué)特征的判別能力。本文方法提出的基于軌跡聚類的再識(shí)別方法(track clustering aided vehicle re-identification, tcReID)將視覺(jué)特征和車輛軌跡所代表的時(shí)空約束融入一個(gè)統(tǒng)一框架中，具體包括1個(gè)視覺(jué)分支，1個(gè)軌跡分支以及1個(gè)聯(lián)合度量模塊。具體結(jié)構(gòu)見(jiàn)圖2。

2.1 視覺(jué)分支

車輛視覺(jué)特征提取已經(jīng)在很多文獻(xiàn)中得到了深入研究。本文的重點(diǎn)并不在如何提取判別能力強(qiáng)的外觀特征，而是使用目前效果最好的視覺(jué)提取基準(zhǔn)方法來(lái)提取外觀特征。視覺(jué)提取模型以ResNet50模型為基礎(chǔ)，增加了一個(gè)批歸一化(batch normalization bottleneck，BNNeck)層，并在多種損失函數(shù)的監(jiān)督下進(jìn)行外觀特征學(xué)習(xí)。BNNeck層在最后一層卷積層和全連接層之間增加了批歸一化(batch normalization, BN)操作。

視覺(jué)分支分為訓(xùn)練和推理2個(gè)階段。在訓(xùn)練階段，ResNet50模型通過(guò)ImageNet預(yù)訓(xùn)練模型進(jìn)行初始化，并使用文獻(xiàn)[18]中提出的Batch Hard采樣策略進(jìn)行三元組(triplet)采樣。三元組中具體包括了1個(gè)錨點(diǎn)圖像(anchor)，1個(gè)正樣本圖像(positive)以及1個(gè)負(fù)樣本圖像(negative)，表示為

ltri(a,p,n)=[Dap-Dan+α]+

(1)

(1)式中：Dap表示錨點(diǎn)圖像與正樣本圖像兩者特征向量間的歐式距離；Dan表示錨點(diǎn)圖像與負(fù)樣本圖像兩者特征向量間的歐氏距離；α為距離超參數(shù)；[·]+表示max(·,0)。

具體看，三元組損失使得在特征空間中，錨點(diǎn)圖像與正樣本之間的距離比與負(fù)樣本之間的距離至少大過(guò)一個(gè)邊界值α。

除此之外，帶標(biāo)簽平滑(label smoothing)操作的交叉熵?fù)p失函數(shù)同樣也應(yīng)用于車輛ID預(yù)測(cè)的監(jiān)督。其中，基本的交叉熵?fù)p失定義為

(2)

由于將每一個(gè)ID的車輛作為一個(gè)類別，簡(jiǎn)單的交叉熵函數(shù)在分類任務(wù)時(shí)容易導(dǎo)致過(guò)擬合，為克服這一缺點(diǎn)，引入了標(biāo)簽平滑技巧，將交叉熵?fù)p失中的標(biāo)志函數(shù)qi改進(jìn)為

(3)

(3)式中，ε為一個(gè)常數(shù)，使得模型在訓(xùn)練集上不過(guò)分?jǐn)M合。在數(shù)據(jù)量適中的情況下，標(biāo)簽平滑技巧能夠顯著提高分類性能。

總的訓(xùn)練誤差函數(shù)為三元組損失ltri和ID損失lID之和，表示為

l=ltri+lID

(4)

BNNeck層的引入使得2個(gè)損失函數(shù)優(yōu)化目標(biāo)達(dá)成一致，在訓(xùn)練過(guò)程中同時(shí)達(dá)到收斂。

在推理階段，對(duì)于給定查詢圖像Qi，以及候選圖像集中的任意圖片Gj，使用BNNeck中的BN層的輸出作為最終的特征嵌入向量xi和xj。歐式距離作為兩者的距離度量方式，表示為

Sv=‖xi-xj‖2

(5)

圖2 基于軌跡聚類的車輛再識(shí)別方法Fig.2 Diagram of proposed tcReID model

2.2 軌跡分支

車輛在監(jiān)控網(wǎng)絡(luò)的連續(xù)行駛，使得單個(gè)車輛圖像可以通過(guò)時(shí)間先后順序聚類為一條行駛軌跡。這樣的行駛軌跡可以由單個(gè)攝像頭內(nèi)時(shí)間緊密關(guān)聯(lián)的軌跡片段關(guān)聯(lián)整合成為跨攝像頭的完整軌跡。從另一個(gè)角度來(lái)看，車輛在監(jiān)控網(wǎng)絡(luò)中的完整行駛軌跡是多目標(biāo)多攝像頭追蹤系統(tǒng)的主要目標(biāo)。因此，基于圖像數(shù)據(jù)集的車輛再識(shí)別任務(wù)可轉(zhuǎn)化為根據(jù)查詢圖像及其攝像頭上下文信息，在車輛軌跡數(shù)據(jù)中檢索時(shí)間可行的行駛軌跡，并結(jié)合視覺(jué)信息得到最終判斷。

車輛再識(shí)別由此可分解為2個(gè)步驟：①將候選圖像聚類為跨攝像頭的車輛行駛軌跡；②在給定查詢圖像拍攝時(shí)間的情況下，通過(guò)相對(duì)時(shí)間窗尋找到同時(shí)滿足時(shí)間可行且視覺(jué)相似的車輛軌跡。

2.2.1 車輛軌跡聚類

車輛軌跡聚類將分散的圖像數(shù)據(jù)，根據(jù)其跨攝像頭的轉(zhuǎn)移關(guān)系，按照時(shí)間先后順序?qū)D像數(shù)據(jù)預(yù)處理為車輛軌跡數(shù)據(jù)G{vi,ci,ti}→G′{trj,vi,ci,ti}，其中，{vi,ci,ti}表示車輛ID、攝像頭ID以及拍攝幀數(shù)(在時(shí)鐘同步的監(jiān)控網(wǎng)絡(luò)中，等同于拍攝時(shí)間)組成的元組；而trj則表示第j條聚類后的軌跡。算法偽代碼見(jiàn)算法1。

算法1 車輛軌跡聚類算法偽代碼

Input：G{vi,ci,ti}。

Output：G′{trj,vi,ci,ti}。

1.forvido

2.forcido

3.cpj=AVG(t)

4.end for

5.SORTED(cpj,ci)

6.K=MOST_COMMON(ci)

7.KMEANS(nb=K).fit(cpj,ti)

8.end for

在算法1中，為降低計(jì)算復(fù)雜度，將每個(gè)車輛在單個(gè)攝像頭視域內(nèi)被多次拍攝到的時(shí)間序列標(biāo)記為其在當(dāng)前攝像頭內(nèi)所有拍攝時(shí)間的中心點(diǎn)，以此來(lái)表示車輛在此攝像頭中出現(xiàn)的時(shí)間標(biāo)識(shí)cpj。在此基礎(chǔ)上，可以將某個(gè)車輛經(jīng)過(guò)不同攝像頭中心參考點(diǎn)按照時(shí)間先后順序關(guān)聯(lián)起來(lái)，得到車輛在攝像頭網(wǎng)絡(luò)拓?fù)渲械耐暾壽E。因此，在訓(xùn)練數(shù)據(jù)集中遍歷整個(gè)車輛完整軌跡子集可以獲得車輛在不同攝像頭之間的轉(zhuǎn)移順序，由此可以得出攝像頭之間的關(guān)聯(lián)關(guān)系。通過(guò)統(tǒng)計(jì)車輛在相鄰攝像頭之間的轉(zhuǎn)移關(guān)系，可以得出不同攝像頭的鄰接矩陣，這個(gè)鄰接矩陣表示了攝像頭網(wǎng)絡(luò)之間的轉(zhuǎn)移概率。

若將此鄰接矩陣進(jìn)行可視化，可以繪制網(wǎng)絡(luò)拓?fù)湟?jiàn)圖3。黑色實(shí)線表示2個(gè)攝像頭之間存在較高的轉(zhuǎn)移頻率，而紫色虛線則表示2個(gè)攝像頭之間的轉(zhuǎn)移頻率較低。換言之，可以根據(jù)攝像頭網(wǎng)絡(luò)的鄰接矩陣得出某個(gè)攝像頭結(jié)點(diǎn)轉(zhuǎn)移頻率最高的前后2個(gè)相鄰攝像頭結(jié)點(diǎn)。圖3中的攝像頭轉(zhuǎn)移矩陣，也充分反映了右側(cè)實(shí)際路網(wǎng)地圖指出的主干道和其他道路之間的相互連接特征。因此，攝像頭網(wǎng)絡(luò)拓?fù)渫评砟軌蚪档秃罄m(xù)車輛檢索的搜索空間。而通過(guò)軌跡聚類，車輛再識(shí)別問(wèn)題則可進(jìn)一步轉(zhuǎn)化為軌跡搜索問(wèn)題。

圖3 監(jiān)控網(wǎng)絡(luò)拓?fù)渫评鞦ig.3 Surveillance camera topology inference

2.2.2 軌跡搜索

在給定檢索圖像上下文信息的情況下，車輛軌跡可以通過(guò)時(shí)間窗來(lái)進(jìn)一步約束。對(duì)于任意檢索(ci,ti)，通過(guò)攝像頭網(wǎng)絡(luò)拓?fù)淇梢酝浦cci緊密相連的前后2個(gè)攝像頭結(jié)點(diǎn)ci-1和ci+1。與檢索圖像所匹配的真實(shí)軌跡必然滿足一個(gè)相對(duì)的時(shí)間窗大小，表示為

(6)

(6)式中：Γ表示一個(gè)相對(duì)時(shí)間窗閾值；cpj表示任意候選軌跡中第j個(gè)攝像頭所拍攝到的中心時(shí)間點(diǎn)。wij可以稱為查詢圖像與第j個(gè)候選軌跡之間的相對(duì)時(shí)間窗(relative time window, RTW)。

與視覺(jué)分支類似，軌跡分支的分?jǐn)?shù)通過(guò)候選軌跡中攝像頭轉(zhuǎn)移指示函數(shù)Tij以及wij來(lái)決定，具體定義為

(7)

當(dāng)攝像頭i和j之間存在轉(zhuǎn)移連接時(shí)，Tij取值為1；反之，則取值為0。時(shí)間差計(jì)算則將相對(duì)時(shí)間窗通過(guò)Sigmoid函數(shù)，將具體時(shí)間值映射到(0,0.5)的開區(qū)間，以確保軌跡分支得分較視覺(jué)分支不會(huì)過(guò)大。

2.3 聯(lián)合度量

聯(lián)合度量將視覺(jué)分支和軌跡分支結(jié)合起來(lái)，其中視覺(jué)分支衡量了任意查詢圖像與候選集中圖像兩兩之間的距離，軌跡分支將候選集圖像從單個(gè)圖像聚類成為車輛軌跡子集，并在車輛軌跡子集的基礎(chǔ)上將時(shí)空約束增加到視覺(jué)分支所得到的距離上。

根據(jù)軌跡搜索的結(jié)果，將時(shí)間可行的軌跡子集中圖像與查詢圖像之間的距離減去時(shí)空關(guān)系所得到的分?jǐn)?shù)，表示為

S=Sv-λ·St

(8)

(8)式中，λ表示平衡視覺(jué)分支與軌跡分支的權(quán)重參數(shù)。

3 實(shí)驗(yàn)驗(yàn)證

將本文提出的方法在VeRi數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，參看代碼(1)https://github.com/jiangtaoluo/tcRe-Id/。VeRi數(shù)據(jù)集是車輛再識(shí)別領(lǐng)域的一個(gè)主要數(shù)據(jù)集，其主要包含了監(jiān)控?cái)z像頭網(wǎng)絡(luò)中分布在不同位置的20個(gè)攝像頭的數(shù)據(jù)，并對(duì)776個(gè)身份的車輛采集了超過(guò)40 000張圖片。

評(píng)價(jià)指標(biāo)遵循再識(shí)別任務(wù)的標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)：平均精度均值(mean-average-precision, mAP)和排序精度(rank-k accuracy)。首先在給定查詢q情況下，平均精度AP的定義為

(9)

(9)式中：P(k)表示排序前k個(gè)位置的精度；Ngt(q)表示在車輛候選數(shù)據(jù)集中與查詢圖像q身份相同的車輛圖像數(shù)量。根據(jù)候選圖像與查詢圖像兩者之間的特征距離，可以對(duì)候選圖像集進(jìn)行降序排列，若前k個(gè)位置中存在與查詢圖像q身份相同的車輛圖像，則δk為1，反之為0。在AP計(jì)算的基礎(chǔ)上，mAP可以通過(guò)對(duì)所有查詢圖像的平均精度求均值來(lái)表示

(10)

(10)式中，Nq表示查詢圖像的數(shù)量。

3.1 實(shí)驗(yàn)結(jié)果

本方法與目前基于視覺(jué)的車輛再識(shí)別方法和附加信息提升的再識(shí)別方法進(jìn)行了對(duì)比，具體結(jié)果見(jiàn)表1。其中，類別1表示基于視覺(jué)的再識(shí)別方法，類別2表示附加信息提升的再識(shí)別方法。表1中的STR表示文獻(xiàn)[4]中提到的時(shí)空關(guān)系重排序，ReRank指文獻(xiàn)[19]提出的k-互惠重排序技巧。

從表1可以看出，tcReID在mAP和Rank-k精度上均有較大提升。本方法在未使用ReRank的基礎(chǔ)上在mAP上實(shí)現(xiàn)了90.90%的精度，超過(guò)了目前最優(yōu)的PRN網(wǎng)絡(luò)模型經(jīng)k-互惠重排序提升的實(shí)驗(yàn)結(jié)果。此外，PRN網(wǎng)絡(luò)中對(duì)特征圖的多個(gè)維度進(jìn)行了多次拆分和融合操作，比本方法中ResNet50基礎(chǔ)網(wǎng)絡(luò)增加BNNeck層更加復(fù)雜。在使用k-互惠重排序技巧后，本方法將mAP指標(biāo)進(jìn)一步提升到了92.82%，達(dá)到了目前的最佳結(jié)果。

此外還可以看出，隨著網(wǎng)絡(luò)模型和訓(xùn)練技巧的逐漸豐富，在圖像數(shù)據(jù)集上性能指標(biāo)日趨飽和，而更大規(guī)模的數(shù)據(jù)集以及視頻數(shù)據(jù)集上的車輛再識(shí)別問(wèn)題仍有較大空間。

表1 tcReID與其他SOTA方法的對(duì)比Tab.1 Performance comparison with other SOTA methods

除了性能指標(biāo)對(duì)比外，圖4展示了tcReID模型的檢索結(jié)果可視化效果。圖4中共展示了2列共10個(gè)查詢樣本及其對(duì)應(yīng)的前5張預(yù)測(cè)匹配結(jié)果，其中，綠色邊框表示身份匹配正確，而紅色邊框表示匹配錯(cuò)誤。從可視化結(jié)果看，tcReID模型在攝像頭視角變化較大時(shí)，效果仍有提升空間。

3.2 參數(shù)優(yōu)化

本方法中，共有Γ和λ這2個(gè)參數(shù)需要額外調(diào)整。理論上，更大的Γ能將更多的候選軌跡納入軌跡檢索的計(jì)算，但最終反而使mAP和Rank-k指標(biāo)有所降低，這主要是因?yàn)楦嗟暮蜻x軌跡擴(kuò)大了軌跡匹配的搜索空間，使得最終匹配結(jié)果精度稍有下降。時(shí)間窗閾值Γ對(duì)再識(shí)別性能的影響見(jiàn)表2，由表2可知，當(dāng)Γ取0.04時(shí)，對(duì)再識(shí)別任務(wù)的性能表現(xiàn)最優(yōu)。

固定軌跡分支的Γ，再對(duì)λ進(jìn)行實(shí)驗(yàn)。軌跡分支的λ對(duì)再識(shí)別性能的影響見(jiàn)表3，當(dāng)λ取值為7，此時(shí)性能達(dá)到最佳，這表明由軌跡聚類確定的候選軌跡在時(shí)間相似性上經(jīng)過(guò)7倍左右的放縮，增強(qiáng)了視覺(jué)分支的再識(shí)別身份判斷效果。此外，尤其需要注意的是，當(dāng)λ為0時(shí)，軌跡聚類結(jié)果不納入聯(lián)合度量的計(jì)算，tcReID模型回退為基于視覺(jué)信息的再識(shí)別模型，此時(shí)mAP指標(biāo)為80.24，仍高于除Partition方法之外的視覺(jué)特征方法，證明了視覺(jué)分支的有效性。

圖4 tcReID再識(shí)別方法檢索結(jié)果可視化Fig.4 Visualization of proposed tcReID model results

表2 時(shí)間窗閾值Γ對(duì)再識(shí)別性能的影響Tab.2 Performance impact of relative time window threshold Γ

表3 軌跡分支的λ對(duì)再識(shí)別性能的影響Tab.3 Performance impact of track stream weight λ

4 總 結(jié)

本文提出了一個(gè)新的車輛再識(shí)別方法(tcReID)，將車輛視覺(jué)信息與時(shí)空關(guān)系約束融合到一個(gè)端到端的網(wǎng)絡(luò)中。視覺(jué)分支在網(wǎng)絡(luò)結(jié)構(gòu)上使用目前效果較好的ResNet50骨干網(wǎng)絡(luò)與BNNeck層的組合，損失函數(shù)則基于三元組損失函數(shù)和帶標(biāo)簽平滑的交叉熵?fù)p失函數(shù)，并在其他訓(xùn)練技巧的輔助下得到了判別能力較強(qiáng)的嵌入特征。軌跡分支從軌跡聚類入手，將車輛圖片轉(zhuǎn)化為車輛軌跡，并在相對(duì)時(shí)間窗的約束下進(jìn)行車輛軌跡搜索；然后，在聯(lián)合度量模塊的優(yōu)化下，將視覺(jué)分支距離和軌跡分支分?jǐn)?shù)結(jié)合到一起。在VeRi數(shù)據(jù)集上，tcReID模型實(shí)現(xiàn)了92.82%的mAP和99.05%的Rank-1精度，超過(guò)了目前的最優(yōu)方法。

此后，針對(duì)tcReID模型中的車輛軌跡聚類算法，從單攝像頭追蹤和跨攝像頭關(guān)聯(lián)2個(gè)角度可以再進(jìn)行拓展。此外，本文提出的相對(duì)時(shí)間窗設(shè)計(jì)還能夠進(jìn)一步優(yōu)化，以實(shí)現(xiàn)自適應(yīng)的時(shí)間可行性判斷。