基于自校準(zhǔn)與異構(gòu)網(wǎng)絡(luò)的多目標(biāo)跟蹤算法

王 玲，杜新兆，羅可心，王 鵬，趙領(lǐng)娣

(長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，吉林 長(zhǎng)春 130022)

0 引 言

多目標(biāo)跟蹤[1]主要通過(guò)計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)，將視頻中每一幀目標(biāo)都賦予一個(gè)唯一ID，并且得到其對(duì)應(yīng)軌跡。早期的多目標(biāo)跟蹤算法集中于傳統(tǒng)統(tǒng)計(jì)學(xué)、概率學(xué)方法，如卡爾曼濾波[2]、粒子濾波[3]、核相關(guān)濾波[4]等，該類算法利用卡爾曼濾波或概率算法預(yù)測(cè)檢測(cè)框在下一幀的狀態(tài)，將該狀態(tài)與下一幀的檢測(cè)結(jié)果進(jìn)行匹配，實(shí)現(xiàn)多目標(biāo)跟蹤。然而，若跟蹤受到遮擋或未被檢測(cè)，卡爾曼濾波預(yù)測(cè)的狀態(tài)信息將無(wú)法和檢測(cè)結(jié)果進(jìn)行匹配。當(dāng)遮擋結(jié)束后，目標(biāo)檢測(cè)可能又將被繼續(xù)執(zhí)行并生成新的ID編號(hào)，造成大量ID切換的現(xiàn)象。近年來(lái)，隨著機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展與完善，多目標(biāo)跟蹤領(lǐng)域開(kāi)始逐漸向基于深度學(xué)習(xí)網(wǎng)絡(luò)模型的方向靠攏。卷積神經(jīng)網(wǎng)絡(luò)模型(convolutional neural networks，CNN)[5]逐漸替代了傳統(tǒng)手工設(shè)計(jì)的特征，提供了一種端到端的處理方法，跟蹤精度也大幅提高。但針對(duì)目標(biāo)漂移、旋轉(zhuǎn)等情況，模型將無(wú)法提取到目標(biāo)的精準(zhǔn)特征信息，進(jìn)而影響圖神經(jīng)網(wǎng)絡(luò)中消息傳遞的精度，導(dǎo)致模型魯棒性不強(qiáng)。綜上所述，本文提出SCAACTracker多目標(biāo)跟蹤算法，可應(yīng)用與公共場(chǎng)所行人流量檢測(cè)或者異常行為捕捉等場(chǎng)景，重點(diǎn)做出以下貢獻(xiàn)。①引入全新的融合非對(duì)稱[6]與自校準(zhǔn)[7]的卷積特征提取機(jī)制，抑制背景信息，增強(qiáng)卷積網(wǎng)絡(luò)對(duì)于目標(biāo)外觀的特征提??；②在圖神經(jīng)網(wǎng)絡(luò)中使用卷積神經(jīng)網(wǎng)絡(luò)算法作為結(jié)點(diǎn)和邊嵌入的計(jì)算基礎(chǔ)，增強(qiáng)圖神經(jīng)網(wǎng)絡(luò)消息傳遞的準(zhǔn)確性；③該特征提取機(jī)制可以主動(dòng)適配不同圖像，擴(kuò)大使用范圍。

1 相關(guān)工作

近年來(lái)，隨著機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展與完善，多目標(biāo)跟蹤領(lǐng)域開(kāi)始逐漸向基于深度學(xué)習(xí)網(wǎng)絡(luò)模型的方向靠攏。Bewley A等[8]提出SORT算法，該算法可分為3個(gè)階段：①目標(biāo)檢測(cè)；②目標(biāo)運(yùn)動(dòng)預(yù)測(cè)；③數(shù)據(jù)關(guān)聯(lián)。其中，使用FasterRCNN作為目標(biāo)檢測(cè)模型，接著采用卡爾曼濾波進(jìn)行目標(biāo)位置的預(yù)測(cè)，最后使用匈牙利算法來(lái)實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)，即前后幀的目標(biāo)匹配，從而完成目標(biāo)跟蹤任務(wù)。但由于忽略了被檢測(cè)目標(biāo)的外觀特征，SORT算法僅在目標(biāo)狀態(tài)確定的情況下表現(xiàn)良好。Wojke N等[9]提出的DeepSort是在SORT算法的基礎(chǔ)上從行人重識(shí)別任務(wù)中提取目標(biāo)外觀特征，提高網(wǎng)絡(luò)對(duì)丟失和遮擋目標(biāo)特征提取的魯棒性，大大減少了目標(biāo)標(biāo)簽切換次數(shù)，提高了跟蹤的精度，但這也使得跟蹤速度有所下降。Bae S.H等[10]提出CDA-DDAL算法，該算法利用小軌道的可檢測(cè)性和連續(xù)性聯(lián)合計(jì)算小軌道的置信度，根據(jù)該置信度對(duì)多目標(biāo)跟蹤任務(wù)進(jìn)行劃分，最后依據(jù)其置信度將子任務(wù)以不同的方式進(jìn)行關(guān)聯(lián)，從而解決了在線多目標(biāo)跟蹤問(wèn)題。之后，Milan A等[11]提出在線多目標(biāo)跟蹤的端到端模式，將經(jīng)典的貝葉斯?fàn)顟B(tài)估計(jì)[12]、數(shù)據(jù)關(guān)聯(lián)以及軌跡起始和終止任務(wù)作為遞歸神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)跟蹤和檢測(cè)之間的關(guān)聯(lián)。Sadeghian A等[13]通過(guò)使用長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory，LSTM[14])的自回歸和匹配分類來(lái)預(yù)測(cè)運(yùn)動(dòng)和外觀特征，大大提高了跟蹤的準(zhǔn)確性。Chu Q等[15]提出STAM-MOT算法，該算法利用空間和時(shí)間注意力機(jī)制解決遮擋問(wèn)題。Ma L等[16]提出層次關(guān)聯(lián)聚類框架，該框架主要針對(duì)在擁擠街道場(chǎng)景下的行人跟蹤問(wèn)題，利用現(xiàn)有的穩(wěn)定跟蹤模型，采用不同的圖網(wǎng)絡(luò)結(jié)構(gòu)來(lái)生成跟蹤框和跟蹤軌跡，一定程度上解決了長(zhǎng)期遮擋問(wèn)題。

綜上所述，本文提出了基于自校準(zhǔn)與異構(gòu)卷積的離線圖跟蹤網(wǎng)絡(luò)SCAACTrack。該算法首先解決了圖神經(jīng)網(wǎng)絡(luò)中特征提取算法表達(dá)性不強(qiáng)而導(dǎo)致的在人群環(huán)境密集的情況下難以提取目標(biāo)特征信息的問(wèn)題；其次解決了在目標(biāo)漂移、旋轉(zhuǎn)等情況下，算法無(wú)法提取目標(biāo)的精準(zhǔn)外觀特征信息，進(jìn)而影響圖神經(jīng)網(wǎng)絡(luò)中消息傳遞的精度問(wèn)題。該算法在圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，引入了自校準(zhǔn)卷積和異構(gòu)卷積模塊，在解決單一CNN對(duì)目標(biāo)外觀特征提取較弱問(wèn)題的同時(shí)，充分提升圖神經(jīng)網(wǎng)絡(luò)的表示；且基于時(shí)間感知的消息傳遞算法能夠有效加強(qiáng)多目標(biāo)跟蹤算法流式守恒約束，相較于現(xiàn)有模型，該模型擁有更高效的激活邊選取能力。

2 模 型

本文提出的SCAACTrack模型，利用T-1、T、T+1之間目標(biāo)外觀特征、距離和時(shí)間差值來(lái)構(gòu)建圖神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)中采用異構(gòu)自校準(zhǔn)卷積模塊進(jìn)行目標(biāo)外觀特征提取，以提高圖模型表達(dá)能力。SCAACTrack模型整體結(jié)構(gòu)如圖1所示。

圖1 SCAACTrack模型整體結(jié)構(gòu)

主要由自校準(zhǔn)異構(gòu)卷積層(self-calibrated convolutions and asymmetric convolution，SCAAC)、圖網(wǎng)絡(luò)嵌入層、基于時(shí)間感知的消息傳遞層以及激活邊分類構(gòu)成。

2.1 自校準(zhǔn)異構(gòu)卷積層

自校準(zhǔn)異構(gòu)卷積層由自校準(zhǔn)卷積網(wǎng)絡(luò)和異構(gòu)卷積模型構(gòu)成，負(fù)責(zé)對(duì)不同幀之間的目標(biāo)進(jìn)行外觀特征提取。

2.1.1 自校準(zhǔn)卷積網(wǎng)絡(luò)

本算法首先采用自校準(zhǔn)卷積算法(self-calibrated convolutions，SCC)進(jìn)行目標(biāo)行人特征提取，其目的是幫助卷積神經(jīng)網(wǎng)絡(luò)生成更具有辨識(shí)性的表示，加強(qiáng)多目標(biāo)網(wǎng)絡(luò)圖中的結(jié)點(diǎn)嵌入表達(dá)。它的基本思路是在原始尺度空間中的特征圖和下采樣后較小的潛在空間圖中進(jìn)行卷積特征轉(zhuǎn)換。下采樣后的特征具有較大的感受野，因此在較小的潛在空間中進(jìn)行變換后的嵌入將用作參考，以指導(dǎo)原始特征空間中的特征變換過(guò)程。自校準(zhǔn)卷積算法流程如圖2所示。

圖2 自校準(zhǔn)卷積算法流程

T1=AvgPoolr(X1)X′1=Up(F(T1))

(1)

接著將X′1與X1求和后輸入到Sigmod函數(shù)中，接著將輸出結(jié)果與經(jīng)過(guò)K3卷積的特征嵌入相乘得到Y(jié)′1， 計(jì)算如式(2)所示

Y′1=F3(X1)·σ(X1+X′1)

(2)

再對(duì)原尺度特征空間進(jìn)行處理，對(duì)特征X2經(jīng)過(guò)K1卷積提取得到特征Y2， 對(duì)兩個(gè)尺度空間輸出特征Y1、Y2進(jìn)行拼接操作，得到最終輸出特征Y， 具體計(jì)算過(guò)程如式(3)、式(4)所示

Y1=F4(Y′1)=Y′1*K4

(3)

Y=Y1+Y2=Y1+X2*K1

(4)

與傳統(tǒng)卷積相比，采用自校準(zhǔn)操作不僅可以將目標(biāo)背景信息作為低分辨率空間的嵌入來(lái)指導(dǎo)原始尺度空間的特征變換，還可以對(duì)通道間的依賴性進(jìn)行建模。因此，該算法可以有效地?cái)U(kuò)大自校準(zhǔn)卷積層的感受野。此外，自校準(zhǔn)卷積操作不收集全局上下文，而只考慮每個(gè)空間位置周圍的上下文，從而避免了無(wú)關(guān)區(qū)域的無(wú)用信息。

2.1.2 異構(gòu)卷積模型

由于自校準(zhǔn)卷積算法主要針對(duì)固定區(qū)域目標(biāo)外觀特征提取，當(dāng)目標(biāo)發(fā)生旋轉(zhuǎn)、飄逸后，算法提取到的特征并不準(zhǔn)確，且魯棒性較差。如圖3所示，以主流的3×3卷積核為例，可以看出，在圖像翻轉(zhuǎn)前后，從輸入圖像的相同位置處提取的特征有所不同。

圖3 3×3水平反翻轉(zhuǎn)特征提取操作

為增強(qiáng)外觀特征的可表示性，將3×3的卷積核拆分為幾個(gè)不同形狀卷積核的形式進(jìn)行訓(xùn)練，推理階段將其融合為一個(gè)3×3卷積，沒(méi)有帶來(lái)額外的計(jì)算量，但是提取特征的能力更強(qiáng)。這依賴于卷積操作的可疊加性，特征提取的計(jì)算如式(5)所示

I*K1+I*K2=I*(K1⊕K2)

(5)

由式(5)可知，先進(jìn)行K1和I的卷積、K2和I的卷積后再對(duì)結(jié)果進(jìn)行相加與先進(jìn)行K1和K2的逐點(diǎn)相加后再和I進(jìn)行卷積得到的結(jié)果是一致的。同時(shí)，該公式還表明非對(duì)稱卷積不會(huì)增加額外的計(jì)算量。計(jì)算過(guò)程如圖4所示，其中令K=3。

圖4 非對(duì)稱自校準(zhǔn)卷卷積核操作

在自校準(zhǔn)卷積網(wǎng)絡(luò)中引入非對(duì)稱卷積結(jié)構(gòu)，對(duì)自校準(zhǔn)卷積網(wǎng)絡(luò)中的每一個(gè)卷積操作F替換為K×K，K×1，1×K大小的卷積操作，之后將卷積結(jié)果進(jìn)行累加得到最終特征圖。其中K2被分成了K2×K2，K2×1，1×K2三部分，最終進(jìn)行累加得到穩(wěn)定特征值，圖中K1，K3，K4部分同K2所示。

非對(duì)稱卷積的引入有助于提升自校準(zhǔn)卷積對(duì)于圖像翻轉(zhuǎn)和旋轉(zhuǎn)的魯棒性。在訓(xùn)練階段引入1×3卷積核，即使在驗(yàn)證階段將輸入圖像進(jìn)行上下翻轉(zhuǎn)，該卷積核仍然能夠提取正確的特征，特征提取操作如圖5所示。

圖5 1×3水平翻轉(zhuǎn)特征提取操作

由圖5可知，在經(jīng)過(guò)翻轉(zhuǎn)前后，對(duì)輸入圖像的相同位置處提取的特征一致。因此，引入3×1水平卷積核可以提升模型對(duì)圖像上下翻轉(zhuǎn)的魯棒性，豎直方向卷積核同理。

2.2 圖跟蹤網(wǎng)絡(luò)建模

本算法采用基于檢測(cè)的多目標(biāo)跟蹤方式(detection-based tracking，DBT)，首先逐幀檢測(cè)待跟蹤目標(biāo)，然后將其連接到對(duì)應(yīng)的軌跡中。在給定視頻序列的情況下，對(duì)每幀圖像應(yīng)用特定的對(duì)象或運(yùn)動(dòng)檢測(cè)算法來(lái)獲得待跟蹤目標(biāo)的標(biāo)記，然后進(jìn)行多目標(biāo)跟蹤，將檢測(cè)目標(biāo)連接到軌跡中。

在此過(guò)程中，目標(biāo)檢測(cè)器是預(yù)先訓(xùn)練的，跟蹤目標(biāo)的類型和數(shù)量由檢測(cè)算法決定，無(wú)需手工標(biāo)記。該問(wèn)題可建模為無(wú)向圖G=(V，E) 模型，其中每一個(gè)結(jié)點(diǎn)i∈V代表了一個(gè)獨(dú)立的檢測(cè)目標(biāo)，即Oi∈O。 對(duì)不同幀的每對(duì)檢測(cè)構(gòu)建一條邊E， 允許恢復(fù)有丟失檢測(cè)的跟蹤軌跡。場(chǎng)景中的每個(gè)跟蹤軌跡T*={T1，…，Tm} 均能夠被映射到圖中的一組結(jié)點(diǎn) {i1，…，ini}， 為此，對(duì)圖上每條邊引入一個(gè)二元變量，若該邊連接了屬于同一條跟蹤軌跡且在同一條跟蹤軌跡上是時(shí)間連續(xù)的結(jié)點(diǎn)，其標(biāo)簽為1，否則為0。對(duì)于不同時(shí)間戳上的每對(duì)結(jié)點(diǎn) (i，j)∈E， 定義二元變量如式(6)所示

(6)

當(dāng)y(i，j)=1時(shí)，對(duì)應(yīng)邊 (i，j) 被視為激活狀態(tài)。因?yàn)槊織l跟蹤軌跡是結(jié)點(diǎn)不相交的，即一個(gè)結(jié)點(diǎn)不會(huì)屬于超過(guò)一個(gè)跟蹤軌跡，因此y(i，j)需滿足兩個(gè)線性約束，則對(duì)每個(gè)結(jié)點(diǎn)i∈V有

(7)

(8)

本跟蹤框架采用SCAAC算法將每幀目標(biāo)檢測(cè)提取到的外觀特征作為圖神經(jīng)網(wǎng)絡(luò)的結(jié)點(diǎn)嵌入，每幀目標(biāo)相對(duì)位置作為圖中的邊嵌入，則初始化圖結(jié)點(diǎn)嵌入式如式(9)所示

(9)

針對(duì)不同時(shí)間戳ti、tj的兩個(gè)檢測(cè)oi、oj， 計(jì)算其相對(duì)距離變量如式(10)所示

(10)

2.3 消息傳遞網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)構(gòu)建完畢后，進(jìn)行圖中結(jié)點(diǎn)與邊之間的消息傳遞過(guò)程。與普通消息傳遞方法相比，本文采用了基于時(shí)間感知的消息傳遞算法，有效提升了更新后的結(jié)點(diǎn)嵌入對(duì)跟蹤約束的束縛，其過(guò)程如圖6所示。

圖6 基于時(shí)間感知的消息傳遞網(wǎng)絡(luò)

(11)

(12)

(13)

(14)

2.4 訓(xùn)練推導(dǎo)

(15)

式中：l0∈1，…，L，w表示一個(gè)衡量參數(shù)，y∈[0，1]。 由于采用基于時(shí)間感知的更新步驟，故設(shè)置閾值0.5的二值化也能很好滿足流式守恒約束的限制，最后使用一個(gè)簡(jiǎn)單的貪婪舍入方案獲得一個(gè)可行的二值輸出。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集與環(huán)境配置

本文實(shí)驗(yàn)使用2DMOT15[17]、MOT17、MOT數(shù)據(jù)集，這些數(shù)據(jù)集是衡量多目標(biāo)跟蹤方法標(biāo)準(zhǔn)的數(shù)據(jù)集。其中，2DMOT15數(shù)據(jù)集共有22個(gè)視頻序列，其中測(cè)試集和訓(xùn)練集各11個(gè)；MOT17數(shù)據(jù)集共有14個(gè)視頻序列，測(cè)試集和訓(xùn)練集各7個(gè)。本次實(shí)驗(yàn)采用2DMOT15的訓(xùn)練集與MOT17數(shù)據(jù)集上的2，4，5，9，10，11，13序列數(shù)據(jù)進(jìn)行訓(xùn)練，為了保證實(shí)驗(yàn)的一致性，輸入目標(biāo)的檢測(cè)信息均采用SDP[18]算法，為了檢驗(yàn)算法的魯棒性，在2DMOT15測(cè)試序列與MOT17數(shù)據(jù)集的1，3，6，7，8，12，14序列上進(jìn)行了測(cè)試。實(shí)驗(yàn)硬件環(huán)境見(jiàn)表1。

表1 硬件環(huán)境配置

3.2 評(píng)價(jià)指標(biāo)

本文首先選取多目標(biāo)跟蹤中重要的評(píng)價(jià)指標(biāo)準(zhǔn)確度(multiple object tracking accuracy，MOTA)作為評(píng)價(jià)方法，MOTA非常直觀地給出了衡量跟蹤識(shí)別目標(biāo)和保持一致性的能力，其計(jì)算如式(16)所示

(16)

式中：mt、fpt、mmet分別為t幀時(shí)漏檢、誤檢和錯(cuò)誤匹配的數(shù)量(IDS)。gt代表Ground Truth即真實(shí)的標(biāo)簽或?qū)ο蟆?/p>

為了對(duì)比SCAACTrack算法對(duì)目標(biāo)跟蹤的精度，選擇IDF1作為衡量標(biāo)準(zhǔn)，IDF1計(jì)算如式(17)所示

(17)

式中：IDP為ID準(zhǔn)確率(identification precision)，IDR為ID召回率(identification recall)，與普通MOTA不同的是，IDF1中的TP、FP、FN考慮了ID信息，而MOTA指標(biāo)中只有IDS考慮了ID信息，對(duì)此可得出，IDF1對(duì)軌跡中ID信息的準(zhǔn)確性更為敏感。

MT(mostly tracked)表示為對(duì)于給出的所有GT軌跡中，滿足至少80%的時(shí)間都能匹配成功的軌跡數(shù)目占比，該指標(biāo)不注重跟蹤過(guò)程中是否發(fā)生了IDS，只要檢測(cè)框能成功匹配即可。

ML(mostly lost)對(duì)于給出的所有GT軌跡中，滿足小于20%的時(shí)間都能匹配成功的軌跡數(shù)目占比，該指標(biāo)于MT恰好相反，且該指標(biāo)越小說(shuō)明跟蹤效果越好。

FP為模型預(yù)測(cè)為正的負(fù)樣本或誤報(bào)，F(xiàn)N為被模型預(yù)測(cè)為負(fù)的正樣本或漏報(bào)。IDS為ID轉(zhuǎn)變數(shù)，具體指跟蹤軌跡中目標(biāo)ID切換的次數(shù)，對(duì)跟蹤算法的魯棒性有很好的衡量效果，該指標(biāo)越小說(shuō)明算法越穩(wěn)定。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 2DMOT15實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)采用相同目標(biāo)檢測(cè)器SDP，選取常用的MPNTrack[19]、Tracktor[22]、KCF[20]、AP_HWDPL_p[21]算法進(jìn)行對(duì)比。各算法的MOTA、IDF1、MT、ML、FP、FN、IDS性能指標(biāo)見(jiàn)表2。

表2 各算法在2DMOT15數(shù)據(jù)集上檢測(cè)結(jié)果對(duì)比

從表2中可以看出，本文算法在MOTA、IDF1和IDS等各項(xiàng)指標(biāo)表現(xiàn)上都較為優(yōu)異。對(duì)比本文算法與MPNTrack算法的個(gè)性能指標(biāo)可知，SCAACTrack在IDS上提升了5%，MOTA和IDF1指標(biāo)基本持平。這說(shuō)明，在處理存在遮擋情況的場(chǎng)景中，本文算法表現(xiàn)更優(yōu)。這是由于本文算法融入了非對(duì)稱的自校準(zhǔn)卷積特征提取結(jié)構(gòu)，故相對(duì)于MPNTrack算法，其在精準(zhǔn)度方面和IDS上有了一定提升，對(duì)遮擋問(wèn)題的魯棒性也更強(qiáng)。

3.3.2 MOT17實(shí)驗(yàn)結(jié)果分析

SCAACTrack算法在MOT17各測(cè)試序列上的實(shí)驗(yàn)結(jié)果見(jiàn)表3。

從表3可以看出，SCAAC算法在MOT17數(shù)據(jù)集的不同序列上表現(xiàn)出了良好的跟蹤性能。針對(duì)跟蹤目標(biāo)數(shù)高達(dá)104 675、背景昏暗且拍攝角度較高的MOT17-03序列，MOTA指標(biāo)為74.4%，IDS指標(biāo)為131。在陰影變換較大，目標(biāo)擁擠的步行街道MOT17-08數(shù)據(jù)集中，MOTA為32.2%，IDS指標(biāo)為47，達(dá)到了多目標(biāo)跟蹤的主流水平。

此外，本算法與MPNTrack、Tracktor、JBNOT[23]、FAMNet[24]算法對(duì)比實(shí)驗(yàn)結(jié)果見(jiàn)表4。

表3 算法在MOT17各序列結(jié)果

表4 不同模型在MOT17數(shù)據(jù)集上檢測(cè)結(jié)果對(duì)比

從表4中可以看出，融合自校準(zhǔn)異構(gòu)卷積的圖傳遞跟蹤算法SCAACTrack在各視頻序列上的跟蹤精度均高于其它算法。和基準(zhǔn)算法MPNTrack相比，在檢測(cè)準(zhǔn)確度和ID切換方面都有一定提升。其中對(duì)于IDS部分，提升了17%。這是因?yàn)樵摼W(wǎng)絡(luò)融合了目標(biāo)多維度相關(guān)特征，使得模型在保持原有跟蹤精度的前提下，對(duì)擁擠場(chǎng)合中的多目標(biāo)跟蹤具有更強(qiáng)的適用性，避免了目標(biāo)背景重疊與擁堵造成的ID Switch。數(shù)據(jù)關(guān)聯(lián)階段采用基于時(shí)間感知的消息傳遞，保證了結(jié)點(diǎn)對(duì)于流式守恒約束的敏感性，有效提高了劃分激活邊階段的分類能力，進(jìn)而提高了跟蹤算法的精度。

3.3.3 內(nèi)存占用實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證模型的可用性，圖7給出了基準(zhǔn)算法MPNTrack與SCAACTrack在模型訓(xùn)練和模型推理時(shí)GPU內(nèi)存占比情況。

圖7 模型在訓(xùn)練和推理期間模型GPU內(nèi)存占比

圖7橫坐標(biāo)表示實(shí)驗(yàn)中模型占用內(nèi)存情況，縱坐標(biāo)表示內(nèi)存占用大小在實(shí)驗(yàn)中出現(xiàn)的頻率百分比，即(出現(xiàn)在某個(gè)占用的次統(tǒng)計(jì)數(shù)/總統(tǒng)計(jì)數(shù))×100。從圖7可知，SCAACTrack在訓(xùn)練過(guò)程中出現(xiàn)的最大相對(duì)頻率較MPNTrack低，在推理過(guò)程中的最大內(nèi)存占用較MPNTrack少且整個(gè)推理過(guò)程的內(nèi)存占用頻率較平穩(wěn)?？傮w來(lái)看，SCAACTrack在訓(xùn)練和推理過(guò)程中內(nèi)存占用略高于MPNTrack，但差距不大。該實(shí)驗(yàn)進(jìn)一步說(shuō)明了SCAACTrack算法在保證對(duì)資源占用穩(wěn)定的同時(shí)，通過(guò)引入自校準(zhǔn)結(jié)構(gòu)和異構(gòu)卷積模塊，在不犧牲算法性能的前提下，提高了目標(biāo)跟蹤的精準(zhǔn)度。

3.3.4 消融實(shí)驗(yàn)

為驗(yàn)證算法有效性，本實(shí)驗(yàn)在基準(zhǔn)算法MPNTrack基礎(chǔ)上，使用2DMOT15數(shù)據(jù)集對(duì)所提算法進(jìn)行消融驗(yàn)證，對(duì)改進(jìn)的策略進(jìn)行逐步驗(yàn)證并加以對(duì)比。

首先設(shè)計(jì)3組消融實(shí)驗(yàn)，第一組為MPN-SC，在進(jìn)行ReID特征提取時(shí)，僅采用自校準(zhǔn)卷積結(jié)構(gòu)，對(duì)自校準(zhǔn)主干卷積網(wǎng)絡(luò)不使用非對(duì)稱結(jié)構(gòu)；第二組為MPN-SC1，使用自校準(zhǔn)卷積結(jié)構(gòu)并且在其校準(zhǔn)分支中采用非對(duì)稱卷積模塊，在其正常卷積分支中不采用非對(duì)稱卷積結(jié)構(gòu)；第三組實(shí)驗(yàn)設(shè)計(jì)為SCAACTrack，將本文所提改進(jìn)策略全部應(yīng)用在MPNTrack算法中。具體實(shí)驗(yàn)結(jié)果見(jiàn)表5。

表5 消融實(shí)驗(yàn)

SCAACTrack多目標(biāo)跟蹤算法分別在MOTA指標(biāo)和IDS指標(biāo)高出基準(zhǔn)MPNTrack算法0.1%和5.6%；高出第一組MPN-SC算法0.1%和4.6%，第二組MPN-SC1和SCAACTrack在MOTA上持平，但I(xiàn)DS指標(biāo)高出5%。由此驗(yàn)證，本文所提算法SCAACTrack在MPNTrack算法基礎(chǔ)上逐步進(jìn)行優(yōu)化，對(duì)多目標(biāo)跟蹤任務(wù)跟蹤精度有著積極促進(jìn)作用。

4 結(jié)束語(yǔ)

本文提出了一種結(jié)合自校準(zhǔn)與非對(duì)稱結(jié)構(gòu)融合的圖神經(jīng)網(wǎng)絡(luò)跟蹤算法。該算法利用SCAAC算法的特征嵌入與目標(biāo)位置嵌入來(lái)構(gòu)建圖神經(jīng)網(wǎng)絡(luò)，使用基于時(shí)間感知的消息傳遞機(jī)制更新信息，通過(guò)設(shè)置固定閾值對(duì)圖的邊進(jìn)行分類，最終實(shí)現(xiàn)多目標(biāo)跟蹤任務(wù)。實(shí)驗(yàn)結(jié)果表明，SCAACTrack較MPNTrack在準(zhǔn)確率和IDS指標(biāo)上均有提升。由此看出，SCAACTrack對(duì)于MPNTrack有著積極的改進(jìn)作用。但在實(shí)驗(yàn)過(guò)程中，算法的速度及內(nèi)存占用方面表現(xiàn)不佳，仍存在較大的改進(jìn)空間，這也是接下來(lái)需要解決的問(wèn)題。