結(jié)合SDAE網(wǎng)絡(luò)和ODB學(xué)習(xí)策略的多目標(biāo)視覺跟蹤

孫艷青，潘廣貞，王 鳳

(中北大學(xué) 軟件學(xué)院，太原 030051)

1 引 言

多目標(biāo)視覺跟蹤是計算機(jī)視覺應(yīng)用中的基本問題，如視頻監(jiān)控，活動識別和人機(jī)交互[1].在這些應(yīng)用中，視覺跟蹤器必須能夠在運(yùn)行時對目標(biāo)外觀進(jìn)行建模，并在線調(diào)整此模型以便在目標(biāo)持續(xù)跟蹤過程中解決外觀改變?nèi)缒繕?biāo)形變、目標(biāo)相似以及目標(biāo)被遮擋引起的跟蹤失效問題.針對這些問題，國內(nèi)外學(xué)者提出許多優(yōu)秀的在線多目標(biāo)跟蹤算法，并取得顯著進(jìn)展.

C.Huang，B.Wu，and R.Neva提出一種層次關(guān)聯(lián)多目標(biāo)跟蹤方法，其使用低級特征，包括位置，大小和顏色直方圖的外觀，構(gòu)建可靠的軌跡，并選擇匈牙利算法來關(guān)聯(lián)它們并產(chǎn)生更長的軌跡[2].Z.Wu，T.H.Kunz，and M.Betake提出網(wǎng)絡(luò)流和設(shè)置覆蓋技術(shù)跟蹤算法[3].B.Yang and R.Nevadian通過最小化能量函數(shù)提出基于條件隨機(jī)域(conditional random field，CRF)的軌跡關(guān)聯(lián)模型的目標(biāo)跟蹤算法[4].

上述跟蹤方法通過提高目標(biāo)的外觀特征一定程度上提高多目標(biāo)跟蹤的魯棒性，然而上述算法提取和使用的是多目標(biāo)跟蹤的低級別的外觀特征，如顏色直方圖，運(yùn)動和紋理，無法從根本上解決如目標(biāo)部分和全部遮擋，強(qiáng)烈的光照變化帶來的目標(biāo)外觀變化，從而引起的目標(biāo)漂移等問題，不適合在線和實(shí)時多目標(biāo)視覺跟蹤[5].鑒于以上缺點(diǎn)本文提出結(jié)合SDAE網(wǎng)絡(luò)和在線Deep Boost學(xué)習(xí)策略的多目標(biāo)視覺跟蹤算法.結(jié)合ODB中學(xué)習(xí)的局部-全局視覺圖像特征生成目標(biāo)外觀模型進(jìn)行實(shí)時跟蹤目標(biāo).

2 在線Deep Boost學(xué)習(xí)跟蹤

在線Deep Boost學(xué)習(xí)跟蹤作為boosting一類跟蹤器的改進(jìn)，滿足實(shí)時跟蹤要求，是一種通過應(yīng)用近似策略Deep Boost算法的在線簡化版本[6].算法原理為：

離線Deep Boost學(xué)習(xí)跟蹤算法的目標(biāo)函數(shù)：

(1)

式(1)中其中第一項是具有指數(shù)損失函數(shù)的經(jīng)驗(yàn)誤差，第二項是具有混合權(quán)重α(α≥0)的Rademacher復(fù)雜度的加權(quán)平均值，候選分類器hi可輸出二進(jìn)制值，根據(jù)其識別能力和復(fù)雜度，離線Deep Boost學(xué)習(xí)過程是通過選擇α最小化這種學(xué)習(xí)界限，其中

Λi=λRs(hi)+β，

(2)

h=Sigmoid(RsG(v))

(3)

參數(shù)λ控制這兩項的大小之間的平衡，Rs(hi)代表候選分類器hi的Rademacher復(fù)雜度，G(v)代表由類似高維度特征Haar(參數(shù)v表示)構(gòu)成的弱分類器結(jié)構(gòu).Rs代表樣本集S={(zj，yi)}，yi∈(-1，1)的稀疏隨機(jī)矩陣.

由式(3)知候選分類器可返回實(shí)數(shù)值而非二進(jìn)制數(shù)，因此可采用近似逼近策略近似刪除候選分類器的權(quán)重α和相關(guān)復(fù)雜度項，并且直接選擇候選分類器.因此ODB算法目標(biāo)函數(shù)可重新表示：

(4)

其中參數(shù)θ∈Rn是稀疏向量，其中k項恒等于1，剩余n-k項為0.然后通過順序選擇k個候選分類器有效完成優(yōu)化以最小化Q.對比式(1)和(4)知，ODB算法相對離線Deep Boost學(xué)習(xí)算法具有較高識別能力和較低復(fù)雜度，具體實(shí)現(xiàn)過程如圖1所示，基于此優(yōu)勢可更快地選擇候選分類器.意味著從具有高辨別能力的候選分類器中選擇更簡單的候選分類器.顯然，ODB算法采用逼近策略提高整體跟蹤器特征學(xué)習(xí)的準(zhǔn)確性，同時加快跟蹤器的速度[7].

圖1 ODB學(xué)習(xí)策略流程圖Fig.1 ODB learning strategy flow chart

3 基于ODB的多目標(biāo)視覺跟蹤算法(Deep Boost Multi-object Tracking，DBMoT)

基于ODB學(xué)習(xí)策略，在SDAE網(wǎng)絡(luò)下提出一種魯棒的多目標(biāo)視覺跟蹤算法.

3.1 DBMoT算法流程圖

圖2 DBMoT算法框圖Fig.2 DBMoT algorithm block diagram

由圖2知DBMoT算法通過三個階段實(shí)現(xiàn)：

1)ODB結(jié)合SDAE網(wǎng)絡(luò)在線學(xué)習(xí)視頻圖像的局部-全局特征，計算特征權(quán)重nn.W{l}.

2)采用粒子濾波器估計目標(biāo)狀態(tài)，soft-max分類器計算目標(biāo)最大相似度，由目標(biāo)最相似狀態(tài)構(gòu)建跟蹤模型.

3)引入時間信息得到目標(biāo)動態(tài)持續(xù)時間在線更新并訓(xùn)練模型.

3.2 DBMoT算法步驟為：

1)ODB結(jié)合堆疊去噪自動編碼器(SDAE)[8]學(xué)習(xí)局部-全局圖像特征.

在提出DBMoT算法的過程中，本文使用Image NET數(shù)據(jù)集作為輔助數(shù)據(jù)樣本，在這一階段，通過建立五層深的學(xué)習(xí)結(jié)構(gòu)和訓(xùn)練這種原始多目標(biāo)跟蹤系統(tǒng)的脫機(jī)輔助自然圖像，利用ODB方法可在SDAE架構(gòu)中學(xué)習(xí)并提取圖像局部-全局視覺特征nn.W{l}，其中nn是原多目標(biāo)跟蹤系統(tǒng)，可創(chuàng)建的疊加去噪自編碼，W{l}是從第一層至第五層nn的權(quán)值.

根據(jù)每個跟蹤目標(biāo)初始狀態(tài)和局部-全局特征nn.W，算法目的是訓(xùn)練和完善一個新的深度學(xué)習(xí)系統(tǒng)，實(shí)現(xiàn)多個目標(biāo)跟蹤這個視頻.現(xiàn)在，首先需計算每個隱藏層的值，包括輸入層、隱層、分類層，用nn.a{j}表示，最后問題可歸結(jié)到計算新圖像特征權(quán)值nn.w{l}，公式可寫為：

ΔW{l}=nn.d{l+1}′·nn.a{l}，l=1，2，3，4，5，

(5)

nn.W{l}=nn.W{l}-ΔW{l}

(6)

假設(shè)有n個訓(xùn)練樣本，X=(x1，…，xn)表示原始數(shù)據(jù)樣本.X′=(x1′，…，xn′)表示X的損壞樣本，其中損壞可能是加入高斯噪聲或椒鹽噪聲.對于編碼器處理中的每個輸入xi，SDAE首先通過確定性映射公式將其映射到隱藏表示yi：

(7)

(8)

其中“′”不表示轉(zhuǎn)置，在給定代碼Y情況下，X°被視為X的預(yù)測.反向映射的權(quán)重矩陣W′可看做W′=WT，通過最小化正則化重建誤差優(yōu)化該模型參數(shù)：

(9)

其中λ是平衡重建損失和權(quán)重罰值項的參數(shù)，“‖F(xiàn)”表示F范數(shù).

2)粒子濾波器和soft-max分類器進(jìn)行跟蹤.

假設(shè)對n個目標(biāo)進(jìn)行跟蹤，使用SDAE經(jīng)過訓(xùn)練的編碼器通過多個非線性變換學(xué)習(xí)豐富的外觀特征，并且是對圖像性質(zhì)的高級描述，可進(jìn)行圖像可視化和分類.

如圖3表示結(jié)合SDAE網(wǎng)絡(luò)的DBMoT跟蹤器實(shí)現(xiàn)過程圖，圖中包括N+1個類，包括n個正模板類和1個類，它表示所有的負(fù)模板，為了區(qū)分正、負(fù)樣本類，在采用ODB策略的局部-全局特征學(xué)習(xí)階段獲得的SDAE的頂層編碼器添加一個分類層，即a{6}分類層，編碼器假定網(wǎng)絡(luò)隱層數(shù)為M，將前一層得到的權(quán)重W{l}作為下一層輸入進(jìn)行訓(xùn)練，接著利用粒子濾波方法[9]估計隨機(jī)樣本每個對象m的粒子狀態(tài)，使用Soft-max分類器計算每個粒子和每個類的相似性，得到最相似和相應(yīng)類；然后通過誤差反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation)的監(jiān)督學(xué)習(xí)算法對整個網(wǎng)絡(luò)進(jìn)行微調(diào)(Fine-tune).

圖3 基于SDAE網(wǎng)絡(luò)的DBMoT方法Fig.3 DBMoT method based on SDAE network

3)在線模型更新.

在獲得最相似粒子的位置和大小，并更新每個目標(biāo)的最新狀態(tài)后，然后在線更新跟蹤模型以適應(yīng)目標(biāo)的外觀變化.為了形成成功的多目標(biāo)跟蹤外觀模型，DBMoT算法引入時間信息，動態(tài)記錄目標(biāo)持續(xù)時間內(nèi)的外觀特征，有效生成在線學(xué)習(xí)模型.時間信息模型如圖4所示，其中x，y軸組成的平面表示跟蹤視頻當(dāng)前幀的一部分，該跟蹤幀顯示一個跟蹤對象，t維是視頻運(yùn)行時間，此模型表示跟蹤一個目標(biāo)的持續(xù)時間，由于真實(shí)場景的復(fù)雜性，左邊灰色圖像不僅記錄了從左到右早期外觀特征而且記錄了最新外觀特征.此外觀模型可帶來比以往目標(biāo)跟蹤方法更有價值的信息.

圖4 時間信息模型Fig.4 Temporal information model

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)環(huán)境及步驟

實(shí)現(xiàn)提出算法(DBMoT)，以Intel (R)Pentium(R)CPUG645 @2.90GHz，4.00GB內(nèi)存Windows7 64位的操作系統(tǒng)，以 MATLAB 8.1(R2013a)為開發(fā)工具，在CNTK深度學(xué)習(xí)平臺上對SDAE網(wǎng)絡(luò)進(jìn)行訓(xùn)練，部分代碼和訓(xùn)練參數(shù)可從git-hub中獲取.根據(jù)ODB算法和DBMoT原理可設(shè)跟蹤參數(shù)：β=0.25，閾值Θ=0.8，平衡參數(shù)λ=0.001，實(shí)驗(yàn)中各參數(shù)均保持固定.為了評價DBMoT算法，采用來源于Image Net數(shù)據(jù)集中的三組視頻幀：crossing、Jogging、VS-PETS 2009(Visual Surveillance and Performance Evaluation of Tracking and Surveillance)為實(shí)驗(yàn)對象.實(shí)驗(yàn)中將DBMoT算法與跟蹤算法：在線boosting跟蹤器(OBT)[10]、TLD跟蹤器[11]、在線多示例學(xué)習(xí)(MIL)[12]進(jìn)行對比證明本算法更優(yōu)的跟蹤效果.

4.2 性能指標(biāo)

為了驗(yàn)證跟蹤算法的有效性、可行性，通過多目標(biāo)跟蹤準(zhǔn)確率(multiple object tracking accuracy，MOTA)多目標(biāo)跟蹤精確率(multiple object tracking precision，MOTP)[13]以及跟蹤成功率(Tracking success rate，TSR)評價該算法的優(yōu)越性.

1)MOTA和MOTP

(10)

2)TSR[14]定義為跟蹤成功的幀數(shù)占視頻總幀數(shù)的百分比，TSR 數(shù)值越大，表明跟蹤結(jié)果的穩(wěn)定性越好.

4.3 實(shí)驗(yàn)結(jié)果分析

1)圖5(a)(b)(c)給出三組視頻目標(biāo)Crossing、Jogging、VS-PETS采用本算法在不同光照強(qiáng)度、遮擋等條件下的跟蹤情況.不同顏色矩形框表示算法對視頻幀中每個目標(biāo)的跟蹤準(zhǔn)確度.

由圖5知在光照變化、遮擋、姿態(tài)變化等場景下DBMoT算法有效地對三組視頻對象不同幀進(jìn)行跟蹤.圖5(a)可看出車輛與行人的互遮擋、不同光照條件下算法跟蹤效果更穩(wěn)定.圖5(b)兩行人慢跑過程中發(fā)生姿態(tài)變化，場景變化時算法的效率.圖5(c)視頻目標(biāo)中不同幀發(fā)生快速運(yùn)動，目標(biāo)間的互遮擋條件下DBMoT的跟蹤效率.上述三組對象均未出現(xiàn)目標(biāo)丟失，漂移現(xiàn)象，跟蹤效果良好.

圖5 DBMoT算法多目標(biāo)跟蹤結(jié)果Fig.5 Multi-target tracking results of DBMoT algorithm

2)不同幀條件下四種算法對兩組實(shí)驗(yàn)對象中單一目標(biāo)的跟蹤結(jié)果見圖6.

由圖6知，采用四種算法對實(shí)驗(yàn)對象Crossing中的車輛以及Jogging中的其中一行人進(jìn)行跟蹤，圖中四種顏色矩形框(白色、灰色、黑色、黑虛線)代表DBMoT、MIL、TLD、OBT的跟蹤效率.圖6(a)(b)對車輛、行人進(jìn)行跟蹤，算法MIL、TLD、OBT不同程度上出現(xiàn)跟蹤對象丟失、目標(biāo)漂移等問題，以及目標(biāo)形態(tài)外觀變化引起的跟蹤失效問題，且跟蹤效率依次降低，而由圖知DBMoT算法已較好的解決了上述問題，跟蹤準(zhǔn)確率最高，OBT準(zhǔn)確率最低，TLD和MIL由于不同場景的變化準(zhǔn)確率不穩(wěn)定，出現(xiàn)部分目標(biāo)漂移和錯誤匹配現(xiàn)象.

圖6 不同算法跟蹤結(jié)果Fig.6 Tracking results of different algorithms

3)表1為不同視頻目標(biāo)用四種算法得到平均TSR結(jié)果.

表1 不同實(shí)驗(yàn)對象TSR比較Table 1 Comparison of TSR in different subjects

4)視頻對象Crossing、Jogging在不同視頻幀條件下四種算法MOTP比較結(jié)果如圖7、圖8所示.

圖7 Crossing跟蹤精確率比較Fig．7 ComparisonofCrossingtrackingaccuracy圖8 Jogging跟蹤精確度比較Fig．8 ComparisonofJoggingtrackingaccuracy

圖7和圖8分別給出視頻對象Crossing、Jogging采用算法OBT、MIL、TLD和本文算法DBMoT在不同幀情況下的MOTP對比，經(jīng)實(shí)驗(yàn)知MOTP達(dá)到97.61%，比其他三種算法平均提高2.89%，DBMoT跟蹤精度更高，同時解決目標(biāo)漂移、錯誤匹配問題.

5 結(jié) 語

本文提出基于SDAE網(wǎng)絡(luò)和ODB學(xué)習(xí)策略的多目標(biāo)視覺跟蹤算法，其中得到的DBMoT跟蹤器可有效的對多目標(biāo)視頻圖像進(jìn)行實(shí)時跟蹤.算法在SDAE網(wǎng)絡(luò)中采用ODB學(xué)習(xí)提取目標(biāo)的局部-全局視覺特征，采用粒子濾波法和Soft-max分類器估計目標(biāo)對象的狀態(tài)并計算最大相似度，引入時間信息在線更新外觀跟蹤模型.實(shí)驗(yàn)表明，該算法在不同的光照變化、姿態(tài)變化、遮擋及其它復(fù)雜場景中對多目標(biāo)都有較好的跟蹤效果，更好解決目標(biāo)漂移、錯誤匹配問題，對多目標(biāo)的視覺跟蹤準(zhǔn)確度、精確度都有明顯提高.然而當(dāng)運(yùn)動背景過于復(fù)雜時跟蹤精度會有所影響，在今后工作中將結(jié)合深度學(xué)習(xí)方式，建立訓(xùn)練集，進(jìn)一步測試、學(xué)習(xí)，以及多模態(tài)理論對目標(biāo)進(jìn)行跟蹤分析.

[1] Wang L，Liu T，Wang G，et al.Video tracking using learned hierarchical features[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2015，24(4)：1424-1435.

[2] Huang C，Wu B，Nevatia R.Robust object tracking by hierarchical association of detection responses[C].European Conference on Computer Vision，Springer-Verlag，2008：788-801.

[3] Wu Z，Kunz T H，Betke M.Efficient track linking methods for track graphs using network-flow and set-cover techniques[C].Computer Vision and Pattern Recognition，IEEE，2011：1185-1192.

[4] Yang B，Nevatia R.An online learned CRF model for multi-target tracking[C].Computer Vision and Pattern Recognition，IEEE，2012：2034-2041.

[5] He L，Bo Y，Zhao G.Accelerated multi-feature based compressive sensing tracking[J].Infrared Physics & Technology，2015，71：424-431.

[6] Wang J，Wang Y.Multi-period visual tracking via online DeepBoost learning[J].Neuro Computing，2016，200(C)：55-69.

[7] Huang C，Li Y，Nevatia R.Multiple target tracking by learning-based hierarchical association of detection responses[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2013，35(4)：898-910.

[8] Li H，Li Y，Porikli F.Deep track：learning discriminative feature representations online for robust visual tracking[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2016，25(4)：1834-1848.

[9] Hu J，Lu J，Tan Y P.Deep metric learning for visual tracking[J].IEEE Transactions on Circuits & Systems for Video Technology，2016，26(11)：2056-2068.

[10] Wang N，Yeung D Y.Learning a deep compact image representation for visual tracking[C].International Conference on Neural Information Processing Systems,Curran Associates Inc.2013：809-817.

[11] Mao Jia-liang.An improved TLD visual tracking and detection algorithm based on depth image information[C].International Conference on Mechanical Science and Engineering，Atlantis Press，2016.

[12] Xu C，Tao W，Meng Z，et al.Robust visual tracking via online multiple instance learning with Fisher information[J].Pattern Recognition，2015，48(12)：3917-3926.

[13] Kasturi R，Goldgof D，Soundararajan P，et al.Framework for performance evaluation of face，text，and vehicle detection and tracking in video：data，metrics，and protocol[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2009，31(2)：319-336.

[14] Li G，Jiang S，Zhang W，et al.Online web video topic detection and tracking with semi-supervised learning[J].Multimedia Systems，2016，22(1)：115-125.