幀間差法對TLD跟蹤算法的改進(jìn)

付 苗，邢藏菊（北京化工大學(xué) 北京100029）

幀間差法對TLD跟蹤算法的改進(jìn)

付 苗，邢藏菊
（北京化工大學(xué) 北京100029）

對跟蹤-學(xué)習(xí)-檢測（Tracking-Learning-Detection，TLD）目標(biāo)跟蹤算法進(jìn)行改進(jìn)，在原算法中的跟蹤模塊和檢測模塊之間引入了幀間差檢測方法，將幀間差法檢測到的含有前景目標(biāo)的窗口傳送給TLD檢測模塊的級聯(lián)分類器，提高算法的效率以及準(zhǔn)確性。并對TLD算法中的重疊度重新定義，提高了該算法的跟蹤成功率。通過實(shí)驗(yàn)對改進(jìn)前后的TLD算法進(jìn)行分析比較，證明改進(jìn)后的算法具有更高的跟蹤效率以及成功率。

TLD；目標(biāo)跟蹤；幀間差；重疊度

目標(biāo)跟蹤一直以來都是計(jì)算機(jī)視覺領(lǐng)域中比較復(fù)雜并且熱門的課題，國內(nèi)外的學(xué)者對于目標(biāo)跟蹤的研究也越來越重視。而目標(biāo)跟蹤技術(shù)也在人機(jī)交互[1-3]，城市交通[4-5]，智能監(jiān)控[6-8]和工業(yè)建設(shè)[9]等多種領(lǐng)域得到了廣泛的應(yīng)用。

TLD[10]（Tracking-Learning-Detection）是Zdenek Kalal提出的一種視頻目標(biāo)跟蹤算法。該算法的亮點(diǎn)是能夠利用較少的先驗(yàn)信息實(shí)現(xiàn)視頻目標(biāo)的長時(shí)間跟蹤，將目標(biāo)跟蹤算法與目標(biāo)檢測算法相結(jié)合來解決目標(biāo)在被跟蹤過程中發(fā)生的形變、部分遮擋等問題[11]。

TLD算法主要由跟蹤模塊，檢測模塊，綜合模塊以及學(xué)習(xí)模塊4個(gè)模塊組成。其中，跟蹤模塊采用的是基于LK（Lucas-Kanade）光流法改進(jìn)的中值流跟蹤[12]，根據(jù)前一幀中目標(biāo)的位置信息來估計(jì)目標(biāo)在當(dāng)前幀中所處的位置；檢測模塊是由方差濾波器、組合分類器和最近鄰分類器所組成的級聯(lián)分類器構(gòu)成，在當(dāng)前幀采用掃描窗口策略對目標(biāo)進(jìn)行檢測，依次成功通過這3個(gè)分類器的窗口即為檢測器檢測到的目標(biāo)窗口；綜合模塊將檢測結(jié)果與跟蹤結(jié)果相結(jié)合，得出當(dāng)前跟蹤結(jié)果是否有效以及目標(biāo)是否丟失；學(xué)習(xí)模塊[13]則是通過生成正負(fù)訓(xùn)練樣本對檢測器進(jìn)行訓(xùn)練學(xué)習(xí)，并對跟蹤模塊與檢測模塊進(jìn)行更新。

1 幀間差法對TLD算法的改進(jìn)

1.1 幀間差法目標(biāo)檢測

幀間差法是一種很簡單的目標(biāo)檢測方法[14]。其原理為，在t時(shí)刻，圖像中坐標(biāo)為（x，y）的象素點(diǎn)的灰度值I=（x，y，t）；在t+1時(shí)刻，（x，y）象素點(diǎn)的灰度值變化為I=（x，y，t+1），則t+1時(shí)刻與t時(shí)刻坐標(biāo)為（x，y）的象素點(diǎn)的灰度差是

那么，在圖像中，靜止的物體在兩個(gè)時(shí)刻的灰度差為0，運(yùn)動(dòng)物體則得出一定的差值，所以可以利用灰度差ΔIt+1（x，y）來檢測視頻中物體的運(yùn)動(dòng)。因此，對于視頻幀，給出相應(yīng)的閾值，可以有效地減弱噪聲影響，提取圖像中的運(yùn)動(dòng)信息，利用灰度絕對差A(yù)BSt值獲得差值圖像，即：

幀間差目標(biāo)檢測方法速度快，對光線變化不敏感，能適應(yīng)多種動(dòng)態(tài)環(huán)境，穩(wěn)定性較好[15-16]。

1.2 對TLD算法的改進(jìn)

在TLD算法的檢測器模塊，首先，在前一幀和當(dāng)前幀利用幀間差法對圖像塊進(jìn)行檢測。當(dāng)絕對差值A(chǔ)BS等于1時(shí)，說明該圖像塊含有前景目標(biāo)，反之，當(dāng)前圖像塊為背景圖像。將經(jīng)過幀間差法檢測出來的含有前景目標(biāo)的圖像塊依次傳入方差濾波器、組合分類器、最近鄰分類器，最終順利通過最近鄰分類器的圖像塊就是更加可靠的目標(biāo)圖像塊，作為檢測器的輸出結(jié)果，再經(jīng)過綜合模塊將其與跟蹤器的跟蹤結(jié)果進(jìn)行整合，輸出最終的結(jié)果。

改進(jìn)后的TLD算法檢測模塊框架圖如圖1所示。

圖1 改進(jìn)后的檢測模塊框架圖

2 重疊度

TLD算法的檢測模塊通過掃描窗口的方法在圖像中尋找目標(biāo)。重疊度的判斷關(guān)系接下來的跟蹤檢測的輸入內(nèi)容，所以重疊度的定義是很重要的一個(gè)內(nèi)容。在掃描窗口的過程中，會(huì)得到一些與跟蹤目標(biāo)完全不相關(guān)的窗口，即完全不重合的，所以在計(jì)算重疊度時(shí)，首先利用式（3）和式（4）判斷兩個(gè)窗口的坐標(biāo)是否重合。

其中，x1、x2與y1、y2分別是兩個(gè)矩形框的橫縱坐標(biāo)，w1、w2和h1、h2是兩矩形的寬和高，當(dāng)上兩式成立時(shí)，則兩矩形無重合，檢測器拒絕該掃描矩形框，否則，接受該矩形框，并計(jì)算兩者交集的面積，交集邊長的獲取公式為

原算法中重疊度定義為交集與并集之比，但當(dāng)目標(biāo)運(yùn)動(dòng)劇烈時(shí)，就會(huì)導(dǎo)致部分檢測窗口方框被拒絕，使檢測成功率偏低，在本文中，將重疊度定義為交集面積與兩個(gè)矩形框面積的均值之比，使漏檢的矩形框數(shù)目減小，檢測成功率大幅增加，對目標(biāo)運(yùn)動(dòng)劇烈的視頻序列尤為顯著，新的重疊度R的計(jì)算公式為：

3 實(shí)驗(yàn)分析

最后，在VS2008+OpenCV環(huán)境下對本文改進(jìn)后的算法進(jìn)行了性能測試并分析實(shí)驗(yàn)結(jié)果。為了使獲得數(shù)據(jù)更可靠，針對同一視頻序列，每種算法都運(yùn)行10次，然后取其平均值作為測試結(jié)果。采用重疊度為掃描窗口與目標(biāo)框二者交集面積與面積均值之比進(jìn)行實(shí)驗(yàn)。用于實(shí)驗(yàn)測試的視頻序列分別是761幀的背景環(huán)境由暗到亮漸變并伴有動(dòng)作姿勢的改變的David序列；945幀的在高速公路上行駛的Car序列，在行駛途中會(huì)出現(xiàn)一些相似車型的社會(huì)車輛的干擾以及橋梁、路燈、樹木等的全遮擋和半遮擋的情況；9 928幀的Carchase序列，其目標(biāo)運(yùn)動(dòng)速度很快，有眾多相似目標(biāo)進(jìn)行干擾，并多次出現(xiàn)目標(biāo)被干擾物遮擋及較長時(shí)間消失于鏡頭的情況的；2 015幀的運(yùn)動(dòng)激烈且常常出現(xiàn)跟蹤目標(biāo)移出鏡頭的Motocross序列。表1給出了各視頻序列的情況。

表1各視頻序列情況

經(jīng)過實(shí)驗(yàn)得到如表2的結(jié)果：

由表2數(shù)據(jù)可以總結(jié)出，改進(jìn)后的TLD目標(biāo)跟蹤算法比原TLD算法在跟蹤成功的幀數(shù)上有所提高，其中，即使是對于運(yùn)動(dòng)較為激烈的目標(biāo)，在跟蹤效果上也有所提高，其成功率均可提高8%左右。

表2 各測試集的實(shí)驗(yàn)結(jié)果

為使以上結(jié)論更具有說服力，分別取同一視頻幀中相同位置、相同大小，并且盡可能含有較少背景的目標(biāo)框，對改進(jìn)前后的算法進(jìn)行比較。例如，在Motocross視頻序列中，取以像素點(diǎn)（300，56）為中心，長寬分別為22和56的矩形框，即可將目標(biāo)選取中，對改進(jìn)前后的算法進(jìn)行相同處理并比較；然后取點(diǎn)（300，56）周圍3*3大小的面積上的九個(gè)點(diǎn)，分別將這些點(diǎn)作為目標(biāo)框的中心進(jìn)行實(shí)驗(yàn)比較。其他視頻序列均做以上實(shí)驗(yàn)處理，4個(gè)實(shí)驗(yàn)視頻序列比較結(jié)果對比折線圖如圖2至圖5所示。

圖2 David序列實(shí)驗(yàn)結(jié)果對比圖

圖3 Car序列實(shí)驗(yàn)結(jié)果對比圖

其中，由于David視頻序列目標(biāo)運(yùn)動(dòng)不激烈，原算法跟蹤成功率已接近100%，故對比效果較其他視頻序列差。由圖2～5對比可以得出表3結(jié)論：

由表3以及圖2至5可得出，對于同一視頻序列，選定的目標(biāo)框位置固定時(shí)，本文所采用的改進(jìn)后的算法與原算法相比較，跟蹤成功的幀數(shù)仍然有所提高，即，有更高的跟蹤成功率。

圖4 Carchase序列實(shí)驗(yàn)結(jié)果對比圖

圖5 Motocross序列實(shí)驗(yàn)結(jié)果對比圖

表3 固定目標(biāo)框后各視頻實(shí)驗(yàn)結(jié)果

4 結(jié) 論

本文提出了一種采用幀間差目標(biāo)檢測法改進(jìn)TLD算法的方法，并對原TLD算法中的重疊度的計(jì)算給出了新的定義。幀間差法的改進(jìn)使檢測器能夠更加高效地進(jìn)行目標(biāo)檢測。通過對視頻序列的測試結(jié)果得出，改進(jìn)后的算法與原算法相比，具有更高的跟蹤成功率。但是由于目標(biāo)運(yùn)動(dòng)狀態(tài)過于激烈，在跟蹤過程中會(huì)出現(xiàn)跟蹤漂移現(xiàn)象，在后期的研究中期望對此進(jìn)行改進(jìn)。

[1]王西穎，張習(xí)文，戴國忠.一種面向?qū)崟r(shí)交互的變形手勢跟蹤方法[J].軟件學(xué)報(bào)，2007，10:2423-2433.

[2]張鐵.人機(jī)交互中的人體目標(biāo)跟蹤算法 [J].上海交通大學(xué)學(xué)報(bào)，2015，49（8）:1213-1219.

[3]王麗佳，賈松敏，李秀智.基于改進(jìn)在線多示例學(xué)習(xí)算法的機(jī)器人目標(biāo)跟蹤[J].自動(dòng)化學(xué)報(bào)，2014，40（12）:2916-2925.

[4]劉華平，李建民，胡曉林，等.動(dòng)態(tài)場景下的交通標(biāo)識(shí)檢測與識(shí)別研究進(jìn)展[J].中國圖象圖形學(xué)報(bào)，2013，18 （5）:493-503．

[5]段洳嬌.計(jì)算機(jī)視覺技術(shù)在鐵路檢測領(lǐng)域的應(yīng)用[J].中國鐵路，2010，1（1）:69-72

[6]黃鐵軍，鄭錦，李波，等．多媒體技術(shù)研究:2013——面向智能視頻監(jiān)控的視覺感知與處理[J]．中國圖象圖形學(xué)報(bào)，2014，19（11）:1539-1562．

[7]黃凱奇，陳曉棠，康運(yùn)鋒，等.智能視頻監(jiān)控技術(shù)綜述[J].計(jì)算機(jī)學(xué)報(bào)，2015（6）:1093-1118.

[8]張誠，馬華東，傅慧源.基于時(shí)空關(guān)聯(lián)圖模型的視頻監(jiān)控目標(biāo)跟蹤 [J].北京航空航天大學(xué)學(xué)報(bào)，2015，41（4）:713-720.

[9]華聚良，黃河燕，王樹梅．基于Mean-Shift的復(fù)雜工業(yè)環(huán)境運(yùn)動(dòng)目標(biāo)跟蹤算法[J]．系統(tǒng)仿真學(xué)報(bào)，2014，26（11）:2600-2606．

[10]KalalZ，Mikolajczyk K， MatasJ.Trackinglearning-detection[J].Pattern Analysis and Machine Intelligence，2012，34（7）:1409-1422.

[11]Kalal Z，Matas J，Mikolajczyk K.Online learning of robust object detectors during unstable tracking[C]// Computer Vision Workshops （ICCV Workshops），2009 IEEE 12th InternationalConference on Queenstown，NewZealand:IEEE，2009:1417-1424.

[12]Kalal Z，Mikolajczyk K，Matas J.Forward-Backward Error:Automatic Detection of Tracking Failures[C]//In:Pattern Recognition（ICPR），2010 20th International Conference on.Istanbul，Turkey :IEEE，2010，23-26.

[13]Kalal Z，Matas J，Mikolajczyk K.P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints[C]//In:Computer Vision and Pattern Recognition（CVPR），2010 IEEE Computer Society Conferenceon.SanFrancisco:IEEE，2010（23）:13-18.

[14]李剛，邱尚斌，林凌，等.基于背景差法和幀間差法的運(yùn)動(dòng)目標(biāo)檢測方法[J].儀器儀表學(xué)報(bào)，2006 （6）:961-964.

[15]李超，熊璋，赫陽，等.基于幀間差的區(qū)域光流分析及其應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2005（31）:195-197.

[16]席志紅，楊傳東，趙趕超，等.基于Android的TLD目標(biāo)跟蹤算法優(yōu)化與移植[J].電子科技，2016（12）：130-133.

Improved TLD target tracking method based on frame difference

FU Miao，XING Cang-ju
（Beijing University of Chemical Technology，Beijing 100029，China）

Improved Tracking-Learning-Detection（TLD）target tracking method to increase the efficiency and accuracy，by using frame difference detecting method between the tracking module and the detection module，and then send the output windows in which there is the tracking target to the cascade classifiers of the detection module.Also defined a new expression of overlap in TLD，by using which increased the tracking rate of the original algorithm.The results of experiments show that the improved method has higher efficiency and tracking rate than original TLD.

Tracking-Learning-Detection；target tracking；frame difference；overlap

TN95

A

1674－6236（2017）07-0183-04

2016-03-31稿件編號(hào)：201603416

付 苗（1990—），女，黑龍江哈爾濱人，碩士。研究方向：目標(biāo)跟蹤。