基于多任務(wù)結(jié)構(gòu)稀疏表示的跟蹤算法*

王 琳， 陳志國， 傅 毅,2

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122;2.無錫環(huán)境科學(xué)與工程研究中心，江蘇 無錫 214153)

0 引 言

近幾年，伴隨著稀疏表示在人臉識(shí)別[1]、圖像恢復(fù)[2]和視覺跟蹤[3,4]等領(lǐng)域的廣泛應(yīng)用，目標(biāo)跟蹤得到快速發(fā)展，并成為國內(nèi)外熱門研究課題[5～7]。在目標(biāo)跟蹤中利用稀疏表示求得線性表示系數(shù)后，根據(jù)重構(gòu)誤差最小確定最終的跟蹤目標(biāo)。研究人員提出了很多基于稀疏表示的生成模型跟蹤算法[5,8]。Mei X等人[9]最早將稀疏表示引入到跟蹤中，同時(shí)利用目標(biāo)模板表示未遮擋部分和瑣碎模板處理遮擋和噪聲帶來的問題，在一定程度上取得了很大的成功，但求解l1規(guī)范稀疏方程的計(jì)算量大?；谖墨I(xiàn)[9]，Bao C等人[10]通過近端加速算法求解l1最小化問題來提高計(jì)算效率；Zhang T等人[11]提出了基于多任務(wù)聯(lián)合稀疏模型的跟蹤算法，利用l2,1規(guī)范解決求解l1規(guī)范稀疏方程計(jì)算量大的問題，并通過考慮粒子間的潛在關(guān)系提升跟蹤的準(zhǔn)確性；Jia X等人[12]將局部稀疏表示模型應(yīng)用到跟蹤中，該方法利用一系列的重疊圖像塊來表示目標(biāo)區(qū)域的特殊空間布局結(jié)構(gòu)，并通過實(shí)時(shí)更新模板，處理跟蹤中的遮擋問題。

本文通過預(yù)先將每幀圖像調(diào)整到固定尺寸，處理由于目標(biāo)的快速運(yùn)動(dòng)所引起的模糊情況，并采用重疊分塊構(gòu)建結(jié)構(gòu)稀疏的外觀模型;利用l2,1規(guī)范最小二乘求解各圖像塊對(duì)應(yīng)的稀疏編碼系數(shù)，并利用對(duì)齊池算法提取多任務(wù)結(jié)構(gòu)稀疏表示系數(shù)信息，判斷候選樣本與目標(biāo)相似性。

1 多任務(wù)結(jié)構(gòu)稀疏表示的目標(biāo)跟蹤算法

1.1 調(diào)整圖像大小

基于粒子濾波的目標(biāo)跟蹤算法用變換參數(shù)控制跟蹤中的搜索區(qū)域，如果跟蹤區(qū)域很小，當(dāng)目標(biāo)發(fā)生快速運(yùn)動(dòng)時(shí)，算法很可能丟失目標(biāo)。相反，如果跟蹤區(qū)域很大，受到背景的干擾，算法易發(fā)生漂移。由于不同的視頻圖像的分辨率不同，利用絕對(duì)數(shù)量的像素作為單位來設(shè)置參數(shù)會(huì)得到不同的搜索區(qū)域。因此，本文提出根據(jù)視頻的分辨率按比例調(diào)整參數(shù)，將視頻圖像重新調(diào)整為固定的尺寸。

1.2 多任務(wù)重疊分塊稀疏外觀模型

給定由N個(gè)目標(biāo)模板組成的字典集T=[T1,T2,…，TN]∈Rd×N，將T中的每個(gè)模板進(jìn)行分塊處理，塊數(shù)為K，相鄰的塊之間部分面積是重疊的，所有分塊的組合構(gòu)成一個(gè)包含N×K個(gè)模板的字典集D=[d1,d2,…,d(N×K)]∈Rd×(N×K)。同樣，對(duì)n個(gè)候選樣本X=[X1,X2,…,Xn]∈Rd×n進(jìn)行重疊分塊處理，每個(gè)分塊對(duì)應(yīng)一個(gè)新的樣本，一個(gè)候選樣本分塊后為X1=[x1,x2,…,xK]∈Rd×K，每個(gè)候選樣本的所有分塊組成一個(gè)新的候選樣本X=[x1,x2,…,xn×K]∈Rd×(n×K)。利用所有模板局部塊線性組合編碼所有候選樣本區(qū)域的局部塊，可得相應(yīng)n×K個(gè)稀疏系數(shù)向量c1,c2,…,cn×K

(1)

式中C=[c1,c2,…,cn×K]為由各候選樣本局部塊的稀疏系數(shù)向量組成的對(duì)齊池；ci為對(duì)應(yīng)于第i塊的稀疏編碼系數(shù)，含有N×K個(gè)元素。

在獲得對(duì)齊池C之后，需要提取C中與目標(biāo)相關(guān)的稀疏系數(shù)信息，進(jìn)而判斷候選樣本與目標(biāo)的相似性。如果候選樣本與目標(biāo)相似，那么其分模板對(duì)應(yīng)的稀疏系數(shù)值將較大，其余分模板的值將較??；相反，稀疏系數(shù)值將不會(huì)集中在其對(duì)應(yīng)的分模板上，而是分散到每個(gè)分模板。因此，候選樣本對(duì)應(yīng)的稀疏系數(shù)越大，成為最終跟蹤結(jié)果的可能性越高。選取一個(gè)候選樣本介紹提取結(jié)構(gòu)稀疏表示系數(shù)信息的過程。C1=[c1,c2,…,cK]∈R(N×K)×K為候選樣本X1=[x1,x2,…,xK]∈Rd×K的稀疏編碼系數(shù)。

(2)

式中wi對(duì)應(yīng)第i個(gè)分塊，Γ為歸一化項(xiàng)。

將Y1所有的局部塊組合在一起以表示目標(biāo)的整體結(jié)構(gòu)，則各局部塊對(duì)應(yīng)的稀疏系數(shù)累加結(jié)果集為W=[w1,w2,…,wK]∈RK×K。如果候選樣本與目標(biāo)相似，那么W對(duì)角線上的值將較大；反之，則W中各元素沒有規(guī)律。圖1為對(duì)齊池中稀疏系數(shù)的提取過程。

圖1 稀疏系數(shù)信息的提取過程

提取矩陣W對(duì)角線上的元素作為結(jié)構(gòu)稀疏表示的系數(shù)信息f=diag(W)。

1.3 算法實(shí)現(xiàn)

方程右邊的部分根據(jù)提取的稀疏系數(shù)f，描述候選樣本與目標(biāo)的相似度。

2 實(shí)驗(yàn)結(jié)果

2.1 參數(shù)設(shè)置

實(shí)驗(yàn)中的測(cè)試視頻和實(shí)驗(yàn)參數(shù)的設(shè)置固定不變，用于測(cè)試的視頻由標(biāo)準(zhǔn)數(shù)據(jù)集Benchmark提供。實(shí)驗(yàn)是基于MATLAB R2013a平臺(tái)，硬件配置為Intel Core i3 2.10 GHz，內(nèi)存為2 GB的PC。粒子采樣過程中的6個(gè)變換仿射參數(shù)設(shè)為[4,4,0.005,0.0,0.005,0]T。粒子濾波中粒子的數(shù)目決定了跟蹤的效果，為保證跟蹤準(zhǔn)確性的同時(shí)降低計(jì)算復(fù)雜度，本文粒子數(shù)n=400，目標(biāo)模板的個(gè)數(shù)N=20。l2,1優(yōu)化算法中稀疏性限制參數(shù)λ=0.01，η=0.01，迭代次數(shù)Iter=5。將目標(biāo)圖片調(diào)整為固定大小寬240、高320,重疊分塊數(shù)為9。

2.2 定量分析

本文算法在多任務(wù)跟蹤(multi-task tracking,MTT)算法的基礎(chǔ)上，融合帶有重疊分塊的結(jié)構(gòu)稀疏表示和調(diào)整圖像大小的改進(jìn)算法。

實(shí)驗(yàn)1通過對(duì)比本文算法多任務(wù)視覺跟蹤(multi-task visual tracking,MTVT)和MTVT-resize得出的實(shí)驗(yàn)結(jié)果，驗(yàn)證按比例將圖像調(diào)整到固定大小在處理目標(biāo)快速運(yùn)動(dòng)時(shí)的效果。圖2為在Benchmark上得到的對(duì)應(yīng)于快速運(yùn)動(dòng)因素的成功率和精度的比較結(jié)果，可見，未調(diào)整圖像大小的MTVT-resize算法，取得的曲線下的面積(area under curve,AUC)值為23.7 %。采用調(diào)整圖像大小之后結(jié)果提升到27.4 %。在精度圖中，MTVT的值為32.4 %，去掉調(diào)整圖像大小后，值降為28.1 %。實(shí)驗(yàn)1說明按比例將圖片調(diào)整到固定大小，能夠有效地處理視頻中目標(biāo)的快速運(yùn)動(dòng)。

圖2 調(diào)整圖片大小對(duì)于快速運(yùn)動(dòng)的跟蹤結(jié)果

實(shí)驗(yàn)2通過9個(gè)具有挑戰(zhàn)性視頻序列:car4,shaking,faceocc1,coke,boy,suv,freeman3,jogging —2和singer1，驗(yàn)證本文提出的MTVT算法的性能。測(cè)試視頻中包含由于形態(tài)變化、光照、尺度和遮擋等因素引起的目標(biāo)外觀變化，給跟蹤帶來較大的困難。為了評(píng)估本文算法的性能，將本文算法MTVT與其他4種比較先進(jìn)的算法進(jìn)行比較，算法包括：增量學(xué)習(xí)視覺跟蹤(incremental learning visual tracking,IVT)[4]、使用加速近端梯度的L1跟蹤器(Li tracker using accelerated proximal gradient,L1APG)[10]、多實(shí)例學(xué)習(xí)(multiple instance learning,MIL)[3]和MTT[11]。上述跟蹤算法的代碼由Benchmark提供，且所有的跟蹤結(jié)果可以通過相應(yīng)網(wǎng)站獲得。表1為5種跟蹤算法在9個(gè)視頻序列上跟蹤的平均中心位置誤差，其中，最好的結(jié)果用粗體字體標(biāo)出，次好的結(jié)果用斜體字體標(biāo)出，由表可知，在視頻car4中，增量視覺跟蹤(incremental visual tracking,IVT)算法獲得了最好的效果，而MTVT的結(jié)果與其相近，同時(shí)，在其他8個(gè)視頻中MTVT都取得了最小的平均中心位置誤差。MTVT也取得了最好的平均值9.3，算法MIL取得了第二好的結(jié)果53.7，但遠(yuǎn)超于MTVT。

表1 跟蹤的平均中心位置誤差

表2為5種跟蹤算法在9個(gè)視頻序列上跟蹤的平均覆蓋率，其中，最好的結(jié)果用粗體字體標(biāo)出，次好結(jié)果用斜體字體標(biāo)出，可見，MTVT在視頻shaking，faceocc1，boy，suv，freeman3，jogging —2和singer1中取得最大覆蓋率，平均覆蓋率為72 %。算法IVT在視頻car4中取得了最好的結(jié)果，算法MTT在視頻coke中取得了最好的結(jié)果，MTVT均為第二。

表2 跟蹤的平均覆蓋率

圖3為Benchmark上得到的5種算法在51個(gè)具有挑戰(zhàn)性的標(biāo)準(zhǔn)視頻集上的成功率和精度的比較結(jié)果。從圖3(a)可以看出，和其他的4種算法相比本文的MTVT算法獲得了最好的實(shí)驗(yàn)結(jié)果。在圖3(b)中MTT的結(jié)果為47.5 %，MTVT較其高2 %，獲得第二好的成績。算法L1APG和MTT，在圖3中的結(jié)果分別為38 %，48.8 %和37.6 %，47.5 %。MTVT在圖3中的結(jié)果分別為38.2 %(第一)和49.5 %(第二)，均高于L1APG和MTT，表明本文提出的算法在一定程度上提高了跟蹤的準(zhǔn)確性，同時(shí)保證了跟蹤的精度。

圖3 各跟蹤算法的成功率和精度

3 結(jié)束語

實(shí)驗(yàn)結(jié)果表明:提出的目標(biāo)跟蹤算法具有更強(qiáng)魯棒性和更高的準(zhǔn)確性。