多特征融合的自適應(yīng)性粒子濾波跟蹤算法

于金霞，許景民

YU Jinxia,XU Jingmin

河南理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，河南 焦作 454003

College of Computer Science and Technology,Henan Polytechnic University,Jiaozuo,Henan 454003,China

1 引言

在復(fù)雜背景下進行快速魯棒的目標跟蹤一直都是計算機視覺研究領(lǐng)域的熱點問題。它的主要任務(wù)是從圖像序列中精確地定位目標的位置、速度和姿態(tài)等信息[1]，可廣泛用于軍事和民用領(lǐng)域。目前已有很多學(xué)者在這方面進行了大量的研究，提出了很多有效的方法，形成了以均值漂移算法[2]為代表的確定性跟蹤方法和以粒子濾波[3]為代表的概率性跟蹤方法。確定性跟蹤方法的優(yōu)勢是實時性較好，但這類方法的魯棒性較差，在復(fù)雜背景或存在遮擋情況下的跟蹤效果并不理想。概率性跟蹤方法的優(yōu)勢是具有較強的抗遮擋和背景干擾能力，但這類算法的計算量較大，實時性有待改進。

近年來在國內(nèi)外的研究中，為了同時提高跟蹤的實時性和魯棒性，特征或算法的融合已成為一種必然的趨勢。有學(xué)者在粒子濾波框架下融合目標的顏色信息、運動信息和邊緣信息等特征[4-6]，很大程度上提高了算法的魯棒性，但是由于需要的粒子數(shù)仍然較多，所以這些算法的實時性都不高。有學(xué)者將粒子濾波和均值漂移算法結(jié)合起來[7]，并通過聚類算法減少參與均值漂移迭代的粒子數(shù)來提高算法的實時性，但是由于只使用顏色這一個特征來表示目標，算法的魯棒性不高。提高目標跟蹤魯棒性的關(guān)鍵在于對目標特征的選擇和度量圖像序列中相鄰兩幀間目標相似性的方法[8]，而為了提高目標跟蹤的實時性，就必須降低在跟蹤過程中所使用的粒子數(shù)目，提高粒子的有效性。實際上，當目標在運動過程中受到周圍環(huán)境干擾較小時，使用少量粒子就可以達到穩(wěn)定跟蹤的目的，當目標在運動過程中受到周圍環(huán)境干擾較大或存在遮擋的情況下，可以分配較多的粒子來增大粒子的多樣性以保證穩(wěn)定跟蹤。為此本文在文獻[9]提出的跟蹤算法基礎(chǔ)上，根據(jù)跟蹤預(yù)測的準確程度自適應(yīng)調(diào)整采樣粒子數(shù)，從而可以在保障跟蹤魯棒性的前提下，通過整體上降低跟蹤目標所需的粒子數(shù)目，達到提高算法實時性的目的。

2 目標跟蹤模型

本文采用一階動態(tài)模型來描述目標的運動規(guī)律，目標的狀態(tài)(Sk)及其隨時間的變化過程可以描述為：

其中，(x，y)表示目標的中心坐標；Hx和Hy分別表示目標區(qū)域的長半軸和短半軸；x′和 y′分別表示目標中心在圖像中X和Y方向的速度；α表示目標區(qū)域的縮放變化；A表示狀態(tài)轉(zhuǎn)移矩陣；wk-1是一個多變量的高斯白噪聲。

2.1 目標顏色特征的提取

顏色特征由于具有對目標的旋轉(zhuǎn)及姿態(tài)變化不敏感性的優(yōu)點，經(jīng)常被用于對目標的跟蹤。本文采用基于HSV顏色空間的加權(quán)顏色直方圖表示以y為中心點的目標顏色分布

采用Bhattacharyya系數(shù)來描述目標特征 py和候選區(qū)域qy之間的相似性。

2.2 目標結(jié)構(gòu)特征的提取

除了顏色這一特征外，在度量相鄰兩幀圖像間目標相似性的時候還可以選擇其他的特征，如紋理、方向梯度直方圖等。目前一種新的評價方法是通過比較對比度、亮度和結(jié)構(gòu)相似性三個參數(shù)來衡量圖像之間的差異，這種方法易于實現(xiàn)且計算量較小。本文就是使用這種方法在灰度圖像的基礎(chǔ)上建立目標的結(jié)構(gòu)模型。兩幅大小一致的圖像x和 y的結(jié)構(gòu)相似性S(x，y)定義為：

其中，μ表示灰度圖像的均值，σ表示灰度圖像的方差，σxy表示這兩幅灰度圖像的協(xié)方差。

2.3 粒子權(quán)值的計算

每個粒子經(jīng)過狀態(tài)方程進行傳遞后，就表示目標在下一時刻的可能的狀態(tài)，其與目標真實狀態(tài)的相似度也即粒子的觀測概率為：

其中，αk和βk為顏色和結(jié)構(gòu)這兩種相似性的融合系數(shù)，這兩個融合系數(shù)在跟蹤的過程中會進行自適應(yīng)的調(diào)整。在當前預(yù)測的位置處，分別計算顏色相似性ρ′y(p，q)和結(jié)構(gòu)相似性S′(x，y)，哪個相似性越大，就說明當前該特征越可靠，應(yīng)該賦予較大的系數(shù)。

2.4 粒子數(shù)量的自適應(yīng)選擇

當目標在劇烈運動或存在遮擋的情況下，需要使用較多的粒子以增加粒子的多樣性，從而可以盡可能地覆蓋目標的真實狀態(tài)。當目標所處的背景比較簡單時，采用較少的粒子數(shù)即可保證穩(wěn)定的跟蹤。當前時刻采樣粒子數(shù)量的計算依據(jù)是，若上一時刻目標預(yù)測比較準確，則說明粒子的有效性越好，可以適當減少粒子數(shù)。反之，則表明當前粒子的有效性較低，這有可能是由于目標的運動狀態(tài)有明顯的變化或發(fā)生了遮擋等情況，此時應(yīng)當增加采樣粒子數(shù)，以包含目標的真實狀態(tài)。

其中，Nt表示當前幀的采樣粒子數(shù)；Nmin和Nmax分別表示粒子數(shù)的上限和下限；pe表示前一幀目標預(yù)測狀態(tài)與真實目標狀態(tài)的相似度；系數(shù)a，b的選擇應(yīng)使得粒子數(shù)位于合理的范圍內(nèi)，大量實驗表明，取參數(shù)a=300，b=3使得Nt位于[60，150]的范圍內(nèi)，此范圍可以保證粒子群的質(zhì)量和跟蹤的實時性。

3 算法流程

本文采用基于多特征融合的自適應(yīng)性粒子濾波跟蹤算法，以實現(xiàn)在復(fù)雜環(huán)境下對目標進行快速魯棒的跟蹤。算法的具體步驟如下：

步驟1初始化：粒子數(shù)的初始值設(shè)定為N0；在初始幀中手動選擇目標區(qū)域；通過式（3）建立目標的顏色模型；在選定的目標區(qū)域中，以目標中心為坐標原點按照高斯分布隨機采樣，并賦予每個樣本相同的權(quán)值，記為：

步驟4重采樣：隨著預(yù)測時間的推移，粒子有可能出現(xiàn)蛻化的現(xiàn)象。粒子的蛻化程度可以表示為Eff=，Eff越小，粒子蛻化就越嚴重，當Eff小于設(shè)定的閾值時，就進行重采樣。

步驟5融合系數(shù)更新：根據(jù)式（8）和式（9）調(diào)整在預(yù)測t+1時刻目標狀態(tài)時，顏色和結(jié)構(gòu)這兩種特征的融合系數(shù)。

步驟6粒子集更新：根據(jù)式（10）調(diào)整在預(yù)測t+1時刻目標狀態(tài)時的粒子數(shù)Nt+1，從步驟2所得到的粒子集中復(fù)制出N個粒子。t+1

步驟7置t=t+1，轉(zhuǎn)到步驟2。

4 實驗結(jié)果及分析

為了驗證本文所提算法的有效性，對該算法在Matlab環(huán)境下進行仿真實現(xiàn)。分別設(shè)計了針對汽車和飛機模型的跟蹤實驗，其中初始粒子的數(shù)目設(shè)為100，顏色和結(jié)構(gòu)兩種特征的融合系數(shù)初始都為0.5，加權(quán)顏色直方圖由8×8×2個條柱組成，以粒子位置為中心點的寬為20個像素的正方形區(qū)域建立結(jié)構(gòu)模型。

圖1給出了本文算法和單純使用顏色這一特征對汽車進行跟蹤的結(jié)果，圖1（a）為單純采用顏色跟蹤所達到的效果，圖1（b）為本文算法所達到的效果，其中，綠色的橢圓形框表示算法輸出的目標位置。從圖中可以看出，在跟蹤的過程中，單純使用顏色的跟蹤算法，橢圓形框一直都在目標中心擺動，到第120幀時，橢圓形框已經(jīng)發(fā)生了漂移，而到第180幀時，漂移現(xiàn)象更嚴重。本文的算法由于利用了目標的顏色和結(jié)構(gòu)特征融合來進行跟蹤，兩者互為補充，一直能夠穩(wěn)定地跟蹤目標。

圖1 汽車的跟蹤實驗

圖2給出了文獻[9]算法和本文算法在對飛機模型進行跟蹤的結(jié)果，圖2（a）為文獻[9]算法的跟蹤結(jié)果，圖2（b）為本文算法的跟蹤結(jié)果，其中，綠色的橢圓形框表示算法輸出的目標位置。從圖中可以看出，本文算法和文獻[9]算法均能夠穩(wěn)定地跟蹤目標，圖2（c）給出了本文算法和文獻[9]算法在每一幀中跟蹤的誤差，可以看出，本文算法在跟蹤精度上與文獻[9]算法相接近。圖2（d）給出了這兩種算法在跟蹤過程中粒子數(shù)及消耗時間的變化情況，可以看出，本文算法可以在跟蹤過程中自適應(yīng)調(diào)整粒子數(shù)目，剛開始時，飛機模型所處的背景較為簡單，在跟蹤過程中所使用的粒子數(shù)比較少；從第15幀開始，由于有樹木的干擾，加上人對飛機模型的遮擋，所以在跟蹤過程中所使用的粒子數(shù)目開始增加；到第41幀時，飛機模型被人完全遮擋了，此時跟蹤所使用的粒子數(shù)達到最大值；從第60幀開始，飛機模型再次運動到背景較為簡單的區(qū)域，所以在此后跟蹤過程中所使用的粒子數(shù)目開始逐漸下降。由表1可以看出，由于本文算法可以在跟蹤過程中自適應(yīng)調(diào)整粒子數(shù)目，因而本文算法與文獻[9]算法相比，總體上降低了跟蹤所花費的時間，提高了算法的實時性。

表1 圖2所示兩種算法跟蹤過程中仿真數(shù)據(jù)的變化情況

圖2 飛機模型的跟蹤實驗

5 結(jié)束語

本文提出了一種基于多特征融合的自適應(yīng)性粒子濾波跟蹤算法，其特點是：利用顏色和結(jié)構(gòu)特征表示目標，動態(tài)地更新這兩種特征的融合系數(shù)，實現(xiàn)了復(fù)雜情形下的魯棒跟蹤；根據(jù)跟蹤預(yù)測的準確程度自適應(yīng)調(diào)整采樣粒子數(shù)，總體上減少了用于跟蹤目標的所需粒子數(shù)目，提高了算法的效率。實驗結(jié)果驗證了本文算法的優(yōu)越性，該算法能夠在保證跟蹤精度的前提下，對目標進行快速跟蹤。

[1]王歡，王江濤，任明武，等.一種魯棒的多特征融合目標跟蹤新算法[J].中國圖象圖形學(xué)報，2009，14（3）：489-498.

[2]朱勝利.Mean Shift及相關(guān)算法在視頻跟蹤中的研究[D].杭州：浙江大學(xué)，2006.

[3]胡士強，敬忠良.粒子濾波原理及其應(yīng)用[M].北京：科學(xué)出版社，2010：1-7.

[4]Yin Minhao，Zhang Jin，Sun Hongguang，et al.Multi-cuebased camShift guided particle filter tracking[J].Expert Systems with Application，2011，38：6313-6318.

[5]Han Zhenjun，Ye Qixiang，Jiao Jianbin.Combined feature evaluation for adaptive visual object tracking[J].Computer Vision and Image Understanding，2011，115：69-80.

[6]曾偉，朱桂斌，陳杰，等.多特征融合的魯棒粒子跟蹤算法[J].計算機應(yīng)用，2010，30（3）：643-645.

[7]李科，徐克虎，黃大山.改進的均值漂移和粒子濾波混合跟蹤方法[J].計算機應(yīng)用，2012，32（2）：504-506.

[8]Peter D，Bogdan M.Choice of similarity measure，likelihood function and parameters for histogram based particle filter tracking in CCTV gray scale video[J].Image and Vision Computing，2011，29：178-189.

[9]張笑微，師改梅，周建雄，等.結(jié)合顏色和結(jié)構(gòu)信息的粒子濾波跟蹤算法[J].光電工程，2008，35（10）：1-6.