基于多特征信息融合粒子濾波的紅外目標跟蹤

孫艷麗+周偉+李建海

摘 要： 多特征信息有較好的檢測性能和適應性， 而粒子濾波則是一種處理目標跟蹤模型的非線性和非高斯特點的有效方法，將兩者優(yōu)點結(jié)合并針對紅外圖像特點，提出一種基于多特征信息融合的跟蹤算法，該方法按一定的權值系數(shù)利用目標顏色和紋理特征構建模型，并融合于粒子濾波框架中。實驗表明該跟蹤方法能準確地跟蹤海上紅外運動目標。

關鍵詞： 粒子濾波； 紋理特征； 多特征融合； 目標跟蹤

中圖分類號： TN929.1?34 文獻標識碼： A 文章編號： 1004?373X（2017）13?0009?04

Abstract： Since the multi?feature information has perfect detection and adaptation performances， and the particle filtering is an effective method to process the nonlinear and non?Gaussian characteristics of the target tracking model. The advantages of the above items are combined to propose a tracking algorithm based on multi?feature information fusion for the characteristics of the infrared image. The target color and textural feature are adopted in the method to construct the model according to a certain weight coefficient. The model is fused to the frame of particle filtering. The experimental result shows that the tracking algorithm can track the maritime infrared moving target accurately.

Keywords： particle filtering； textural feature； multi?feature fusion； target tracking

0 引 言

視覺跟蹤技術經(jīng)過二十多年的發(fā)展取得了豐碩的研究成果，涌現(xiàn)出了一批經(jīng)典跟蹤算法，其中2000年前后M. Isard和Comaniciu提出的粒子濾波跟蹤方法[1]和均值偏移跟蹤方法[2]最具代表性，至今仍是視覺跟蹤中研究的焦點問題。在隨后的幾年，視覺跟蹤技術的發(fā)展多轉(zhuǎn)向?qū)δ繕嗣枋龅难芯俊Ｄ繕嗣枋鲋饕繕说男螤蠲枋龊屯庥^描述，形狀描述主要研究目標幾何模型的表示方法；外觀描述主要研究目標特征的描述和選擇方法，在視覺跟蹤中通常選擇那些能有效區(qū)分目標和相鄰背景或干擾的特征來描述目標的外觀，比較具有代表性的研究成果如Collins等提出的基于Fisher準則的特征選擇方法[3]；Avidan提出的基于AdaBoost的特征選擇方法[4]。另外，基于多特征融合的方法[5]也是目標描述的一個重要研究方向，該思路主要利用跟蹤過程中目標特征之間的互補性實現(xiàn)目標描述的增強，進而達到提高跟蹤性能的目的。

視覺跟蹤可以歸結(jié)為狀態(tài)估計問題，解決狀態(tài)估計問題最常用的方法是貝葉斯濾波方法，貝葉斯濾波一般通過狀態(tài)預測和狀態(tài)更新兩個步驟實現(xiàn)。只要獲得了目標狀態(tài)的后驗概率分布，根據(jù)相應的估計方法（如最大似然估計、最大后驗估計）就可以估計出目標的狀態(tài)，從而進一步獲得目標的運動信息。

在貝葉斯濾波中，粒子濾波更具一般性，其最突出的優(yōu)點是不受模型限制進行狀態(tài)估計，能夠處理任何非線性、非高斯模型問題，主要是用賦予權值的粒子來確定目標的后驗概率分布，一旦求出目標狀態(tài)后驗概率分布，根據(jù)某些估計準則就可以計算出目標的位置及相關運動信息狀態(tài)。

在跟蹤過程中似然模型的選擇至關重要，只有構建選擇區(qū)分性好、穩(wěn)定性高的視覺特征建立似然模型，算法才能實現(xiàn)目標跟蹤。但跟蹤算法對目標外觀特征變化較為敏感，同時視覺特征的相似性度量也很重要，如果其分辨率較強，那么目標狀態(tài)后驗概率密度分布就會比較尖銳，從而能夠有效地區(qū)分目標信號和干擾信號，因此選擇魯棒性高且區(qū)分度好的相似性測度非常重要。

目標特征是構造粒子濾波似然模型的重要因素，一個好的特征能夠適應跟蹤環(huán)境的變化，始終保持其有效性。但現(xiàn)實跟蹤過程中，目標特征并不是時刻有效，如果采用單一特征，若在某一時刻特征失效，跟蹤就會出現(xiàn)偏移甚至丟失目標，因此跟蹤過程中采用多特征描述目標，加強互補性，就能相應的提高跟蹤算法的抗干擾性和跟蹤精度。因此，本文給出一種基于目標顏色和LBP（Local Binary Patterns）紋理特征信息融合的海上紅外運動目標跟蹤方法，實驗表明該跟蹤方法能準確實現(xiàn)跟蹤。

1 粒子濾波

設和分別表示時刻目標的狀態(tài)和量測，則目標跟蹤可以歸結(jié)為目標狀態(tài)后驗概率分布估計問題，其中表示目標到當前時刻的所有量測。假設目標當前狀態(tài)只和目標前一時刻相關，不同時刻的量測相互獨立，則的估計可以分為以下預測和更新兩步，即：

在實際中，由于目標的狀態(tài)演化模型通常是非線性、非高斯性，上述問題難以給出其解析解，所以在實際應用中通常用蒙特卡洛仿真的方法實現(xiàn)粒子濾波問題，其基本思想方法是給定一組加權粒子來逼近其中表示粒子個數(shù)。時刻粒子可以通過建議分布產(chǎn)生，即其權值為：

則新粒子逼近。

2 目標特征描述

2.1 LBP特征

LBP是機器視覺領域中用于分類的一種特征，最初是由芬蘭學者Ojala在1994年提出[6]，在紋理分類問題上是一種非常強大的特征；若將LBP特征和方向梯度特征結(jié)合，則可以在一些集合上十分有效的提升檢測效果。LBP是一種描述圖像局部紋理的特征，主要是將中心像素和相鄰的像素對比，并把結(jié)果保存為二進制數(shù)。由于其分辨力強大和計算簡單，并且對光照變化具有魯棒性，這使得LBP特征在目標檢測和人臉識別等領域得到廣泛的應用。

最初的LBP算子如圖1所示，在以某一像素為中心的的圖像窗口內(nèi)，以該像素灰度值為閾值，與相鄰的8個像素的灰度值相比較，若中心像素灰度值大，則相鄰灰度值記為0，若相鄰灰度值大則記為1。這樣，鄰域的8個點為8位的0或1，化為十進制數(shù)即該中心像素點的LBP值。

Ojala等對最初的LBP進行改進，鄰域設置為圓形，并將8鄰域進行擴展，即允許在以中心像素圓點半徑為的圓形鄰域內(nèi)計算像素值，從而得到大量采樣點的LBP算子[7]。改進后的算法能夠滿足不同尺度的紋理特征。為在灰度不變前提下再滿足旋轉(zhuǎn)不變性特點，Maenpaa等人提出了均勻LBP算子，該算法通過不斷旋轉(zhuǎn)圓形鄰域得到大量LBP值，選擇最小值為該中心像素的LBP值。

本文在計算LBP特征時，為了避免LBP模式過多，同時又保證LBP特征的旋轉(zhuǎn)、灰度不變性，選擇采用9種均勻LBP模式，27種旋轉(zhuǎn)不變的LBP模式來描述紋理特征[8]。

對于給定的圖像區(qū)域，LBP特征向量可以通過如下方式計算：

（1） 將圖像區(qū)域分為區(qū)塊（例如，每個區(qū)塊有個像素）；

（2） 對區(qū)塊中的每個像素，與其8鄰域像素進行比較，獲得8位二進制數(shù)；

（3） 對每一個區(qū)塊計算直方圖；

（4） 串聯(lián)所有區(qū)塊的直方圖，并歸一化得到圖像區(qū)域的LBP特征向量。

2.2 灰度特征

對于紅外圖像，由于其反應的是目標紅外熱輻射特征，顏色信息貧乏，所以用灰度直方圖來描述目標熱輻射特征的分布。假定候選目標中心點坐標為核窗半徑為則候選目標圖像區(qū)域的灰度分布為[7]：

式中：為bin指標映射函數(shù)，用來計算像素點顏色特征所屬的bin指標；為Kronecker函數(shù)；為核窗半徑；為Epanechnikov核函數(shù)；為歸一化參數(shù)，使得

2.3 似然模型

假設目標灰度直方圖模型為LBP特征模型為對于給定的采樣粒子其似然值模型為：

（5）

式中：為似然模型平滑常數(shù)；表示直方圖的巴氏系數(shù)；表示粒子的量測值；和分別表示對應圖像區(qū)域的灰度直方圖和LBP特征直方圖。

2.4 運動模型

由于目標運動的隨機性，選取隨機游走模型描述目標狀態(tài)的演化。假設和表示目標在時刻的狀態(tài)，則狀態(tài)演化模型[9?10]為：

式中。

3 算法步驟

對于給定的粒子集目標灰度特征直方圖模型和LBP特征直方圖模型的構建如下：

（1） 根據(jù)狀態(tài)演化模型式（5）進行預測；

（2） 計算每個粒子的灰度特征分布和LBP特征分布；

（3） 根據(jù)似然模型式（6）和式（3）計算每個粒子的權值，并進行歸一化；

（4） 根據(jù)粒子的權值計算粒子的加權平均值；

（5） 重采樣得新粒子集。

4 實 驗

本文對兩組海上紅外運動目標視頻序列進行跟蹤測試。在本文跟蹤算法中，目標狀態(tài)向量定義為其中為粒子對應圖像區(qū)域的中心點坐標，表示目標尺度變化率，本文為簡單起見，假定目標長寬變化速度一樣。建議分布采用狀態(tài)一步預測；灰度特征量化為32個等級，LBP特征采用9種均勻LBP模式，27種旋轉(zhuǎn)不變的LBP模式描述紋理特征。

序列Ⅰ描述的場景是海上一艘船從圖像的左側(cè)往圖像的右側(cè)航行，視頻的開始由于攝像頭的移動，船只的位置很快從圖像的右側(cè)變換到左側(cè)，然后攝像頭保持靜止，船只繼續(xù)從圖像左側(cè)往右側(cè)航行。圖2給出了船只目標的部分跟蹤結(jié)果，可以看出，本文算法能夠一直跟蹤上運動目標，但在一些幀出現(xiàn)較小的跟蹤位置和尺度偏差。

序列Ⅱ描述的場景也是海上一艘船從圖像的左側(cè)往圖像的右側(cè)航行，但由于攝像頭的抖動，船只目標出現(xiàn)了上下快速的移動，而且該船只目標中間成像較暗，兩頭成像亮。圖3給出了目標的部分跟蹤結(jié)果，可以看出，雖然由于攝像頭的抖動導致目標上下晃動，但本文算法依然能較為準確的跟蹤上目標。

5 結(jié) 論

本文在粒子濾波理論框架下，將灰度特征和LBP特征相結(jié)合實現(xiàn)紅外目標跟蹤，由于在跟蹤過程中，灰度特征和LBP特征能夠互補，提高了算法的抗干擾性和精度，實驗表明該跟蹤方法能準確實現(xiàn)跟蹤。

參考文獻

[1] ISARD M， BLAKE A. CONDENSATION： conditional density propagation for visual tracking [J]. International journal of computer vision， 1998， 29（1）： 5?28.

[2] COMANICIU D， RAMESH V， MEER P. Kernel?based object tracking [J]. IEEE transactions on pattern analysis and machine intelligence， 2003， 25（5）： 564?575.

[3] COLLINS R T， LIU Y， LEORDEANU M. Online selection of discriminative tracking features [J]. IEEE transactions on pattern analysis and machine intelligence， 2005， 27（10）： 1631?1643.

[4] AVIDAN S. Ensemble tracking [J]. IEEE transactions on pattern analysis and machine intelligence， 2007， 29（2）： 261?271.

[5] P?REZ P， VERMAAK J， BLAKE A. Data fusion for visual tracking with particles [J]. Proceedings of IEEE， 2004， 92（3）： 495?513.

[6] OJALA T， PIETIKAINEN M， HARWOOD D. Performance evaluation of texture measures with classification based on Kullback discrimination of distributions [C]// Proceedings of the 12th IAPR International Conference on Pattern Recognition. Jerusalem： IEEE， 1994： 582?585.

[7] OJALA， T， PIETIKAINEN M， MAENPA T. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [J]. IEEE transactions on pattern analysis machine intelligence， 2002， 24（7）： 971?987.

[8] AHONEN T， HADID A， PIETIKAINEN M. Face recognition with local binary patterns [C]// Proceedings of 2004 European International Conference on Computer Vision. [S.l.]： Springer， 2004： 469?481.

[9] XU Sheng， FANG Tao， LI Deren， et al. Object classification of aerial images with bag?of?visual words [J]. IEEE geoscience and remote sensing letters， 2010， 7（2）： 366?370.

[10] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.