基于SPN-PF模型的行人跟蹤算法改進(jìn)

張婧,田宏

(大連交通大學(xué) 軟件學(xué)院，遼寧 大連 116028)

基于SPN-PF模型的行人跟蹤算法改進(jìn)

張婧,田宏

(大連交通大學(xué) 軟件學(xué)院，遼寧 大連 116028)

結(jié)合粒子濾波和神經(jīng)網(wǎng)絡(luò)方法提出了一種新的自適應(yīng)的行人跟蹤改進(jìn)算法.根據(jù)行人跟蹤經(jīng)常出現(xiàn)的遮擋，失跟，誤跟等問題，提出了一個(gè)SPN-PF模型，通過Sigma-Pi網(wǎng)絡(luò)將行人的多個(gè)特征聯(lián)系在一起，經(jīng)過學(xué)習(xí)和計(jì)算，進(jìn)一步講結(jié)果運(yùn)用到粒子濾波方法中,從而達(dá)到可靠準(zhǔn)確的跟蹤行人目標(biāo)的目的.實(shí)驗(yàn)結(jié)果表示該文提出的方法能夠更準(zhǔn)確的對(duì)行人進(jìn)行跟蹤.

行人跟蹤;粒子濾波;神經(jīng)網(wǎng)絡(luò);級(jí)聯(lián)分類器

0 引言

在復(fù)雜背景下跟蹤特定行人目標(biāo)的研究和應(yīng)用是計(jì)算機(jī)視覺領(lǐng)域的重要分支.我國自1986年開始立項(xiàng)研究視頻跟蹤技術(shù)，至今已取得一定的成果.通過動(dòng)態(tài)圖像序列進(jìn)行行人跟蹤是非線性的狀態(tài)估計(jì)問題，主要思想是通過非線系統(tǒng)的輸入和對(duì)目標(biāo)的手動(dòng)選定對(duì)行人的位置信息做出預(yù)測(cè).粒子濾波技術(shù)對(duì)這類非線性非高斯問題的處理具有明顯的優(yōu)勢(shì)，它用隨機(jī)樣本形式描述目標(biāo)狀態(tài)的后驗(yàn)概率分布.因?yàn)榱Ｗ訛V波直接用系統(tǒng)非線性模型做非線性變換，更加接近系統(tǒng)本質(zhì)，因此作為近幾年來的新技術(shù)已經(jīng)廣泛應(yīng)用于眾多領(lǐng)域中[1- 2].

總結(jié)近年來提出的眾多粒子濾波目標(biāo)跟蹤算法，粒子濾波的研究還有很多不足之處[1- 2]，如目標(biāo)在復(fù)雜背景下容易受到干擾，出現(xiàn)遮擋、失跟、誤跟，計(jì)算量大，實(shí)時(shí)性差等問題.另外在以往的粒子濾波研究中，單個(gè)特征在描述目標(biāo)時(shí)具有局限性，研究表明將多個(gè)描述目標(biāo)性能較好的特征組合在一起，結(jié)合各自的優(yōu)缺點(diǎn)，取長補(bǔ)短，可以彌補(bǔ)單個(gè)特征的不足，并且提高準(zhǔn)確率.本文以視頻中跟蹤行人為目標(biāo)，重點(diǎn)研究復(fù)雜背景下的單個(gè)行人目標(biāo)視頻跟蹤問題.根據(jù)現(xiàn)有粒子濾波方法的不足之處，針對(duì)上述問題，提出一種新的自適應(yīng)的算法模型，結(jié)合行人目標(biāo)的特征，可以更加準(zhǔn)確的對(duì)行人定位，較以往采用單個(gè)特征的算法在可靠性和準(zhǔn)確性方面有一定的提高，減小了光線變化和遮擋所造成的影響.

1 算法簡介

1.1 特征選取和處理

從行人的動(dòng)態(tài)序列圖像中可以提取出許多特征作為行人的目標(biāo)的描述，可以有效區(qū)分目標(biāo)與非目標(biāo)，因此如何選取有效的目標(biāo)特征，對(duì)目標(biāo)的檢測(cè)和跟蹤結(jié)果至關(guān)重要.

顏色 行人的膚色和所穿衣服都有明顯的顏色特征，并且行人目標(biāo)的顏色比較穩(wěn)定，不會(huì)快速改變，因此在跟蹤時(shí)非常可靠[3- 4].在進(jìn)行計(jì)算機(jī)處理時(shí)把視頻轉(zhuǎn)換為HSV顏色空間下進(jìn)行可以減少計(jì)算量.直方圖投影算法是一種常用的算法[3]，通過生成的顯著值圖像可以得到輸入圖像像素點(diǎn)是否屬于樣本直方圖的概率.每個(gè)像素值的概率越大，則這個(gè)圖像塊越匹配樣本直方圖.

運(yùn)動(dòng) 采用背景相減法可以確定行人的位置并預(yù)測(cè)下一時(shí)刻的信息[3- 4].主要是根據(jù)當(dāng)前幀與參考圖像的差異進(jìn)行比較和判斷，在差分圖像中，灰度不發(fā)生變化的背景部分被減掉，兩幀相減后就使運(yùn)動(dòng)目標(biāo)突現(xiàn)出來.因?yàn)橐曨l背景比較固定，所以只要行人目標(biāo)大于閾值就可以被檢測(cè)出.但是如果行人運(yùn)動(dòng)速度過慢，低于閾值或者完全靜止，背景相減法就會(huì)失效.此時(shí)系統(tǒng)就只能依靠其余的特征繼續(xù)跟蹤.

形狀 人體是非剛性物體，人體的姿勢(shì)變化多端，無法用一個(gè)固定的形狀表示.因此基于人體整體的研究方法可靠性很低.人體的所有部位中，頭肩部位形變較小，位置較固定，穩(wěn)定性最高，抗干擾性最好，見圖1.通過實(shí)驗(yàn)表明采用部件的檢測(cè)結(jié)果效果高于采用整體的[5- 6].因此本文采用人體頭肩的類Haar特征[7](圖2)和級(jí)聯(lián)的Adaboost算法[8]進(jìn)行行人目標(biāo)檢測(cè)分類器的訓(xùn)練.主要思路為準(zhǔn)備大量的正負(fù)樣本，其中正樣本是待檢測(cè)目標(biāo)圖像，負(fù)樣本為不包含目標(biāo)的其他任何圖像，對(duì)正樣本進(jìn)行尺寸規(guī)整后，建立正樣本集，提取描述特征；然后開始利用統(tǒng)計(jì)學(xué)原理訓(xùn)練分類器.分類器訓(xùn)練好之后，就可以實(shí)時(shí)的利用分類器進(jìn)行目標(biāo)檢測(cè)，見圖3.

圖1 人體頭肩部位

圖2 擴(kuò)展的類Haar特征

1.2 SPN-PF模型

運(yùn)動(dòng)特征可以有效的對(duì)行人目標(biāo)定位，但是當(dāng)行人靜止時(shí)無法提供信息.顏色和形狀是可靠的跟蹤特征，但是需要預(yù)先學(xué)習(xí).將不同的特征結(jié)合起來，可以提高跟蹤行人的可靠性.

本文結(jié)合了現(xiàn)有的粒子濾波技術(shù)和神經(jīng)網(wǎng)絡(luò)，提出了一個(gè)SPN-PF模型，見圖4.

Sigma-Pi網(wǎng)絡(luò)是一種常見的高階神經(jīng)網(wǎng)絡(luò)模型[9- 11].該網(wǎng)絡(luò)通過隱層對(duì)輸入進(jìn)行計(jì)算.對(duì)每一個(gè)輸入都設(shè)有不同的權(quán)重.這些值作為一個(gè)多項(xiàng)式函數(shù)的輸入，在隱層通過乘法運(yùn)算，進(jìn)一步把結(jié)果傳給輸出層，然后進(jìn)行求和運(yùn)算，得到最終結(jié)果.

SPN-PF模型把行人的三個(gè)重要特征作為Sigma-Pi網(wǎng)絡(luò)的輸入，通過計(jì)算將結(jié)果作為粒子濾波的權(quán)值，從而使粒子濾波結(jié)果更加準(zhǔn)確和可靠.

圖4 SPN-PF算法框架圖

在算法模型中，每一個(gè)粒子的權(quán)值都是通過Sigma-Pi網(wǎng)絡(luò)計(jì)算得出的[10]，計(jì)算公式如下：

(1)

粒子濾波方法主要思想是選取一個(gè)重要性概率密度并從中進(jìn)行隨機(jī)抽樣，通過這些帶有權(quán)值的粒子逼近狀態(tài)的后驗(yàn)概率分布，以樣本均值代替積分運(yùn)算從而獲得狀態(tài)的最小方差估計(jì)，作為狀態(tài)估計(jì)值的一個(gè)過程[1].

根據(jù)貝葉斯理論，估計(jì)值可根據(jù)如下預(yù)測(cè)方程估計(jì)

(2)

式中:xt為t時(shí)刻的系統(tǒng)狀態(tài)；yt為t時(shí)刻的觀測(cè)狀態(tài);p(yt|xt)是系統(tǒng)觀測(cè)模型；p(xt|xt-1)是根據(jù)時(shí)刻0～t觀測(cè)值以后t時(shí)刻的概率值.行人目標(biāo)的概率分布可估計(jì)為

(3)

2 實(shí)驗(yàn)結(jié)果

本文對(duì)三個(gè)自我采集的視頻(不同背景，相同目標(biāo))進(jìn)行了相應(yīng)的跟蹤實(shí)驗(yàn)，背景中有很多其他行人干擾，待跟蹤行人目標(biāo)顏色與背景中的樹木相近.粒子個(gè)數(shù)為10個(gè)，在圖像序列初始幀時(shí)手動(dòng)選定待跟蹤的行人目標(biāo).跟蹤效果很理想.實(shí)驗(yàn)效果如圖5所示.

圖5 視頻跟蹤效果實(shí)驗(yàn)圖

本文用Matlab分別做了單個(gè)特征的粒子濾波和采用本文提出的SPN-PF模型算法的仿真實(shí)驗(yàn)進(jìn)行比對(duì)，一共選取了50個(gè)時(shí)間點(diǎn)，50個(gè)粒子.圖6(a)是單個(gè)特征實(shí)驗(yàn)的狀態(tài)圖，僅選取了行人的顏色特征，點(diǎn)代表實(shí)際的位置信息，出現(xiàn)概率是隨機(jī)的，曲線是系統(tǒng)預(yù)測(cè)的位置.可見在前期情況跟蹤效果很好，準(zhǔn)確率較高，但是實(shí)驗(yàn)后期失跟情況很嚴(yán)重，可能是出現(xiàn)干擾或者遮擋等情況，因此所采用的單個(gè)特征失效.與單個(gè)特征粒子濾波方法比較，本文提出的新SPN-PF模型的實(shí)驗(yàn)結(jié)果由圖6(b)所示，根據(jù)實(shí)驗(yàn)結(jié)果分析，采用單個(gè)特征的粒子濾波會(huì)出現(xiàn)失跟現(xiàn)象，而采用SPN-PF模型的算法除了在初期初始化階段，效果一般外，基本上不會(huì)出現(xiàn)失跟現(xiàn)象.當(dāng)所參考的其中一個(gè)特征失效時(shí)，系統(tǒng)會(huì)通過Sigma-Pi網(wǎng)絡(luò)計(jì)算自動(dòng)選取其他特征，避免了精度下降.另外準(zhǔn)確率也有提高.

實(shí)驗(yàn)結(jié)果證明了本文提出的新的模型識(shí)別率優(yōu)于單一特征的粒子濾波方法.

(a)提取單個(gè)特征

(b)SPN-PF模型

3 結(jié)論

本文提出的SPN-PF模型根據(jù)多個(gè)特征的有效結(jié)合，可以顯著提高跟蹤效果.以前的很多多特征融合算法未采用Sigma-Pi網(wǎng)絡(luò)，因此即使選取了多個(gè)特征，但是系統(tǒng)不能自適應(yīng)判斷哪個(gè)特征可靠性更大，而Sigma-Pi網(wǎng)絡(luò)可以根據(jù)多個(gè)輸入和權(quán)值，自適應(yīng)計(jì)算出最優(yōu)的結(jié)果，舉例來說，當(dāng)行人靜止不動(dòng)時(shí)，運(yùn)動(dòng)特征失效，相應(yīng)的權(quán)值為0，系統(tǒng)會(huì)只考慮其他特征.但是，在算法初期，系統(tǒng)初始化階段，由于計(jì)算量較大，初始幀階段訓(xùn)練的目標(biāo)樣本數(shù)量太少，權(quán)值的可靠性較低，不過它是一個(gè)自適應(yīng)遞增的過程，隨著時(shí)間的推移，精準(zhǔn)度會(huì)越來越高，結(jié)果會(huì)越來越好.本文針對(duì)以往跟蹤研究系統(tǒng)只采用單個(gè)特征或不能自適應(yīng)多個(gè)特征這一缺點(diǎn)，提出了一種結(jié)合了神經(jīng)網(wǎng)絡(luò)，粒子濾波的新模型.實(shí)驗(yàn)結(jié)果表明，提取多個(gè)特征并通過人工神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行計(jì)算提高了粒子濾波權(quán)值的可靠性，避免了采取單個(gè)特征所帶來的缺陷，提高了行人跟蹤的準(zhǔn)確性.但是由于計(jì)算量較大，并且需要前期進(jìn)行離線訓(xùn)練，在實(shí)時(shí)性等方面效果并不是特別突出，希望在將來的研究過程中可以進(jìn)一步完善.

[1]DJURIC P M,KOTECHA J H,ZHANG J,et al.Particle filtering[J].Signal Processing Magazine,IEEE,2003,20(5):19- 38.

[2]查宇飛,畢篤彥.一種基于粒子濾波的自適應(yīng)運(yùn)動(dòng)目標(biāo)跟蹤方法[J].電子與信息學(xué)報(bào),2007,29(1):92- 95.

[3]章毓晉.圖像工程[M].北京：清華大學(xué)出版社,2005.

[4]YILMAZ A,JAVED O,SHAH M.Object tracking: A survey[J].Acm Computing Surveys(CSUR),2006,38(4):13.

[5]DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[C].CVPR 2005：IEEE Computer Society Conference on.IEEE,2005:886- 893.

[6]LIN Z,DAVIS L S,DOERMANN D,et al.Hierarchical part-template matching for human detection and segmentation[C].IEEE 11th International Conference on.IEEE,2007:1- 8.

[7]LIENHART R,MAYDT J.An extended set of haar-like features for rapid object detection[C].Proceedings 2002 International Conference on.IEEE,2002:900- 903.

[8]MIKOLAJCZYK K,SCHMID C,ZISSERMAN A.Human detection based on a probabilistic assembly of robust part detectors[M].Berlin Heidelberg：[s.n.],2004:69- 82.

[9]GILES C L,MAXWELL T.Learning,invariance,and generalization in high-order neural networks[J].Applied optics,1987,26(23):4972- 4978.

[10]ZHANG B T,MUHLENBEIN H.Synthesis of sigma-pi neural networks by the breeder genetic programming[C].Proceedings of the First IEEE Conference on.IEEE,1994:318- 323.

[11]VILLALOBOS L,MERAT F L.Learning capability assessment and feature space optimization for higher-order neural networks[J].Neural Networks,IEEE Transactions on,1995,6(1):267- 272.

[12]ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1998,20(11):1254- 1259.

Improved Pedestrian Tracking Algorithm based on SPN-PF Model

ZHANG Jing,TIAN Hong

(Software Institute,Dalian Jiaotong University,Dalian 116028,China)

A self-adapting algorithm is presented for pedestrian tracking,combining particle filter with neural network,and a SPN-PF model is proposed according to the problems such as covering,missing,wrong tracking and so on.The model integrates different features by means of a Sigma-Pi network.After the study and calculation,the result will be used in particle filter method to achieve the goals of reliable and accurate pedestrian tracking.Experimental results show that the purpose can be achieved.

pedestrian tracking;particle filter;neural network;cascade classifier

1673- 9590(2015)01- 0101- 04

2013- 11- 12

國家自然科學(xué)基金資助項(xiàng)目(61074029)

張婧(1987-)，女，碩士研究生；田宏(1968-)，女，教授，博士，主要研究數(shù)據(jù)挖掘，人工智能方面的研究

E-mail:olina1212@163.com.

A