改進的粒子群優(yōu)化粒子濾波的人臉跟蹤

嚴　石，楊定禮，張宇林，楊玉東，季仁東,3，皇甫立群

(1.淮陰工學院 成人教育處，江蘇 淮安 223001；

2.淮陰工學院 電子信息工程學院，江蘇 淮安 223003；3.南京航空航天大學 理學院，南京 210016)

?

改進的粒子群優(yōu)化粒子濾波的人臉跟蹤

嚴石1，楊定禮2，張宇林2，楊玉東2，季仁東2,3，皇甫立群2

(1.淮陰工學院 成人教育處，江蘇 淮安 223001；

2.淮陰工學院 電子信息工程學院，江蘇 淮安 223003；3.南京航空航天大學 理學院，南京 210016)

摘要:針對粒子群優(yōu)化粒子濾波的人臉跟蹤方法出現(xiàn)的“粒子退化”、“粒子貧乏”、“局部最優(yōu)”、“粒子早熟”等問題，提出改進的粒子群優(yōu)化粒子濾波(IMPSO-PF)的人臉跟蹤方法。該方法首先提出了非均勻的空間直方圖的顏色跟蹤線索，提高了跟蹤的魯棒性，其次提出了多樣性函數(shù)diversity以及粒子集中度函數(shù)difference，并根據(jù)diversity與difference的關系更新速度與位置，使粒子不斷向高似然區(qū)域運動。實驗結果表明，該方法既保證了粒子多樣性，同時也防止了粒子較早的成熟。

關鍵詞:粒子群;粒子濾波；人臉跟蹤；非均勻的空間直方圖；多樣性函數(shù)；集中度的函數(shù)

0引言

人臉跟蹤在機器人視覺、人臉識別 、視頻監(jiān)控、人機交互和視頻檢索等領域得到了廣泛的應用。目前，人臉跟蹤方法一般都要受到人臉姿態(tài)、光照變化以及復雜背景的影響。而部分文獻提出的以顏色加權直方圖為跟蹤線索的粒子濾波跟蹤方法， 對目標的旋轉、目標部分被遮擋以及大小變換等具有一定的魯棒性[1-3]。但是引入的粒子濾波方法存在“粒子退化”問題。一般通過重采樣的方法來解決“粒子退化”問題，但是又出現(xiàn)“粒子貧乏”問題[4-7]。因此許多研究者引入了粒子群優(yōu)化粒子濾波的方法，如李睿等[8]提出了基于粒子群優(yōu)化的Unscented粒子濾波算法，該方法主要是利用粒子群優(yōu)化的算法使粒子向高似然區(qū)域移動，最終尋找到最優(yōu)的位置。姚海濤等[9]提出一種自適應的PSO粒子濾波人臉視頻跟蹤方法，該方法主要利用粒子群算法的尋優(yōu)能力，同時對引入的小生境技術加以改進，使粒子向真實值的后驗概率分布移動，從而提高最優(yōu)解動態(tài)變化的自適應能力。

雖然粒子群優(yōu)化的粒子濾波方法對“粒子退化”以及“粒子貧乏”問題有所改善，但是粒子群優(yōu)化也容易出現(xiàn)局部最優(yōu)、粒子早熟等問題[10-11]。本文針對已經(jīng)出現(xiàn)的“粒子退化”、“粒子貧乏”、局部最優(yōu)、粒子早熟等問題，提出了改進的基于粒子群優(yōu)化粒子濾波的人臉跟蹤方法。該方法提出了非均勻的空間直方圖的顏色跟蹤線索，提高了識別準確性，并改進了粒子群優(yōu)化粒子濾波的人臉跟蹤方法，提出了多樣性函數(shù)diversity以及粒子集中度的函數(shù)difference，通過它們的關系來控制粒子的更新公式，使粒子向高似然區(qū)域運動，既保證了粒子多樣性，同時也防止了粒子較早地成熟。

1非均勻的空間直方圖的顏色跟蹤線索

(1)

由于該直方圖只能利用目標的顏色信息，而空間直方圖不僅融合了目標的顏色信息，而且還包含了直方圖每個bin的空間均值和協(xié)方差，所以這種空間信息能獲取目標更多的信息，從而提高跟蹤的魯棒性，因此本文采用空間的直方圖作為跟蹤線索。假設一幅圖像的二階空間的直方圖為：h(b)=,b=(1,2,…,B)。式中pb表示落入?yún)^(qū)間b的像素的概率。μb表示處于區(qū)間b的像素的坐標的均值向量，Cb表示處于區(qū)間b的像素的坐標的協(xié)方差矩陣，則由兩直方圖的相似性的加權和表示的兩空間的直方圖的相似度為：

(2)

則該粒子與目標模型之間的Bhattacharyya距離為：

(3)

則該粒子的似然概率為：p(z|xn)∝exp(-d2/(2σ2))，其中σ是觀測噪聲的標準方差。由上式可以看出，由于空間直方圖的相似性度量的函數(shù)融入了空間信息，因此基于空間直方圖的相似性的度量比傳統(tǒng)基于顏色直方圖相似性的度量好。

為了說明非均勻直方圖相似性度量方法的優(yōu)點，首先通過實驗一比較視頻圖像中人臉的均勻直方圖與非均勻直方圖。圖1是均勻劃分的直方圖，它的每個區(qū)間寬度為256/N=32。而圖2 中非均勻劃分的直方圖的每個區(qū)間寬度是變化的，從第一個區(qū)間到N=8的區(qū)間的寬度分別為deltaw=36.0000 33.7922 34.6807 34.1647 31.7675 31.4383 18.1801 35.9765。將實驗所得的數(shù)據(jù)列入表1中。從表1中可以看出在概率較大的地方，如p7=0.5569，此時可以利用本文提出的非均勻劃分的直方圖法，縮小直方圖的寬度，使其寬度為18.18，p7=0.0664，而使大部分數(shù)據(jù)集中到第六直方圖區(qū)域中，使得p6=0.5185。由于p6>0.5，所以再用上面的方法，將寬度重新劃分，直到使得每個區(qū)間的概率都小于0.5。表1中，經(jīng)過第二次非均勻劃分時，p7=0.4708低于0.5，可以結束劃分，得到顏色分布情況。

圖1均勻劃分的直方圖

圖2第二次非均勻劃分的直方圖

2粒子濾波算法

粒子濾波是貝葉斯估計基于抽樣理論的一種近似的算法，它的核心思想為用一系列帶有權值的隨機樣本來表示系統(tǒng)狀態(tài)的后驗概率密度函數(shù)，并通過對這些隨機樣本的計算來估計后驗密度函數(shù)。如果樣本數(shù)目趨向于無窮大，則可達到最優(yōu)貝葉斯估計。

假設其狀態(tài)方程為：xk=F(xk-1,vk-1)

觀測方程為：zk=F(xk,uk)

其中，vk-1與uk為均值為0的高斯白噪聲。一般假設狀態(tài)的初始概率密度為p(x0|z0)=p(x0)，則預測方程為:

p(xk|z1:k-1)=∫p(xk|xk-1)p(xk-1|z1:k-1)dxk-1

(4)

狀態(tài)的更新方程為：

(5)

p(zk|z1:k-1)=∫p(zk|xk)p(xk-1|z1:k-1)dxk-1

(6)

如果選擇重要性密度函數(shù)

(7)

則權值更新公式為：

(8)

(9)

則權值更新公式近似為：

(10)

由于上面的粒子濾波方法通常采用次優(yōu)重要性密度函數(shù)，所以存在粒子的退化問題。一般通過重采樣的方法來解決，但是又出現(xiàn)了“粒子貧乏”問題，即失去了粒子的多樣性問題。

3改進的粒子群優(yōu)化粒子濾波算法

3.1粒子群算法

為了解決“粒子退化”以及“粒子貧乏”的問題，可以將粒子群優(yōu)化的算法(Particle Swarm Optimization，PSO)引入粒子濾波， 通過優(yōu)化粒子濾波的采樣過程，使粒子更加趨向于高似然區(qū)域，從而解決了粒子貧乏的問題，不僅有助于減少粒子濾波所需要的粒子數(shù)量，而且還提高了跟蹤的精度。

粒子群優(yōu)化算法是由Eberhart與Kennedy提出的一種有效的全局尋優(yōu)算法[13]。在粒子群優(yōu)化算法中，每個粒子不僅有位置、速度兩個特征，而且還帶有一個適應度值，該適應度值是由優(yōu)化函數(shù)來確定的。

假設粒子群的粒子數(shù)量為m，維數(shù)為n，其中第i個粒子的位置Xi為(xi1,xi2,…,xin)，速度Vi為(vi1,vi2,…,vin)，個體的極值Bibest為(bi1,bi2,…,bin)，粒子群的全局極值Gbest為(gi1,gi2,…,gin)，該算法主要是利用粒子的個體最優(yōu)值Bibest與全局最優(yōu)值Gbest通過式(11)、(12)來不斷更新每一個粒子的速度與位置，它的更新公式為：

(11)

(12)

其中d1與d2為學習因子，rand1()與rand2()為介于(0,1)區(qū)間內(nèi)的隨機數(shù)，w為慣性權值，如果w越大，那么其全局搜索能力就越強。如果w越小，那么其局部搜索能力就越強。

3.2改進的粒子群優(yōu)化粒子濾波算法原理

由于PSO算法中沒有按照每個粒子的自身狀態(tài)和鄰域環(huán)境參數(shù)調整鄰域的粒子狀態(tài)，所以無法控制每個粒子對鄰域粒子的影響力，容易導致局部最優(yōu)，從而降低粒子的多樣性的程度。同時粒子向高似然區(qū)域運動時過快，出現(xiàn)粒子的早熟現(xiàn)象。本文由人在游泳時總會找空的地方去游，鴿子總會往有食物的地方去跑得到啟示，提出了改進的粒子群優(yōu)化方法。首先定義每個粒子的適應度函數(shù)：

(13)

即用權值來代替適應度值。其中d由式(3)得到。由N個粒子的適應度函數(shù)組成的數(shù)組YA={Y1,Y2,…,YN}，將其排序得到新的數(shù)組YRA={YR1,YR2,…,YRN}，則YA中的Yi在YRA中的序號為MARK={mark1,mark2,…,markN}，令D=max{Y1,Y2,…,YN}-min{Y1,Y2,…,YN}，每個直方圖的寬度為D/M，經(jīng)M=floor(N/4),等分以后，可以得到適應度值的直方圖HY={hy1,hy2,…h(huán)yM}，該直方圖每個bin值的平均值為4，如果hyi=0，則該直方圖區(qū)間沒有粒子，如果hyi較大，則大部分粒子全部集中到這個區(qū)間，因而粒子的多樣性就小。所以定義一個衡量權值多樣性的函數(shù)

(14)

如果全部集中在一個區(qū)間，則其他M-1個區(qū)間hyi都為0，則diversity=0，其多樣性最差，如果每個區(qū)間都有粒子，則diversity=M-1為最大值。因此定義一個閾值ε1，如果diversity≤ε1時，考慮是否粒子已經(jīng)陷入局部最優(yōu)值里，是否聚在一起了。此時應該將較大的hyi中的粒子去掉一些粒子，而hyi=0時，該區(qū)間中補一些粒子。所以還要再考慮定義一個衡量粒子集中度的函數(shù)：

(15)

如果difference很小，說明大部分粒子相對集中，則多樣性較差，如果difference較大，則多樣性較好。因此也定義一個閾值ε2，當difference≤ε2時，粒子較集中，反之，則粒子較分散。

所以分四種情況：

(16)

Xit+1=Xit+Vit+1

(17)

d3為控制跳躍距離的，上式可使粒子向真實值附近靠攏。

(2)diversity≤ε1，difference>ε2，可能陷入某幾個局部最優(yōu)值，多樣性一般，可以選適當?shù)牟糠诌M行跳躍。如果hyi值較大，則按照公式(16)、(17)進行跳躍。如果hyi值較小，則按照公式(11)、(12)進行更新。

(3)diversity>ε1，difference≤ε2，多樣性較好，不做操作，用公式(11)、(12)繼續(xù)下一次迭代。

(4)diversity>ε1，difference>ε2，多樣性較好，不做操作，用公式(11)、(12)繼續(xù)下一次迭代。

3.3優(yōu)化過程

用粒子群優(yōu)化算法進行優(yōu)化的過程如下：

(1)設置最大迭代次數(shù)T值，設置學習因子d1與d2的值，

(3)將當前的粒子權重值作為個體最優(yōu)適應度的值，本粒子的個體最優(yōu)值設置為Bibest，而將種群中粒子的權重值最大的設置為全局最優(yōu)適應度的值，對應的狀態(tài)設置為全局最優(yōu)值Gbest。

(4)根據(jù)公式(11,12)計算Vit+1與Xit+1。

(18)

(6)比較粒子當前的適應度值與自身適應度最優(yōu)值，如果當前值比自身最優(yōu)值大，則用當前值代替?zhèn)€體最優(yōu)值Bibest，同時比較當前的適應度值與全局最優(yōu)適應度值，如果粒子當前值最優(yōu)，則把該粒子的值給種群全局最優(yōu)值Gbest。

(7)根據(jù)3.2節(jié)，計算diversity和difference，并根據(jù)diversity和difference的關系來進行相應的更新處理，找到一組最優(yōu)的粒子。

(8)如果迭代次數(shù)t達到最大值T，或者粒子的最優(yōu)值符合設定的閾值ε時，則結束尋優(yōu)過程；否則t=t+1，轉到第(4)步。

4仿真實驗與結果分析

本實驗所用的CPU為雙核 Intel? CoreTMi5-3470 CPU @3.20GHz 3.20GHz 內(nèi)存為4.00 GB 64位操作系統(tǒng)。軟件為MATLAB 7.11.0(R2010b)。所用的視頻為基于DSP的芯片TI DM3730開發(fā)的視頻采集系統(tǒng)所采集的視頻序列。

為了驗證本文的算法，對采集的視頻圖像分別用粒子濾波方法、標準的粒子群優(yōu)化粒子的方法，以及本文改進的粒子群優(yōu)化粒子(IMPSO-PF)的方法進行試驗。本文所用的改進的粒子群優(yōu)化粒子濾波算法進行人臉跟蹤過程如下：

首先用AdaBoost分類器在視頻圖像序列中找到人臉目標區(qū)域，得到人臉目標的位置和大?。簒0，y0，r。標記為粒子狀態(tài)X0，計算人臉目標區(qū)域的改進的空間直方圖h(u)={pu,μu,Cu}，u=1,2,…,B,作為目標模板。

用3.3節(jié)粒子群優(yōu)化粒子濾波的方法優(yōu)化粒子，計算經(jīng)過粒子群優(yōu)化后的粒子的權值，并對其歸一化。

(19)

由一組優(yōu)化后的粒子得到最后的輸出狀態(tài)為：

(20)

本實驗主要是對粒子的狀態(tài)進行了估計，以及對估計的誤差進行了分析。實驗中采用的誤差公式為：

圖3　用不同方法估計的粒子狀態(tài)

圖4用不同方法產(chǎn)生的誤差

圖3中，實線為每幀圖像中要跟蹤的人臉的準確坐標，從第100幀圖像開始，直到139幀，共40幀圖像。第100幀要跟蹤的人臉坐標為(559,135)，第139幀的人臉坐標為(31,136)，目標從圖像的右邊進入直到從左邊離開。用粒子濾波時，其誤差較大。用PSO-PF方法誤差較小，用本文的IMPSO-PF方法是誤差最小，見圖4。這是由于用粒子群方法，粒子不斷向高似然區(qū)域運動。同時用本文提出的非均勻的空間直方圖的方法提高了跟蹤的準確率，用本文提出的以及考慮鄰域粒子對自身的影響提高了粒子尋優(yōu)的精度，提高了粒子的多樣性程度，防止了粒子早熟。

圖5為用IMPSO-PF的跟蹤過程。

第100幀

第111幀

第119幀

第130幀

第139幀

在100幀用AdaBoost方法選出最右邊的人臉，然后開始對該人臉進行跟蹤，直到113幀該臉沒有被遮擋，所以此時模板無需更新。但是從113幀開始，該臉被另一個人臉遮擋，此時需要在每一幀后要更新模板，該模板實質為原來臉模板減去被遮擋的部分剩下的模板。但是在第119幀時，另外一個人臉完全遮擋住該臉，此時不可以用另外一個人臉模板進行更新，否則跟蹤會失敗，此時應該用最初臉的模板去掉被遮擋的部分以后剩下的部分作為模板。當該人臉逐漸從被遮擋的人臉中出來以后，模板也要進行實時更新，直到全部離開遮擋物，此時的模板實際上是初始的目標人臉的模板。

5結語

本文提出了非均勻的空間直方圖提高了識別的精度，同時改進了粒子群優(yōu)化粒子濾波的方法，提出了多樣性函數(shù)以及粒子集中度的函數(shù)，通過它們的關系來控制更新公式，即使粒子向權值較大的方向運動，既保證了粒子的多樣性，也防止了粒子的較早地成熟。實驗證明，與PF方法以及PSO-PF方法相比，該算法能夠穩(wěn)健可靠地跟蹤目標，即使背景顏色與目標顏色信息相近且具有部分遮擋或者全部遮擋的情況下，也能夠實現(xiàn)準確的跟蹤，而且誤差較小。

參考文獻：

[1] K.Nummiaro,E.Koller-Meie,L.V.Gool.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1):99-110.

[2] 姚志均.一種新的空間直方圖相似性度量方法及其在目標跟蹤中的應用[J].電子與信息學報, 2013,35(7):1644-1649.

[3] 汲清波,耿麗群,任超. 高斯粒子群優(yōu)化粒子濾波檢測前跟蹤算法[J].計算機工程與應用，2013,50(17):205-209.

[4] 王娟,江艷霞,唐彩虹.融合顏色和輪廓的粒子濾波人臉跟蹤[J]. 光電工程,2012,39(10):32-39.

[5] Ying Li,Bendu Bai,Yanning Zhang.Improved particle swarm optimization algorithm for fuzzy multi-classSVM[J].Journal of Systems Engineering and Electronics,2010,21(3):509-513.

[6] 陳志敏,薄煜明,吳盤龍，等. 混沌粒子群優(yōu)化粒子濾波算法[J].電光與控制,2013,20(1):36-40.

[7] 周奇.基于改進粒子濾波的人臉跟蹤算法的研究[D].重慶: 重慶大學, 2010.

[8] 李睿,苑柳青,李明.基于粒子群優(yōu)化的Unscented粒子濾波算法[J].計算機工程, 2011,37(13):153-155.

[9] 姚海濤,朱福喜,陳海強.一種自適應的PSO粒子濾波人臉視頻跟蹤方法[J].武漢大學學報：信息科學版, 2012,37(4):492-495.

[10][14] 陳志敏,薄煜明,吳盤龍,等.基于自適應粒子群優(yōu)化的新型粒子濾波在目標跟蹤中的應用[J].控制與決策,2013,28(2):193-200.

[11] 陳志敏,薄煜明,吳盤龍,等.收斂粒子群全區(qū)域自適應粒子濾波算法及其應用[J].南京理工大學學報,2012,36(5):861-868.

[12] 張楠,蔡念,張海員.基于空間直方圖的粒子濾波目標跟蹤算法[J].計算機工程與應用,2011，47(21):210-213.

[13 ] 胥小波,鄭康鋒,李丹，等. 新的混沌粒子群優(yōu)化算法[J].通信學報,2012,33(1):24-30.

(責任編輯：尹曉琦)

Face Tracking Based on Improved Particle SwarmOptimization on Particle Filter

YAN Shi1,YANG Ding-li2,ZHANG Yu-lin2,YANG Yu-dong2,JI Ren-dong2,3,HUANGFU Li-qun2

(1.College of Extended Education,Huaiyin Institute of Technology, Huai'an Jiangsu 223001, China;2.Faculty of Electronic and Electrical Engineering,Huaiyin Institute of Technology,Huai'an Jiangsu 223003,China;3.College of Science,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China)

Abstract:In order to solve the "particle degeneracy", "particle poor", "local optimum", "particle precocious" and other questions which appeared in face tracking based on particle swarm optimization particle filtering, a method of face tracking based on improved particle swarm optimization particle filter (IMPSO-PF) was proposed. In this method, firstly, tracking clue based on non-uniform color space was proposed, it improved the robustness of the tracking. Secondly, the diversity function (diversity) and concentration degree function (difference) were proposed. Speed and position were updated according to the relationship between diversity and difference. All particles moved to the high likelihood area. Experiments showed that the method not only ensured the particles diversity, but also prevented particles from being precocious.

Key words:particle swarm;particle filter;face tracking;non-uniform spatial histogram;diversity function;concentration degree function.

中圖分類號：TP391.41

文獻標識碼：A

文章編號：1009-7961(2016)01-0012-07

作者簡介：嚴石 (1969- )，男，江蘇淮安人，高級實驗師，主要從事嵌入式系統(tǒng)和數(shù)字信號處理研究。

基金項目:淮安市科技支撐計劃工業(yè)項目(HAG2013064)；淮陰工學院科研基金項目(HGB1202)

收稿日期：2015-11-27