一種基于Camshift聚類的粒子濾波人臉跟蹤算法

張江鑫，陳 林，吳佳穎(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

一種基于Camshift聚類的粒子濾波人臉跟蹤算法

張江鑫，陳 林，吳佳穎
(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

針對Camshift算法無法處理相似背景顏色干擾、背景復(fù)雜和傳統(tǒng)粒子濾波人臉跟蹤算法中的粒子退化、計(jì)算量大等問題，提出了一種基于Camshift聚類的粒子濾波人臉跟蹤算法.在粒子濾波框架下，將Camshift算法中的聚類方法引入人臉狀態(tài)估計(jì)中，使每個粒子沿著梯度最大方向迭代至局部密度最大值區(qū)域，讓所有粒子移動到與人臉顏色相似的區(qū)域.實(shí)驗(yàn)結(jié)果表明：該算法用較少的粒子實(shí)現(xiàn)了人臉曲線無規(guī)則運(yùn)動的跟蹤，在光照和遮擋問題上有較好的魯棒性.該算法性能明顯優(yōu)于傳統(tǒng)的粒子濾波人臉跟蹤算法，用于實(shí)現(xiàn)人臉跟蹤具有很好的實(shí)時性、魯棒性和有效性.

Camshift；粒子濾波；聚類；人臉跟蹤

人臉跟蹤作為運(yùn)動分析的關(guān)鍵技術(shù)之一，已受到國內(nèi)外的科研機(jī)構(gòu)和眾多學(xué)者的廣泛關(guān)注.Camshift算法和粒子濾波算法是目前常見的兩種人臉跟蹤算法.Camshift算法是通過人臉膚色信息顏色直方圖的均值漂移[1]實(shí)現(xiàn)人臉跟蹤，但有相似背景干擾時會跟蹤失敗.Isard[2]最早將粒子濾波引入目標(biāo)跟蹤中，解決了卡爾曼濾波無法進(jìn)行非線性[3]非高斯人臉運(yùn)動的狀態(tài)預(yù)測問題，但易出現(xiàn)粒子退化.很多學(xué)者將Camshift算法和粒子濾波算法結(jié)合起來：吳天瑞等[4]提出將膚色色度信息融合于粒子濾波技術(shù)中，杜云明等[5]提出基于HSV膚色及空間特征的粒子濾波人臉跟蹤算法.但這些算法僅僅使用單一膚色特征，無法實(shí)現(xiàn)復(fù)雜多變場景中的人臉跟蹤，所以也有學(xué)者在粒子濾波框架中融合多特征信息.田卉等[6]將加權(quán)顏色直方圖和旋轉(zhuǎn)復(fù)合小波融合到粒子濾波跟蹤框架中；Tian[7]提出一種結(jié)合膚色和Gabor紋理特征的粒子濾波人臉跟蹤算法.這些算法確實(shí)在人臉旋轉(zhuǎn)、背景膚色干擾和遮擋問題上有較好的魯棒性，但多特征[8-9]的加入增加了計(jì)算復(fù)雜度，也沒有解決粒子退化問題.

Camshift聚類方法[10-11]能加快目標(biāo)收斂速度，筆者引入觀測信息[12]，采用新的重要性密度函數(shù)[13]，將Camshift聚類方法引入粒子濾波人臉狀態(tài)估計(jì)中，設(shè)計(jì)出基于Camshift聚類的粒子濾波人臉跟蹤算法，簡稱CCPF(Camshift clustering particle filter)，解決了粒子退化問題，用于人臉跟蹤具有很好的實(shí)時性、魯棒性和有效性.

1 現(xiàn)有人臉跟蹤算法分析

1.1 Camshift人臉跟蹤算法分析

Camshift人臉跟蹤算法是基于顏色直方圖的一種有效的人臉跟蹤算法，它對初始的人臉跟蹤區(qū)域進(jìn)行反向投影得到顏色概率分布圖像，對其進(jìn)行迭代運(yùn)算使人臉區(qū)域收斂，求出搜索窗口的質(zhì)心位置和零階矩陣，并用來設(shè)置下一幀人臉圖像的位置和尺寸.在人臉跟蹤過程中，人臉的運(yùn)動會引起顏色概率分布圖像中顏色區(qū)域大小和位置的變化，這時Camshift人臉跟蹤算法就要在計(jì)算過程中不斷調(diào)整人臉?biāo)阉鲄^(qū)域的大?。籆amshift人臉跟蹤算法是連續(xù)自適應(yīng)算法，能夠自動調(diào)節(jié)人臉?biāo)阉鲄^(qū)域的大小和位置，并且根據(jù)當(dāng)前幀搜索的結(jié)果來預(yù)測下一幀圖像中人臉區(qū)域的重心和大小.該算法跟蹤人臉比較穩(wěn)定，且實(shí)時性比較好.但在人臉跟蹤過程中處理相似背景顏色干擾、背景復(fù)雜等問題時效果不好，容易導(dǎo)致跟蹤失敗.

1.2 粒子濾波人臉跟蹤算法分析

粒子濾波人臉跟蹤算法是一種基于蒙特卡羅的估計(jì)算法，可以求解后驗(yàn)概率密度函數(shù)的最優(yōu)解.通過在搜索區(qū)域以高斯模型投撒粒子，經(jīng)過狀態(tài)轉(zhuǎn)移預(yù)測和重要性采樣對這些粒子進(jìn)行權(quán)值更新，歸一化加權(quán)確定最佳后驗(yàn)概率密度函數(shù)，確定出下一幀中人臉的最佳位置和尺寸.在權(quán)值更新過程中，傳統(tǒng)的粒子濾波算法是將先驗(yàn)概率密度函數(shù)作為重要性密度函數(shù)，這樣做的缺陷在于粒子的選取沒有利用當(dāng)前的觀測值，在多次迭代以后只有少數(shù)的粒子得到較大的權(quán)值.在后續(xù)的狀態(tài)轉(zhuǎn)移預(yù)測過程中，大量的計(jì)算浪費(fèi)在權(quán)值較小的粒子上，導(dǎo)致大量粒子在采樣中被丟棄，加劇粒子的退化.所以需要通過重采樣緩解粒子退化，根據(jù)粒子權(quán)值的大小重新分配粒子，但這也大大增加了計(jì)算復(fù)雜度，影響了人臉狀態(tài)估計(jì)的效率.

如果能利用當(dāng)前的觀測值，并采用新的重要性密度函數(shù)更新權(quán)值公式，將所有的粒子移動到人臉顏色相似的區(qū)域內(nèi)，就可以實(shí)現(xiàn)用較少的粒子數(shù)準(zhǔn)確地估計(jì)出后驗(yàn)概率密度函數(shù).如此就可以解決粒子退化問題，舍棄重采樣步驟，大大減少計(jì)算復(fù)雜度，提高人臉狀態(tài)估計(jì)的效率.

2 基于Camshift聚類的粒子濾波人臉跟蹤算法研究

2.1 算法的提出

在粒子濾波人臉跟蹤算法中，粒子數(shù)的多少決定了每一幀圖像對人臉匹配運(yùn)算的次數(shù)，粒子數(shù)越多，耗時越多.狀態(tài)轉(zhuǎn)移預(yù)測過程決定了下一幀粒子的散部區(qū)域，如果能將粒子集中在某一區(qū)域就可以用少數(shù)粒子準(zhǔn)確預(yù)測人臉位置進(jìn)行跟蹤.

為了用較少的粒子數(shù)目實(shí)現(xiàn)準(zhǔn)確的人臉跟蹤，可以將Camshift算法中的聚類方法應(yīng)用到轉(zhuǎn)移預(yù)測過程，加入當(dāng)前時刻的觀測值，使建議分布函數(shù)包含最新的觀測信息，讓先驗(yàn)分布函數(shù)更加準(zhǔn)確；并采用新的重要性密度函數(shù)，摒棄傳統(tǒng)粒子濾波算法將先驗(yàn)概率密度函數(shù)作為重要性密度函數(shù)的做法，使大多數(shù)粒子在采樣中不被丟棄，提高了粒子傳播的準(zhǔn)確性.粒子經(jīng)過聚類處理算法之后，均朝向梯度最大的方向移動，集中在真實(shí)人臉區(qū)域附近.最后進(jìn)行顏色相似度比較求出似然函數(shù)，并帶入權(quán)值更新公式求出粒子的權(quán)值.迭代后的粒子大多移動到了人臉區(qū)域附近，獲得大的權(quán)值，而權(quán)值小的粒子很少，克服了粒子退化問題.

粒子經(jīng)過聚類獲得的權(quán)值都很大，粒子集中在人臉區(qū)域附近，所以即使很少的粒子也能很好地反映人臉區(qū)域狀態(tài)，提高了粒子的使用效率，簡化了計(jì)算復(fù)雜度，增加了跟蹤準(zhǔn)確性，所以該算法不需要大量的粒子就可以實(shí)現(xiàn)人臉跟蹤.

2.2 粒子聚類處理算法

(1)

p(xt|y1:t)=p(xt|yt,y1:t)

(2)

2)將狀態(tài)轉(zhuǎn)移預(yù)測后的粒子用Camshift算法沿著梯度最大方向迭代至局部最大值區(qū)域，粒子均移動到其附近與目標(biāo)模型顏色相似的區(qū)域，得到新的粒子狀態(tài)

(3)

其中CCPF(·)為Camshift聚類的粒子濾波方程，即

(4)

式中：h為核函數(shù)窗口半徑；Xn=(xn,yn)為粒子所在區(qū)域的像素位置；g(x)為輪廓函數(shù)k(x)的負(fù)導(dǎo)函數(shù).

3)引入新的重要性采樣函數(shù)

(5)

式(5)以聚類優(yōu)化后的粒子新狀態(tài)為采樣中心，既考慮了粒子的狀態(tài)轉(zhuǎn)移，又考慮了目標(biāo)的當(dāng)前觀測.此時高斯模型的方差為σ′2，其大小取決于經(jīng)聚類優(yōu)化后粒子接近真實(shí)目標(biāo)的概率，即σ′2越小，優(yōu)化后粒子越接近真實(shí)目標(biāo).

2.3 筆者算法流程

一種基于Camshift聚類的粒子濾波人臉跟蹤算法具體流程圖如圖1所示.

圖1 筆者算法流程圖Fig.1 Flow chart of the algorithm

3 實(shí)驗(yàn)及結(jié)果分析

所有仿真結(jié)果基于Inter酷睿i5-2410m處理器，4GB內(nèi)存，vs2012開發(fā)環(huán)境.采集3段實(shí)驗(yàn)視頻用于以下幾組實(shí)驗(yàn)，比較筆者算法和傳統(tǒng)粒子濾波人臉跟蹤算法的性能差異.每段視頻截取長度為200幀，每幀圖像的分辨率205×153，實(shí)驗(yàn)幀率為15fps.

第1組實(shí)驗(yàn)是比較兩種算法在不同粒子數(shù)下的跟蹤性能，筆者算法采用25個粒子進(jìn)行實(shí)驗(yàn)，傳統(tǒng)粒子濾波算法則采用25個粒子和50個粒子分別進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)視頻中人臉只進(jìn)行橫向和縱向運(yùn)動.第2組實(shí)驗(yàn)是對第1組實(shí)驗(yàn)的補(bǔ)充，比較兩種算法在粒子數(shù)分別為25，50個時的耗時情況，進(jìn)一步體現(xiàn)跟蹤性能差異，實(shí)驗(yàn)在MATLAB7.0上進(jìn)行仿真.第3組實(shí)驗(yàn)是測試兩種算法在光照變化和遮擋情況下的魯棒性，筆者算法采用25個粒子進(jìn)行實(shí)驗(yàn)，傳統(tǒng)粒子濾波算法采用50個粒子進(jìn)行實(shí)驗(yàn).

3.1 不同粒子數(shù)下的跟蹤性能比較

圖2為兩種算法在不同粒子數(shù)下的跟蹤結(jié)果，實(shí)驗(yàn)視頻為采集的第1段視頻，其中，藍(lán)色框體為同一時刻的粒子狀態(tài)圖，紅色區(qū)域?yàn)樽罱K確定的人臉區(qū)域.圖2(a)為筆者算法實(shí)驗(yàn)結(jié)果，圖像分別為視頻的第1，25，50幀.可以發(fā)現(xiàn)：通過粒子聚類使粒子沿梯度方向迭代到局部密度最大值區(qū)域，僅使用25個粒子使得所有的粒子聚集在人臉相似的區(qū)域，解決了粒子退化的問題，能夠準(zhǔn)確地跟蹤人臉.圖2(b)為傳統(tǒng)粒子濾波算法實(shí)驗(yàn)結(jié)果，圖像分別為視頻的第75，100，125幀.因?yàn)槭褂玫牧Ｗ訑?shù)過少，粒子隨機(jī)的狀態(tài)過于分散，即便用重采樣將粒子按權(quán)值重新分配，權(quán)值較大的粒子區(qū)域也不準(zhǔn)確，易跟蹤失敗.圖2(c)為傳統(tǒng)粒子濾波算法采用50個粒子，圖像分別為視頻的第150，175，200幀，因?yàn)榱Ｗ訑?shù)較多加上重采樣，基本上可以實(shí)現(xiàn)人臉跟蹤.但是藍(lán)色框體并沒有聚在一起，粒子的狀態(tài)為隨機(jī)狀態(tài)，即使有重采樣，這些粒子聚集效果也不好.

更進(jìn)一步的不同粒子數(shù)下的跟蹤準(zhǔn)確率見圖3，可見筆者算法明顯優(yōu)于傳統(tǒng)跟蹤算法.隨著粒子數(shù)的增加，準(zhǔn)確率幅度增加越快；當(dāng)粒子數(shù)為180個時，準(zhǔn)確率增長減緩，筆者算法在近200個粒子數(shù)時達(dá)到峰值為82.3%，而傳統(tǒng)跟蹤算法最大準(zhǔn)確率只有55.4%.

通過實(shí)驗(yàn)可以發(fā)現(xiàn)：筆者算法將聚類算法嵌入粒子濾波框架中，只需較少粒子就能實(shí)現(xiàn)準(zhǔn)確跟蹤，大大提高跟蹤效率和準(zhǔn)確性，較傳統(tǒng)粒子濾波算法性能更好.

圖2 不同粒子數(shù)跟蹤性能比較Fig.2 Comparison of tracking performance with different number of particles

圖3 不同粒子數(shù)跟蹤準(zhǔn)確率曲線圖Fig.3 Graph with different number of the particle tracking accuracy

3.2 算法耗時比較

為了進(jìn)一步說明筆者算法在人臉跟蹤性能上的優(yōu)越性，對兩種算法在不同粒子數(shù)下的平均耗時進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)視頻仍為采集的第1段視頻，表1為具體的實(shí)驗(yàn)結(jié)果.由表1可以發(fā)現(xiàn)：在相同粒子數(shù)下，傳統(tǒng)粒子濾波算法耗時明顯大于筆者算法，因?yàn)閭鹘y(tǒng)粒子濾波算法為了解決粒子退化問題，在權(quán)值更新后需要通過閾值判斷是否加入重采樣，且重采樣分配粒子耗時較長；而筆者算法通過Camshift聚類算法將所有粒子都聚集在人臉相似的區(qū)域，解決了粒子退化問題，不需要重采樣，節(jié)約了時間，同時也證明了用聚類算法迭代粒子增加的時間與傳統(tǒng)粒子濾波算法中的重采樣階段的時間相比要少一點(diǎn)，所以筆者算法在保證準(zhǔn)確性的同時也減少了每幀圖像的處理時間，具有更好的實(shí)時性.

筆者算法也存在缺陷，在初始化人臉狀態(tài)時由于需要使用Camshift聚類聚集所有粒子于人臉區(qū)域，因此初始化單幀的耗時會高于傳統(tǒng)的粒子濾波人臉跟蹤算法，但后續(xù)每幀均優(yōu)于傳統(tǒng)粒子濾波人臉跟蹤算法.

表1 不同粒子數(shù)下的粒子濾波人臉跟蹤算法的幀率實(shí)驗(yàn)

Table 1 The frame rate test of particle filter face tracking algorithm with different number of particles

算法25個耗時/ms幀率/fps50個耗時/ms幀率/fps筆者算法6216.18312.0傳統(tǒng)算法7513.39810.2

3.3 光照和遮擋實(shí)驗(yàn)

為了體現(xiàn)筆者算法在復(fù)雜情況下的魯棒性，筆者進(jìn)行了光照和遮擋實(shí)驗(yàn).圖4為光照實(shí)驗(yàn)的結(jié)果，實(shí)驗(yàn)視頻為采集的第3段視頻，圖4(a,b)中的圖像均為第1,50,100幀的視頻跟蹤結(jié)果.圖4(a)為筆者算法實(shí)驗(yàn)光照變化的結(jié)果，可以發(fā)現(xiàn)筆者算法在第50幀光線太暗的情況下依然可以實(shí)現(xiàn)跟蹤.圖4(b)為傳統(tǒng)粒子濾波算法實(shí)驗(yàn)光照變化的實(shí)驗(yàn)結(jié)果，在光線很暗的情況下已經(jīng)無法準(zhǔn)確跟蹤人臉.當(dāng)光線較強(qiáng)時兩種算法都能很好的跟蹤人臉.但是當(dāng)光線較差時，筆者算法能較好的實(shí)現(xiàn)人臉跟蹤，傳統(tǒng)的粒子濾波算法會出錯，可見筆者算法魯棒性更好.

圖5為進(jìn)行遮擋實(shí)驗(yàn)的結(jié)果，實(shí)驗(yàn)視頻為采集的第4段視頻，圖5(a，b)中的圖像均為第1，50，100幀的視頻跟蹤結(jié)果.圖5(a)為筆者算法進(jìn)行遮擋實(shí)驗(yàn)的結(jié)果，可以發(fā)現(xiàn)：進(jìn)行局部遮擋可以實(shí)現(xiàn)跟蹤，但全部遮擋無法實(shí)現(xiàn)跟蹤，而是選擇了與人臉相似的手部區(qū)域.圖5(b)為傳統(tǒng)粒子濾波人臉跟蹤算法的實(shí)驗(yàn)結(jié)果，即便增加粒子數(shù)，在局部遮擋情況下確定的人臉區(qū)域準(zhǔn)確性也差于筆者算法，當(dāng)然在全部遮擋時也無法實(shí)現(xiàn)人臉跟蹤.當(dāng)出現(xiàn)局部遮擋時，筆者算法較傳統(tǒng)的粒子濾波算法更為準(zhǔn)確，但是當(dāng)全部遮擋時，兩種算法都無法實(shí)現(xiàn)人臉跟蹤.

通過上述兩個實(shí)驗(yàn)也證明了筆者算法在惡劣環(huán)境下的魯棒性，更加適合應(yīng)用在真實(shí)的場景中.

圖4 不同粒子濾波人臉跟蹤算法光照實(shí)驗(yàn)Fig.4 Illumination test of face tracking algorithm with different particle filter

圖5 不同粒子濾波人臉跟蹤算法遮擋實(shí)驗(yàn)Fig.5 Occlusion test different particle filter face tracking algorithms

4 結(jié) 論

筆者在粒子濾波框架下提出了一種基于Camshift聚類的粒子濾波人臉跟蹤算法，通過Camshift算法迭代每個粒子，使每個粒子沿著梯度最大方向迭代至局部密度最大值區(qū)域，讓所有粒子移動到與人臉顏色相似的區(qū)域，使粒子集更好滿足狀態(tài)后驗(yàn)概率密度函數(shù).聚類以后這些粒子很好地反映了人臉狀態(tài)，因此會獲得較大的權(quán)值，而權(quán)值小的粒子則很少，很好地解決了計(jì)算量大、粒子退化等問題.通過3組實(shí)驗(yàn)發(fā)現(xiàn)：筆者算法使用較少的粒子便能很好地反映目標(biāo)狀態(tài)，相比傳統(tǒng)的粒子濾波算法減少了許多權(quán)值很小的粒子，提高了粒子的使用效率，減少了算法耗時；并且在人臉無規(guī)則曲線運(yùn)動中實(shí)時準(zhǔn)確跟蹤，克服了傳統(tǒng)粒子濾波人臉跟蹤算法只能跟蹤人臉勻速直線運(yùn)動的缺點(diǎn)，在光照變化和遮擋情況下具有較好的魯棒性.

[1] 周芳芳,樊曉平,葉榛.均值漂移算法的研究與應(yīng)用[J].控制與決策,2007,22(8):841-847.

[2] ISARD M, BLAKE A. Visual tracking by stochastic propagation of conditional density[C]//International Journal of Computer Vision. Proceedings of 4thEuropean Conference Computer Vision. Cambridge: International Journal of Computer Vision,1996:343-356.

[3] 張美玉,侯向輝,任煒彬,等.基于非線性最小乘的人臉姿態(tài)估計(jì)算法[J].浙江工業(yè)大學(xué)學(xué)報,2016,44(1):34-38.

[4] 吳天瑞,鄒月嫻,王巍.基于膚色信息的粒子濾波人臉跟蹤技術(shù)[C]//北京圖象圖形學(xué)學(xué)會.第三屆圖像圖形技術(shù)與應(yīng)用學(xué)術(shù)會議論文集.北京：北京圖象圖形學(xué)學(xué)會,2008:68-73.

[5] 杜云明,劉啟生,邵東偉,等.基于膚色特征的粒子濾波人臉跟蹤算法[C]//中國體視學(xué)學(xué)會.第十二屆中國體視學(xué)與圖像分析學(xué)術(shù)會議論文集.北京:中國體視學(xué)學(xué)會,2008:32-37.

[6] 田卉,沈庭芝,趙三元,等.綜合顏色和紋理特征的粒子濾波人臉跟蹤算法[J].北京理工大學(xué)學(xué)報,2010,30(4):469-473.

[7]TIANT.基于膚色和Gabor紋理的粒子濾波人臉跟蹤[J].計(jì)算機(jī)工程,2014,40(7):123-127.

[8] 鄭博,毛劍飛,梁榮華.基于紋理權(quán)重的AAM人臉特征點(diǎn)檢測方法[J].浙江工業(yè)大學(xué)學(xué)報,2012,40(6):661-665.

[9] 繆永偉,王洪軍,壽華好.一種環(huán)形特征線的快速提取方法[J].浙江工業(yè)大學(xué)學(xué)報,2013,41(5):529-533.

[10] 初紅霞.基于均值移動和粒子濾波的人臉跟蹤關(guān)鍵技術(shù)研究[D].哈爾濱：哈爾濱工程大學(xué),2012.

[11] 劉玄.基于粒子濾波的視頻人臉跟蹤算法研究[D].西安：西安電子科技大學(xué),2013.

[12] 高建坡,楊浩,安國成,等.基于均值移動重要性采樣的粒子濾波人臉跟蹤算法[J].東南大學(xué)學(xué)報(英文版),2007,23(2):196-201.

[13] 王兆光,王敬東,李鵬.一種Camshift優(yōu)化的粒子濾波跟蹤算法[J].光電子技術(shù),2010,30(1):58-63.

[14]COMANICIUD,RAMESHV,MEERP.Kernel-basedobjecttracking[J].IEEEtransactionsonpatternanalysis&machineintelligence,2003,25(5):564-575.

(責(zé)任編輯：朱小惠)

A particle filter algorithm for face tracking based on Camshift clustering

ZHANG Jiangxin, CHEN Lin, WU Jiaying
(College of Information Engineering, ZheJiang University of Technology, Hangzhou 310023, China)

Specific to Camshift algorithm can not handle similar background color, complex background and degradation and complicated calculation of traditional particle filter algorithm for face tracking, this paper proposes a new particle filter algorithm for face tracking based on Camshift clustering. In the framework of particle filter, clustering method in Camshift algorithm is introduced into face statement estimation. Each particle is iterated along the gradient direction to the region of maximum local density so that all particles move to the region with the same face color. Experiments show that effective face tracking of curved irregular motion is achieved with fewer particles and have better robustness in the problem of light and occlusion. The performance of the proposed algorithm is obviously better than the traditional particle filter algorithm for face tracking, which is real-time, robust and effective for face tracking.

Camshift; particle filter; clustering; face tracking

2016-05-17

浙江省級重點(diǎn)科技創(chuàng)新團(tuán)隊(duì)項(xiàng)目(2012R10011-01)

張江鑫(1964—)，男，浙江海寧人，副教授，碩士，研究方向?yàn)樾畔⑴c通信工程，E-mail: zjx@zjut.edu.cn.

TP391.41

A

1006-4303(2017)02-0168-05