基于相關(guān)濾波的改進(jìn)Staple人臉跟蹤算法?

劉鵬，賴(lài)惠成，王俊南，王睿

(新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046)

0 引言

人臉檢測(cè)與跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域中的研究熱點(diǎn)，其成果可廣泛應(yīng)用于視頻監(jiān)控、邊境安檢、家庭安全、政府安防等多種領(lǐng)域[1?9]，應(yīng)用領(lǐng)域十分廣闊，與人類(lèi)生活息息相關(guān).近年來(lái)，各種優(yōu)秀的人臉跟蹤算法不斷被提出，但在應(yīng)對(duì)人臉旋轉(zhuǎn)、消失、被遮擋等情況下效果并不理想，因此，研究復(fù)雜運(yùn)動(dòng)中的人臉跟蹤尚有重要的意義.

現(xiàn)階段，最早將相關(guān)濾波用于目標(biāo)跟蹤的是MOSSE[10]算法，其采用的是灰度特征，速度能達(dá)到615fps，遠(yuǎn)超同時(shí)期的其他算法.但相應(yīng)的，由于采用的特征單一，其準(zhǔn)確度并不高.CSK[11]在MOSSE的基礎(chǔ)上提出了稠密采樣，并且引入了循環(huán)矩陣和核的概念，仍采用灰度特征，速度上達(dá)到了320fps，精度上相比MOSSE有所提升，從此循環(huán)矩陣和核函數(shù)在相關(guān)濾波的目標(biāo)跟蹤領(lǐng)域大放異彩.兩年后，作者在CSK的基礎(chǔ)上進(jìn)行完善，提出了KCF算法[12].KCF采用的HOG多通道特征，其中由CSK的單通道特征拓展到多通道特征這一點(diǎn)對(duì)后來(lái)的算法啟發(fā)價(jià)值很大，既有循環(huán)矩陣傅里葉對(duì)角化的利用來(lái)簡(jiǎn)化計(jì)算，又有對(duì)單通道特征應(yīng)用的拓展，可以適應(yīng)更多優(yōu)秀的特征描述子，這才有了以后眾多基于相關(guān)濾波器的優(yōu)秀算法.CN[13]同樣也是在CSK的基礎(chǔ)上提出來(lái)的，它采用多通道顏色特征Color Names(CN)，將RGB的三維紅、綠、藍(lán)顏色通道映射到符合人眼觀察的十一維顏色通道，并歸一化得到十維顏色通道特征.為了提高運(yùn)算速度，采用PCA降維的方法，將十維的特征降維到二維，提升了計(jì)算性能.Staple[14]是HOG特征和顏色概率特征的結(jié)合，不同于DSST[15]，它是在響應(yīng)階段的融合，不是在構(gòu)建特征模板階段的融合.顏色概率特征采用的是傳統(tǒng)的顏色直方圖，它將濾波響應(yīng)圖和顏色概率圖以一定的權(quán)值比例分配，融合特征結(jié)合后的得分圖來(lái)定位目標(biāo).Staple速度上能達(dá)到80fps，而且跟蹤精度也相當(dāng)高.相關(guān)濾波在跟蹤時(shí)具有高速性、魯棒性，將其應(yīng)用到人臉跟蹤領(lǐng)域中需要克服目標(biāo)人臉消失、遮擋、脫離鏡頭時(shí)的難題.

本文在Staple算法的啟發(fā)下，提出一種自適應(yīng)置信機(jī)制的人臉跟蹤算法.首先利用位置濾波器提取人臉檢測(cè)出來(lái)的人臉特定HOG特征與顏色概率模型提取人臉檢測(cè)出來(lái)的人臉顏色概率模型保留作為先驗(yàn)特征，并將人臉HOG特征相關(guān)濾波器與顏色概率特征分配一定的權(quán)重，進(jìn)行線性加權(quán)運(yùn)算得到多個(gè)不同判定偏向性的融合特征.然后建立一個(gè)置信度機(jī)制，對(duì)人臉融合特征進(jìn)行可信度判定，選取濾波器響應(yīng)值得分較高的融合特征作為跟蹤特征，以此來(lái)估計(jì)人臉的候選位置.在跟蹤過(guò)程中若最高可信度低于可信度閾值，則利用視頻首幀提取的HOG特征與顏色概率模型作為濾波模板，重新進(jìn)行濾波器的運(yùn)算.由于Staple是在響應(yīng)階段融合特征的，所以濾波模板不斷更新確保模型對(duì)跟蹤時(shí)特征描述的準(zhǔn)確性.基于存在人臉消失、遮擋、脫離鏡頭的測(cè)試庫(kù)算法分析，結(jié)合實(shí)際場(chǎng)景進(jìn)行性能驗(yàn)證.

1 相關(guān)濾波

相關(guān)濾波方法是近年來(lái)目標(biāo)跟蹤領(lǐng)域的主流方法.其基本思想是在信號(hào)處理中，用相關(guān)性來(lái)描述兩個(gè)因素之間的聯(lián)系，目標(biāo)越相似其相關(guān)值越大，濾波器得到的響應(yīng)值越大，最大響應(yīng)處作為跟蹤區(qū)域.2010年，David首次在目標(biāo)跟蹤中用到了相關(guān)濾波的方法，在此之后，大量基于相關(guān)濾波的跟蹤算法如雨后春筍不斷提出.

1.1 相關(guān)濾波的原理

相關(guān)性的直觀解釋就是衡量?jī)蓚€(gè)函數(shù)在某個(gè)時(shí)刻相似程度.假設(shè)存在兩個(gè)信號(hào)f和g，那么兩者之間的相關(guān)性為：

其中f?表示f的復(fù)共軛.這時(shí)需要一個(gè)濾波函數(shù)，計(jì)算出其在目標(biāo)上的響應(yīng)值.濾波器如下：

其中g(shù)為系統(tǒng)響應(yīng)值，f為輸入信號(hào)，h為濾波模板.對(duì)f輸入信號(hào)與h濾波模板進(jìn)行卷積計(jì)算，便可得到系統(tǒng)響應(yīng)值，卷積的計(jì)算比較耗時(shí)，所以David對(duì)其進(jìn)行快速傅里葉變換.變換后，卷積計(jì)算變成了點(diǎn)乘計(jì)算，降低了計(jì)算量.快速傅里葉變換后的公式：

即：

在跟蹤領(lǐng)域中，被跟蹤的目標(biāo)會(huì)在外觀上有所變化，會(huì)產(chǎn)生多幅圖像，需要對(duì)多幅圖像進(jìn)行相關(guān)濾波計(jì)算，David考慮到這一點(diǎn)，提出了MOSSE模型：

通過(guò)這個(gè)公式提高了濾波器模板在圖像處理中的魯棒性.為了進(jìn)行元素級(jí)操作，可將上式轉(zhuǎn)換為：

對(duì)上式求導(dǎo)可得最小的濾波模板Hwv?，如下公式：

推導(dǎo)后的濾波模板H為：

在跟蹤領(lǐng)域中，David對(duì)目標(biāo)跟蹤區(qū)域進(jìn)行隨機(jī)仿射變換，獲得Fi訓(xùn)練樣本，那么gi便是fi中心點(diǎn)的高斯函數(shù)峰值.

David又設(shè)計(jì)如下的模板更新策略：

η為一個(gè)參數(shù)，在過(guò)程中不斷更新，在這個(gè)模板更新策略下，濾波器對(duì)目標(biāo)形變、光照變化具備更好的魯棒性.

在本文中，位置濾波器和顏色概率模型用于提取樣本特征.然后通過(guò)對(duì)兩個(gè)響應(yīng)圖通過(guò)線性加權(quán)的方式進(jìn)行組合，得到最終的目標(biāo)位置響應(yīng)圖.其組合公式如下：

融合特征的響應(yīng)函數(shù)為ff，權(quán)重分配因子為ω，顏色概率模型的響應(yīng)函數(shù)為fc，位置濾波器的響應(yīng)函數(shù)為fcf.通過(guò)對(duì)位置濾波器與顏色概率模型的響應(yīng)函數(shù)線性加權(quán)，合理分配權(quán)重因子ω，得到融合特征的響應(yīng)函數(shù).

權(quán)值分配因子[16]ω的變化，會(huì)使融合出的特征具有特征偏向性，以應(yīng)對(duì)變化的目標(biāo)及背景信息.本文在參考前人基礎(chǔ)上，通過(guò)大量實(shí)驗(yàn)得出了表現(xiàn)效果比較好的權(quán)值分配比例，具體如表1.

表1 融合特征多權(quán)重分配方式Tab 1 Fusion feature multi-weight distribution

1.2 基于Staple的改進(jìn)人臉跟蹤算法

Staple在跟蹤準(zhǔn)確性與實(shí)時(shí)性上都表現(xiàn)出較好的效果，因此本文算法采用Staple算法作為基本框架.

跟蹤框架主要分為濾波模板的建立、跟蹤區(qū)域的估計(jì)、和濾波模板更新等三個(gè)階段.

（1）根據(jù)人臉檢測(cè)出來(lái)的目標(biāo)人臉位置信息，利用位置濾波器提取人臉特定的HOG特征，利用顏色概率模型統(tǒng)計(jì)人臉區(qū)域的顏色特征，對(duì)兩者特征進(jìn)行訓(xùn)練，訓(xùn)練出一個(gè)能估計(jì)目標(biāo)位置和目標(biāo)尺度的相關(guān)濾波器，以此來(lái)建立目標(biāo)人臉模型.

（2）提取當(dāng)前幀的估計(jì)區(qū)域的HOG特征和統(tǒng)計(jì)顏色概率特征，使用前一幀確定的目標(biāo)人臉模型對(duì)兩種基礎(chǔ)特征分別進(jìn)行相關(guān)濾波處理.然后對(duì)得出的位置濾波器響應(yīng)值與顏色概率模型響應(yīng)值分配不同的權(quán)重進(jìn)行融合，在置信度機(jī)制下，對(duì)融合特征進(jìn)行可信度判定，選取相關(guān)性得分較高的融合特征作為跟蹤特征，估計(jì)人臉的候選位置.若最高可信度低于可信度閾值，則將視頻首幀的融合特征作為濾波模板，并進(jìn)行計(jì)算.最后使用尺度濾波器對(duì)目標(biāo)人臉進(jìn)行估計(jì)，完成跟蹤過(guò)程.

（3）更新階段.由于Staple是在響應(yīng)階段融合特征的，所以在跟蹤階段，需要對(duì)位置濾波器、膚色概率模型和尺度濾波器進(jìn)行不斷地更新.

位置濾波器主要是用來(lái)提取人臉區(qū)域HOG特征[17,18]，HOG特征的優(yōu)點(diǎn)是對(duì)顏色變化處理穩(wěn)定，缺點(diǎn)是當(dāng)目標(biāo)人臉發(fā)生旋轉(zhuǎn)、消失與快速移動(dòng)時(shí)較敏感.

位置濾波器主要是提取目標(biāo)區(qū)域的HOG特征并將其轉(zhuǎn)化為響應(yīng)圖.對(duì)目標(biāo)人臉區(qū)域提取d維特征，記作Fl,l∈(1,2,...,d)，為最優(yōu)的相關(guān)濾波器hl，需要構(gòu)建一個(gè)最小化代價(jià)函數(shù)，公式如下：

1.2.2 顏色概率模型

顏色概率模型[17]主要提取人臉區(qū)域顏色信息，以此來(lái)獲取相應(yīng)的響應(yīng)圖.顏色統(tǒng)計(jì)特征不屬于相關(guān)濾波的范疇，不受邊界效應(yīng)的影響，對(duì)于人臉旋轉(zhuǎn)、移動(dòng)以及表情變化表現(xiàn)效果較好，但受光照影響較大.

對(duì)顏色概率直方圖進(jìn)行歸一化操作，依靠統(tǒng)計(jì)的顏色特征判別是否為目標(biāo)人臉區(qū)域，以此來(lái)得到前景概率響應(yīng)圖.前景位置的響應(yīng)分?jǐn)?shù)越高就越有可能是目標(biāo)人臉的位置.響應(yīng)圖的得分公式如下：

M為像素個(gè)數(shù)，α為模型參數(shù)，φ(x)是第x幀中統(tǒng)計(jì)顏色特征的函數(shù).通過(guò)公式16計(jì)算出每個(gè)像素點(diǎn)的響應(yīng)分?jǐn)?shù)，從而得到目標(biāo)人臉區(qū)域的顏色概率響應(yīng)圖.運(yùn)動(dòng)中的人臉需要時(shí)刻的更新模型，所以采用最小化損失函數(shù)的方法.公式如下：

一方面，行政機(jī)構(gòu)多項(xiàng)稅制改革作為國(guó)庫(kù)支付制度改革、政府收支分類(lèi)改革的基礎(chǔ)，可以使財(cái)政資源使用效率得到很好的改善。

本文在RGB顏色空間中采用平均加權(quán)的方法統(tǒng)計(jì)直方圖得分.上式中，O為顏色概率模型所提取的目標(biāo)人臉區(qū)域的圖像個(gè)數(shù)，B為顏色概率模型在背景區(qū)域提取的圖像個(gè)數(shù)，α為模型參數(shù)，對(duì)于相關(guān)嶺回歸問(wèn)題，采用下式解決：

在公式(19)中，ρj(O)為目標(biāo)人臉的特征j的非零區(qū)域中像素比，ρj(B)為背景區(qū)域中特征j的非零區(qū)域中像素比，j為特征的維度數(shù)量，λ為權(quán)重.

在第t幀，學(xué)習(xí)率為η時(shí)，采用下式更新像素比：

1.2.3 多尺度濾波

在跟蹤過(guò)程中構(gòu)建一個(gè)尺度相關(guān)濾波器，實(shí)時(shí)的調(diào)整跟蹤框形狀大小.尺度濾波器模型的期望響應(yīng)函數(shù)是高斯函數(shù)，符合使用相關(guān)濾波的條件，構(gòu)建尺度池的方法如下：

其中W×H為前一幀人臉的大小，δ為尺度因子，n是比例濾波器的大小，S為特征維數(shù)，Sscale為尺度響應(yīng)值.尺度濾波器原理類(lèi)似于位置濾波器，期望函數(shù)也是高斯函數(shù)，不過(guò)是一維的而已.

1.2.4 跟蹤置信度

實(shí)際情況中，當(dāng)目標(biāo)人臉發(fā)生旋轉(zhuǎn)、消失與脫離鏡頭時(shí)，輸入特征信號(hào)與特征濾波模板的響應(yīng)值便不會(huì)很高，而此時(shí)估計(jì)區(qū)域的最大響應(yīng)值便不具備參考性，更新之后的濾波模板可能摻雜了其他無(wú)關(guān)特征.

所以跟蹤置信度機(jī)制的設(shè)定尤為關(guān)鍵，本文提出一個(gè)新穎的跟蹤置信度機(jī)制，流程如下.

（1）首先，對(duì)首幀人臉檢測(cè)后的人臉區(qū)域進(jìn)行特征提取，設(shè)置一個(gè)濾波模板h0，此濾波模板h0不再發(fā)生變化.

（2）當(dāng)跟蹤在視頻首幀時(shí)，將非人臉區(qū)域分為與人臉區(qū)域同等大小的多個(gè)分塊，設(shè)這些分塊區(qū)域?yàn)閖i，計(jì)算ki=ji?h0，計(jì)算完畢后取一個(gè)最大的響應(yīng)值maxki作為一個(gè)閾值.

（3）在視頻跟蹤過(guò)程中，人臉發(fā)生快速旋轉(zhuǎn)、消失和移動(dòng)時(shí)，此時(shí)g=f?h中的f便代表非人臉區(qū)域，h便代表人臉區(qū)域，此時(shí)g=f?h與ki=ji?h0表達(dá)等同.

（4）在發(fā)生（3）的情況下，若g≤maxki則將ho代入g=f?h中的h，之后再進(jìn)行相關(guān)濾波的跟蹤，然后若再發(fā)生（3）的情況便轉(zhuǎn)入第（4）步.

本文算法實(shí)驗(yàn)流程如圖1.

圖1 基于改進(jìn)Staple人臉跟蹤算法Fig 1 Face tracking algorithm base on improved Staple

2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文改進(jìn)的人臉跟蹤算法的性能，在Windows7、8G內(nèi)存、英特爾Core(TM)i5-4590 CPU主頻3.30GHz(3301 MHz)、MATLAB2016b環(huán)境中對(duì)該算法進(jìn)行了模擬仿真.其中本文算法的特征融合階段選擇的比重為：HOG特征比重0.5，顏色特征比重0.5，HOG特征選取的維度為16，顏色選取的特征維度為3，式1-15中λ為0.001.將本文算法與改進(jìn)Camshift人臉跟蹤算法，Staple原算法的處理結(jié)果進(jìn)行對(duì)比.測(cè)試視頻為斯坦福大學(xué)的Girl，視頻總1 000幀.另外本文采用了新疆大學(xué)自主建設(shè)的新疆人臉庫(kù)中的SFT07，視頻總402幀.Girl與SFT07視頻中存在人臉尺度變化、人臉偏轉(zhuǎn)、人臉消失等難點(diǎn).便于充分驗(yàn)證本文所提算法的性能.

圖2 本文算法對(duì)Girl的部分效果Fig 2 Part of the Results of This Algorithm on Girl

圖3 本文算法對(duì)SFT07的部分效果Fig 3 Part of the Results of the Algorithm on SFT07

表2 Girl跟蹤結(jié)果分析Tab 2 Girl Tracking Results Analysis

表3 SFT 07跟蹤結(jié)果分析Tab 3 Part of the Results of This Algorithm on Girl

3 結(jié)論

在實(shí)驗(yàn)中，改進(jìn)Camshift算法應(yīng)對(duì)人臉尺度變化、偏轉(zhuǎn)、消失時(shí)出現(xiàn)了跟蹤框漂移等情況，Staple算法在對(duì)SFT07跟蹤時(shí)雖然也呈現(xiàn)不錯(cuò)的效果，但也暴露出算法的弊端.當(dāng)視頻中的對(duì)象轉(zhuǎn)身后或脫離鏡頭時(shí)，如果人臉在大約7幀之內(nèi)再次出現(xiàn)，那么算法便能繼續(xù)跟蹤，并保持良好的跟蹤效果.而當(dāng)對(duì)Girl進(jìn)行跟蹤時(shí)，目標(biāo)人臉在轉(zhuǎn)身脫離鏡頭或者被非目標(biāo)人臉遮擋時(shí)足足有10幀以上，此時(shí)跟蹤效果并不理想.本文在置信度機(jī)制的改進(jìn)大大避免了這種情況，雖然增加了些許計(jì)算量，但速度仍與Staple相當(dāng)，而且準(zhǔn)確率還有所提升，經(jīng)實(shí)驗(yàn)仿真證明，已達(dá)到預(yù)期的效果.