基于深度學(xué)習(xí)輔助的動(dòng)態(tài)人臉跟蹤方法

， ， ，亞蒙，

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

隨著高清視頻技術(shù)的日趨成熟，人們逐漸將視頻監(jiān)控智能分析的關(guān)注焦點(diǎn)集中到監(jiān)控對(duì)象本身，而人臉作為重要的前景目標(biāo)，一直以來被視為智能視頻分析的重點(diǎn)研究對(duì)象.典型的動(dòng)態(tài)人臉跟蹤[1-2]是通過一定的策略根據(jù)視頻起始幀中人臉目標(biāo)區(qū)域，持續(xù)判定視頻序列中的人臉目標(biāo)區(qū)域.隨著學(xué)者對(duì)跟蹤算法的不斷研究，提出了很多優(yōu)秀的跟蹤算法.Bolme等[3]提出一種用圖像灰度特征描述學(xué)習(xí)最小誤差輸出平方誤差和(Minimum output sum of squared error, MOSSE)的相關(guān)濾波跟蹤算法，通過離散傅里葉變換轉(zhuǎn)換頻域?qū)λ惴ㄟM(jìn)行加速，然而 MOSSE 算法分類器模型訓(xùn)練的候選樣本不足.Rui等[4]提出循環(huán)移位矩陣增加分類器訓(xùn)練樣本的檢測(cè)跟蹤(Circulant structure of tracking-by-detection with kernels, CSK)方法，在灰度空間上使用快速傅里葉變換進(jìn)行分析，跟蹤效率較高，但是對(duì)多尺度目標(biāo)的跟蹤效果較差，且跟蹤目標(biāo)一旦丟失，就無法再次進(jìn)行跟蹤.Henriques等[5]提出一種具有在線學(xué)習(xí)能力的相關(guān)濾波(Kernelized correlation filters，KCF)跟蹤方法，特征描述選擇方向梯度直方圖特征(Histogram of oriented gradient, HOG)[6]，運(yùn)算中通過快速傅里葉變換提高跟蹤算法的速度和性能，由于算法采用的局部特征，跟蹤目標(biāo)出現(xiàn)快速運(yùn)動(dòng)或者嚴(yán)重遮擋情況，無法及時(shí)準(zhǔn)確判定跟蹤漂移導(dǎo)致跟蹤失敗.

針對(duì)基于核相關(guān)濾波的跟蹤算法在遮擋、快速運(yùn)動(dòng)和頻繁進(jìn)出區(qū)域時(shí)目標(biāo)跟蹤失敗，而目標(biāo)再次出現(xiàn)作為新目標(biāo)進(jìn)行跟蹤的問題，提出融合跟蹤校驗(yàn)和深度學(xué)習(xí)識(shí)別輔助的動(dòng)態(tài)人臉跟蹤算法.改進(jìn)的動(dòng)態(tài)人臉跟蹤算法基于核相關(guān)濾波框架，通過膚色檢測(cè)粗定位和AdaBoost算法[7-8]精確定位實(shí)現(xiàn)人臉跟蹤的快速初始化[9-10].為保證算法的魯棒性，通過借鑒跟蹤-學(xué)習(xí)-檢測(cè)(Tracking-learning-detection，TLD)[11-12]的思想，采用檢測(cè)-跟蹤-校驗(yàn)-識(shí)別機(jī)制，對(duì)跟蹤器更新的人臉區(qū)域進(jìn)行跟蹤校驗(yàn)[13-15]，加權(quán)評(píng)分判定是否跟蹤失敗.同時(shí)，結(jié)合深度學(xué)習(xí)識(shí)別輔助[16-18]方法，實(shí)現(xiàn)目標(biāo)丟失后再出現(xiàn)恢復(fù)持續(xù)跟蹤.

1 人臉檢測(cè)跟蹤初始化

KCF動(dòng)態(tài)人臉跟蹤的原理是通過計(jì)算視頻序列中目標(biāo)人臉區(qū)域與濾波器模板的峰值響應(yīng)強(qiáng)度，選取最大響應(yīng)結(jié)果對(duì)應(yīng)的區(qū)域作為跟蹤更新的人臉目標(biāo)區(qū)域.跟蹤算法結(jié)合核相關(guān)濾波跟蹤(Kernelized correlation filters，KCF)框架，引入膚色檢測(cè)和人臉再檢測(cè)機(jī)制，實(shí)現(xiàn)跟蹤算法的快速初始化，從而自適應(yīng)地跟蹤檢測(cè)到的人臉目標(biāo).

1.1 顏色空間提取

通過膚色建模與分割進(jìn)行人臉區(qū)域粗定位，即通過膚色和人臉特征對(duì)圖像進(jìn)行快速提取，以縮小人臉檢測(cè)的搜索區(qū)域，因此膚色模型的建立只需要簡單有效.采用YCrCb顏色空間方法，圖像中皮膚區(qū)域在YCrCb顏色空間CrCb平面上呈現(xiàn)一定聚類特性，其分布近似橢圓，如果像素顏色在Cr=[123 180]和Cb=[72 129]范圍內(nèi)，就判定為膚色像素.轉(zhuǎn)換公式為

(1)

式中：R，G，B分別為RGB顏色空間分量.

1.2 人臉檢測(cè)

由于人臉檢測(cè)的可靠性將對(duì)后續(xù)人臉跟蹤的性能和穩(wěn)定性產(chǎn)生重大影響，使用基于Haar特征的Adaboost級(jí)聯(lián)人臉檢測(cè)算法能夠檢測(cè)出正面人臉，其核心步驟為

步驟1給定一系列訓(xùn)練樣本(x1,y1)，(x2,y2)，…，(xn,yn)，其中yi=0表示其為非人臉，yi=1表示其為人臉，n為訓(xùn)練樣本總數(shù).

步驟2初始化權(quán)重，即

(2)

式中：m為正樣本(人臉)數(shù)量；n為負(fù)樣本(非人臉)數(shù)量.

步驟3弱分類器訓(xùn)練.歸一化權(quán)值

(3)

式中t為弱分類器數(shù)量(t=1，2，…，N).

對(duì)每個(gè)特征j，都訓(xùn)練一個(gè)弱分類器hj(xi)，計(jì)算對(duì)應(yīng)所有特征的弱分類器的加權(quán)錯(cuò)誤率，即

(4)

選取錯(cuò)曲率最小εj,t的弱分類器疊加到強(qiáng)分類器中，然后調(diào)整權(quán)重

(5)

步驟4強(qiáng)分類器輸出，即

(6)

1.3 核相關(guān)濾波跟蹤

核相關(guān)濾波跟蹤(Kernelized correlation filters，KCF)基于嶺回歸，通過訓(xùn)練最小化平方誤差函數(shù)f(t)=wTt，求得分類器參數(shù)w，即

(7)

式中：λ為正則化參數(shù)，控制過擬合；i為樣本編號(hào)；yi為ti對(duì)應(yīng)的回歸值.

首先從視頻圖像中采集一幅x∈M×N的人臉目標(biāo)圖像，然后將人臉圖像x進(jìn)行水平和垂直方向循環(huán)移位，偏移量分別以m和n個(gè)像素為單位，其中m∈{0,1,2,…,M-1}，n∈{0,1,…,N-1}，獲取到人臉目標(biāo)區(qū)域附近的不同樣本xm,n，其回歸值ym,n服從二維高斯分布.最后通過訓(xùn)練獲取到參數(shù)w，即

(8)

通過FFT和嶺回歸方法，解得

(9)

式中：F為傅里葉變換；F-1為對(duì)應(yīng)傅里葉逆變換；y為由元素ym,n組成的M×N矩陣.

根據(jù)當(dāng)前幀中圖像塊x與上一幀訓(xùn)練獲得的參數(shù)α，得到響應(yīng)強(qiáng)度最大值，即在當(dāng)前幀中跟蹤更新的目標(biāo)區(qū)域?yàn)?/p>

f(z)=F-1(F(α)F(φ(x)φ(z)))

(10)

2 融合跟蹤校驗(yàn)和識(shí)別輔助的魯棒跟蹤

實(shí)際的動(dòng)態(tài)人臉跟蹤中，若當(dāng)前視頻幀目標(biāo)快速運(yùn)動(dòng)超出濾波模板范圍直接導(dǎo)致跟蹤失敗，在目標(biāo)存在人臉遮擋、轉(zhuǎn)身和頻繁進(jìn)出區(qū)域等情況下的跟蹤漂移同樣造成跟蹤失敗.通過跟蹤更新后的級(jí)聯(lián)校驗(yàn)機(jī)制，實(shí)時(shí)判定目標(biāo)是否丟失；通過跟蹤失敗再檢測(cè)后的識(shí)別輔助機(jī)制，解決目標(biāo)短暫消失再出現(xiàn)作為新的目標(biāo)進(jìn)行跟蹤，從而保證目標(biāo)跟蹤的持續(xù)更新.

2.1 跟蹤校驗(yàn)策略設(shè)計(jì)

對(duì)跟蹤器更新前后相鄰幀的目標(biāo)框進(jìn)行級(jí)聯(lián)跟蹤校驗(yàn)，計(jì)算峰值響應(yīng)強(qiáng)度、目標(biāo)框的最近鄰相似度、目標(biāo)位置中心距離和目標(biāo)尺度系數(shù)，判定目標(biāo)是否跟蹤失敗，及時(shí)消除跟蹤區(qū)域誤差積累和跟蹤后的初始化.其工作流程如圖1所示.

圖1 人臉跟蹤校驗(yàn)算法流程Fig.1 The processing of face tracking verification algorithm

1) 峰值響應(yīng)強(qiáng)度判定.核相關(guān)濾波跟蹤中，當(dāng)前幀目標(biāo)區(qū)域與濾波模板的響應(yīng)強(qiáng)度最大值為峰值響應(yīng)強(qiáng)度(Peak to sidelobe ratio, PSR)，即

(11)

式中：?max為濾波模板響應(yīng)最大值；μ為對(duì)應(yīng)濾波響應(yīng)均值；σ為對(duì)應(yīng)濾波響應(yīng)標(biāo)準(zhǔn)差，濾波模板響應(yīng)結(jié)果由式(10)中的f(z)所得.

只有目標(biāo)的峰值響應(yīng)強(qiáng)度大于閾值T時(shí)才開始繼續(xù)跟蹤，判定準(zhǔn)則為

(12)

PSR的經(jīng)驗(yàn)取值范圍為[0,1]，響應(yīng)值越大跟蹤更新越準(zhǔn)確；反之，可能導(dǎo)致跟蹤漂移和跟蹤失敗.根據(jù)判定準(zhǔn)則判定跟蹤過程中是否遮擋、轉(zhuǎn)身和出視野.

2) 目標(biāo)中心位置判定.通過計(jì)算當(dāng)前目標(biāo)位置Rect1和上一幀匹配成功目標(biāo)位置Rect2的歐氏距離獲得，即

DIS=|CRect1-CRect2|

(13)

(14)

式中CRect為目標(biāo)位置，采用目標(biāo)區(qū)域中心，通過選取合適的閾值過濾，判定跟蹤時(shí)是否產(chǎn)生跟蹤漂移.

3) 跟蹤框最近鄰相似度判定.選擇當(dāng)前幀跟蹤器預(yù)測(cè)到的人臉目標(biāo)區(qū)域Rect2與前一幀Rect1的交集與并集的比值作為最近鄰相似度，選擇合適閾值判定是否接受該區(qū)域?yàn)楦櫧Y(jié)果，即

(15)

(16)

式中：P的取值范圍為[0,1]，當(dāng)P>0.39，分配跟蹤校驗(yàn)判定的權(quán)重系數(shù)1；當(dāng)0.14

4) 目標(biāo)尺度系數(shù)判定.通過當(dāng)前幀成功跟蹤到目標(biāo)的尺度大小和下一幀預(yù)測(cè)到的目標(biāo)尺度大小的比例關(guān)系進(jìn)行判定，即

(17)

式中area為跟蹤到目標(biāo)的矩形框長和寬的乘積.Scale的經(jīng)驗(yàn)取值范圍為[0.5,1]，解決跟蹤過程中跟蹤漂移和近似目標(biāo)的尺度干擾.

5) 校驗(yàn)判定.通過對(duì)目標(biāo)受嚴(yán)重遮擋、快速運(yùn)動(dòng)、相似目標(biāo)干擾和頻繁進(jìn)出區(qū)域等情況的分析，對(duì)各項(xiàng)分配權(quán)重系數(shù)，加權(quán)求和后得到跟蹤校驗(yàn)的綜合評(píng)分，公式為

Scalefinal=αPSR+βDIS+γP+ξScale

(18)

根據(jù)評(píng)分結(jié)果，若大于閾值，判定跟蹤結(jié)果準(zhǔn)確；否則，判定跟蹤失敗，此時(shí)在前一幀人臉目標(biāo)區(qū)域附近，通過再檢測(cè)機(jī)制重新跟蹤.

2.2 深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別輔助

為保證人臉目標(biāo)的持續(xù)、魯棒跟蹤，通過識(shí)別算法對(duì)跟蹤失敗后新出現(xiàn)人臉目標(biāo)進(jìn)行輔助跟蹤.深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別輔助部分采用DeepID (Deep hidden identity features)網(wǎng)絡(luò)模型[19]，如圖2所示.DeepID網(wǎng)絡(luò)包含4個(gè)卷積層組，前3個(gè)卷積層后面都緊跟著一個(gè)最大池化層，將第4個(gè)卷積層的特征和第3個(gè)卷積層經(jīng)過Max-pooling后的特征進(jìn)行全連接，最后將DeepID層連接到softmax層的深度特征通過相似性度量進(jìn)行分類，并給出分類種類概率.

圖2 DeepID網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 DeepID network structure

跟蹤失敗后新的人臉目標(biāo)出現(xiàn)時(shí)，根據(jù)預(yù)先訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)人臉圖像進(jìn)行特征提取，判斷該目標(biāo)是否曾出現(xiàn)過.這樣就解決人臉目標(biāo)短時(shí)間進(jìn)出視野再出現(xiàn)情況下，傳統(tǒng)方法判定為新人臉目標(biāo)進(jìn)行跟蹤的問題.

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)測(cè)試PC機(jī)環(huán)境：Intel(R) Core(TM) i5-

4460 3.4 GHz CPU，采用Visual Studio 2013，OpenCV2.4.8和caffe-windows-master實(shí)現(xiàn)了深度學(xué)習(xí)輔助的實(shí)時(shí)動(dòng)態(tài)人臉跟蹤算法.

實(shí)驗(yàn)數(shù)據(jù)采用國際視頻監(jiān)控會(huì)議AVSS2007單人臉數(shù)據(jù)和Visual tracker benchmark sequences，對(duì)包含目標(biāo)快速運(yùn)動(dòng)、遮擋和短暫進(jìn)出視野等應(yīng)用場景的圖像序列進(jìn)行測(cè)試.測(cè)試標(biāo)準(zhǔn)包括動(dòng)態(tài)人臉跟蹤的精度、跟蹤校驗(yàn)的可靠性和識(shí)別輔助跟蹤算法的性能，實(shí)驗(yàn)采用多次測(cè)量取平均值進(jìn)行統(tǒng)計(jì)(表1).

表1 測(cè)試數(shù)據(jù)描述

3.1 跟蹤校驗(yàn)判定準(zhǔn)確性分析

選取數(shù)據(jù)集中人臉跟蹤算法出現(xiàn)跟蹤漂移或跟

蹤失敗的視頻幀數(shù)據(jù)對(duì)校驗(yàn)算法進(jìn)行檢測(cè)，檢測(cè)結(jié)果如表2所示.

表2 跟蹤校驗(yàn)分析Table 2 Theanalysis of trackingverification

每一幀中更新預(yù)測(cè)的目標(biāo)位置是否接受，由跟蹤校驗(yàn)綜合評(píng)測(cè)結(jié)果與閾值比較決定，記為

(19)

實(shí)驗(yàn)中跟蹤校驗(yàn)分配0.4，0.25，0.1，0.25的權(quán)重系數(shù)，閾值經(jīng)過統(tǒng)計(jì)分析設(shè)定為0.58.從表2中可以看出：視頻1中知道第702幀時(shí)跟蹤誤差積累比較明顯，有出現(xiàn)跟蹤漂移的趨勢(shì)；視頻2中第36幀目標(biāo)人臉存在遮擋、快速運(yùn)動(dòng)的情況，人臉跟蹤發(fā)生跟蹤漂移導(dǎo)致跟蹤失敗；視頻3中第444幀存在相似目標(biāo)干擾的情況，發(fā)生跟蹤漂移導(dǎo)致跟蹤失??；視頻4準(zhǔn)確跟蹤到人臉目標(biāo)；視頻5中由于目標(biāo)的快速運(yùn)動(dòng)導(dǎo)致運(yùn)動(dòng)模糊，發(fā)生跟蹤漂移導(dǎo)致跟蹤失??；視頻6中第47幀存在短暫消失再出現(xiàn)導(dǎo)致跟蹤失?。灰曨l7中第220幀由于人臉目標(biāo)轉(zhuǎn)身發(fā)生跟蹤漂移；視頻8中第393幀由于人臉目標(biāo)轉(zhuǎn)身遮擋發(fā)生跟蹤漂移導(dǎo)致跟蹤失敗.通過實(shí)驗(yàn)證明：跟蹤校驗(yàn)算法可以有效地判斷出跟蹤過程中的跟蹤漂移和跟蹤失敗.

3.2 識(shí)別輔助魯棒性分析

深度學(xué)習(xí)網(wǎng)絡(luò)選取李子青團(tuán)隊(duì)的CASIA WebFace Database和UMDFaces Dataset數(shù)據(jù)集，將人臉數(shù)據(jù)對(duì)齊到50×50進(jìn)行訓(xùn)練和微調(diào).識(shí)別輔助魯棒性測(cè)試，選取人臉目標(biāo)跟蹤失敗后對(duì)該區(qū)域再檢測(cè)，將當(dāng)前人臉區(qū)域與前一個(gè)檢測(cè)到的人臉目標(biāo)跟蹤區(qū)域預(yù)處理后進(jìn)行驗(yàn)證，實(shí)驗(yàn)中分別選取閾值為0.6，0.55，0.5進(jìn)行統(tǒng)計(jì)計(jì)算，如表3所示.

表3 識(shí)別輔助算法性能分析Table 3 Theperformance analysis of tracking recognition-aided %

實(shí)驗(yàn)中識(shí)別輔助閾值根據(jù)實(shí)驗(yàn)場景環(huán)境和檢測(cè)到人臉圖像質(zhì)量進(jìn)行統(tǒng)計(jì)后選擇：從跟蹤校驗(yàn)判定跟蹤失敗到再檢測(cè)，跟蹤目標(biāo)出現(xiàn)運(yùn)動(dòng)模糊、遮擋和部分人臉(進(jìn)出區(qū)域)等情況，如視頻2和視頻6，使得獲取到的人臉照片質(zhì)量不高時(shí)，即使人臉對(duì)齊其識(shí)別輔助模塊精度降低；而對(duì)人臉目標(biāo)跟蹤序列進(jìn)行擇優(yōu)處理后，得到前一人臉目標(biāo)正面或較為正面的人臉圖像，當(dāng)前人臉圖像出現(xiàn)以上情況下進(jìn)行識(shí)別比對(duì)，其識(shí)別精度依然會(huì)降低.

綜合考慮后識(shí)別輔助選擇閾值0.55，對(duì)前一目標(biāo)人臉圖像和當(dāng)前檢測(cè)到的人臉圖像進(jìn)行人臉對(duì)齊處理，提取特征進(jìn)行相似度計(jì)算后的結(jié)果高于閾值0.55，則判定為同一目標(biāo)，否則，作為新的目標(biāo)進(jìn)行跟蹤.從實(shí)驗(yàn)結(jié)果來看：識(shí)別輔助方法能夠?qū)崟r(shí)有效地實(shí)現(xiàn)人臉檢測(cè)后同一目標(biāo)人臉圖像序列合并，特別是對(duì)檢測(cè)跟蹤到的人臉序列進(jìn)行擇優(yōu)處理，效果會(huì)更好.

3.3 多跟蹤器應(yīng)用對(duì)比

實(shí)驗(yàn)中使用跟蹤目標(biāo)區(qū)域中心距離誤差精確度(Tracking precision, TP)和跟蹤校驗(yàn)精確度(Verification precision, VP)作為評(píng)估標(biāo)準(zhǔn).距離誤差是指跟蹤區(qū)域中心位置與目標(biāo)真實(shí)區(qū)域中心位置之間的歐氏距離，其精確度定義為距離誤差低于閾值的視頻序列幀數(shù)與整個(gè)視頻序列總幀數(shù)的比值，比例系數(shù)越接近于1跟蹤更新結(jié)果越可靠.跟蹤校驗(yàn)精確度定義為校驗(yàn)?zāi)K綜合評(píng)分高于閾值的視頻幀數(shù)與視頻序列總幀數(shù)的比值，得分越高時(shí)跟蹤校驗(yàn)成功率越高，即跟蹤效果越好.

根據(jù)跟蹤速度和跟蹤精度選擇具有代表性的跟蹤算法與實(shí)驗(yàn)對(duì)比，將改進(jìn)后的跟蹤算法(Kernelized correlation filters with verification and recognition, KCFVR)與核相關(guān)濾波跟蹤算法(Kernelized correlation filters, KCF)、時(shí)空上下文算法(Spatio-temporal context, STC)[20]和跟蹤-學(xué)習(xí)-檢測(cè)算法(Tracking-learning-detection, TLD)進(jìn)行驗(yàn)證.實(shí)驗(yàn)中評(píng)測(cè)標(biāo)準(zhǔn)：目標(biāo)區(qū)域中心距離誤差閾值設(shè)定為目標(biāo)標(biāo)定真實(shí)區(qū)域的一半，跟蹤校驗(yàn)精確度閾值為0.58.為了更形象地表現(xiàn)測(cè)試結(jié)果，表4中提出的跟蹤算法分配0.4，0.25，0.1，0.25的權(quán)重系數(shù)，統(tǒng)計(jì)獲得滿足目標(biāo)區(qū)域中心距離誤差的跟蹤精確度；表5中對(duì)TLD和STC算法各項(xiàng)分配0，0.4，0.2，0.4的權(quán)重系數(shù)，根據(jù)跟蹤校驗(yàn)的綜合評(píng)分，統(tǒng)計(jì)得到跟蹤校驗(yàn)精確度.

表4各跟蹤算法在視頻序列上的距離誤差精確度

Table4Trackingprecision(TP)ofeachalgorithmoverthevideosequence

序號(hào)初始框KCFVRKCFTLDSTC1(131,100,85,118)892/892892/892892/892138/8922(144,98,35,47)299/313302/313283/31334/3133(56,27,31,37)437/500451/500311/500427/5004(161,95,55,70)472/472472/472472/4724/4725(155,59,32,44)367/448408/448397/44823/4486(87,53,35,48)464/550485/550344/55082/5507(329,136,75,104)404/430421/430419/43087/4308(146,131,83,103)865/910869/910839/91024/910

表5跟蹤校驗(yàn)算法在視頻序列上的精確度

Table5Verificationprecision(VP)ofeachalgorithmoverthevideosequence

序號(hào)KCFVRTLDSTC1892/892892/892208/8922308/313292/313158/3133463/500454/500427/5004472/472472/47298/4725405/448410/44849/4486481/550465/550369/5507416/430419/430345/4308899/910865/910228/910

值得指出的是，筆者提出的跟蹤校驗(yàn)算法時(shí)間消耗約為1 ms，故對(duì)各算法添加跟蹤校驗(yàn)后，在不影響原有跟蹤算法跟蹤速度的基礎(chǔ)上，提高了各跟蹤算法的跟蹤精度.

表4給出改進(jìn)跟蹤算法與各跟蹤算法在標(biāo)定數(shù)據(jù)下設(shè)定閾值的實(shí)驗(yàn)結(jié)果，從實(shí)驗(yàn)數(shù)據(jù)可以看出：統(tǒng)計(jì)分析后改進(jìn)的跟蹤算法區(qū)域中心距離精確度為0.923，跟蹤精度上改進(jìn)算法略低于KCF跟蹤算法，定位視頻數(shù)據(jù)發(fā)現(xiàn)跟蹤目標(biāo)出現(xiàn)跟蹤漂移或遮擋.數(shù)據(jù)結(jié)果表明依靠區(qū)域中心閾值會(huì)將跟蹤漂移直接判定為跟蹤失敗，改進(jìn)后設(shè)定雙閾值判定跟蹤狀態(tài)為可能跟蹤失敗和跟蹤失敗.

表5中給出應(yīng)用跟蹤校驗(yàn)算法后在測(cè)試視頻上的實(shí)驗(yàn)結(jié)果，從實(shí)驗(yàn)數(shù)數(shù)據(jù)來看：應(yīng)用綜合跟蹤校驗(yàn)后各跟蹤算法的精確度提高，積累誤差減小，改進(jìn)算法的跟蹤精確度均值為 0.956，性能指標(biāo)表現(xiàn)最好.實(shí)驗(yàn)中改進(jìn)后的人臉目標(biāo)跟蹤更新及級(jí)聯(lián)校驗(yàn)時(shí)間消耗約為16 ms/fps，識(shí)別輔助特征提取時(shí)間消耗約為18 ms/fps，改進(jìn)后的KCFVR動(dòng)態(tài)人臉跟蹤算法能夠滿足實(shí)時(shí)跟蹤需求.

4 結(jié) 論

通過人臉檢測(cè)跟蹤初始化、跟蹤校驗(yàn)和深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別輔助，解決視頻場景下動(dòng)態(tài)人臉跟蹤過程中出現(xiàn)嚴(yán)重遮擋、快速運(yùn)動(dòng)和頻繁進(jìn)出區(qū)域等情況下的跟蹤漂移和跟蹤失敗問題，自適應(yīng)地恢復(fù)同一人臉目標(biāo)的持續(xù)跟蹤.從大量的實(shí)驗(yàn)數(shù)據(jù)結(jié)果來看，改進(jìn)后的KCFVR跟蹤算法對(duì)移動(dòng)人臉目標(biāo)的持續(xù)跟蹤具有較強(qiáng)的魯棒性.動(dòng)態(tài)人臉跟蹤過程中膚色分割和人臉目標(biāo)的檢測(cè)和跟蹤時(shí)間代價(jià)較小，而人臉跟蹤失敗后，深度學(xué)習(xí)識(shí)別輔助模塊的特征匹配及更新等操作較為耗時(shí)，接下來工作將討論研究多跟蹤器快速準(zhǔn)確判斷跟蹤器更新校驗(yàn)和加快識(shí)別輔助判定速度，實(shí)現(xiàn)多人臉目標(biāo)的實(shí)時(shí)、持續(xù)跟蹤.