一種基于TLD的手勢(shì)跟蹤方法

王亞捷，魏 江，孫凱超

（西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710072）

作為計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)重要內(nèi)容，基于計(jì)算機(jī)視覺的手勢(shì)交互技術(shù)是自然的人機(jī)交互的一個(gè)分支，其發(fā)展與人機(jī)交互技術(shù)息息相關(guān)[1]。理想的人機(jī)交互模式就是用戶自由，直接操縱的用戶界面，它已成為未來的發(fā)展趨勢(shì)，而作為其中重要內(nèi)容的手勢(shì)跟蹤技術(shù)也成為研究熱點(diǎn)。

廣義上手勢(shì)可以分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)[2]。靜態(tài)手勢(shì)是指單個(gè)手形姿態(tài)，動(dòng)態(tài)手勢(shì)由一系列手形姿態(tài)組成。研究人員就手勢(shì)這種多關(guān)節(jié)非剛體的運(yùn)動(dòng)跟蹤問題提出了一些不同的解決方案：文獻(xiàn)[3]采用了基于特征點(diǎn)的手勢(shì)跟蹤方法，文獻(xiàn)[4]選用了基于活動(dòng)輪廓模型的手勢(shì)跟蹤方法，文獻(xiàn)[5]提出了基于區(qū)域的手勢(shì)跟蹤方法。本文提出了一種結(jié)合Haar特征與Adaboost算法的目標(biāo)檢測(cè)算法與TLD目標(biāo)跟蹤算法的手勢(shì)跟蹤方法。

1 手勢(shì)檢測(cè)

手勢(shì)檢測(cè)是手勢(shì)跟蹤流程的第一環(huán)節(jié)，直接決定了整個(gè)系統(tǒng)能否穩(wěn)定、高效地運(yùn)行。手勢(shì)檢測(cè)可以解釋為：判斷獲取的視頻幀中是否有手勢(shì)子圖像存在，若存在給出其位置。它意味著一個(gè)持續(xù)的、大數(shù)據(jù)量的搜索過程。在機(jī)器學(xué)習(xí)領(lǐng)域，通過類似決策樹的方式，利用Adaboost訓(xùn)練方法，得到基于Haar特征集的檢測(cè)器，已經(jīng)取得了很多成功。

圖1 Haar特征Fig.1 The Haar feature

Haar特征[6]如圖1所示。Haar特征的值是圖1中黑色區(qū)域和白色區(qū)域像素灰度值的差。Viola和Jones提出積分圖像的方法來快速計(jì)算大量Haar特征，并在Adaboost算法[8]的基礎(chǔ)上使用Haar特征進(jìn)行人臉檢測(cè)。

Adaboost算法基本思想是將單個(gè)特征（弱分類器）作為弱學(xué)習(xí)算法，對(duì)訓(xùn)練樣本集進(jìn)行T輪訓(xùn)練，從這些弱分類器中選擇一個(gè)較好的弱分類器序列（h1，h2，…，hT）組合成強(qiáng)分類器，在這些弱分類器中分類效果較好的權(quán)重較大。最終的分類函數(shù)采用一種有權(quán)重的投票方式產(chǎn)生，一個(gè)弱分類器定義為一個(gè)閾值函數(shù)：

其中pj是一個(gè)指示不等號(hào)方向的參數(shù)；θj表示特征的閾值；fj（x）表示特征值。

Adaboost算法具體步驟如下：

1） 給定樣本圖片（x1，y1），（x2，y2），…，（xn，yn）其中 yi=1 表示正樣本，yi=0表示負(fù)樣本；

2）初始化樣本權(quán)值，假設(shè)m是正樣本數(shù)量，n是負(fù)樣本數(shù)量，相應(yīng)的權(quán)重為：

3）For t=1，2，…，T（弱分類器數(shù)量）：

②對(duì)于每個(gè)特征j，訓(xùn)練一個(gè)弱分類器hj，hj被限制只使用一個(gè)特征，誤差估計(jì)根據(jù)權(quán)值ωt計(jì)算：

③選擇具有最小加權(quán)誤差εjt的弱分類器ht；

④更新樣本權(quán)值：

4）最終強(qiáng)分類器輸出為：

多層級(jí)聯(lián)分類器檢測(cè)模型[6]如圖2所示。將訓(xùn)練得到的若干個(gè)強(qiáng)分類器串聯(lián)組成一個(gè)級(jí)聯(lián)結(jié)構(gòu)的層疊分類器。串聯(lián)時(shí)遵循“先重后輕”的思想，將特征重要、結(jié)構(gòu)簡單的強(qiáng)分類器放在前面用于快速排除大量負(fù)樣本。隨著級(jí)數(shù)增多矩形特征在增多，但計(jì)算量卻在減少。

圖2 多層級(jí)聯(lián)分類器檢測(cè)模型Fig.2 Multilayer cascade classifier detection model

為了提高手勢(shì)檢測(cè)的魯棒性，本文算法對(duì)檢測(cè)結(jié)果做了進(jìn)一步的處理：若連續(xù)5幀圖像中檢測(cè)到手勢(shì)，則認(rèn)為檢測(cè)結(jié)果有效。

2 手勢(shì)跟蹤

圖3 TLD跟蹤模型Fig.3 TLD tracking model

TLD跟蹤模型如圖3所示。TLD跟蹤算法主要由3個(gè)部分組成，跟蹤（Tracking）、學(xué)習(xí)（Learning）以及檢測(cè)（Detection）。首先，TLD算法使用由LBP（Local Binary Patterns）特征改進(jìn)得到的2bitBP特征與隨機(jī)森林機(jī)器學(xué)習(xí)算法訓(xùn)練一個(gè)目標(biāo)檢測(cè)器，通過第一幀圖像獲得運(yùn)動(dòng)目標(biāo)特征，再對(duì)這些特征進(jìn)行仿射變換來初始化檢測(cè)器。跟蹤器利用目標(biāo)的運(yùn)動(dòng)信息來跟蹤目標(biāo)，這個(gè)過程基于Lucas-Kanade光流法。跟蹤器和檢測(cè)器同時(shí)運(yùn)行，估計(jì)目標(biāo)的位置。在線學(xué)習(xí)模型通過P-N學(xué)習(xí)的機(jī)制不斷地更新檢測(cè)器和跟蹤器的數(shù)據(jù)。同時(shí)，跟蹤器和檢測(cè)器也將得到的數(shù)據(jù)反饋給在線學(xué)習(xí)模型，以驗(yàn)證數(shù)據(jù)的精確性，使得到的目標(biāo)特征更加精確，其三者相互作用，將得到的數(shù)據(jù)整合，最終確定下一幀中目標(biāo)的位置。

圖4 手勢(shì)跟蹤系統(tǒng)框架Fig.4 Gesture tracking system framework

本文結(jié)合手勢(shì)檢測(cè)與TLD跟蹤算法建立了一個(gè)手勢(shì)跟蹤系統(tǒng)，系統(tǒng)框架如圖4所示。攝像頭獲取的視頻圖像經(jīng)過預(yù)處理后，輸入到手勢(shì)檢測(cè)模塊，該模塊檢測(cè)提取出的前景圖像，并獲取手勢(shì)所在的矩形區(qū)域；將矩形區(qū)域輸入到手勢(shì)跟蹤模塊，對(duì)跟蹤器獲得的動(dòng)態(tài)手勢(shì)軌跡進(jìn)行鼠標(biāo)位置映射等相關(guān)處理，就可以實(shí)現(xiàn)人機(jī)交互功能。這樣的框架設(shè)計(jì)使手勢(shì)跟蹤的初始化過程實(shí)現(xiàn)自動(dòng)化，不再需要人工標(biāo)注。

圖5 視力檢測(cè)系統(tǒng)Fig.5 Vision test system

為提高系統(tǒng)的實(shí)時(shí)性，本文采取了以下兩種方法：1）在手勢(shì)跟蹤之前對(duì)圖像進(jìn)行降采樣；2）手勢(shì)跟蹤的目標(biāo)矩形由手勢(shì)檢測(cè)模塊在原圖像中檢測(cè)后，經(jīng)尺度變換得到。使用本文提出的手勢(shì)跟蹤方法實(shí)現(xiàn)的視力檢測(cè)系統(tǒng)，通過動(dòng)態(tài)手勢(shì)的跟蹤與識(shí)別可以完成被測(cè)人的視力評(píng)價(jià)，系統(tǒng)運(yùn)行示例如圖5所示。

3 實(shí)驗(yàn)結(jié)果與分析

進(jìn)行實(shí)驗(yàn)的軟件環(huán)境：Windows7系統(tǒng)，VC++，OpenCV2.4.5，USB 攝像頭； 硬件平臺(tái)：2.8 GHz Intel（R）G480 CPU，4 GB內(nèi)存。采用實(shí)驗(yàn)室拍攝的分辨率為320x240的運(yùn)動(dòng)手勢(shì)視頻作實(shí)驗(yàn)資源。在使用本文手勢(shì)檢測(cè)方法檢測(cè)出的目標(biāo)手勢(shì)區(qū)域作為輸入的基礎(chǔ)上，比較本文算法與Semisupervised tracker（SemiB）算法、MILTracker算法和 Struck 算法在跟蹤目標(biāo)手勢(shì)時(shí)的準(zhǔn)確性、實(shí)時(shí)性和魯棒性。考慮到隨機(jī)誤差的情況，對(duì)每個(gè)算法均做5次獨(dú)立重復(fù)實(shí)驗(yàn)，取平均值作為最終的實(shí)驗(yàn)結(jié)果。

1）手勢(shì)跟蹤的準(zhǔn)確性

本文采用平均成功率（Average Success rate，Average SR）（%）作為算法準(zhǔn)確性的評(píng)價(jià)標(biāo)準(zhǔn)。跟蹤成功與否的評(píng)價(jià)標(biāo)準(zhǔn)如式（6）所示。

其中ROIT表示跟蹤算法得到的目標(biāo)區(qū)域，ROIG表示實(shí)際目標(biāo)區(qū)域，score>0.5則認(rèn)為本次跟蹤成功。跟蹤算法平均成功率對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。

表1 跟蹤算法平均成功率對(duì)比表Tab.1 The average success rate comparison of tracking algorithm

圖6 手勢(shì)跟蹤的準(zhǔn)確性效果圖Fig.6 Gesture tracking accuracy performance

本文算法實(shí)現(xiàn)手勢(shì)跟蹤的準(zhǔn)確性實(shí)驗(yàn)結(jié)果如圖6所示，圖a表示未出現(xiàn)目標(biāo)手勢(shì)，圖b表示出現(xiàn)非目標(biāo)手勢(shì)，圖c表示出現(xiàn)目標(biāo)手勢(shì)。本文將張開的手掌作為跟蹤目標(biāo)，當(dāng)圖像中沒有手勢(shì)存在時(shí)，沒有啟動(dòng)跟蹤過程；當(dāng)圖像中存在非目標(biāo)手勢(shì)時(shí)，亦沒有啟動(dòng)跟蹤過程；只有圖像中出現(xiàn)張開的手掌時(shí)，本文算法檢測(cè)到目標(biāo)手勢(shì)并開始手勢(shì)跟蹤過程。

2）手勢(shì)跟蹤的實(shí)時(shí)性

本文采用平均幀率 （Average Frame Per Second，Average FPS）作為算法實(shí)時(shí)性的評(píng)價(jià)標(biāo)準(zhǔn)。跟蹤算法平均幀率對(duì)比實(shí)驗(yàn)結(jié)果如表2所示。

表2 跟蹤算法平均幀率對(duì)比表Tab.2 The average frame rate comparison of tracking algorithm

對(duì)于分辨率為320x240的圖像，本文算法平均幀率達(dá)到9.6幀/秒。在實(shí)際工程應(yīng)用中，可以通過相應(yīng)的處理進(jìn)一步提高算法的處理速度。

3）手勢(shì)跟蹤的魯棒性

跟蹤算法實(shí)現(xiàn)手勢(shì)跟蹤的魯棒性對(duì)比實(shí)驗(yàn)結(jié)果如圖7所示，圖a表示出現(xiàn)目標(biāo)手勢(shì)，圖b表示目標(biāo)手發(fā)生顯著形變勢(shì)，圖c表示目標(biāo)手勢(shì)中出現(xiàn)較大面積的遮擋。當(dāng)被跟蹤手勢(shì)出現(xiàn)顯著形變、較大面積的遮擋的情況下，本文算法均能穩(wěn)定跟蹤。

圖7 手勢(shì)跟蹤的魯棒性效果圖Fig.7 Gesture tracking robustness performance

從準(zhǔn)確性、實(shí)時(shí)性、魯棒性3個(gè)方面實(shí)驗(yàn)結(jié)果顯示，本文算法在準(zhǔn)確性方面是效果最好的；在實(shí)時(shí)性方面略低于MILTracker，但明顯優(yōu)于SemiB和Struck；在魯棒性方面，本文算法與Struck都能很好的適應(yīng)顯著形變和較大面積的遮擋，MILTracker和Struck均出現(xiàn)了較大程度的漂移。以上實(shí)驗(yàn)結(jié)果表明本文算法能夠很好地滿足手勢(shì)跟蹤的要求，并在3個(gè)性能上表現(xiàn)均衡。

4 結(jié) 論

文中提出了一種基于TLD的手勢(shì)跟蹤方法，首先結(jié)合Haar特征與Adaboost算法實(shí)現(xiàn)靜態(tài)手勢(shì)檢測(cè)，然后使用TLD目標(biāo)跟蹤算法實(shí)現(xiàn)了動(dòng)態(tài)手勢(shì)的跟蹤。實(shí)驗(yàn)表明，本文算法能夠?qū)δ繕?biāo)手勢(shì)進(jìn)行快速、準(zhǔn)確、穩(wěn)定的跟蹤。本文算法的不足在于尚不能跟蹤場景中的多個(gè)目標(biāo)，多目標(biāo)手勢(shì)跟蹤意味著可以實(shí)現(xiàn)雙手操作的人機(jī)交互應(yīng)用，這是下一步研究和改進(jìn)的方向。

[1]沙亮.基于無標(biāo)記全手勢(shì)視覺的人機(jī)交互技術(shù)[D].北京：清華大學(xué)，2010.

[2]任海兵，祝遠(yuǎn)新，徐光，等.基于視覺手勢(shì)識(shí)別的研究—綜述[J].電子學(xué)報(bào)，2000，28（2）:118-121.REN Hai-bin，ZHU Yuan-xin，XU Guang，et al.Vision-based gesture recognition research-Summary[J].Electronic Journal，2000，28（2）:118-121.

[3]Nan X，Zhang Z，Zhang N，et al.VDESIGN:Toward image segmentation and composition in cave using finger interactions [C]//Signal and Information Processing（ChinaSIP）， 2013 IEEE China Summit& International Conference on.IEEE，2013:461-465.

[4]M.Isard and A.Blake.CONDENSATION-Conditional density propagation for visual tracking[J].International Journal of Computer Vision，1998，29（1）:5-28.

[5]Caifeng Shan，Tieniu Tan，Yucheng Wei.Real-time hand tracking using a mean shift embedded particle filter[J].Pattern Recognition，2007，40（7）:1958-1970.

[6]Papageorgiou C P，Oren M，Poggio T.A general framework for object detection [C]//Computer Vision，1998.Sixth International Conference on.IEEE，1998:555-562.