基于時間序列手勢輪廓模型的動態(tài)手勢識別*

龐海波 李占波 丁友東

（1.鄭州大學(xué) 軟件技術(shù)學(xué)院， 河南 鄭州450002； 2.上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院， 上海200072）

動態(tài)手勢是運(yùn)動的手勢，與靜態(tài)手勢有所不同，在圖像處理中它由一組序列圖像組成，對應(yīng)著模型參數(shù)空間中的一條軌跡.不同用戶做的同一類型動態(tài)手勢，其空間和時間尺度是不同的，甚至同一個用戶前后兩次做的同一類型動態(tài)手勢在空間和時間尺度上也有差異.因此，如何表示同一類型手勢并消除同一類型手勢存在的時空差異，是動態(tài)手勢識別需要解決的關(guān)鍵問題［1］.

動態(tài)手勢的表示方法可以分為基于表觀的表示方法和基于模型的表示方法.基于表觀的表示方法采用圖像序列上的顏色信息或者灰度信息對人的運(yùn)動進(jìn)行分析［2］，但不同人種的膚色有很大差別，因此該方法的應(yīng)用容易受到限制［3］.其次，背景通常相差也比較大，因此對顏色特征提取也需要進(jìn)行動態(tài)建模［4］.基于模型的表示方法通常要計算圖像運(yùn)動參數(shù)，常見的手勢模型參數(shù)包括目標(biāo)軌跡、光流及速度等.Molina 等［5］先分割手勢，然后結(jié)合手勢形態(tài)學(xué)的輪廓和手勢運(yùn)動模型識別動態(tài)手勢.Fan［6］在跟蹤目標(biāo)時引入了一種動態(tài)更新模板機(jī)制.Liu 等［7］提出了目標(biāo)特征點(diǎn)的相關(guān)生成關(guān)系.Wang 等［8］提出了用于手勢識別的基于動態(tài)貝葉斯網(wǎng)絡(luò)的分層視覺模型，該模型利用快速差分顏色跟蹤算法對運(yùn)動軌跡進(jìn)行跟蹤和運(yùn)動判斷，取得了不錯的效果，但需要先分割手勢再提取特征.Sgouropoulos 等［9］提出了一種基于自組織神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型的手勢識別系統(tǒng)，該系統(tǒng)能夠適應(yīng)較多的光照場合，但計算過于復(fù)雜.

動態(tài)時間規(guī)整（DTW）［10］是具有非線性時間歸一化效果的模式匹配算法，該算法希望找到一個時間規(guī)整函數(shù)，能將測試模式的時間軸非線性地映射到參考模式的時間軸上，使得測試模式和參考模式達(dá)到最大程度的重疊，從而消除兩個時空模式之間的時間尺度差別.DTW 算法更適合于采樣頻率高的語音識別，而基于視覺的動態(tài)手勢識別采樣率通常較低，因此不太適合直接使用DTW 方法.HMM［11］存在模型選擇難度大、參數(shù)訓(xùn)練過程復(fù)雜和時間較長等問題，當(dāng)動態(tài)手勢在時間尺度上變化比較大時，上述方法受到很大的限制.因此，解決動態(tài)手勢時間尺度的變化問題是一個迫切需要解決的問題.Itakura［12］將規(guī)劃路徑限制到平行四邊形，計算開銷顯著減少，但匹配識別率較低.Sakoe 等［13］在規(guī)劃路徑上合并路權(quán)重，計算過程麻煩，開銷較大.Black 等［14］在概率框架下使用DTW，將手勢軌跡的規(guī)整量和手勢類型結(jié)合成一個統(tǒng)一的狀態(tài)量，以待識別軌跡為觀測值，找到基于當(dāng)前觀測的最優(yōu)狀態(tài)估計.Cheng 等［15］提出了一種基于圖像分類的動態(tài)時間規(guī)整算法的3D 手勢識別方法，該方法顯著提高了識別性能.本質(zhì)上，動態(tài)手勢可以利用一個在空間上隨時間推移而變化的表面或者輪廓進(jìn)行描述，因此本研究試圖建立動態(tài)手勢的一個時空模型，并利用該模型實現(xiàn)對動態(tài)手勢的識別，以提高動態(tài)手勢識別對空間和時間尺度的魯棒性.

1 動態(tài)手勢輪廓提取和手勢建模

動態(tài)手勢識別很重要的一個任務(wù)就是提取動態(tài)手勢高層次語義，或者對動態(tài)手勢進(jìn)行抽象層次的描述，因為可利用這些高層次語義或者高層次描述區(qū)分不同的動態(tài)手勢.由于文中的研究和應(yīng)用不考慮人手的非剛體運(yùn)動，不關(guān)注手勢本身的旋轉(zhuǎn)等信息，因此利用一些能夠描述運(yùn)動的動態(tài)屬性構(gòu)建動態(tài)手勢模型.動態(tài)手勢的運(yùn)動通?？梢杂梢恍╈o態(tài)形狀或者輪廓構(gòu)成，這些靜態(tài)形狀序列或者輪廓序列是伴隨著手勢執(zhí)行過程中的時間序列而產(chǎn)生的.提取不同動態(tài)手勢每一時刻的輪廓信息，將所有時刻的輪廓信息按時間順序組合成矩陣，構(gòu)成動態(tài)手勢輪廓模型（DGCM），并依據(jù)該模型進(jìn)行動態(tài)手勢識別.

1.1 動態(tài)手勢輪廓特征提取

利用背景減除法獲得實驗者的動態(tài)手勢圖像，然后提取實驗者手勢對象，如圖1（b）給出了圖1（a）圖像減除背景后得到的二值圖像.

從圖1（a）的左下角進(jìn)行邊界跟蹤，獲得二值圖像手勢邊界輪廓，最終提取的輪廓信息如圖1（c）所示.

在圖1（c）中，選擇輪廓上的每一個點(diǎn)到質(zhì)心的距離構(gòu)成形狀上下文描述符描述該輪廓.但由于實驗者個體差異等因素的影響，提取的輪廓魯棒性較差，因此，文中提出如下的解決方案.

假設(shè)一個輪廓含有N 個邊界點(diǎn)，需要得到采樣點(diǎn)個數(shù)為L.

（1）如果L＜N＜2L，則可以直接對手勢的輪廓進(jìn)行等間隔采樣，獲得L 個采樣點(diǎn).

（2）如果N＞2L，則將手勢按照比例因子進(jìn)行縮小，保證縮小后手勢輪廓含有的采樣點(diǎn)個數(shù)N'滿足

（3）如果N≤L，則將手勢按照比例因子進(jìn)行放大，該比例因子η 需要滿足

將手勢放大后輪廓含有的采樣點(diǎn)數(shù)N'=L.

將在動態(tài)手勢連續(xù)t 幀圖像上獲取的手勢輪廓描述符定義為Dt，

圖2給出了輪廓點(diǎn)的遍歷過程，從圖像手勢的左下角輪廓點(diǎn)Pa開始，順時針遍歷所有輪廓點(diǎn)，經(jīng)過點(diǎn)Pb，最后回到輪廓點(diǎn)Pa的前一個輪廓點(diǎn).da和db分別是點(diǎn)Pa和點(diǎn)Pb到質(zhì)心的歐氏距離.

假設(shè)一個動態(tài)手勢由t 幀組成，可以將Dt組合成一個大小為t×L 的矩陣M，

保證動態(tài)手勢第一幀輪廓向量D1位于矩陣最后一行，最后一幀輪廓向量Dt位于矩陣第一行，則稱M為構(gòu)建的動態(tài)手勢輪廓平面圖.給該二維空間平面添加一個時間軸，堆棧化時間序列上的每一個輪廓描述符，如圖2（b）所示.

圖2 輪廓描述子和歸一化距離Fig.2 Contour descriptor and normalized distance

設(shè)x 軸指示輪廓點(diǎn)，y 軸指示時間序列，代表幀數(shù)，圖3（a）顯示了動態(tài)手勢“畫三角形”提取的每一幀圖像手勢輪廓構(gòu)成的圖像.三維圖像的x 軸顯示輪廓采樣點(diǎn)個數(shù)為120，y 軸給出了手勢動作持續(xù)的幀數(shù)是52.圖3（b）的二維平面圖x 軸表示采樣點(diǎn)個數(shù)，y 軸代表幀數(shù).

圖3 手勢“畫三角形”輪廓圖Fig.3 Contour of gesture “Draw triangle”

1.2 動態(tài)手勢輪廓特征建模

為了建立手勢輪廓圖像模型庫，需要實驗者以適中的速度反復(fù)多次執(zhí)行同一類型動作.

圖4是“畫三角形”動態(tài)手勢小時間尺度運(yùn)動產(chǎn)生的三維和二維平面圖.

圖4 手勢“畫三角形”小時間尺度運(yùn)動手勢輪廓圖Fig.4 Short-time scale contour of gesture “Draw triangle”

假設(shè)在訓(xùn)練集中執(zhí)行最慢的動態(tài)手勢的時間尺度是smax=t，且同一動態(tài)手勢連續(xù)相鄰時間尺度間隔ε 幀，那么每個動態(tài)手勢所具有的不同時間尺度的個數(shù)為t/ε，即

通過在時間軸上線性插值獲得任意時間尺度的動態(tài)手勢輪廓圖像：

式中，Ms代表尺度為s 時的動態(tài)手勢輪廓圖像，φ（·）為時間軸上的線性插值函數(shù).

分別計算這些不同時間尺度的手勢輪廓圖像的均值圖像和方差圖像，并將它們組成手勢輪廓模型庫，即

式中，Mjs（x，y）、μs（x，y）和σs（x，y）分別為訓(xùn)練集中第j 個平面圖像在時間尺度s 時的手勢輪廓圖像、均值圖像和方差圖像.圖5所示為手勢“畫圓”輪廓圖像的均值、方差圖像.

圖5 手勢“畫圓”輪廓的均值圖像和方差圖像Fig.5 Mean images and variance images of gesture“Draw circle”contour

對訓(xùn)練集中的每一種手勢都進(jìn)行上述處理，獲得訓(xùn)練集中每一種動態(tài)手勢的均值圖像組和方差圖像組，它們構(gòu)成了動態(tài)手勢輪廓模型庫，然后利用測試集中的圖像對動態(tài)手勢進(jìn)行分類識別.

2 動態(tài)手勢識別

2.1 基于相關(guān)信息的動態(tài)手勢識別

給定一個測試手勢的輪廓均值圖像和方差圖像M，其時間尺度為s，如果s≤smax，則計算該尺度輪廓模型和訓(xùn)練集中所有同尺度輪廓模型的相似度；如果s＞smax，那么先將該動態(tài)手勢M 的時間尺度s壓縮到時間尺度smax，再與訓(xùn)練集中所有在smax尺度上的模型進(jìn)行相似度計算.即

式中，1≤k≤K，K 是訓(xùn)練集中所有動態(tài)手勢類型的個數(shù)，Mt0s是需要測試的動態(tài)手勢在時間尺度s 上的模型，Gks是訓(xùn)練集中動態(tài)手勢k 在時間尺度s 上的模型，M't0s是由M 利用式（6）插值得到的，f（·）是相似度計算函數(shù).

相關(guān)信息不僅描述了不同模型之間的統(tǒng)計依賴信息，而且考慮了手勢運(yùn)動的時間信息［16］，基于相關(guān)信息的相似度函數(shù)fC的計算式為

式中，μs（i）和σs（i）分別是訓(xùn)練集中第i 個手勢模型在時間尺度s 上的均值圖像和方差圖像，Ms是時間尺度為s 的測試手勢輪廓模型，Ni是圖像的像素個數(shù)，fC是匹配程度值.

2.2 基于改進(jìn)動態(tài)時間規(guī)整的動態(tài)手勢識別

在動態(tài)手勢識別中，不同個體或者相同個體在不同時間做的手勢的速率會有很大差異，在進(jìn)行尺度規(guī)整時會出現(xiàn)很大的波動，誤匹配率比較高.

假設(shè)參考手勢輪廓圖像定義為

式中，S 為時間尺度，ai為i（i=1，2，…，t）時刻輪廓采樣點(diǎn)向量.待測試的手勢輪廓圖像定義為

式中，R 為時間尺度，bi為i（i=1，2，…，t）時刻的輪廓采樣點(diǎn)向量.通常R≠S，但與前述一樣，要求采樣點(diǎn)數(shù)相同，即輪廓采樣點(diǎn)形成的向量維數(shù)要相同.

改進(jìn)的動態(tài)時間規(guī)整IDTW 的具體過程如下：

1）給定輸入手勢時空輪廓向量

并假設(shè)規(guī)整后輸出時空輪廓向量為

2）對于每個輪廓向量bi，m，計算它們從時間0 到時間R 的累積采樣點(diǎn)的值Ci，m，

3）將時間軸按時間ts等間隔劃分到S-1 個時間片，

4）根據(jù)式（15），利用線性插值法估計第i 個采樣點(diǎn)從時間0 到時間ts的累加和C′i，ts，

6）輸出經(jīng)過時間規(guī)整的采樣點(diǎn)序列

將上述測試手勢輪廓圖像B 和參考手勢輪廓圖像A 在時間尺度上進(jìn)行對齊處理，將在時間尺度上規(guī)整對齊后的測試手勢輪廓圖像定義為

3 實驗驗證和分析

文中實驗選用了文獻(xiàn)［2］中的12 類動態(tài)手勢，如圖6所示.其中G1，G2，…，G12分別是“畫圓”、“畫三角形”、“畫矩形”、“畫弧線”、“畫水平直線”、“畫垂直線”、“移動”、“復(fù)制”、“撤銷”、“交換”、“刪除”和“關(guān)閉”手勢.

圖6 動態(tài)手勢集Fig.6 Dynamic gesture set

圖7 不同尺寸和采樣點(diǎn)數(shù)時的ROC 曲線Fig.7 ROC curves with different sizes and different sampling point numbers

選擇5 個受試者，讓每個受試者依次將12 類動態(tài)手勢分別以不同的時間尺度和空間尺度執(zhí)行5次，攝像頭記錄5 個受試者的手勢運(yùn)動視頻，視頻尺寸為320×240，共錄制的300 段視頻按照手勢類型分為12 類，每類包含25 個相同類型動態(tài)手勢的視頻.考慮到視頻尺寸的影響，也在尺寸為40×30 的視頻上進(jìn)行實驗.分別對輪廓等間隔采樣80 和120個點(diǎn)；采用“交叉驗證”法隨機(jī)選擇225 個訓(xùn)練視頻和75 個測試視頻，利用相關(guān)信息近似度量方法（CI）、原始動態(tài)時間規(guī)整方法（DTW）和改進(jìn)動態(tài)時間規(guī)整方法（IDTW）分別進(jìn)行100 次試驗，統(tǒng)計每種方法的平均識別率.

圖7給出了不同尺寸和采樣點(diǎn)數(shù)時獲得的平均受試者工作特征（ROC）曲線.從圖中可知，相關(guān)信息近似度量方法和改進(jìn)動態(tài)時間規(guī)整方法的性能比較接近，原始動態(tài)時間規(guī)整方法因沒有在時間尺度上進(jìn)行對齊處理而導(dǎo)致其整體AUC 值偏低.

當(dāng)圖像尺寸為320×240 時，采樣點(diǎn)數(shù)對相關(guān)信息近似度量方法識別率的影響不大，而當(dāng)圖像尺寸為40×30 時，采樣點(diǎn)數(shù)對識別率的影響較大.無論采樣點(diǎn)數(shù)取80 或者120，當(dāng)圖像尺寸增加時，識別率都有較大的提升.另外，隨著圖像尺寸的增加，采樣點(diǎn)數(shù)對識別率的影響逐漸減弱.

表1給出了利用3 種時間規(guī)整方法獲得的識別率.從表中可知，改進(jìn)動態(tài)時間規(guī)整方法比原始動態(tài)時間規(guī)整方法有更高的識別率.

表1 3 種方法的平均識別率比較Table1 Comparison of mean recognition rates among three methods

當(dāng)圖像尺寸降低時輪廓點(diǎn)數(shù)減少，導(dǎo)致提取手勢輪廓點(diǎn)的誤差較大.另外，隨著采樣點(diǎn)數(shù)的增加，輪廓描述手勢更加準(zhǔn)確，識別率都有明顯的提升.

相關(guān)信息近似度量方法沒有復(fù)雜的時間尺度對齊操作，故其時間性能最好；而改進(jìn)動態(tài)時間規(guī)整方法因前期引入了時間尺度對齊操作，故其時間開銷增加.

當(dāng)圖像尺寸為320×240、采樣點(diǎn)數(shù)為120 時，3種方法對12 種手勢（見圖6）的識別率如圖8所示.從圖中可以看出：CI 和DTW 方法對12 種手勢的識別精度總體上相當(dāng)，CI 方法略有優(yōu)勢；IDTW 方法對簡單動態(tài)手勢（如G4、G5、G6）的識別率與其他兩種方法非常接近，沒有明顯的優(yōu)勢，對較為復(fù)雜手勢（如G1、G2、G3等）的識別率有明顯的優(yōu)勢，但對復(fù)雜動態(tài)手勢G11的識別率優(yōu)勢不明顯.這表明，與DTW方法相比，IDTW 方法能夠提高對較為復(fù)雜手勢的識別率，但對簡單和復(fù)雜動態(tài)手勢的識別率很接近.

圖8 尺寸為320×240、采樣點(diǎn)數(shù)為120 時CI、DTW 和IDTW 方法對12 種動態(tài)手勢的識別率Fig.8 Recognition rates of 12 kinds of gestures by using CI，DTW and IDTW methods with the size of 320×240 and the sampling point number of 120

4 結(jié)論

文中提出了一種新的動態(tài)手勢識別框架，包括動態(tài)手勢輪廓特征提取和建模、利用相關(guān)信息或改進(jìn)動態(tài)時間規(guī)整方法進(jìn)行識別；將在時間序列上提取的手勢輪廓構(gòu)成動態(tài)手勢輪廓圖像，計算出同一類型手勢在多個時間尺度上的動態(tài)手勢輪廓圖像的均值圖像和方差圖像，以提高動態(tài)手勢輪廓圖像在采樣點(diǎn)數(shù)和時間尺度上的魯棒性；將這些均值圖像和方差圖像組成動態(tài)手勢輪廓模型庫，利用相關(guān)信息近似度量方法和改進(jìn)動態(tài)時間規(guī)整方法計算待測試動態(tài)手勢與模型庫中參考動態(tài)手勢輪廓模型之間的相似度.實驗結(jié)果表明，文中動態(tài)手勢輪廓模型對時間尺度有較強(qiáng)的魯棒性，利用改進(jìn)動態(tài)時間規(guī)整方法可取得比傳統(tǒng)動態(tài)時間規(guī)整方法更高的識別率.

［1］周航.基于計算機(jī)視覺的手勢識別系統(tǒng)研究［D］.北京：北京交通大學(xué)信息科學(xué)研究所，2007.

［2］顧立忠.基于表觀的手勢識別及人機(jī)交互技術(shù)研究［D］.上海：上海交通大學(xué)自動化系，2008.

［3］Khan Rehanullan，Hanbury Allan，Sto¨ttinger Julian，et al.Color based skin classification ［J］.Pattern Recognition Letters，2012，33（2）：157-163.

［4］Sun Hung-Ming.Skin detection for single images using dynamic skin color modeling ［J］.Pattern Recognition，2010，43（4）：1413-1420.

［5］MolinaJavier，Escudero-Vin~oloMarcos，SignorielloAlessandro，et al.Real-time user independent hand gesture recognition from time-of-flight camera video using static and dynamic models ［J］.Machine Vision and Applications，2011，24（1）：187-204.

［6］Fan Lixin.A feature-based object tracking method using online template switching and feature adaptation ［C］//Proceedings of the 6th International Conference on Image and Graphics.Hefei：ICIG，2011：707-713.

［7］Liu Yu，Zhou Wei，Yin Huagang，et al.Tracking based on SURF and superpixel ［C］//Proceedings of the 6th International Conference on Image and Graphics.Hefei：IEEE，2011：714-719.

［8］Wang W H A，Tung C L.Dynamic hand gesture recognition using hierarchical dynamic Bayesian networks through low-level image processing ［C］//Proceedings of the Seventh International Conference on Machine Learning and Cybernetics.Kunming：IEEE，2008：3247-3253.

［9］Sgouropoulos Kyriakos，Stergiopoulou Ekaterini，Papamarkos Nikos.A dynamic gesture and posture recognition system ［J］.Journal of Intelligent and Robotic Systems：Theory and Applications，2014，76（2）：283-296.

［10］Neumann GerHard，Maass Wolfgang，Peters Jan.Learning complex motions by sequencing simpler motion templates ［C］//Proceedings of the 26th Annual International Conference on Machine Learning.New York：ACM，2009：753-760.

［11］王西穎，戴國忠，張習(xí)文，等.基于HMM-FNN 模型的復(fù)雜動態(tài)手勢識別［J］.軟件學(xué)報，2008，19（9）：2302-2312.Wang Xi-ying，Dai Guo-zhong，Zhang Xi-wen，et al.Recognition of complex dynamic gesture based on HMM-FNN model［J］.Journal of Software，2008，19（9）：2302-2312.

［12］Itakura F.Minimum prediction residual principle applied to speech recognition， acoustics ［J］.IEEE Transactions on Speech and Signal Processing，1975，23（1）：67-72.

［13］Sakoe H，Chiba S.Dynamic programming algorithm optimization for spoken word recognition，acoustics ［J］.IEEE Transactions on Speech and Signal Processing，1978，26（1）：43-49.

［14］Black M，Jepson A.A probabilistic framework for matching temporal trajectories：condensation-based recognition of gestures and expressions ［C］//Proceedings of the 5th European Conference on Computer Vision.Berlin/Heidelberg：Springer，1998：909-924.

［15］Cheng Hong，Dai Zhongjun，Liu Zicheng.Image-to-class dynamic time warping for 3D hand gesture recognition［C］//Proceedings of 2013 IEEE International Conference on Multimedia and Expo.San Jose：IEEE，2013：1-6.

［16］Pluim Josien P W，Maintz J B Antoine，Viergever Max A.Mutual information based registration of medical images：a survey ［J］.IEEE Transactions on Medical Image，2003，22(8)：986-1004.