面向移動增強(qiáng)現(xiàn)實的手勢交互方法

梁歡， 陳一民， 李德旭， 黃晨

(上海大學(xué) 計算機(jī)工程與科學(xué)學(xué)院,上海 200444)

0 引言

增強(qiáng)現(xiàn)實(Augmented Reality，AR)技術(shù)是在虛擬現(xiàn)實(Virtual Reality，VR)基礎(chǔ)上發(fā)展起來的，是將計算機(jī)生成的虛擬場景融合到真實世界場景中，強(qiáng)化用戶對現(xiàn)實的感觀和認(rèn)知，實現(xiàn)對現(xiàn)實世界的增強(qiáng)。隨著移動設(shè)備硬件的提升和移動通信技術(shù)的發(fā)展，手持設(shè)備已經(jīng)逐步成為了移動增強(qiáng)現(xiàn)實的理想平臺，移動增強(qiáng)現(xiàn)實(Mobile Augmented Reality，MAR)也應(yīng)運(yùn)而生。

手勢是日常生活中人與人之間相互交流的一部分。以“手勢”作為輸入圖像信息，完成人與計算機(jī)的智能交互功能，成為感知用戶界面的重要組成部分。這也使得手勢識別成為人機(jī)交互領(lǐng)域中的一項關(guān)鍵技術(shù)。而近年來3D攝像頭的產(chǎn)生使手勢識別的應(yīng)用更加普及與便捷。

手勢識別的方法有隱馬爾科夫模型(HMM)[1]、動態(tài)時間規(guī)整(DTW)[2]、支持向量機(jī)(SVM)[3]、3D卷積神經(jīng)網(wǎng)絡(luò)(3DCNN)[4]、等。這些算法在手勢識別方面都有其各自的優(yōu)點(diǎn)，但這些算法或因其算法復(fù)雜度較大，實時性比較低；或因訓(xùn)練樣本比較復(fù)雜及樣本集較大，訓(xùn)練非常耗時；或因計算量大、計算速度較低，手勢識別速度與識別率均比較低等問題，在移動端都不太適用。

針對以上問題，本文提出了一種面向MAR的基于深度學(xué)習(xí)和隱馬爾科夫模型的手勢交互方法。首先通過leap motion采集手勢視頻序列，提取人手的骨骼數(shù)據(jù)、灰度深度圖像數(shù)據(jù)，以彌補(bǔ)移動終端缺乏深度攝像頭的缺點(diǎn)；隨后采用DBN和3DCNN對提取到手勢數(shù)據(jù)進(jìn)行訓(xùn)練，得到高維的特征數(shù)據(jù)；最后，將高維數(shù)據(jù)特征融合為概率，并作為隱馬爾可夫模型的觀測概率對手勢進(jìn)行訓(xùn)練和識別，以提高手勢識別的效率。該方法利用高性能工作站處理手勢信息，然后通過無線局域網(wǎng)將數(shù)據(jù)發(fā)送給移動端，以降低移動端的負(fù)荷量，解決了移動端的計算能力較低的問題。

1 基于深度學(xué)習(xí)和隱馬爾可夫模型的手勢交互方法

1.1 相關(guān)理論

深度置信網(wǎng)絡(luò)(Deep Belief Network，DBN)，是一種生成模型，通過訓(xùn)練其神經(jīng)元間的權(quán)重，可以讓整個神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)[5]。在本文中，不僅可以使用DBN識別特征、分類數(shù)據(jù)，還可以用它來生成數(shù)據(jù)。

3D卷積神經(jīng)網(wǎng)絡(luò)(3D Convolutional Neural Networks，3DCNN)，是一種深度神經(jīng)網(wǎng)絡(luò)模型，可應(yīng)用于目標(biāo)識別等應(yīng)用環(huán)境中，對圖像序列的目標(biāo)識別和人的行為識別或動作識別進(jìn)行檢測[6]。3D卷積是在2D卷積的基礎(chǔ)上加上時間的維度，對每一幀加入時間維度的圖像進(jìn)行CNN處理，以此來獲取手勢的運(yùn)動信息[7]。

隱馬爾可夫模型(Hidden Markov Model，HMM)，是在Markov鏈的基礎(chǔ)上發(fā)展起來的[8]，通過一組概率分布相聯(lián)系，是一個雙重隨機(jī)過程，其中一個隨機(jī)過程是描述了狀態(tài)和觀察值之間的統(tǒng)計對應(yīng)關(guān)系；另一個則Markov鏈，描述狀態(tài)的轉(zhuǎn)移[5]。在連續(xù)的情況下，該過程的一種狀態(tài)序列會根據(jù)當(dāng)前狀態(tài)的隨機(jī)函數(shù)產(chǎn)生一個觀察值。每一個轉(zhuǎn)移都有一個轉(zhuǎn)移概率和一個輸出概率。

1.2 手勢特征

本文定義的動態(tài)手勢和靜態(tài)手勢，每個手勢都會帶有骨骼特征與灰度深度圖像特征，因此，為了保持動態(tài)手勢的空間和時間不變性，以更完整地表達(dá)手勢定義。本文基于手勢一般具有對稱性的特點(diǎn)，對數(shù)據(jù)進(jìn)行如下預(yù)處理：只關(guān)注位置較高的手，如果是雙手做動作，做一個鏡像再進(jìn)行特征處理，為了方便圖像處理，本文使用右手視角。經(jīng)過數(shù)據(jù)處理后，可以有效地減少實驗數(shù)據(jù)量，降低實驗的復(fù)雜度，此外，將深度圖像通過掩模去掉背景可以有效地減少噪聲。為方便實驗，我們將數(shù)據(jù)進(jìn)行歸一化處理，對于深度圖像使用Z軸歸一化即將深度信息去除平均值，而對于灰度圖像則采用標(biāo)準(zhǔn)圖像倒數(shù)進(jìn)行歸一化。

在骨骼特征的提取中，只考慮手的關(guān)節(jié)活動變化。為了捕捉到手勢的動態(tài)性，本文對骨骼的移動距離在時間上進(jìn)行求導(dǎo)處理，如式(1)。

(1)

1.3 手勢建模

本文的模型是基于數(shù)據(jù)驅(qū)動學(xué)習(xí)的，如圖1所示。

圖1 手勢模型

1.3.1 模型建立

首先，將骨骼特征信息作為DBN的輸入， DBN整個訓(xùn)練過程分為兩步：第一步，使用貪心的逐層無監(jiān)督學(xué)習(xí)對堆疊的限制玻耳茲曼機(jī)(Restricted Boltzmann Machine，RBM)層進(jìn)行訓(xùn)練[9]；第二步，在DBN的頂層使用softmax分類器層作為輸出層，轉(zhuǎn)化成概率作為HMM的輸入。對于給出的特征向量f，DBN模型將會產(chǎn)生相應(yīng)的高維的數(shù)據(jù)特征。

RBM由隱藏單元和可見單元構(gòu)成。其中隱藏單元和可見單元都是二元變量。在一個RBM中，v表示所有的可見單元，h表示所有隱藏單元，給定模型參數(shù)θ的情況下，可見單元和隱單元的聯(lián)合概率分布用能量函數(shù)Ev,h;θ定義為式(2)。

(2)

(3)

其中wij表示可見單元vi和隱單元hj之間的對稱連接權(quán)值，bi和aj表示偏置項，I和J是可見單元和隱單元的數(shù)目。

其次，采用3DCNN對圖像的灰度深度特征進(jìn)行訓(xùn)練，最終得出相應(yīng)的高維特征數(shù)據(jù)。

3DCNN的結(jié)構(gòu)包含卷積層、池化層和全連接層，3D卷積層是由3D卷積核對連續(xù)幀進(jìn)行卷積實現(xiàn)的,具體實現(xiàn)結(jié)構(gòu),如圖2所示。

圖2 3DCNN結(jié)構(gòu)圖

將4種上下文相關(guān)的幀圖像堆積成大小為64*64*4的輸入，第一層是由5*5的卷積核生成的32幅卷積圖像組成，卷積層之后跟著的是寬度為(2,2,2)的3D池化層，所有卷積層的輸出會作為大小為1024的全連接層的輸入，最后輸出層會輸出概率序列作為HMM的輸入。本文中使用右手視角，僅對圖像的灰度信息進(jìn)行處理，這樣可以有效地減少實驗數(shù)據(jù)量。

pH1:T,X1:T=pH1p(X1H1)

(4)

其中pH1是初始隱藏狀態(tài)下的先驗條件，p(XtHt-1)是對允許狀態(tài)轉(zhuǎn)換及其概率建模的過渡轉(zhuǎn)換，p(XtHt)是觀測概率。

最后，HMM框架用于手勢分割和識別，對每個給定的手勢a∈A，引入一組狀態(tài)Ha來定義該手勢的馬爾可夫模型。由于本文的目標(biāo)是捕獲所執(zhí)行手勢的速度變化，所以p(XtHt-1)設(shè)置轉(zhuǎn)換矩陣：當(dāng)在時間t處于特定節(jié)點(diǎn)n時，轉(zhuǎn)換到時間t+1，可以維持在同一個節(jié)點(diǎn)(較慢)，轉(zhuǎn)換到節(jié)點(diǎn)n+1，或轉(zhuǎn)換到節(jié)點(diǎn)n+2(較快)。因為HMM的圖是有向樹，所以使用維特比算法，可以精確有效地搜索路徑空間，找到最可能的路徑。

2.3.2 模型求解

首先，從獲取到的骨骼數(shù)據(jù)中提取出骨骼特征，對于給定的特征向量f，使用DBN模型預(yù)測觀測概率，步驟如2.3.1。DBN隨后以監(jiān)督的方式進(jìn)行微調(diào)，以預(yù)測觀測概率。DBN的每個層的節(jié)點(diǎn)數(shù)是[Nf，2 000,2 000,1 000，NH]。

RBM是無向圖模型，涉及可見和隱藏變量，相鄰層的隱藏單元和可見單元之間對稱連接，但在同一層內(nèi)的單元之間沒有連接。在大多數(shù)情況下，RBM模型中的單位是二進(jìn)制隨機(jī)變量。然而，在本文的情況下，第一層中的可見單元包含骨架特征f∈RNf的向量，其值是連續(xù)的。為了能夠處理這些數(shù)據(jù)，采用高斯伯努利RBM(GRBM)[10]。標(biāo)準(zhǔn)RBM第一層f對隱藏二進(jìn)制隨機(jī)單元h∈{0,1}F的能量項由公式(5)給出式(5)。

(5)

其中θ=W,b,a是自由參數(shù)，Wij為可見單元i和隱藏單元j之間的對稱關(guān)系，變量bi和aj分別為可見單元和隱藏單位的偏差項。推理和生成建模所需的條件分布由二進(jìn)制隱藏單元的傳統(tǒng)邏輯函數(shù)g和連續(xù)單位的正態(tài)分布N給出，如式(6)和式(7)。

(6)

(7)

本文采用隨機(jī)最大似然的方法對DBN進(jìn)行逐層訓(xùn)練。DBN初始化時使用的是提前預(yù)訓(xùn)練的結(jié)果。初始化的原因是為了防止陷入局部最小的問題中，與此同時，初始化也可以有效提升生成模型的能力。

然后，我們根據(jù)leapmotion提取到的灰度圖像數(shù)據(jù)提取相應(yīng)的灰度特征。3DCNN通過預(yù)處理產(chǎn)生四個分辨率為64×64的視頻樣本(身體和手的灰度和深度圖像)。此外，通過使用隨數(shù)據(jù)提供的自動生成的分割掩模去除背景并應(yīng)用中值濾波，減少了深度圖中的噪點(diǎn)。

最后，我們將前兩個過程生成的數(shù)據(jù)結(jié)合起來融合成觀測概率作為HMM的輸入。采用中期融合的方法，利用每個模塊(相應(yīng)網(wǎng)絡(luò)的倒數(shù)第二層的Vs和Vr節(jié)點(diǎn)，即頂層輸出之前的層表示)的高級表示。通過在2 024個隱藏單元的一層中連接這兩個層，以平均的方式進(jìn)行融合。然后，直接從所得到的網(wǎng)絡(luò)中獲得交叉模式的觀測概率。整個融合過程如圖1圖所示。

2 實驗結(jié)果

2.1 實驗環(huán)境

實驗軟件開發(fā)平臺包括VS2016、Vuforia for Unity工具包、Leapmotion_Core_Assets以及相關(guān)的Unity開發(fā)包；手勢訓(xùn)練在工作站完成，配置為INTEL_XEON E5 2623 V4*1顆 4cores，2.6GHz，內(nèi)存64G；移動AR環(huán)境為DELL Venue8 784001平板，其操作系統(tǒng)為Android5.1，后置攝像頭像素為800萬；手勢交互使用leapmotion，放置在平板攝像頭的正下方。

2.2 手勢識別實驗

2.2.1 手勢定義

1) 命令手勢定義

根據(jù)手勢的自然性特征，我們定義9個命令手勢，僅涉及單手的動作，包含手掌的運(yùn)動和手形的變化。定義的命令手勢分為靜態(tài)和動態(tài)手勢，其中靜態(tài)手勢的掌心位置和手形不發(fā)生變化；動態(tài)手勢的掌心位置發(fā)生變化。具體定義,如表1所示。

表1中，(G1)5指伸展靜止不動表示某一狀態(tài)開啟；手指朝前畫圓(G2)表示啟動模型walk動作；手指朝前畫三角形(G3)表示啟動模型run動作；手指朝前畫矩形(G4)表示啟動模型jump動作；手掌朝下向上揮動(G5)表示啟動模型winpose動作；手指朝下畫“b”(G6)表示啟動模型KO動作；手指朝左畫“m”(G7)表示啟動模型damage動作；手掌朝左向右揮動(G8)表示啟動模型hit動作；握拳(G9)靜止不動表示某一狀態(tài)關(guān)閉。

表1 命令手勢定義表

2) 交互動作定義

為了提供一種直觀、自然、便利的手勢交互方式與虛擬模型進(jìn)行交互，我們針對命令手勢特定義7種交互動作，如表2所示。

表2 交互動作定義表

2.2.2 手勢識別

本文共涉及到9個手勢，共兩種：靜態(tài)手勢和動態(tài)手勢，每種手勢分別采集200個測試樣本進(jìn)行測試，結(jié)果如表3所示。

表3 不同算法下動態(tài)手勢識別率

表3中顯示單獨(dú)使用HMM方法識別手勢的識別率明顯低于本文所提出的方法，由此可表明通過隱馬爾可夫與深度學(xué)習(xí)相結(jié)合的方法有效地提高了手勢識別率。

實驗過程中，采用留一交叉驗證法對手勢進(jìn)行正確率的驗證，從表2中可以看出，DL-HMM各手勢識別率均高于傳統(tǒng)的HMM方法，其中靜態(tài)手勢高出2%，動態(tài)手勢高出1.93%；對于SVM，靜態(tài)手勢高出1.5%，動態(tài)手勢高出1.15%；對于3DCNN，其中靜態(tài)手勢高出0.75%，動態(tài)手勢高出0.86%；對于RNN，其中靜態(tài)手勢高出1.25%，動態(tài)手勢高出1.14%。因此，DL-HMM有效地提高了手勢識別率。

2.2.3 手勢交互實驗

該實驗的目的是檢驗手勢交互的效果與準(zhǔn)確性，并且將基于傳感器的手勢交互方法應(yīng)用到移動端，實現(xiàn)對模型的操作。實驗開始后，打開實現(xiàn)本文算法的應(yīng)用，并將標(biāo)識置于攝像頭的范圍內(nèi)。手機(jī)獲取到注冊到標(biāo)記上的模型，通過本算法，利用leapmotion對手勢的獲取，注冊到標(biāo)識位置的模型會產(chǎn)生相應(yīng)的動作，實驗結(jié)果,如圖3所示。

(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)(k)(l)

圖3 手勢交互效果圖

圖3顯示了部分手勢與模型的交互過程，從中可以看出，當(dāng)右手五指自然伸展，手掌朝下靜止不動，模型狀態(tài)啟動，模型呈初始狀態(tài)如圖3(a)所示；當(dāng)右手手指朝前畫三角形，啟動模型run動作，如圖3(b)和(c)所示；當(dāng)右手手指朝前畫圓，啟動模型walk動作，如圖3(d)、(e)和(f)所示；當(dāng)右手手掌朝下向上揮動，模型啟動模型jump動作，如圖3(g)、(h)和(i)所示；當(dāng)右手手指朝畫“m”，啟動模型damage動作，如圖3(j)和(k)所示；當(dāng)右手握拳靜止不動，模型狀態(tài)關(guān)閉，模型停止動作，如圖3(l)所示。

4 總結(jié)

本文在移動AR環(huán)境下提出了基于深度學(xué)習(xí)和隱馬爾可夫相結(jié)合的手勢識別算法實現(xiàn)了移動端的動態(tài)手勢識別和交互。實驗表明，本文所提出的方法可有效地提高了手勢識別率，同時，在交互實驗中，通過采用leapmotion彌補(bǔ)了移動終端缺少深度信息的弱點(diǎn)，提升了交互的準(zhǔn)確性。通過引入手勢識別可有提升系統(tǒng)的執(zhí)行效率，提升了交互的體驗感。由于移動終端處理能力的限制，因此，為了保證手勢交互的執(zhí)行效率，我們采用工作站處理手勢信息，通過無線局域網(wǎng)交換手勢信息，降低移動終端的負(fù)荷。

參考文獻(xiàn)

[1] 嚴(yán)焰, 劉蓉, 黃璐,等. 基于HMM的手勢識別研究[J]. 華中師范大學(xué)學(xué)報(自科版), 2012, 46(5):555-559.

[2] 李凱, 王永雄, 孫一品. 一種改進(jìn)的DTW動態(tài)手勢識別方法[J]. 小型微型計算機(jī)系統(tǒng), 2016, 37(7):1600-1603.

[3] 石曼銀. 一種基于SVM向量機(jī)的手勢識別算法[J]. 電子測試, 2013(16):24-25.

[4] 苗啟廣, 李宇楠, 徐昕. 基于3DCNN的大規(guī)模視頻手勢識別研究[J]. 中興通訊技術(shù), 2017, 23(4):9-13.

[5] Bengio Y, Guyon G, Dror V, et al. Deep learning of representations for unsupervised and transfer learning[J] Workshop on Unsupervised & Transfer Learning, 2012(7):1-20.

[6] Zhou N, Du J. Recognition of Social Touch Gestures Using 3D Convolutional Neural Networks[C]// Chinese Conference on Pattern Recognition. Springer Singapore, 2016:164-173.

[7] 易生, 梁華剛, 茹鋒. 基于多列深度3D卷積神經(jīng)網(wǎng)絡(luò)的手勢識別[J]. 計算機(jī)工程, 2017, 43(8):243-248.

[8] Rabiner L R. A tutorial on hidden Markov models and selected applications in speech recognition[J]. Readings in Speech Recognition, 1990, 77(2):267-296.

[9] Hinton G E, Osindero S, and Teh Y-W, “A fast learning algorithm for deep belief nets,”[J]. Neural computation, 2006,

[10] Torres-Valencia C A, García H F, Holguín G A, et al. Dynamic Hand Gesture Recognition Using Generalized Time Warping and Deep Belief Networks[C]// International Symposium on Visual Computing. Springer, Cham, 2015:682-691.