基于手勢(shì)的自然用戶界面（NUI）在會(huì)議中的應(yīng)用

林明超++王新++董祥美++王海鳳

摘要：

自然用戶界面NUI的清晰、簡(jiǎn)潔、智能化的方式讓用戶體驗(yàn)更加直觀，更為人性化?；谧匀挥脩艚缑娴膽?yīng)用設(shè)備層出不窮，手勢(shì)識(shí)別這種操作技術(shù)占據(jù)了重要的位置。隨著虛擬現(xiàn)實(shí)技術(shù)快速發(fā)展，人們的辦公方式也發(fā)生了很大的變化。在幻燈片演示方面，傳統(tǒng)的方式顯得呆板，不能讓人們自由使用動(dòng)作。因此，文中提出一種使用手勢(shì)來(lái)代替鼠標(biāo)輸入的方法，使用Leap Motion 控制器。經(jīng)過(guò)試驗(yàn)，計(jì)算機(jī)的反應(yīng)速度快，并能準(zhǔn)確地辨別出有效手勢(shì)，能夠?qū)脽羝M(jìn)行操作。

關(guān)鍵詞：

手勢(shì)識(shí)別； 人機(jī)交互； Leap Motion控制器； 自然用戶界面

中圖分類號(hào)： TP 11文獻(xiàn)標(biāo)志碼： Adoi： 10.3969/j.issn.10055630.2015.05.004

引言

人機(jī)交互（humancomputer interaction）是指通過(guò)計(jì)算機(jī)輸入設(shè)備、輸出設(shè)備使人與計(jì)算機(jī)能夠相互交流的過(guò)程。在過(guò)去，人機(jī)交互的主要輸入設(shè)備為鼠標(biāo)與鍵盤。如今，隨著計(jì)算機(jī)硬件，模式識(shí)別，人工智能等研究的快速發(fā)展，已經(jīng)可以通過(guò)身體追蹤、手勢(shì)、多點(diǎn)觸摸手勢(shì)，聲音識(shí)別、面部識(shí)別和虛擬現(xiàn)實(shí)技術(shù)等技術(shù)與計(jì)算機(jī)交互。支持這些技術(shù)的設(shè)備，包括Kinect、智能手套、麥克風(fēng)、2D攝像頭、太空鏡、iPad等類似設(shè)備[3]。

近幾年，在人機(jī)交互領(lǐng)域，使用人的自然感應(yīng)來(lái)代替計(jì)算機(jī)硬件的輸入已經(jīng)越來(lái)越流行了。例如，使用手勢(shì)識(shí)別來(lái)玩視頻游戲，比如使用Leap Motion控制器來(lái)玩水果忍者。另外，利用Leap Motion控制機(jī)器人手臂幫助有需要的人們，特別是殘疾人。這些應(yīng)用都使用了自然用戶界面（NUI）這一相同概念。NUI是一種新的操作方式，可使用戶用手勢(shì)和聲音來(lái)操縱電腦或其他機(jī)器。

如今在越來(lái)越多的會(huì)議，報(bào)告者使用PPT來(lái)展示他們的內(nèi)容。但是人們依然使用鼠標(biāo)或Kinect作為控制PowerPoint演示文稿的方式[6]。雖然至今，3D形式的展示技術(shù)依然處于一個(gè)研究狀態(tài)。為了促進(jìn)這種發(fā)展，本文提出了一種使用Leap Motion確定手勢(shì)動(dòng)作的一種方法。將這種方法與NUI技術(shù)結(jié)合，可以使用手勢(shì)作為PPT展示的控制方法。

1Leap Motion 控制器原理

Leap Motion控制器能夠能檢測(cè)和追蹤手、手指、類似于手指的物體，提供離散的位置和運(yùn)動(dòng)。它的工作速度為120幀/秒。Leap Motion的檢測(cè)范圍為設(shè)備上的一個(gè)倒置的金字塔，塔尖在設(shè)備中心。Leap Motion的可工作范圍大約在設(shè)備前方25～600 mm。有研究人員在工業(yè)機(jī)器人上設(shè)計(jì)一個(gè)測(cè)量設(shè)置，可以測(cè)量Leap Motion控制器的手勢(shì)和動(dòng)作檢測(cè)能力的精度和穩(wěn)定性[7]。靜態(tài)場(chǎng)景下的精度測(cè)量分析的結(jié)果，一個(gè)設(shè)定的3D位置與測(cè)量得到的位置之間的偏差小于0.2 mm。動(dòng)態(tài)場(chǎng)景下的精度測(cè)量分析的總體平均精度為0.7 mm。雖然不能達(dá)到理論精度0.01 mm，但是對(duì)于手勢(shì)應(yīng)用界面來(lái)說(shuō)仍是很高的精確度。

Leap Motion的原理圖如圖1所示。

Leap Motion控制器由3個(gè)IR（紅外光）發(fā)射器和2個(gè)IR相機(jī)組成。首先IR發(fā)射器發(fā)出紅外光，當(dāng)紅外光遇到障礙物后會(huì)反射，此時(shí)攝像頭接受反射的紅外光，通過(guò)算法對(duì)接收回的信息進(jìn)行處理。它使用復(fù)雜的數(shù)學(xué)方法計(jì)算出位置數(shù)據(jù)和角度等數(shù)據(jù)信息。所用到的幀信息包括手（所有的手），有端點(diǎn)的（手指和有段點(diǎn)的工具），手指（所有的手指），手勢(shì)（所有手勢(shì)的開始、結(jié)束）。

Leap Motion控制器提供了一個(gè)右手系的笛卡爾坐標(biāo)（如圖2所示）。它的位置值可以精確到微米級(jí)別。X軸和Z軸在水平面，Y軸垂直水平面，方向朝上。當(dāng)Leap Motion追蹤手的數(shù)據(jù)時(shí)，它的數(shù)據(jù)會(huì)發(fā)到數(shù)據(jù)幀內(nèi)，憑借運(yùn)動(dòng)方向朝向，可以明確輸入手勢(shì)的定義，文中將利用手的運(yùn)動(dòng)朝向來(lái)定義部分手勢(shì)。

2PPT控制方法

手勢(shì)輸入模型會(huì)判斷輸入的手勢(shì)是否為定義的手勢(shì)。手勢(shì)定義靈活多變，并且符合人的生活經(jīng)驗(yàn)，即使從沒(méi)有使用過(guò)的人也能憑借生活經(jīng)驗(yàn)很快掌握。這種手勢(shì)設(shè)定使人與計(jì)算機(jī)之間的交互更加自然，降低人們對(duì)適應(yīng)新產(chǎn)品的難度和時(shí)間。設(shè)計(jì)方法基于以上的思想，控制功能如表1所示。

手勢(shì)可以根據(jù)運(yùn)動(dòng)方向定義為，向左或向右。輸入的手勢(shì)速度必須要大于預(yù)設(shè)的值，才能被Leap Motion識(shí)別，然后判斷為該執(zhí)行什么指示。根據(jù)人的習(xí)慣，幻燈片是按順序排列，所以人們習(xí)慣于將向右的運(yùn)動(dòng)手勢(shì)作為下一步的指令。向左代表返回，即上一步的指令。文中還提供了順時(shí)針畫圈的功能使人們能作為放映幻燈片的指令，逆時(shí)針畫圈作為取消放映的功能。

2.1Leap Motion 鼠標(biāo)移動(dòng)模擬

當(dāng)使用Leap作為控制器時(shí)，首先涉及到的就是如何使用它與計(jì)算機(jī)交互。第一步必然是使用手指的移動(dòng)來(lái)代替鼠標(biāo)的移動(dòng)，必須調(diào)整Leap的坐標(biāo)系空間與計(jì)算機(jī)屏幕的坐標(biāo)空間相適應(yīng)。文中使用Leap 提供的Interaction Box類，這個(gè)類提供了規(guī)范化Leap的坐標(biāo)系空間位置到屏幕的坐標(biāo)空間的函數(shù)?？蓺w一化的Leap空間中手指的維度坐標(biāo)，以獲得在應(yīng)用坐標(biāo)里的點(diǎn)。操作人員第一最長(zhǎng)的手指為輸入，最后使用SetCursorPos函數(shù)即可獲得模擬鼠標(biāo)移動(dòng)的效果。代碼如下：

Frame frame=leap.Frame（）；

Finger finger=frame.Fingers.Frontmost；

Vector stabilizedPosition=finger.StabilizedTipPosition；

InteractionBox iBox=leap.Frame（）.InteractionBox；

Vector normalizedPosition=iBox.NormalizePoint（stabilizedPosition）；

float x=normalizedPosition.x*windowWidth；

float y=windowHeight-normalizedPosition.y*windowHeight；

SetCursorPos （（int） tx，（int）ty）.

2.2Leap Motion 鼠標(biāo)功能模擬

提出的方法支持鼠標(biāo)控制，使用Leap Motion 控制器作為前端的設(shè)備來(lái)模擬鼠標(biāo)控制。Leap Motion定義了一個(gè)自適應(yīng)的觸摸表面（如圖3所示），你可以用它來(lái)協(xié)調(diào)互動(dòng)應(yīng)用程序的2D元素。這種平面取向大致平行于XY平面，可與使用者的手指和手的位置交互。當(dāng)使用者的手或工具向前運(yùn)動(dòng)時(shí)，Leap 將會(huì)判斷向前的指向性物體是否靠近或觸摸這個(gè)模擬界面。這種情形根據(jù)相對(duì)于模擬界面的距離定義為距離（1，-1），即觸摸界面和非觸摸界面。

如圖4所示，

當(dāng)使用者的左手在Leap上運(yùn)動(dòng)時(shí)，其觸摸距離的數(shù)值。由于Leap十分靈敏，所以將其判斷距離加0.8，這樣不會(huì)造成誤點(diǎn)，如此當(dāng)觸摸距離為-0.8時(shí)，手指才剛接近觸摸界面，所以使用者必須做出明顯的觸摸動(dòng)作，才能被判定為觸摸。

2.3PPT的上一步和下一步功能

上一步和下一步功能是PPT演示中十分重要的一項(xiàng)功能。使用手的向左移動(dòng)來(lái)代表上一項(xiàng)，使用手的向右移動(dòng)來(lái)代表下一項(xiàng)，如圖5所示。當(dāng)手的移動(dòng)速度超過(guò)所設(shè)的閾值，手勢(shì)的輸入有效。使用手的手指的平均速度代表手指的移動(dòng)方向。這種方法簡(jiǎn)明有效，符合人的自然認(rèn)識(shí)。

2.4放映和退出幻燈片

自然用戶界面提供清晰、簡(jiǎn)潔、智能化的管理界面和操作方式，所以當(dāng)打開PPT后十分需求全屏化功能。使用畫圈手勢(shì)代表PPT的全屏化輸入和退出，如圖6所示。當(dāng)順時(shí)針畫圈代表全屏化PPT，當(dāng)逆時(shí)針畫圈時(shí)，代表退出全屏化。使用Leap的畫圈手勢(shì)，由于順時(shí)針和逆時(shí)針的法向量的不同，所以法向量與手指之間角度θ不同，可以設(shè)置當(dāng)θ<90°時(shí)為順時(shí)針旋轉(zhuǎn)，當(dāng)θ>90°時(shí)為逆時(shí)針旋轉(zhuǎn)。若最小識(shí)別半徑較小，使用者不經(jīng)意的轉(zhuǎn)圈就可能觸發(fā)指令，所以設(shè)置較大的最小識(shí)別半徑，設(shè)置最小識(shí)別半徑為75 mm。經(jīng)過(guò)測(cè)試，必須畫大的圓才能觸發(fā)指令，不會(huì)造成錯(cuò)誤輸入。

3成果展示

如圖7所示，使用者通過(guò)在Leap Motion上方運(yùn)動(dòng)控制PPT。所有控制手勢(shì)的功能如上文所述。

軟件和硬件開發(fā)環(huán)境如下：

軟件環(huán)境主要包括：Windows 7版本操作系統(tǒng)，Leap Motion develop Kit 2.20 for windows 是Leap 所發(fā)布的開發(fā)工具包，主要提供Leap的驅(qū)動(dòng)程序和函數(shù)。本文使用OFFICE 2013 版本的PowerPoint演示文稿。開發(fā)的編譯器為Visual studio 2013，使用C#語(yǔ)言。

硬件包括：PC，Leap Motion控制器。

手勢(shì)操作測(cè)試中，使用了Leap Motion控制器測(cè)試了上述的方法。首先打開一個(gè)PowerPoint演示文稿，使用鼠標(biāo)模擬按鍵點(diǎn)擊幻燈片放映，使用向右或向左手勢(shì)控制幻燈片，使用鼠標(biāo)移動(dòng)到重點(diǎn)部分進(jìn)行指示，在幻燈片中途使用逆時(shí)針手勢(shì)退出幻燈片放映。

試驗(yàn)結(jié)果顯示在使用過(guò)程中能辨認(rèn)出有效的手勢(shì)。各手勢(shì)設(shè)置的識(shí)別閾值合理，沒(méi)有因?yàn)長(zhǎng)eap Motion的高精度的識(shí)別度而出現(xiàn)錯(cuò)誤的識(shí)別。

4結(jié)論

本文展示了PowerPoint演示文稿基于自然用戶界面（NUI）的控制方法。通過(guò)一個(gè)試驗(yàn)性的實(shí)驗(yàn)，發(fā)現(xiàn)了使用Leap 來(lái)定義手勢(shì)，然后替代鼠標(biāo)的功能。這種新方法的關(guān)鍵處在于應(yīng)用人的感覺(jué)作為鼠標(biāo)功能的代替。人們可以使用一種自然的方法來(lái)演示PPT。一些簡(jiǎn)單、有效的手勢(shì)能與計(jì)算機(jī)實(shí)時(shí)交互。實(shí)驗(yàn)結(jié)果顯示這種方法很穩(wěn)定，能夠幫助人們使用手勢(shì)控制PPT的演示。

自然用戶界面增加了人們使用機(jī)器的感受，它的應(yīng)用將會(huì)被使用在各個(gè)領(lǐng)域。如果與虛擬現(xiàn)實(shí)技術(shù)、語(yǔ)音導(dǎo)航結(jié)合，人們將能立體展示自己的產(chǎn)品。本文方法的應(yīng)用在這種展示方法上將是一個(gè)完美的結(jié)合。

參考文獻(xiàn)：

[1]MOHANDAS M，ALIYU S，DERICHE M.Arabic sign language recognition using the leap motion controller[C]∥2014 IEEE 23rd International Symposium on Industrial Electronics （ISIE）.Istanbul：IEEE，2014：960965.

[2]全星慧，牟海維，呂秀麗，等.基于PCA與貝葉斯決策的人臉識(shí)別算法[J].光學(xué)儀器，2014，36（2）：122125.

[3]LIU H Z，XI Y L，SONG W，et al.Gesturebased NUI application for realtime path modification[C]∥2013 IEEE 11th International Conference on Dependable，Autonomic and Secure Computing（DASC）.Chengdu：IEEE，2013：446449.

BASSILY D，GEORGOULAS C，GVTTLER J，et al.Intuitive and adaptive robotic arm manipulation using the leap motion controller[C]∥Proceedings of ISR/Robotic 2014； 41st Internatimal Symposium on Robotics Munich.Germany：VDE，2014：17.

[5]黃康泉，陳壁金，鄭博，等.Kinect 在視頻會(huì)議系統(tǒng)中的應(yīng)用[J].廣西大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，36（增刊Ⅰ）：308313.

[6]陳靜，陳澤宇，王敏娟，等.基于Kinect 的體感技術(shù)在教學(xué)領(lǐng)域中的應(yīng)用∥第五屆教育教學(xué)改革與管理工程學(xué)術(shù)年會(huì).重慶：全國(guó)教育教學(xué)改革與管理工程組委會(huì)，2012.

[7]WEICHERT F，BACHMANN D，RUDAK B，et al.Analysis of the accuracy and robustness of the leap motion controller[J].Sensors，2013，13（5）：63806393.

（編輯：張磊）