手控人機(jī)交互技術(shù)綜述

黨英霞

（國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作湖北中心 湖北省 武漢市 4300470）

摘 要：人手作為僅次于語言的一種自然交流方式，通過手勢控制人機(jī)交互的應(yīng)用取得了較大發(fā)展，本文從手勢控制人機(jī)交互方向切入，首先根據(jù)全球的申請量變化分析本領(lǐng)域的專利申請趨勢，進(jìn)而對其技術(shù)分支進(jìn)行分析。

1概述

人機(jī)交互技術(shù)通過輸入、輸出設(shè)備，以有效的方式實現(xiàn)交互主體與交互客體的對話。傳統(tǒng)的交互方式要求用戶通過鍵盤、鼠標(biāo)等進(jìn)行信息傳遞，這導(dǎo)致傳統(tǒng)方式不夠高效自然。近年來，針對傳統(tǒng)交互的弱點，逐步發(fā)展了一些新的交互方式，如：人臉識別、語音識別、手勢識別等，它們以人為中心，以多媒體、多通道為交互模式實現(xiàn)對人機(jī)交互技術(shù)的升級。

作為一種不需要中間媒介非常人性化的人機(jī)交互方式，手勢是一種表達(dá)用戶的意圖的理想且自然的方式。通過手勢表達(dá)信息能夠降低人們的認(rèn)知負(fù)擔(dān)，越來越多的應(yīng)用系統(tǒng)以手勢識別控制作為人機(jī)交互的接口，下面對手勢識別控制的人機(jī)交互發(fā)展作一個綜述。

2國內(nèi)外研究發(fā)展分析

手控人機(jī)交互研究根據(jù)采集設(shè)備的不同可以分為基于視覺技術(shù)的手控人機(jī)交互技術(shù)和基于傳感器技術(shù)的手控人機(jī)交互技術(shù)。前者是通過攝像設(shè)備采集手勢信息來完成交互任務(wù)；后者則是要求用戶通過佩戴傳感器來獲取數(shù)據(jù)信息以完成交互工作。

從圖1給出了全球?qū)＠茨甓确植嫉姆植记闆r，可以看出2000-2010年兩者的申請量較小，在此階段人機(jī)交互還處于傳統(tǒng)借助設(shè)備的階段，以用戶為中心的人機(jī)交互手段開始興起。從全球申請量逐年增長比較平穩(wěn)。在2011年之后進(jìn)入迅猛增長期，具有優(yōu)良性能的電子產(chǎn)品面世為手控人機(jī)交互研究帶來機(jī)遇，總體來看，基于視覺的手控人機(jī)交互相較于基于傳感器的手控人機(jī)交互更受青睞，原因是后者需要用戶佩戴感應(yīng)裝置導(dǎo)致用戶的體驗不夠自由，人們更傾向于自然手的交互方式。但是基于視覺的手控人機(jī)交互受環(huán)境影響較大，算法較復(fù)雜，實時性相對較差，而基于傳感器的手控人機(jī)交互卻可彌補(bǔ)這些不足，所以后者的研究仍然得以繼續(xù)。

基于視覺的

基于視覺的手控人機(jī)交互方法是應(yīng)用攝像機(jī)拍攝圖像或視頻，從中檢測和分割獲取目標(biāo)，然后提取特征識別。

早期基于視覺的交互方法主要是利用一個圖像采集設(shè)備獲得手勢的平面模型，與預(yù)先建立的手勢數(shù)據(jù)進(jìn)行匹配識別，由此可通過手勢控制計算機(jī)進(jìn)行指令切換的操作，即基于二維成像的手控人機(jī)交互。以索尼公司申請?zhí)枮镴P2003193738的申請專利為例，提出了一種個人計算機(jī)的用戶控制系統(tǒng)。在這個系統(tǒng)中，利用攝像機(jī)拍攝用戶手部或手指在屏幕前的運(yùn)動，然后該系統(tǒng)根據(jù)拍攝到的用戶手指或者手部的運(yùn)動識別出這個手勢所代表的真實含義，并將其轉(zhuǎn)換成計算機(jī)能夠識別的指令予以執(zhí)行，實現(xiàn)非接觸式指令控制，利用手勢進(jìn)行計算機(jī)的遠(yuǎn)程控制所帶來了極大便利性。

二維成像方法采集簡單、計算速度較快，但是由于光照、遮擋等問題對其所限制，隨著三維成像技術(shù)的推動，產(chǎn)生了基于三維成像的交互技術(shù)，該方法利用立體成像設(shè)備獲得手勢的三維空間信息。三維成像根據(jù)其成像原理又可分為基于多角成像的、基于深度相機(jī)的。

（1）基于多角成像是使用至少兩臺攝像機(jī)同時拍攝圖像，通過比對這些在不同位置上的攝像機(jī)在同一時刻獲得圖像視差，根據(jù)幾何原理計算深度信息。以松下電器申請?zhí)枮镴PH11174948的申請專利為例，提出了一種手勢識別裝置。在該裝置中，使用至少兩臺攝像機(jī)同時拍攝圖像，通過比對這些攝像機(jī)獲得圖像視差，計算用戶的三維空間信息，進(jìn)而檢測用戶手部的三維移動，提取特征執(zhí)行分類識別多個種類的手語手勢。

（2）基于深度相機(jī)是利用激光通過光柵發(fā)生折射位移后檢測圖樣變化計算得到深度信息或者利用光子反射回來的飛行時間計算物體距離，代表產(chǎn)品為Kinect一代、TOF相機(jī)。以中興通訊申請?zhí)枮镃N201210264265的申請專利為例，提出了一種三維手勢識別方法。實時獲取深度圖像，使用閾值分割出目標(biāo)位置，計算深度圖像輪廓的深度特征，形成特征向量，基于概率算法抽取手部的運(yùn)動軌跡，與預(yù)定義的模板進(jìn)行匹配，識別出動作類型，適用于一般計算性能的終端。

基于傳感器的

基于傳感器的手控人機(jī)交互方法是用戶通過佩戴可感知運(yùn)動狀態(tài)的設(shè)備采集跟蹤手部相關(guān)信息進(jìn)行分析識別。按照傳感器的類型大致可以分為加速度傳感器、表面肌電信號傳感器以及數(shù)字傳感器數(shù)據(jù)手套三類。

（1）加速度傳感器可以采集人手的運(yùn)動信息，并通過設(shè)備傳輸?shù)叫畔⒔馕瞿K實現(xiàn)手勢識別。以浙江大學(xué)申請?zhí)枮镃N200910154018的申請專利為例，提出了一種基于加速度的手勢識別的方法。利用三維加速度傳感器檢測手持該傳感器的用戶整個手勢變化過程中的三維加速度數(shù)據(jù)序列，即前后方向x軸、左右方向y軸、上下方向z軸的三個正交方向的加速度數(shù)據(jù)列，得到整體特征描述，訓(xùn)練測試得到手勢數(shù)據(jù)的識別，以實現(xiàn)對家電設(shè)備的控制。

（2）表面肌電信號數(shù)字傳感器是根據(jù)人體不同肌肉群收縮所產(chǎn)生的微弱電生理信號，可以反映出肌肉的活動狀態(tài)、強(qiáng)度等信息，進(jìn)而識別手勢。以中國科技大學(xué)申請?zhí)枮镃N200910252098的申請專利為例，提出了一種盲人用移動電話交互裝置。利用放置在盲人手前臂皮膚表面作為信號采集模塊，用于檢測相關(guān)肌肉活動而產(chǎn)生電信號，基于電信號傳輸給信號處理模塊以獲取手勢動作輸入集，手機(jī)系統(tǒng)可根據(jù)輸入集理解其表達(dá)的控制意圖，繼而執(zhí)行相應(yīng)的指令。

（3）數(shù)據(jù)手套是利用傳感器傳輸手部的參數(shù)信息，利用這些信息內(nèi)容進(jìn)行手勢的識別。以NAVIGATION科技公司申請?zhí)枮閁S20020045804的申請專利為例，提出了一種基于數(shù)據(jù)手套實現(xiàn)數(shù)據(jù)收集的方法。操作人員能夠通過在手上佩戴數(shù)據(jù)手套并做出手勢動作來實現(xiàn)數(shù)據(jù)的輸入，傳感器收集動作數(shù)據(jù)經(jīng)由數(shù)據(jù)手套傳輸?shù)绞占到y(tǒng)中，進(jìn)而根據(jù)該傳感數(shù)據(jù)識別出手勢。

總結(jié)

基于手控人機(jī)交互研究已經(jīng)取得一些令人振奮的成果，但它仍舊是一門新興的研究領(lǐng)域，其中基于深度圖的和基于新型傳感器的手控人機(jī)交互仍然面臨許多挑戰(zhàn)性的課題，手控人機(jī)交互中的應(yīng)用還處于起步階段。

參考文獻(xiàn)

[1]袁保宗， 阮秋琦， 王延江， 等. 新一代 （第四代） 人機(jī)交互的概念框架特征及關(guān)鍵技術(shù)[J]. 電子學(xué)報， 2003， 31（12）： 1945-1954.

[2] 蔣慶全. 國外 VR 技術(shù)發(fā)展綜述[J]. 飛航導(dǎo)彈， 2002， 1（272）： 34.