基于虛擬現(xiàn)實與手勢識別的人機交互系統(tǒng)

鄧紅莉　楊韜

【摘要】 本文提出了一種利用視頻手勢提取進(jìn)行人機交互的系統(tǒng)。系統(tǒng)包含：視頻采集和分離、圖像預(yù)處理、手勢提取和識別、虛擬現(xiàn)實人機交互四個模塊。系統(tǒng)通過手勢的提取和識別、手勢幾何特征和決策分析、手勢類型判定實現(xiàn)利用手勢代替鍵盤、鼠標(biāo)進(jìn)行人機交互。

【關(guān)鍵詞】 手勢識別 虛擬現(xiàn)實 人機交互

一、引言

人與計算機的交互活動越來越成為人們?nèi)粘Ｉ畹囊粋€重要組成部分，特別是近年來虛擬現(xiàn)實技術(shù)的迅猛發(fā)展，為人機交互技術(shù)的發(fā)展提供了全新的技術(shù)支持。目前，人機交互已經(jīng)擺脫了傳統(tǒng)技術(shù)手段的限制，開始“以人文本”越來越注重用戶自身的體驗。在人類的自然信息交流中，手勢是語音之外的一種最為常用的、自然直觀的交流方式，如果能利用手勢代替?zhèn)鹘y(tǒng)的計算機輸入硬件對機器進(jìn)行控制，那么人與機器的交流將更加流暢自然。針對多媒體的發(fā)展潮流以及人機交互的創(chuàng)新技術(shù)開發(fā)一套基于手勢識別的多媒體交互系統(tǒng)。

本文實現(xiàn)了通過手勢識別來操作計算機的人機交互系統(tǒng)，通過攝像頭采集使用者的手勢，并傳輸給計算機進(jìn)行處理，通過對手勢幾何特征的分析和決策來判定手勢類型，最后驅(qū)動多媒體的效果表現(xiàn)，進(jìn)而控制計算機。

二、系統(tǒng)實現(xiàn)

系統(tǒng)的基本原理是利用攝像頭采集方式獲取使用者的手勢，并將該動作傳輸紿計算機進(jìn)行處理，計算機內(nèi)的應(yīng)用程序則根據(jù)所捕捉的畫面進(jìn)行分割、識別、處理，最后驅(qū)動多媒體的效果表現(xiàn)。

2.1手勢輸入與識別

使用高清攝像頭作為采集單元，保證在合適的視野和景深范圍內(nèi)對目標(biāo)（手勢）的檢測和識別。檢測過程采用非接觸方式，目標(biāo)（手勢）識別檢測率高。然后采用模式識別算法，對輸入的手勢圖像進(jìn)行分析與處理，來進(jìn)行目標(biāo)（手勢）的檢測。

通過高清攝像頭獲取視頻數(shù)據(jù)流，將數(shù)據(jù)流分割、識別、處理從而將交互手勢從數(shù)據(jù)流中剝離，然后將輸入手勢與預(yù)先手機的手勢命令庫進(jìn)行特征配準(zhǔn)，最后，形成驅(qū)動相關(guān)應(yīng)用的交互指令。

2.2噪聲去除與信息增強

從視頻流的輸入，到手勢識別，再到信息轉(zhuǎn)換，這些過程的每一個環(huán)節(jié)都有可能受到設(shè)備電磁干擾、算法局限性等各方面的影響，這些干擾與影響最終將形成數(shù)據(jù)噪聲，對噪聲的處理不當(dāng)將使手勢圖像產(chǎn)生畸變，從而影響最終的交互指令。

因此，在手勢圖像處理之前，本文加入了一個圖像平滑/銳化處理的噪音過濾預(yù)處理，其目的是盡量消除噪聲保證手勢圖像的質(zhì)量。

2.3手勢分割與特征提取

通過實現(xiàn)建立手勢模型數(shù)據(jù)庫，然后根據(jù)數(shù)據(jù)庫對數(shù)據(jù)流中的手勢進(jìn)行分割與特征提取。本文主要采用串行邊界分割技術(shù)和并行區(qū)域分割技術(shù)實現(xiàn)手勢模型的特征參數(shù)提取，并最終依據(jù)手勢模型數(shù)據(jù)庫特征配準(zhǔn)形成最終的交互命令。在手勢識別過程中，可以根據(jù)圖像邊緣像素值、手勢輪廓、手勢形狀、運動方向、骨骼等數(shù)據(jù)建立手勢特征向量。首先，通過背景分離算法將圖像背景與手勢圖像進(jìn)行分離，然后根據(jù)數(shù)據(jù)流中剝離的手勢圖像與特征庫中的手勢圖片中的各維屬性映射到特征向量中從而完成手勢圖像的特征提取。

2.4特征分類

手勢特征被提取出來后，通過模式識別智能算法對手勢進(jìn)行分類，并最終對應(yīng)到一組具體的功能命令。本文采用基于統(tǒng)計學(xué)的決策樹做分類器，決策樹實際上利用了“分治”的思想，結(jié)合建立的手勢-命令對照表，使用決策樹算法對數(shù)據(jù)表經(jīng)行遍歷從而將手勢特征與功能命令進(jìn)行匹配，最終完成從手勢到制酸劑指令的轉(zhuǎn)換。

三、結(jié)語

基于虛擬現(xiàn)實與手勢識別的人機交互系統(tǒng)計算機通過攝像頭理解人們的手勢并做出相應(yīng)的反應(yīng)，從而使人們擺脫了傳統(tǒng)鍵盤和鼠標(biāo)的種種束縛和弊端，以達(dá)到更加方便、人性化的交互方式。該系統(tǒng)可用于家庭娛樂，會議展示，商品展示，校園展示。在眾多公司產(chǎn)品展示中應(yīng)用廣泛，但以往很多傳統(tǒng)展示系統(tǒng)難以達(dá)到人們要求，該系統(tǒng)更人性化，更美觀，更直觀。

詳細(xì)通訊地址：四川省南充市順慶區(qū)師大路一號西華師范大學(xué)實驗中心 郵編：637002

聯(lián)系電話：13890857890

參 考 文 獻(xiàn)

[1]童小念，劉娜.一種基于遺傳算法的最優(yōu)閾值圖像分割算法[J].武漢理工大學(xué)學(xué)報. 2008.32（2）：301-304.

[2]鄭友蓮.鋼筋自動計數(shù)系統(tǒng)中圖像識別算法的研究[J].武漢工程職業(yè)技術(shù)學(xué)院學(xué)報. 2008.20（1）：31-34.

[3]陳朝大，陳吹信，侯慶華.基于圖形編程的機器人人機交互系統(tǒng)[J].現(xiàn)代制造工程.2014（9）：34-38

[4]劉要華，朱珍民，葉劍. 協(xié)同人機交互機制的研究與設(shè)計[J]. 計算機工程與設(shè)計.2014（2）：726-730.