基于Leap Motion手語(yǔ)語(yǔ)音轉(zhuǎn)換的設(shè)計(jì)與實(shí)現(xiàn)

姜檬 郭仁春 李俊龍 王志淳

摘? ?要：文章介紹了基于Leap Motion手語(yǔ)語(yǔ)音轉(zhuǎn)換的原理以及在實(shí)際中如何實(shí)現(xiàn)應(yīng)用，其能夠?qū)⑹终Z(yǔ)手勢(shì)翻譯成所需語(yǔ)言，并且以語(yǔ)音的形式傳遞消息，實(shí)現(xiàn)為聾啞人“發(fā)聲”的目的。Leap Motion手語(yǔ)語(yǔ)音轉(zhuǎn)換的硬件部分采用Leap Motion體感控制器，能夠?qū)崟r(shí)采集人手指的坐標(biāo)、加速度、方向等動(dòng)態(tài)手勢(shì)的運(yùn)動(dòng)信息。軟件采用Unity 3D三維引擎，提供了開發(fā)手勢(shì)識(shí)別的SDK，并給出了一些基本手的模型，在Unity 3D中完成由手勢(shì)到文字，再到語(yǔ)音的轉(zhuǎn)換。

關(guān)鍵詞：動(dòng)態(tài)手勢(shì)識(shí)別;厲動(dòng);Unity 3D

1? ? 手勢(shì)識(shí)別

手勢(shì)識(shí)別是手語(yǔ)語(yǔ)音轉(zhuǎn)換的首要步驟，包括手勢(shì)的采集與手勢(shì)識(shí)別。手勢(shì)的釆集廣泛使用的方法有數(shù)據(jù)手套[1]、專業(yè)的視頻釆集攝像機(jī)等[2]。而手勢(shì)識(shí)別的研究方向有兩個(gè)：一個(gè)是靜態(tài)手勢(shì)識(shí)別，另一個(gè)是動(dòng)態(tài)手勢(shì)識(shí)別。靜態(tài)手勢(shì)識(shí)別始于20世紀(jì)初，主要利用獲取到的單個(gè)時(shí)間點(diǎn)的手勢(shì)圖像中手的形狀、手指的姿態(tài)等信息進(jìn)行手勢(shì)表達(dá)含義的識(shí)別[3]。相比于靜態(tài)手勢(shì)識(shí)別，動(dòng)態(tài)手勢(shì)識(shí)別要稍晚一些，需要對(duì)連續(xù)一段時(shí)間的手勢(shì)圖像信息進(jìn)行圖像處理，通過(guò)獲取處理后的連續(xù)時(shí)間內(nèi)手、手指的位置、速度等數(shù)據(jù)信息來(lái)識(shí)別手勢(shì)表達(dá)的意義[4]。

本文提出的基于Leap Motion的手語(yǔ)語(yǔ)音轉(zhuǎn)換是基于視覺(jué)（圖像）的手勢(shì)識(shí)別系統(tǒng)[5]，采用的手勢(shì)識(shí)別系統(tǒng)是Leap Motion體感控制器，是支持C#語(yǔ)言的三維引擎，且提供了手勢(shì)開發(fā)的軟件開發(fā)工具包（Software Development Kit，SDK），為手勢(shì)定義成文字提供了便利條件。本文是使用C#語(yǔ)言對(duì)手語(yǔ)語(yǔ)音轉(zhuǎn)換進(jìn)行開發(fā)的。

2? ? Leap Motion手語(yǔ)語(yǔ)音轉(zhuǎn)換的原理

2.1? Leap Motion功能介紹

本文采用的Leap Motion是Leap公司最新研發(fā)的體感控制器，是一款微米級(jí)3D手動(dòng)交互設(shè)備，十分小巧且應(yīng)用廣泛。當(dāng)手在傳感器上方活動(dòng)時(shí)能夠?qū)崿F(xiàn)對(duì)手和手指的運(yùn)動(dòng)追蹤。能夠追蹤到一個(gè)人10根手指的三維坐標(biāo)信息且位置精度高達(dá)0.01 mm，具有150°的超寬幅空間視場(chǎng)，能夠以高達(dá)每秒200幀以上的速度追蹤一個(gè)人的手部移動(dòng)。延遲比顯示器的刷新率還要低，特別適合做手語(yǔ)翻譯器。

Leap Motion內(nèi)置兩個(gè)紅外攝像頭，從不同角度捕捉兩張畫面，重建出手掌在真實(shí)世界三維空間的運(yùn)動(dòng)信息。檢測(cè)的范圍大體在傳感器上方25～600 mm之間，檢測(cè)的空間大體是一個(gè)倒四棱錐體。

Leap Motion的系統(tǒng)采用了右手笛卡爾坐標(biāo)系，返回的數(shù)值都是以真實(shí)世界的毫米為單位。如圖1所示，原點(diǎn)在Leap Motion 控制器的中心，X軸和Z軸在器件的水平面上，X軸和設(shè)備的長(zhǎng)邊平行，Z軸和短邊平行。Y軸是垂直的，以正值增加形式朝上。

Leap Motion能夠?qū)崟r(shí)監(jiān)測(cè)信息。使用過(guò)程中，Leap Motion傳感器會(huì)定期發(fā)送關(guān)于手的運(yùn)動(dòng)信息，每份信息稱為“幀”，Leap Motion傳感器會(huì)給所有手指手掌的列表和信息分配一個(gè)唯一標(biāo)識(shí)（ID），在手掌、手指或手持的工具保持在視野范圍內(nèi)時(shí)，不會(huì)改變。一旦手從設(shè)備的視野中丟失，再次被發(fā)現(xiàn)時(shí)就會(huì)重新為視野中的手分配一個(gè)全新的ID號(hào)。

2.2? Leap Motion手語(yǔ)語(yǔ)音轉(zhuǎn)換設(shè)計(jì)原理

本文對(duì)Leap Motion手語(yǔ)語(yǔ)音轉(zhuǎn)換的研究分為5個(gè)部分，即真實(shí)世界的手勢(shì)、手勢(shì)識(shí)別、屏幕中的模型手、自定義手勢(shì)代表的文字、文字轉(zhuǎn)化成語(yǔ)音，如圖2所示。

以“耶”的手勢(shì)為例，當(dāng)Leap Motion設(shè)備安裝完成并運(yùn)行之后，在鏡頭視野范圍之內(nèi)做“耶”的手勢(shì)，如圖3（左）所示。手的姿態(tài)通過(guò)紅外攝像頭采集到電腦上，形成如圖3（中）所示的紅外圖像，由于是雙紅外攝像頭，會(huì)形成兩張視角有一定偏差的圖像，根據(jù)這兩張圖像，可以計(jì)算出手姿態(tài)的三維信息，包括手指、手掌的位置、速度、方向和加速度。將數(shù)據(jù)傳給系統(tǒng)提供的三維手模型，屏幕上就會(huì)同步出現(xiàn)一個(gè)虛擬的三維手，如圖3（右）所示，其動(dòng)作與真實(shí)手基本一致。

要自定義手勢(shì)代表的文字，調(diào)用Unity 3D中提供的手勢(shì)開發(fā)的SDK，編寫程序?qū)Α耙钡氖謩?shì)定義成文字并在屏幕中展示該文字。最后將文字轉(zhuǎn)化成語(yǔ)音，利用系統(tǒng)自帶的語(yǔ)音庫(kù)Speechlib方法將文字轉(zhuǎn)化成語(yǔ)音，運(yùn)行代碼，就會(huì)有“耶”的聲音發(fā)出。

3? ? 在Unity 3D中實(shí)現(xiàn)手語(yǔ)、文字和語(yǔ)音的轉(zhuǎn)換

3.1? 手勢(shì)實(shí)現(xiàn)的原理

將a定義為右手拇指第三指節(jié)的長(zhǎng)度，將此長(zhǎng)度設(shè)置為參考長(zhǎng)度。當(dāng)手指指尖與手掌中心的距離大于3個(gè)參考長(zhǎng)度規(guī)定為張開手指，當(dāng)手指指尖與手掌中心的距離小于1個(gè)參考長(zhǎng)度規(guī)定為握住手指。用參考長(zhǎng)度作為判據(jù)，分別計(jì)算各個(gè)手指的指尖到手掌中心的距離，就可以識(shí)別手的某一姿態(tài)，如圖4（左）所示。

例如手勢(shì)“耶”的定義是：食指、中指指尖與手掌中心的距離大于3個(gè)參考長(zhǎng)度，即b>3a。拇指、無(wú)名指、小指指尖與手掌中心的距離小于1個(gè)參考長(zhǎng)度，即c

3.2? 手勢(shì)轉(zhuǎn)換成文字的實(shí)現(xiàn)過(guò)程

下載并安裝Leap Motion設(shè)備的SDK及驅(qū)動(dòng)軟件，之后插入Leap Motion設(shè)備，電腦右下角狀態(tài)欄會(huì)顯示“Leap Motion Controller is on”，此時(shí)硬件安裝完畢。確?？梢哉Ｊ褂肔eap Motion設(shè)備之后，在Unity 3D中定義各種手勢(shì)所代表的文字。運(yùn)行程序后將真實(shí)手勢(shì)放在Leap Motion設(shè)備的識(shí)別范圍內(nèi)，屏幕中會(huì)出現(xiàn)與真實(shí)手相同手勢(shì)的模型手，相應(yīng)的文字同時(shí)顯示在屏幕上。

3.3? 文字到語(yǔ)音的轉(zhuǎn)換

Speechlib是Windows系統(tǒng)自帶的語(yǔ)音庫(kù)。將下載的Interop.SpeechLib.dll粘貼到unity中新建的Plugins文件夾下，即可將此語(yǔ)音庫(kù)引入U(xiǎn)nity中。在編譯環(huán)境中輸入‘using SpeechLib;這段代碼后，即可引入支持語(yǔ)音合成（Text to Speech，TTS）的核心類：SpVoice類。通過(guò)SpVoice對(duì)象調(diào)用TTS引擎。

具體實(shí)現(xiàn)以“耶”的手勢(shì)為例，當(dāng)滿足“耶”的手勢(shì)之后，實(shí)例化一個(gè)SpVoice對(duì)象v，調(diào)用該對(duì)象的Speak函數(shù)v.Speak（“耶”），系統(tǒng)就可以發(fā)出該手勢(shì)所對(duì)應(yīng)的聲音了。

4? ? 結(jié)語(yǔ)

本文首先介紹了Leap Motion的基本功能，接下來(lái)給出了手語(yǔ)語(yǔ)音轉(zhuǎn)換實(shí)現(xiàn)的基本步驟，即硬件應(yīng)用Leap Motion在Unity 3D的環(huán)境下對(duì)手勢(shì)進(jìn)行編程、定義手勢(shì)、轉(zhuǎn)換成語(yǔ)音，基本實(shí)現(xiàn)了手勢(shì)到語(yǔ)音的轉(zhuǎn)換。

[參考文獻(xiàn)]

[1]王鵬.動(dòng)態(tài)手勢(shì)識(shí)別研究[D].大連：大連理工大學(xué)，2013.

[2]SHUKLA J，DWIVEDI A.A method for hand gesture recognition[C].Bangkok：Fourth International Conference on Communication Systems & Network Technologies IEEE，2014.

[3]HASANUZZAMAN M D，ZHANG T，AMPORNARAMVETH V，et al.Adaptive visual gesture recognition for human-robot interaction using knowledge-based software platform[J].Robotics and Autonomous Systems，2007（1）：643-657.

[4]任磊.基于Leap Motion的動(dòng)態(tài)手勢(shì)識(shí)別研究[D].大連：大連理工大學(xué)，2015.

[5]楊全，彭進(jìn)業(yè).基于深度圖像信息的手語(yǔ)識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2013（10）：2882-2885.

Design and implementation of voice conversion based on Leap Motion sign language

Jiang Meng， Guo Renchun， Li Junlong， Wang Zhichun

（Shenyang University of Chemical Technology， Shenyang 110142， China）

Abstract：This paper introduces the principle of sign-language conversion based on Leap Motion and how to implement it in practice. It can translate gestures into the required language and transmit messages in the form of speech， so as to achieve the purpose of “voice” for deaf-mute people. The hardware part of sign-language speech conversion based on Leap Motion uses motion-sensing controller called Leap Motion， which can collect the motion information of the fingers coordinate， acceleration， direction and other dynamic gestures in real time. The software uses Unity 3D engine，? provides an SDK for developing gesture recognition， as well as some basic hand models for converting gestures to text and then to speech in Unity 3D.

Key words：dynamic gesture recognition; Leap Motion; Unity 3D