一種手語識別裝置設(shè)計(jì)

邢 倩，方全彪，許夢文，宋曉娜，王新勇

( 河南科技大學(xué)，河南 洛陽 471000)

隨著社會(huì)的進(jìn)步，聾啞人正逐步融入大眾生活，但是對于正常人來說能使用手語的人卻很少，這也造成了聾啞人在日常生活中與普通人的交流障礙。聾啞人與正常人之間的交流主要有兩種方式:手語翻譯和書面表達(dá)[1]。但是手語翻譯需要專業(yè)人員和高昂的費(fèi)用，書面表達(dá)主要通過畫圖或文字交流，效率不高且不方便。在這個(gè)背景下，本文提出一種基于彎曲傳感器的手語識別裝置，不僅能夠降低手語翻譯成本，而且能夠?qū)崿F(xiàn)便捷高效的手語識別。

1 總體設(shè)計(jì)

圖1 總體結(jié)構(gòu)圖

本手語識別裝置總體結(jié)構(gòu)主要由STM32微控制器、RFP彎曲傳感器、MPU6050加速度傳感器、藍(lán)牙模塊、顯示模塊、語音模塊組成。本裝置由STM32作主控，通過彎曲傳感器和加速度傳感器分別采集手指、手腕的運(yùn)動(dòng)信息并轉(zhuǎn)化為電壓信號傳給主控，再與已建立好的手語模塊庫數(shù)據(jù)相比較，從而判定所示手語含義，由顯示屏顯示同時(shí)由語音模塊播報(bào)?？傮w結(jié)構(gòu)圖如圖1所示。

2 功能實(shí)現(xiàn)

2.1 基于彎曲傳感器的手指彎曲識別

RFP彎曲傳感器是柔性可穿戴的薄膜式彎曲傳感器(如圖2所示)，可對任何接觸面的壓力進(jìn)行靜態(tài)和動(dòng)態(tài)測量[2]，將傳感器感應(yīng)區(qū)所受壓力轉(zhuǎn)換成電阻信號，然后通過分壓電路將電阻信號轉(zhuǎn)化為電壓信號。當(dāng)傳感器處于伸直狀態(tài)，傳感器阻值為30 kΩ，當(dāng)彎曲約90°時(shí)， 傳感器阻值約是50 kΩ。 結(jié)合傳感器本身特性，搭建分壓測量電路，傳感器兩端電壓大小即代表彎曲程度的大小，利用 STM32微控制器自身所帶的 AD采集功能[3]，對所測量的電壓進(jìn)行模數(shù)轉(zhuǎn)換并存儲，等待進(jìn)一步處理。

圖2 薄膜式彎曲傳感器

2.2 手指語模板庫的建立

由實(shí)驗(yàn)測量可知，當(dāng)手指伸直時(shí)，采集彎曲傳感器兩端電壓約為1.6 V,當(dāng)手指完全彎曲大約為2 V左右。STM32的AD采集分辨率是12位，即將0～3.3V均分為0～4096，所以對應(yīng)單片機(jī)所采集到的值應(yīng)該是1986～2482左右，兩者相差500個(gè)值。以50個(gè)數(shù)為界將手指分為十個(gè)不同的彎曲程度，來表示手指當(dāng)前的狀態(tài)，建立手指語的模板庫。定義一個(gè)數(shù)組，每個(gè)元素代表一個(gè)手指，元素的值代表手指的彎曲程度，在未接受訓(xùn)練計(jì)劃前，對系統(tǒng)采用均分制，將1980～2480均分為十份以0～9代表不同的程度。例如手勢A只有一個(gè)大拇指伸直，則對應(yīng)的數(shù)組可以表示為 {2,9,9,9,9 ,9,9,9,9,9}。

另外模板庫可以通過使用者的訓(xùn)練來進(jìn)行完善，讓系統(tǒng)根據(jù)使用者的自身習(xí)慣建立適合的數(shù)據(jù)庫。

2.3 手指語的實(shí)現(xiàn)

系統(tǒng)運(yùn)行中會(huì)不斷地進(jìn)行彎曲電阻的電壓值采集，將電壓值劃分為0～9不同的等級，10個(gè)手指的彎曲程度記錄在一維數(shù)組中，一次采集完成即對模板庫進(jìn)行對比，尋找是否相對應(yīng)的詞條，如果找到匹配詞條輸出數(shù)據(jù)。手指電壓采集可能是{2080，2472，2462，2466，2468，2467，2477，2453，2480，2446}對應(yīng)的彎曲等級是{2，9，9，9，9，9，9，9，9，9}。這樣在模板庫里就能找出對應(yīng)的詞條A。

2.4 手勢語的識別

手語不僅包括手指語，通常還有手掌的空間運(yùn)動(dòng)，二者結(jié)合共同構(gòu)成手語。所以如果要更全面的進(jìn)行手語識別，需要在手指語的基礎(chǔ)上添加手掌的姿態(tài)解算。

2.4.1 手掌姿態(tài)的檢測

本系統(tǒng)采用MPU605六軸陀螺儀傳感器，可以測量三軸加速度、三軸角速度，并且內(nèi)部自帶了硬件濾波，可以減少程序的繁瑣。本設(shè)計(jì)所采用的MPU6050傳感器自帶數(shù)字運(yùn)動(dòng)處理器DMP，且InvenSense公司提供了一個(gè)MPU6050傳感器的嵌入式運(yùn)動(dòng)驅(qū)動(dòng)庫，可以將原始數(shù)據(jù)結(jié)合DMP輸出的6軸姿態(tài)解算數(shù)據(jù)，直接轉(zhuǎn)換成四元數(shù)輸出，可以很方便地計(jì)算出歐拉角,從而得到俯仰角(P)，橫滾角(R)，航向角(Y)[4]。核心計(jì)算:四元數(shù)就是包含四個(gè)元的一種數(shù)，可表示為Q=q0-qv=q0+q1i+q2j+q3k其中，q0,q1,q2和q3都是實(shí)數(shù)，q0稱為實(shí)部、qv=q1i+q2j+q3k稱為虛部。

q0=quat[0]/q30;

q1=quat[1]/q30;

q2=quat[2]/q30;

q3=quat[3]/q30;

P=asin(-2*q1*q3+2*q0*q2)*57.3+P-error

R=atan2(2*q2*q3+2*q0*q1,-2*q1*q1-2*q2*q2+1)*57.3+R-error

Y=atan2(2*(q1*q2+q0*q3),0*q0+q1*q1-q2*q2-q3*q3)*57.3+Y-error

其中P-error,R-error,Y-error為誤差糾正數(shù)

上述公式就是將一次的姿態(tài)變換分別用四元數(shù)矩陣和歐拉角矩陣表示出來[5]。

同時(shí)我們也可以從MPU6050中獲得手掌運(yùn)動(dòng)狀態(tài)中的三軸加速度，通過加速度積分可以得到速度，速度積分可以得到位移[6]。對于計(jì)算機(jī)控制系統(tǒng)，采樣時(shí)間極短，可以認(rèn)為這段時(shí)間內(nèi)的加速度是恒定的，根據(jù)公式X=V0*T+1/2AT^2，V=V0+a*T ,可以計(jì)算出該時(shí)間段內(nèi)的位移大小，并且將末速度作為下次計(jì)算的初速度。這樣就能得出手掌在空間的位移情況。

2.5 手語模板庫的建立

每個(gè)手語過程在基于香農(nóng)采樣定理的前提下，將運(yùn)動(dòng)過程進(jìn)行時(shí)間細(xì)分。如一個(gè)手語動(dòng)作在1 s內(nèi)完成，將其過程記錄為10組數(shù)據(jù)，每組數(shù)據(jù)中包括100MS內(nèi)的位移情況和姿態(tài)(俯仰角、橫滾角、航向角)。這樣一個(gè)動(dòng)作的手掌運(yùn)動(dòng)就可以用10*6的多維數(shù)組。再加上手指語的手指彎曲情況也按照時(shí)間細(xì)分即為10*10的多維數(shù)組，基于這160個(gè)數(shù)據(jù)來表示一個(gè)完整的手語詞條。手語模板庫同手指模板庫的建立過程相同，但是手語復(fù)雜多樣，所以需要在使用者訓(xùn)練數(shù)據(jù)基礎(chǔ)上建立。

2.6 隱馬爾可夫模型(HMM)的數(shù)據(jù)分析

隱馬爾可夫模型(Markov Model)是一種統(tǒng)計(jì)模型，廣泛應(yīng)用在語音識別，詞性自動(dòng)標(biāo)注，音字轉(zhuǎn)換，概率文法等各個(gè)自然語言處理等應(yīng)用領(lǐng)域[7]。手語識別傳感器數(shù)據(jù)與語音數(shù)據(jù)類似，都是時(shí)序序列，因此本系統(tǒng)選用在語音識別領(lǐng)域應(yīng)用廣泛的隱馬爾科夫模型作為手勢識別模型。將隱馬爾可夫模型應(yīng)用于手語識別系統(tǒng)，它可以根據(jù)用戶的歷史數(shù)據(jù)，來提高手語的識別能力。主要流程圖如圖3所示。

圖3 隱馬爾科夫模型主要流程圖

一個(gè)隱馬爾科夫模型分為兩部分，一個(gè)是馬爾科夫鏈，用π，A描述輸出狀態(tài)序列；另一個(gè)是隨機(jī)過程由B描述，產(chǎn)生觀察值序列，所以HMM模型可以寫成一個(gè)三元組(π, A, B)。如果一個(gè)系統(tǒng)可以作為HMM模型被描述，就可以用來解決三個(gè)基本問題：使用前向算法(forward algorithm)，針對一個(gè)觀察序列匹配最可能的系統(tǒng)；使用Viterbi算法，對于一個(gè)已生成的觀察序列，確定最可能的隱藏狀態(tài)序列；使用前向-后向算法(forward-backward algorithm)，針對已生成的觀察序列，決定最可能的模型參數(shù)。算法主要分為兩步：

第1步：使用前向后向算法對經(jīng)過特征提取的手指彎曲、手掌運(yùn)動(dòng)序列，即觀察值序列，進(jìn)行訓(xùn)練學(xué)習(xí)得到該手勢對應(yīng)的HMM模型參數(shù)。

第2步，使用前向算法將手語特征序列作為輸入，計(jì)算產(chǎn)生此序列的概率，找出它最大時(shí)的模型，該模型對應(yīng)的手勢即為識別結(jié)果。

為驗(yàn)證作品的識別效果，每種動(dòng)作采集50組數(shù)據(jù)，其中10組用于訓(xùn)練HMM模型，40組用于識別。識別效果如表1所示。手勢從左到右依次對應(yīng)1-4的編號。

3 總結(jié)

手語的研究不僅有助于改善聾啞人的生活、學(xué)習(xí)和工作條件，同時(shí)也可以應(yīng)用于動(dòng)畫的制作、醫(yī)療研究、游戲娛樂等諸多方面。本設(shè)計(jì)利用計(jì)算機(jī)控制系統(tǒng)的方法對手語的提取、識別設(shè)計(jì)了新穎的算法思路，但是由于隱馬爾科夫模型算法實(shí)現(xiàn)對主控芯片要求極大，若不計(jì)成本換用高級芯片，則必然與設(shè)計(jì)初衷相悖。而且在實(shí)際的操作中仍有著很多的難題?？傊?jì)算機(jī)控制系統(tǒng)推動(dòng)著我們的發(fā)展，但是它仍有不足的地方需要我們一起完善。

表1 訓(xùn)練HMM模型的實(shí)驗(yàn)數(shù)據(jù)