基于語(yǔ)音識(shí)別的腦癱康復(fù)數(shù)字訓(xùn)練系統(tǒng)設(shè)計(jì)①

盧振利 王 紅 馬志鵬 沈玄霖 Marko Penˇc'ic 劉 燕單長(zhǎng)考 葛 龍 李 斌 Marjan Mernik

(*常熟理工學(xué)院電氣與自動(dòng)化工程學(xué)院 常熟 215500)(**中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院 徐州 221116)(***常熟市第二人民醫(yī)院康復(fù)醫(yī)學(xué)科 常熟 215500)(****諾維薩德大學(xué)技術(shù)科學(xué)學(xué)院, 諾維薩德 21000，塞爾維亞)(*****常熟科創(chuàng)園管理服務(wù)中心 常熟 215500)(******中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所 機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室 沈陽(yáng) 110014)(*******馬里博爾大學(xué)電氣工程和計(jì)算機(jī)科學(xué)學(xué)院, 馬里博爾 462000，斯洛文尼亞)

0 引 言

小兒腦性癱瘓簡(jiǎn)稱腦癱(cerebral palsy，CP) ，是小兒最常見(jiàn)和最為嚴(yán)重的疾病，會(huì)造成運(yùn)動(dòng)、姿勢(shì)、語(yǔ)言、聽(tīng)覺(jué)、視覺(jué)、智力等多種障礙。由于腦癱成因不定，其癥狀也不定，無(wú)法治愈，只能通過(guò)康復(fù)訓(xùn)練使患兒的運(yùn)動(dòng)、語(yǔ)言、智力等達(dá)到正常人的水平。因此對(duì)于腦癱患兒來(lái)說(shuō)，越早采取護(hù)理干預(yù)，康復(fù)效果越好。

人機(jī)交互(human robot interaction，HRI)技術(shù)是一項(xiàng)研究用戶和計(jì)算機(jī)之間交互關(guān)系的技術(shù)。使用人機(jī)交互中的語(yǔ)音識(shí)別技術(shù)設(shè)計(jì)機(jī)器人輔助康復(fù)訓(xùn)練系統(tǒng)，可以有效提高腦癱患兒對(duì)康復(fù)訓(xùn)練的興趣性和參與程度，從而提高康復(fù)訓(xùn)練效果。

馬英杰等人[1]基于語(yǔ)音識(shí)別設(shè)計(jì)了失語(yǔ)癥康復(fù)治療儀軟件，應(yīng)用于腦部疾病引起的失語(yǔ)癥病人的康復(fù)治療。鄭義東等人[2]針對(duì)言語(yǔ)溝通障礙兒童，在Android平臺(tái)上設(shè)計(jì)了輔助溝通及康復(fù)訓(xùn)練系統(tǒng)。鄧杏娟等人[3]基于語(yǔ)音識(shí)別技術(shù)的失語(yǔ)癥輔助診斷及康復(fù)治療系統(tǒng)的研究，為腦癱患兒的語(yǔ)音訓(xùn)練提供了新的方法。

本研究設(shè)計(jì)了面向痙攣型腦癱患者設(shè)計(jì)數(shù)字手勢(shì)訓(xùn)練系統(tǒng)，針對(duì)語(yǔ)音辨識(shí)模塊、人機(jī)交互模塊，與能夠產(chǎn)生手勢(shì)的機(jī)器人系統(tǒng)進(jìn)行聯(lián)調(diào)，在達(dá)到語(yǔ)言訓(xùn)練效果的同時(shí)，提高患者自己握物、肢體協(xié)調(diào)的能力。

1 系統(tǒng)架構(gòu)設(shè)計(jì)

這一系統(tǒng)練習(xí)了腦癱患兒對(duì)于數(shù)字手勢(shì)的認(rèn)識(shí)，以及強(qiáng)化其語(yǔ)言訓(xùn)練和手部精細(xì)操作訓(xùn)練的效果。在這一過(guò)程中有2個(gè)難點(diǎn)，一是如何將語(yǔ)音與每個(gè)對(duì)應(yīng)的訓(xùn)練動(dòng)作聯(lián)系起來(lái)，二是如何將語(yǔ)音與對(duì)應(yīng)的仿生手動(dòng)作聯(lián)系起來(lái)。

為了解決這2個(gè)難點(diǎn)，將語(yǔ)音與訓(xùn)練聯(lián)系起來(lái)，系統(tǒng)在語(yǔ)音識(shí)別說(shuō)的數(shù)字時(shí)，發(fā)送對(duì)應(yīng)的標(biāo)識(shí)符給Labview和仿生手控制器，使它們完成對(duì)應(yīng)動(dòng)作，更新顯示圖片以及控制仿生手表達(dá)所說(shuō)的數(shù)字。如當(dāng)識(shí)別語(yǔ)音字符串“yi”時(shí)，會(huì)發(fā)送標(biāo)識(shí)符“1”給Labview和仿生手控制器，達(dá)到訓(xùn)練的效果。表1為對(duì)應(yīng)的標(biāo)識(shí)符列表。

表1 標(biāo)識(shí)符列表

2 語(yǔ)音訓(xùn)練系統(tǒng)設(shè)計(jì)

基于領(lǐng)域特定語(yǔ)言機(jī)制的語(yǔ)音訓(xùn)練系統(tǒng)選擇單片機(jī)Arduino MEGA 2560[4]作為主控制器；語(yǔ)音模塊選用 LD3320語(yǔ)音芯片[5,6]，對(duì)語(yǔ)音識(shí)別控制；顯示模塊選用LCD1602顯示屏，顯示識(shí)別語(yǔ)音的拼音；仿生手模塊選用Arduino Uno通過(guò)串口控制舵機(jī)控制板，使仿生手舵機(jī)做出相應(yīng)的數(shù)字手勢(shì)；人機(jī)交互系統(tǒng)通過(guò)Labview軟件實(shí)現(xiàn)機(jī)器人與語(yǔ)音芯片的通訊。系統(tǒng)架構(gòu)如圖1所示。

2.1 硬件系統(tǒng)

硬件系統(tǒng)包括主控制器Arduino MEGA 2560、語(yǔ)音芯片LD3320、仿生手控制器Arduino Uno和舵機(jī)控制板等。語(yǔ)音識(shí)別模塊(TXD/RXD)與主控制器的通訊為：TXD連接單片機(jī)數(shù)據(jù)通信RX0，RXD連接單片機(jī)數(shù)據(jù)通信TX0；舵機(jī)控制板(TX/RX)與主控制器的通訊為：TX連接單片機(jī)數(shù)據(jù)通信RX1，RX連接單片機(jī)數(shù)據(jù)通信TX1。部分硬件圖如圖2所示。

圖1 系統(tǒng)架構(gòu)圖

(a) Arduino MEGA 2560

(b) LD3320語(yǔ)音芯片

圖2 部分硬件圖

2.2 語(yǔ)音辨識(shí)系統(tǒng)

語(yǔ)音辨識(shí)功能是將采集到的聲音信號(hào)轉(zhuǎn)換成拼音，再跟預(yù)先編輯的關(guān)鍵字拼音進(jìn)行匹配，選擇最佳匹配字作為輸出結(jié)果。本設(shè)計(jì)的關(guān)鍵字列表是1～9這9個(gè)數(shù)字的拼音，需要事先寫(xiě)入這9個(gè)關(guān)鍵字[7-9]。表2為關(guān)鍵字列表。

表2 關(guān)鍵字列表

在進(jìn)行語(yǔ)音識(shí)別調(diào)試中，由于單音節(jié)的識(shí)別誤差比較大，對(duì)這9個(gè)音節(jié)均進(jìn)行10次實(shí)驗(yàn)，結(jié)合表3選擇6～9這4個(gè)連續(xù)的音節(jié)作為識(shí)別關(guān)鍵字，檢測(cè)系統(tǒng)效果，為后面設(shè)計(jì)其他訓(xùn)練項(xiàng)目提供技術(shù)基礎(chǔ)。

表3 音節(jié)正確率對(duì)比

2.3 仿生機(jī)器手系統(tǒng)

結(jié)合人的手勢(shì)，采用仿生機(jī)械手模仿人的不同手勢(shì)，在本系統(tǒng)中選用仿生手來(lái)表示數(shù)字手勢(shì)?？刂品律謩?dòng)作實(shí)際是控制內(nèi)部的舵機(jī)轉(zhuǎn)動(dòng)，改變舵機(jī)的轉(zhuǎn)動(dòng)角度可以使仿生手的手指呈現(xiàn)伸直到不同程度的彎曲狀態(tài)。設(shè)計(jì)轉(zhuǎn)動(dòng)角度0 °和轉(zhuǎn)動(dòng)角度160 °分別表示仿生手指的彎曲與直立，通過(guò)設(shè)置5個(gè)舵機(jī)的轉(zhuǎn)動(dòng)角度來(lái)控制5個(gè)手指的狀態(tài)，從而顯示不同的手勢(shì)。仿生手的4個(gè)數(shù)字手勢(shì)動(dòng)作如圖3所示。

圖3 仿生手的4個(gè)數(shù)字手勢(shì)動(dòng)作

仿生手動(dòng)作流程圖如圖4所示。

圖4 仿生手動(dòng)作流程圖

3 人機(jī)交互系統(tǒng)設(shè)計(jì)

人機(jī)交互系統(tǒng)在Labview[10,11]環(huán)境下開(kāi)發(fā)，在測(cè)試過(guò)程中輔助判斷測(cè)試者對(duì)數(shù)字手勢(shì)的辨別情況、反應(yīng)能力以及語(yǔ)言能力。當(dāng)開(kāi)始測(cè)試時(shí)，在小窗口上顯示手勢(shì)圖片，測(cè)試者辨別手勢(shì)圖片所表示的數(shù)字，說(shuō)出數(shù)字拼音，如果識(shí)別正確，綠色指示燈亮，系統(tǒng)更換圖片，否則系統(tǒng)一直停留在這一狀態(tài)。在測(cè)試過(guò)程中，實(shí)時(shí)記錄辨別時(shí)間和正確率，繪制辨別時(shí)間曲線。圖5是上位機(jī)交互界面。

圖5 上位機(jī)交互界面

3.1 數(shù)字手勢(shì)辨識(shí)與交互

在上位機(jī)中為了自動(dòng)顯示并更新數(shù)字手勢(shì)圖片，設(shè)計(jì)一個(gè)可以根據(jù)不同輸入字符隨機(jī)顯示圖片的子程序，方便調(diào)用。通過(guò)拆分路徑和創(chuàng)建路徑形成數(shù)字手勢(shì)圖片的路徑，再通過(guò)讀取圖片文件返回圖像信息，再經(jīng)過(guò)繪制平像化像素圖在小窗口顯示數(shù)字手勢(shì)圖片。圖6為圖片顯示程序圖，圖7為4種數(shù)字手勢(shì)圖片。

圖6 圖片顯示程序圖

3.2 人機(jī)交互系統(tǒng)通訊模塊

為確保動(dòng)作辨識(shí)與人機(jī)交互模塊的串口通信一致，使用VISA儀器的標(biāo)準(zhǔn)輸入/輸出接口。VISA不僅可以有效地控制串口、USB和其他設(shè)備，實(shí)現(xiàn)串口的相互通訊，還能夠根據(jù)使用的儀表類(lèi)型調(diào)用相對(duì)應(yīng)的驅(qū)動(dòng)程序、操作系統(tǒng)和其他編程環(huán)境。圖8為串口數(shù)據(jù)通訊圖。

圖7 顯示的4種數(shù)字手勢(shì)圖片

圖8 串口數(shù)據(jù)通訊圖

4 腦癱康復(fù)訓(xùn)練系統(tǒng)聯(lián)調(diào)

4.1 動(dòng)作語(yǔ)音模塊聯(lián)調(diào)

當(dāng)動(dòng)作辨識(shí)模塊相互連接等到上電之后，led燈亮，表示語(yǔ)音芯片與單片機(jī)連接已經(jīng)正常。此時(shí)若對(duì)著語(yǔ)音芯片說(shuō)“1”，顯示屏能正確顯示相同文字信息“yi”，即表明語(yǔ)音芯片測(cè)試正常，如圖9所示。與此同時(shí)，仿生機(jī)械手同步動(dòng)作手勢(shì)如圖10(a)所示，即說(shuō)明仿生機(jī)械手測(cè)試運(yùn)行正常。

圖9 語(yǔ)音芯片測(cè)試圖

4.3 人機(jī)交互模塊聯(lián)調(diào)

打開(kāi)人機(jī)交互系統(tǒng)，開(kāi)始測(cè)試。當(dāng)人機(jī)交互界面顯示手勢(shì)圖片“2”時(shí)，對(duì)著語(yǔ)音芯片說(shuō)出“er”，若判斷正確后，指示燈亮，顯示屏顯示“er”，如圖11所示；機(jī)器人通過(guò)指令顯示手勢(shì)2，如圖10(b)所示。

圖10 機(jī)器人實(shí)現(xiàn)手勢(shì)測(cè)試圖

(a) 圖片顯示與指示燈測(cè)試圖

(b) 顯示屏測(cè)試圖

5 系統(tǒng)性能評(píng)估

5.1 訓(xùn)練方法設(shè)計(jì)

事物的手勢(shì)符號(hào)是掌握言語(yǔ)符合及文字符號(hào)的基礎(chǔ)，因此在對(duì)患兒進(jìn)行言語(yǔ)符號(hào)訓(xùn)練的同時(shí)也要給于手勢(shì)符號(hào)作為刺激。對(duì)患兒進(jìn)行數(shù)字手勢(shì)訓(xùn)練，除了訓(xùn)練患兒對(duì)于日常數(shù)字的語(yǔ)言表達(dá)能力外，還能刺激患兒模仿數(shù)字手勢(shì)動(dòng)作，加快理解數(shù)字含義。

啟動(dòng)人機(jī)交互系統(tǒng)，系統(tǒng)首先會(huì)彈出信息輸入框，用以幫助記錄不同腦癱患者的康復(fù)訓(xùn)練效果；隨后開(kāi)啟訓(xùn)練，患者照著數(shù)字手勢(shì)圖片說(shuō)出圖片中手勢(shì)所表示的數(shù)字，評(píng)價(jià)系統(tǒng)會(huì)根據(jù)語(yǔ)音識(shí)別后的信息作出判斷，若為正確則指示燈亮并記錄患兒的反應(yīng)時(shí)間，同時(shí)仿生機(jī)械手做出與圖片一致的手勢(shì)動(dòng)作。在訓(xùn)練過(guò)程中若患兒識(shí)別的時(shí)間超過(guò)10 s，則判定為不正確。

5.2 案例分析

案例：患者A 為女性，6歲，臨床診斷的結(jié)果為痙攣型腦癱[12]。癥狀主要表現(xiàn)為手肢體運(yùn)動(dòng)有困難、握物能力差、交流能力較好、注意力集中時(shí)間比較長(zhǎng)。語(yǔ)言診斷結(jié)果為語(yǔ)言發(fā)育基本正常。

測(cè)試結(jié)果評(píng)定：以數(shù)字手勢(shì)6～9為一組，共測(cè)試10次，每次的檢測(cè)結(jié)果如表4所示。

表4 數(shù)字手勢(shì)測(cè)試表

根據(jù)表4中患兒每次識(shí)別數(shù)字手勢(shì)的時(shí)間和正確率，可以畫(huà)出其在識(shí)別數(shù)字手勢(shì)6過(guò)程中每次識(shí)別所需時(shí)間的變化圖和識(shí)別正確與否的變化圖，如圖12所示。

圖12 手勢(shì)6的識(shí)別時(shí)間和正確率

根據(jù)上圖表，可以直觀地看出患兒在識(shí)別數(shù)字手勢(shì)6的10次測(cè)試中，隨著測(cè)試的進(jìn)行，其所需的識(shí)別時(shí)間逐漸降低并趨于穩(wěn)定，識(shí)別正確率也越來(lái)越高，康復(fù)訓(xùn)練效果有所體現(xiàn)。

數(shù)字7、8、9的識(shí)別時(shí)間和正確率如圖13、圖14和圖15所示。

圖13 手勢(shì)7的識(shí)別時(shí)間和正確率

圖14 手勢(shì)8的識(shí)別時(shí)間和正確率

圖15 手勢(shì)9的識(shí)別時(shí)間和正確率

依據(jù)圖表信息可知：受測(cè)者在識(shí)別手勢(shì)7和識(shí)別手勢(shì)8圖片時(shí)，準(zhǔn)確率較高。隨著測(cè)試次數(shù)增加，正確率較高，識(shí)別時(shí)間也逐步縮短并穩(wěn)定。在識(shí)別手勢(shì)9時(shí)，雖然一開(kāi)始測(cè)試結(jié)果不好，但該受測(cè)者基本具備說(shuō)話交流能力，在后面測(cè)試時(shí)識(shí)別正確率較高，識(shí)別時(shí)間也趨于穩(wěn)定。

6 結(jié) 論

本文設(shè)計(jì)了基于語(yǔ)音識(shí)別的腦癱康復(fù)數(shù)字訓(xùn)練系統(tǒng)。該系統(tǒng)針對(duì)腦癱患兒的語(yǔ)音康復(fù)訓(xùn)練，采用了單片機(jī)和語(yǔ)音芯片的結(jié)合，與機(jī)器人做出數(shù)字手勢(shì)動(dòng)作相匹配，以串口通信的方式實(shí)現(xiàn)動(dòng)作辨識(shí)模塊與人機(jī)交互模塊的數(shù)據(jù)傳送，可實(shí)時(shí)記錄接受康復(fù)訓(xùn)練的腦癱患兒的各項(xiàng)數(shù)據(jù)，并進(jìn)行相關(guān)的評(píng)價(jià)和分析。該系統(tǒng)提升了腦癱康復(fù)訓(xùn)練系統(tǒng)的趣味性和互動(dòng)性。