基于腦機(jī)接口的腦卒中患者語(yǔ)音看護(hù)系統(tǒng)*

高諾,楊玉娜,翟文文,高楓,王蘊(yùn)輝

(山東建筑大學(xué)信息與電氣工程學(xué)院，濟(jì)南 250101)

1 引 言

腦卒中已成為影響中老年人健康的最大威脅之一。腦卒中預(yù)后會(huì)遺留有不同程度的肢體功能障礙、感覺障礙、言語(yǔ)障礙、認(rèn)知障礙等，其中言語(yǔ)障礙大約占37.66%，言語(yǔ)障礙使其無法表達(dá)自己的意圖，給患者的治療和生活帶來了巨大的困難。因此為腦卒中患者提供一種有效的交流系統(tǒng)，改善患者的語(yǔ)言狀況顯得尤為重要。

腦機(jī)接口(brain-computer interface, BCI)是一種不依賴于大腦外周神經(jīng)與肌肉組成的正常輸出通路的通訊控制系統(tǒng)[1-2]。利用腦機(jī)接口系統(tǒng)使患者與外界進(jìn)行信息交流一直是BCI的一個(gè)重要的研究方向。1988年，美國(guó)IIIinois大學(xué)的Farwell和Donchin利用P300電位設(shè)計(jì)了虛擬打字機(jī)，電腦屏幕上有6×6個(gè)閃爍的字符矩陣，受試者每次只需要集中注意注視目標(biāo)字符，電腦即可輸出該字符。2008年，德國(guó)地賓根大學(xué)小組將6×6的虛擬鍵盤擴(kuò)展成7×7的虛擬鍵盤，設(shè)計(jì)出了德文輸入系統(tǒng)[3]。

相比于國(guó)外，國(guó)內(nèi)腦機(jī)接口交流系統(tǒng)研究起步時(shí)間較晚。2009年，浙江大學(xué)的吳邊和張劍慧設(shè)計(jì)了基于筆畫的漢字輸入BCI系統(tǒng)，利用疊加平均和模板匹配的方法，基本可以實(shí)現(xiàn)漢字的輸入[4-5]；2010年，香港中文大學(xué)中文系語(yǔ)言工程實(shí)驗(yàn)室設(shè)計(jì)了基于P300的繁體中文輸入系統(tǒng)[6]；2018年，華東理工大學(xué)金晶教授設(shè)計(jì)了一種基于人臉范式的P300拼寫系統(tǒng)[7]。

上述國(guó)內(nèi)外研究對(duì)利用腦機(jī)接口進(jìn)行信息表達(dá)做出了重要的貢獻(xiàn)，但要實(shí)現(xiàn)服務(wù)于我國(guó)存在言語(yǔ)障礙的腦卒中患者還存在許多問題。因此本研究設(shè)計(jì)了一種基于腦機(jī)接口的腦卒中患者語(yǔ)音交流系統(tǒng)，該系統(tǒng)可以輔助存在語(yǔ)言障礙的患者自主進(jìn)行語(yǔ)言輸出并以語(yǔ)音的形式傳遞。

2 系統(tǒng)設(shè)計(jì)

本研究提出的基于腦機(jī)接口的腦卒中患者語(yǔ)音看護(hù)系統(tǒng)的整體結(jié)構(gòu)框見圖1，系統(tǒng)包含視覺刺激模塊、腦電信號(hào)采集模塊、腦電信號(hào)分析模塊、語(yǔ)音合成模塊四部分。

圖1基于腦機(jī)接口的腦卒中患者語(yǔ)音交流與看護(hù)系統(tǒng)結(jié)構(gòu)框圖

Fig1Ablockdiagramofspeechcaresystemofstrokepatientsbasedonbrain-computerinterface

整個(gè)系統(tǒng)的工作流程見圖2，信號(hào)采集系統(tǒng)實(shí)時(shí)采集患者的腦電信號(hào)并發(fā)送到Alpha波信號(hào)分析程序中進(jìn)行Alpha波的檢測(cè)，檢測(cè)結(jié)果若不是Alpha波則繼續(xù)進(jìn)行Alpha波的采集，若為Alpha波則系統(tǒng)將發(fā)出聲音提示，此提示音為SSVEP部分開啟的反饋(提示患者可以開始注視視覺刺激界面)，此時(shí)患者注視視覺刺激界面中特定語(yǔ)句對(duì)應(yīng)的頻閃區(qū)域，腦電信號(hào)采集模塊進(jìn)行SSVEP信號(hào)的采集，然后將此信號(hào)送到SSVEP信號(hào)分析程序中進(jìn)行分類，將分類結(jié)果發(fā)送到語(yǔ)音合成模塊進(jìn)行語(yǔ)音合成并以語(yǔ)音的方式輸出，患者聽到輸出的語(yǔ)音后停止注視，此語(yǔ)音亦是系統(tǒng)輸出結(jié)果的反饋。

圖2基于腦機(jī)接口的腦卒中患者語(yǔ)音交流與看護(hù)系統(tǒng)流程圖

Fig2Aflowchartofspeechcaresystemforstrokepatientsbasedonbrain-computerinterface

2.1 視覺刺激模塊

本研究使用的視覺刺激界面見圖3(a)，刺激目標(biāo)為白色，背景顏色為黑色，為常亮狀態(tài)，其上、下、左、右各有一個(gè)按其各自特定頻率閃爍的刺激目標(biāo)，閃爍的頻率分別為15、8、12、13 Hz，且分別代表了“呼叫護(hù)士”、“我想吃飯”、“我想起床”、“我想喝水”四句話，這四句話可以根據(jù)患者具體的需求而設(shè)定，使之更好地為患者服務(wù)，更能代表患者的需求。

2.2 腦電信號(hào)采集

本系統(tǒng)使用的腦電信號(hào)采集設(shè)備為博?？悼萍加邢薰?Neuracle)的32 通道無線腦電采集系統(tǒng)。腦電帽的采樣頻率為250 Hz，本研究采集的10個(gè)電極位置分別為T5、P3、Pz、P4、T6、PO3、PO4、O1、Oz、O2處，導(dǎo)聯(lián)位置符合國(guó)際10 ～ 20 標(biāo)準(zhǔn)，實(shí)驗(yàn)中保持電極阻抗在5 kΩ 以下。腦電帽的電極位置見圖4。

圖3 視覺刺激界面Fig 3 Visual stimulus interface diagram

圖4 腦電帽電極位置分布圖Fig 4 Location of EEG cap electrode

2.3 腦電信號(hào)分析

2.3.1Alpha波信號(hào)分析 按照信號(hào)控制方式的不同，腦機(jī)接口系統(tǒng)分為同步模式(Synchronous)和異步模式(Asynchronous)[8-11]。為實(shí)現(xiàn)異步模式的腦機(jī)接口系統(tǒng)，本研究利用Alpha波阻斷現(xiàn)象，使用Alpha波作為SSVEP信號(hào)分析階段開啟的標(biāo)志。

(1)

從而得到數(shù)據(jù)B=[b1b2…b15]。對(duì)數(shù)據(jù)B的每一個(gè)列向量做快速傅里葉變換(fast fourier transformation，F(xiàn)FT)得到其頻域信息[12]，取其每個(gè)信號(hào)段8～13 Hz的信號(hào)幅值，從而組成1×15的行向量，去掉前3個(gè)值(實(shí)驗(yàn)證實(shí)在狀態(tài)轉(zhuǎn)化的開始一段時(shí)間內(nèi)信號(hào)不穩(wěn)定，容易對(duì)決策造成影響)，取后12個(gè)值作為Alpha波檢測(cè)的頻域特征值。最后決策采用的是投票方式，即將頻域特征值分別與閾值比較，特征值大于閾值判斷結(jié)果為1，否則為-1，得到12個(gè)判斷結(jié)果求和，和大于或等于0即為檢測(cè)到Alpha波，否則為無Alpha波。因?yàn)殚撝荡嬖趥€(gè)體差異性，所以需要事先采集用戶閉眼和睜眼狀態(tài)下各20組3 s的EEG信號(hào)(采集范式為：閉眼3 s、睜眼3 s、依次進(jìn)行)，同上述處理過程得到頻域特征值，利用式(2)進(jìn)行閾值的計(jì)算。

(2)

2.3.2SSVEP信號(hào)分析 提取SSVEP響應(yīng)信號(hào)頻率的算法采用典型相關(guān)分析(canonical correlation analysis, CCA)的頻率識(shí)別算法[13-14]。先用5 階巴特沃斯濾波器對(duì)信號(hào)進(jìn)行2 ～ 40 Hz的帶通濾波，消除高頻及工頻干擾。再應(yīng)用CCA算法進(jìn)行SSVEP信號(hào)頻率的四分類，實(shí)現(xiàn)對(duì)四句話的選擇[15]。

CCA應(yīng)用于提取SSVEP相應(yīng)頻率時(shí)，兩組多變量分別定義為X、Y，其中X是多通道的EEG信號(hào)，長(zhǎng)度為5 s，見式(3)，Y為一組被設(shè)定的參考信號(hào)，見式(4)：

(3)

(4)

式(3)中，n為腦電信號(hào)采集通道的數(shù)量，n=10，通道名稱依次為：Pz、P3、P4、PO3、PO4、T5、T6、Oz、O1、O2；式(4)中，N為諧波數(shù)量，N=4，f為刺激頻率，f=15，13，8，12 Hz。

EEG信號(hào)X與參考信號(hào)Y尋找一組矢量Wx,Wy，這一組矢量可以使向量x,y之間的相關(guān)系數(shù)達(dá)到最大，其中x=XTWX，y=YTWY。計(jì)算方法見式(5)：

(5)

式(5)得出X和Y之間的相關(guān)系數(shù)ρ的大值，即是得到了最大的典型相關(guān)系數(shù)。將采集到的SSVEP信號(hào)分別與每組參考信號(hào)(不同f)，計(jì)算出對(duì)應(yīng)各組參考信號(hào)的ρ，其中最大的相關(guān)系數(shù)ρ對(duì)應(yīng)參考信號(hào)的頻率即被認(rèn)為是SSVEP信號(hào)的頻率。

2.4 語(yǔ)音合成模塊

語(yǔ)音合成，又稱文語(yǔ)轉(zhuǎn)換(Text to speech)技術(shù)，是將文本狀態(tài)的文字信息轉(zhuǎn)化為聲音信息的過程,由文本處理、韻律處理、語(yǔ)音生成三部分組成。其中，基于波形拼接的語(yǔ)音合成技術(shù)一般從自然語(yǔ)音中提取單個(gè)漢字的發(fā)音作為語(yǔ)音單元,用這些切分好的語(yǔ)音單元建立一個(gè)語(yǔ)料庫(kù)。在合成階段先選出相對(duì)應(yīng)的語(yǔ)音單元,然后從語(yǔ)料庫(kù)中提取出相應(yīng)的合成單元,對(duì)提取出的語(yǔ)音單元進(jìn)行韻律的調(diào)節(jié)和控制,最后使用重疊相加的方法重建語(yǔ)音，具體技術(shù)流程見圖5。

圖5 基于波形拼接的合成技術(shù)流程圖Fig 5 Synthesis flow chart based on waveform splicing

3 實(shí)驗(yàn)驗(yàn)證

本實(shí)驗(yàn)選擇了4名受試者S1～S4，受試者身體健康、視力正常。實(shí)驗(yàn)開始前，采集了四位受試者的Alpha波，利用式(2)計(jì)算出了各受試者的閉眼、睜眼狀態(tài)區(qū)分閾值分別為3.4、5.0、12.2、7.8，并告知了受試者整個(gè)實(shí)驗(yàn)的具體流程。

3.1 實(shí)驗(yàn)過程

實(shí)驗(yàn)過程中，受試者在安靜房間內(nèi)進(jìn)行，保持舒適坐姿并盡量避免頭部大幅度的晃動(dòng)。每名受試者均需完成4組實(shí)驗(yàn)，每組實(shí)驗(yàn)需完成20次語(yǔ)音輸出，每組實(shí)驗(yàn)的具體流程為：閉眼，聽到提示音后睜眼并開始注視視覺刺激界面的刺激目標(biāo)1，直到聽到語(yǔ)音輸出；按此步驟依次注視刺激目標(biāo)2、3、4，直到一組實(shí)驗(yàn)完成。每組實(shí)驗(yàn)后受試者休息5 min。視覺刺激界面的刺激目標(biāo)標(biāo)號(hào)見圖3(b)。

3.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中，記錄：(1)每位受試者閉眼3～6s間是否有提示音響起，以此來統(tǒng)計(jì)此系統(tǒng)檢測(cè)Alpha波的正確率；(2)記錄每次的語(yǔ)音輸出是否為受試者所注視區(qū)域的對(duì)應(yīng)語(yǔ)句，以此來統(tǒng)計(jì)此系統(tǒng)對(duì)SSVEP信號(hào)分類的正確率；(3)記錄每次實(shí)驗(yàn)的成功率，即受試者閉眼3 s后到6 s前有提示音響起并且語(yǔ)音輸出為受試者注視區(qū)域的對(duì)應(yīng)語(yǔ)句。

表1 S1第一組實(shí)驗(yàn)結(jié)果

以S1為例，記錄統(tǒng)計(jì)了S1第一組在線實(shí)驗(yàn)的情況見表1。表2為S1～S4四名受試者的四組在線實(shí)驗(yàn)結(jié)果，由此表可以看出S1～S4四名受試者在其四組在線實(shí)驗(yàn)中對(duì)Alpha波檢測(cè)正確率、對(duì)SSVEP信號(hào)分類正確率以及實(shí)驗(yàn)成功率的統(tǒng)計(jì)結(jié)果。四名受試者總的平均成功率都達(dá)到了90%及以上，具有良好的實(shí)用性。其中，S4第一組實(shí)驗(yàn)的成功率較低，原因可能為沒有及時(shí)適應(yīng)該系統(tǒng)(因?yàn)槠浜笕M實(shí)驗(yàn)的成功率比第一組有明顯的上升)，該情況可以通過短時(shí)的訓(xùn)練使成功率提高。

表2 S1～S4四組在線實(shí)驗(yàn)結(jié)果

注：項(xiàng)目1 ：Alpha正確率；項(xiàng)目2：SSVEP正確率；項(xiàng)目3：成功率

4 結(jié)論

本研究介紹了一種基于腦機(jī)接口的腦卒中患者語(yǔ)音看護(hù)系統(tǒng)，該系統(tǒng)通過對(duì)Alpha波的實(shí)時(shí)檢測(cè)，實(shí)現(xiàn)異步BCI的工作方式，更方便人們的使用；通過分析誘發(fā)的SSVEP信號(hào)實(shí)現(xiàn)了語(yǔ)句的選擇，操作簡(jiǎn)單；通過語(yǔ)音合成模塊實(shí)現(xiàn)了患者意圖的語(yǔ)音形式表達(dá)，方便信息傳遞。

本系統(tǒng)雖然實(shí)現(xiàn)了腦卒中患者的語(yǔ)音輸出功能，卻使患者受限于四句話的選擇之中，并沒有實(shí)現(xiàn)患者語(yǔ)言意圖完全自由地表達(dá)，不能讓失語(yǔ)的腦卒中患者同正常人一樣表達(dá)更多的語(yǔ)言信息。因此本團(tuán)隊(duì)今后的研究方向?yàn)閷⒄Z(yǔ)音交流系統(tǒng)與基于腦機(jī)接口的文字輸入系統(tǒng)相結(jié)合，構(gòu)建一種患者可以利用BCI系統(tǒng)自主表達(dá)自己想法的語(yǔ)音交流看護(hù)系統(tǒng)，避免患者因失語(yǔ)而產(chǎn)成的抑郁情緒，讓患者看到希望，提高患者治療和生活的質(zhì)量。隨著本研究的不斷改進(jìn)和完善，今后在幫助腦卒中失語(yǔ)患者語(yǔ)音交流方面會(huì)發(fā)揮越來越大的作用。