基于眼電的字符輸入系統(tǒng)①

唐秀雯,李享運,陳廣源,潘家輝

(華南師范大學 軟件學院,佛山 528225)

1 引言

1.1 研究背景

重度運動障礙疾病患者,除了視覺和眼周肌肉外,機體的各運動系統(tǒng)均受到不同程序的損害,無法進行自主運動,該類患者基本喪失了與外界交流的能力.盡管目前的醫(yī)療水平在不斷提高,可以幫助運動神經受損的患者延長生命,但是由于他們不能自主地與外界進行通訊,生活質量沒有得到提高,也給家庭和社會帶來了負擔.在我國作為擁有運動障礙疾病患病人群和病種數(shù)最多的國家之一的背景下,讓重度運動障礙患者重獲與外界交流溝通的能力具有更加重要的現(xiàn)實研究意義.

1.2 研究現(xiàn)狀

(1)國內外研究現(xiàn)狀

在近年來一系列醫(yī)療康復相關科學研究突破的推動下,提出了一系列的無障礙人機交互的解決方案,使得使用者不依賴肢體的運動實現(xiàn)與計算機的交互.目前比較成熟的技術有:基于肌電(ElectroMyoGram,EMG)的交互技術、基于腦電的腦機接口(Brain-Computer Interface,BCI)技術和基于眼電(Electro-OculoGram,EOG)的交互技術等利用生物電信號的人機交互技術.例如在肌電交互技術中,重慶郵電大學自動化學院的張毅等人實現(xiàn)了基于SEMG控制的智能輪椅無障礙人機交互系統(tǒng)[1].在腦機接口技術方面,浙江大學的邱桐實現(xiàn)了基于腦機接口的智能病床運動控制器研究[2].華南理工大學的李遠清、張瑞等人將導航路徑規(guī)劃與腦機接口技術結合起來,實現(xiàn)了輪椅的自動控制[3].在3種交互技術中,眼電交互最易于被接受,主要有3個方面的原因:(1)大部分肢體障礙患者的眼周肌肉功能并沒有隨之喪失,仍能靈活的使用眼睛.(2)眼電信號時域特征明顯,易于被檢測,識別正確率較高.(3)信號采集相對容易且采集眼電的設備相較采集腦電的設備涉及更少電極,在部署采集裝置時成本更低、更加方便.因此,在這幾種無障礙人機交互方式中,基于眼電的交互系統(tǒng)是一種相對來說較受青睞的方式,更具實用研究價值.

(2)基于眼電的無障礙人機交互研究

眨眼、眼球的運動、眼睛周圍肌肉的運動、眼角膜與眼底間的電位差、視網(wǎng)膜上的視覺輸入變化、對眼球運動的控制(例如要求受試者不眨眼)等都可以引起眼電.由于眼電圖技術具有無創(chuàng)性、環(huán)境適應性強、易于檢測且信噪比高等優(yōu)點,在上個世紀90年代已經得到大范圍的研究應用.例如,美國凱斯西儲大學Chen等人研究出利用眼電信號來操縱機械臂的系統(tǒng)[4],波士頓大學Gips教授的團隊研究出利用眼電信號接發(fā)郵件,發(fā)送信息的配套軟件[5].

目前基于眼電信號的字符輸入系統(tǒng)主要有清華大學設計的八方向虛擬鍵盤[6].該系統(tǒng)將8個方向的眼球運動對應8個子菜單,選擇了子菜單后,再通過8個方向的眼球運動選擇字符輸出.浙江大學設計的虛擬鍵盤[7],界面中間的黃格代表當前選中的字母,使用者利用自己的眼動來控制虛擬鍵盤的移動,并通過有意識的眨眼來選擇字母.還有重慶大學的基于眼電編碼的無障礙人機交互系統(tǒng)[8],使用者通過記憶字符對應的眼部動作,在注視目標示意圖時通過眼球掃視運動完成字符輸入.

上述系統(tǒng)的信息傳輸速率和正確率均達到了使用水準,但此類方法所開發(fā)的相關系統(tǒng)也存在一些問題:(1)此類系統(tǒng)要求使用者注意力高度集中才能準確識別眼球運動信號,因此很容易使使用者產生疲勞;(2)該類設備的成本相對較高,通常高達上萬、甚至幾十萬元,而重度運動障礙疾病患者家里經濟條件普遍困難,很難負擔的起這樣昂貴費用.

在無障礙人機交互的字符輸入系統(tǒng)研究中,很多學者強調通過改善信號處理以及分類技術的來提高字符輸入系統(tǒng)的總體性能,例如信息傳輸率和字符識別的準確率,而改變系統(tǒng)的交互模式往往容易被人們所忽視.本文設計了一款低成本小于1000元的基于眨眼的字符輸入系統(tǒng),并在交互模式上提出基于區(qū)域閃爍的優(yōu)化字符界面,通過動態(tài)閾值方法識別眨眼信號,完成字符的輸入.

2 基于眼電的字符輸入系統(tǒng)

2.1 系統(tǒng)描述

本文設計了一種基于EOG的字符輸入系統(tǒng),流程框架圖如圖1,幫助患有重度運動功能疾病的病人將腦中所想的信息通過某種輔助手段傳達出來.整體設計思路是設計基于區(qū)域閃爍的字符表,在目標字符閃爍時要求使用者進行主動眨眼,通過布置在眼睛周圍的電極可以記錄到由眨眼造成的電位差,信號采集模塊采集眼電信號,然后送入微處理芯片,對眼電信號進行濾波處理和眨眼動作檢測,最終將眨眼動作解析為命令控制人機交互界面進行字符輸入,達到與外界無障礙進行交流的目的.

圖1 字符輸入流程框架圖

2.2 使用自主眨眼產生的腦電波作為識別信號的基本原理

圖2是自主眨眼時的波形圖.眨眼產生的電信號高于正常腦電信號,在額電極和其他相鄰電極都可以記錄到這一信號,但是其幅值隨電極遠離額部而迅速減弱.以佩戴Neuroksy的Mindwave設備,并使用該品牌下的Mindrec軟件采集到的信號圖為例,(橫坐標從左往右為一段持續(xù)時間,縱坐標代表生物電壓值),可以得出眨眼動作產生的電位變化明顯、易于檢測且信噪比較高.

圖2 自主眨眼時的波形圖

根據(jù)文獻[9]顯示,自然眨眼和自主眨眼在時間、幅值等方面都有差異,自主眨眼電位的幅度大于自然眨眼電位.此外,時間過程不同,自主眨眼的峰值部分持續(xù)時間更長.具體不同表現(xiàn)為持續(xù)時間、波值的范圍和均值、高峰期開始和結束時間、半幅、幅度等.因此可以根據(jù)兩者各自的特點進行區(qū)分,從而提取出自主眨眼的信號.

2.3 刺激范式設計的原理與實現(xiàn)

傳統(tǒng)的行列式字符輸入系統(tǒng),其刺激范式采取了字符以行和列為單位按隨機次序閃爍和重復多次的round行閃的方式.也有單個字符依次閃爍的方式.雖然簡單易實現(xiàn),但整個輸入過程耗費較長的時間,同時要求受試者的注意力高度集中,導致受試者視覺疲勞、視線模糊.本文提出的閃爍方式為基于區(qū)域的、分時分區(qū)的閃爍方式,同時字符類型綜合了常用的26個英文字母、0–9共10個數(shù)字,4個特殊標點符號.

系統(tǒng)開始運行后,將會進行基于區(qū)域的刺激,如圖3.刺激界面被劃分為多個區(qū)域,每個區(qū)域內的字符按一定的隨機次序進行閃爍,閃爍任務在區(qū)域分時執(zhí)行,在整個系統(tǒng)分區(qū)并行執(zhí)行,提高了系統(tǒng)的傳輸比特率.在不同區(qū)域并行執(zhí)行閃爍任務時,相鄰兩個區(qū)域的邊緣字符不會同時閃爍,在保證傳輸速率的前提下減少誤差的產生.

圖3 基于區(qū)域的閃爍

在實現(xiàn)時,首先對字符表中的每個字符進行編號,在每次生成長度為len的閃爍序列時,在已編好號的字符中依次隨機取字符編號放入閃爍序列中,并保證新序列首部長度為interval范圍內的值與舊序列尾部不同.

另外,本文還研究了閃爍物件顏色、閃爍間隔時間、閃爍時間等交互參數(shù)對系統(tǒng)的影響.閃爍物件的顏色選擇會在視覺誘發(fā)實驗中起到突出作用,閃爍色與原色彩的色差過大則容易在短時間內產生疲勞,色差過小則可能遺漏閃爍過程.經實驗驗證,在系統(tǒng)中采用了黑白的閃爍模式.

閃爍時間是指字符處于閃爍的時長,時長太短,留給用戶的反應時間也越短,可能導致用戶錯過目標字符閃爍.閃爍時間過長,則會增大閃爍周期,從而影響字符的傳輸效率.但是閃爍間隔時間略有不同,當用戶選定目標字符,并處于等待字符閃爍時,主觀意識是希望目標字符盡快閃爍,即要求字符閃爍間隔越小越好,但當間隔過小時,就會出現(xiàn)同一字符重疊閃爍或相鄰字符同時閃爍的情況,不利于判斷識別出目標字符.經多次實驗調節(jié)參數(shù)后,選定閃爍時間為750 ms,閃爍間隔時間為150 ms.

人機交互的方式為:用戶在安靜的環(huán)境下,佩戴好設備,坐在離電腦屏幕40 cm左右的椅子或床上,注視屏幕中字符界面所要輸出的字符,在目標字符閃爍時進行主動眨眼,等待系統(tǒng)界面顯示出目標字符,便完成字符的輸入,操作簡單,方便安全.

2.4 眼電信號處理流程

2.4.1 眼電信號的預處理

在電信號的采集方面,本文使用Neurosky公司開發(fā)的MindWave設備,盡管設備為單極導聯(lián)方式,但它采用了與MindFlex,StarWars Force Trainer,MindTune以及NeuroSky的研究級產品MindSet相同的生物傳感器.在前額部位(神經科學稱之為FP1區(qū))能夠測量出可用于研究領域的高精度電信號.硬件采集電信號及處理的流程見圖4.

圖4 硬件采集系統(tǒng)的框架結構圖

MindWave內置的ThinkGear傳感器技術通過放置在前額的一個傳感器以及放置在耳部的參考電極觸電進行腦電波信號測量,并通過集成芯片對這些信號進行處理.得到的數(shù)據(jù)值包括信號強弱、專注度指數(shù)、放松度指數(shù)、原始波值、和眨眼的強度,為后續(xù)對采集到的信號進行分析提供了數(shù)據(jù)支持和便利.

2.4.2 動態(tài)閾值算法判斷目標字符

對每個字符設置標記,根據(jù)每次獲取的眨眼情況給相應的字符打上標記.字符輸出判定條件為所有標記中,標記數(shù)量最多的與標記數(shù)量次大的滿足動態(tài)的閾值,即判斷標記數(shù)量最多的字符為目標字符.動態(tài)的閾值將根據(jù)用戶的個體差異性進行調整.

設標記序列為TA,則標記最多的字符的次數(shù)為TA[max],次大的字符字數(shù)為TA[next],滿足目標字符輸出的情況如下:

3 實驗方案

3.1 前期準備

實驗設備:NeuroSky MindWave mobile,包含TGAM(ThinkGear AM)模塊,最高支持60 Hz的采集頻率.受試者在進行字符輸入.

系統(tǒng)界面:使用Qt Creator 4.3.0平臺開發(fā).

受試者:男性9名,女性9名,年齡為18～22歲的青年,視力正?；蚪洺C正正常.

實驗環(huán)境:通風良好,光線和溫度適宜的安靜室內.

每次實驗開始之前,受試者將會有一系列的訓練和準備時間,大約5–10分鐘,從而使受試者降低緊張感、提高注意力、了解實驗規(guī)范并熟悉實驗流程.同時測試人員將對試驗方式以及實驗環(huán)境進行嚴格的控制,以保證一些無關因素對眼電信號采集的結果帶來干擾.

3.2 實驗過程

在缺乏使用同一價位設備的參考文獻,和與應用途徑相似的文獻有巨大的設備成本差異,在精度和性能上可比性較低的情況下,為了驗證本文提出的優(yōu)化交互方式和優(yōu)化算法的效果,實驗依照控制變量的方法進行.首先控制系統(tǒng)使用相同優(yōu)化算法識別目標,以交互方式作為變量,受試者使用不同刺激范式的交互方式做輸入相同字符的3組實驗,實驗分為3天進行.依次進行刺激范式為單次閃爍、行閃爍與列閃爍、基于區(qū)域閃爍的實驗.其次控制系統(tǒng)的交互方式為優(yōu)化后的刺激范式,以目標識別算法為變量,分別采用優(yōu)化過的算法和未優(yōu)化過的算法進行另外兩組實驗,未優(yōu)化過的識別算法為檢測到目標字符立即輸入,不做重復多次的驗證.

測試人員完成設備與PC機的藍牙連接,受試者佩戴好設備并坐在指定位置上后,測試人員開啟系統(tǒng).屏幕上出現(xiàn)上文描述的黑白字符表,字符表中的字符開始閃爍.受試者心中默認選擇想要輸入的字符,等待目標字符閃爍,并在目標字符閃爍時做一次自主眨眼.等待系統(tǒng)界面出現(xiàn)這一輪的目標字符,即可輸入下一個目標字符.在整個實驗過程中,受試者無需刻意抑制自然眨眼.

3.3 評估標準

無障礙人機交互系統(tǒng)的性能受多種因素的影響,諸如硬件條件、系統(tǒng)范式、應用類型等.因此,不同類型的眼電交互系統(tǒng)以及同一眼電交互系統(tǒng)的不同應用,評價標準也不盡相同.

為了全方位地評估本文研究的基于眼電的字符輸入系統(tǒng),綜合考慮各方面的因素,并參照相關文獻中的評價標準,采用了如下評價指標

(1)靈敏度

靈敏度用于評價NeuroSky的MindWave設備在識別眨眼產生的電位差的能力以及藍牙傳輸數(shù)據(jù)的響應能力.由于本文采用的設備需要通過藍牙與系統(tǒng)連接,那么靈敏度就是系統(tǒng)性能基本保障.

(2)字符輸入準確率

字符輸入準確率是系統(tǒng)的基本性能指標,用戶在目標字符閃爍時自主眨眼且被識別出得字符為目標字符記為正確情況,其他情況下輸出的字符均無效.

(3)有效字符輸入速率

有效字符輸入速率是系統(tǒng)的重要性能指標,它表示輸入一個正確目標字符花費的平均時間.與同類字符輸入系統(tǒng)相似,本文用在線實驗結果的數(shù)據(jù)信息傳輸速率來衡量字符輸入系統(tǒng)性能的好壞.該指標不僅在分析實驗結果有利,在用戶的真實實時使用場景下更是根本指標.

(4)視力負荷

參考腦力負荷,本文提出視力負荷來評價受試者完成系統(tǒng)的字符輸入時,視力的疲勞程度.一方面這是用戶體驗的直接反映,用戶需要通過眨眼來完成字符輸入,因此在長時間的輸入過程中,會帶來視覺疲憊等不可避免的影響,視力負荷的高低可以直接反映用戶體驗的優(yōu)良,另外可以通過比較不同系統(tǒng)的視力負荷,直觀地看出本文提出的新型交互方式的在用戶體驗上的優(yōu)越性.本文采用NASA開發(fā)的NASA-TLX來對工作量進行多維度的評估,主要包括腦力需求、體力需求、時間需求、績效、努力程度、受挫程度六個指標[10].評價每個指標時,將給出一條20等分的直線,用戶在完成實驗后,根據(jù)自己的感受,在每條直線上勾選出相應的分數(shù),分值越高代表程度越大.然后在15個指標對子中選出自己認為的與工作負荷關系較為密切的指標.

每一指標被選中的次數(shù)(0–5次)表示該指標在總工作負荷的權重.將直線上的位置對應數(shù)字(0–20)與對應權重相乘即為每個指標的評分,將所有評分累加后除以總權重15即為這個字符輸入任務的最后評分.評分越高表示用戶完成字符輸入的視力負荷越高.

4 實驗結果及效果分析

控制目標識別算法不變,使用不同交互方式的效果圖5所示,其中x軸表示實驗者編號,y軸表示準確率.

圖5 不同刺激范式下的準確率

可以看到,本文提出的交互方式在準確率上有了很大的提升,平均準確率達97.73%,雖然個別準確率不足90%,但整體看來基本維持在較高準確率水平.而傳統(tǒng)的單個字符閃爍和行閃爍與列閃爍的交互方式則只得到較低準確率,前者的平均準確率為66.37%,后者的準確率為54.26%,且準確率水平很不穩(wěn)定,表明容易受到外界或實驗者自身干擾.

在輸入速率和用戶視力負荷上,本文的交互方式也有明顯優(yōu)勢,見圖6和圖7.

圖6 不同刺激范式下的字符輸入速率

圖7 不同刺激范式下的用戶視力負荷

輸入速率與視力負荷基本成負相關,輸入速率高時,用戶花費更少的時間,甚至可以更輕松完成輸入,因此視力負荷會較低.本文提出的交互方式獲得了1.95個/min的平均字符輸入速率,傳統(tǒng)單個字符閃爍則為1.05個/min,行閃爍與列閃爍為1.01個/min,在輸入速率有了大幅提升的同時,并不會給用戶帶來更重的視力負荷,本文提出的交互方式的視力負荷為11.16,傳統(tǒng)單個字符閃爍則為14.87,行閃爍與列閃爍為15.99.傳統(tǒng)的兩種交互方式的實力負荷大致在15–20范圍內,而新型的交互方式大致在10–15范圍內,依照NASA-TLX的評價標準來看,新型交互方式在用戶體驗上實現(xiàn)了跨階段的優(yōu)化提升.

在應用本文提出的新型交互方式的前提下,以目標識別算法作為變量的兩組實驗的效果如圖8所示.

圖8 不同目標識別算法下的準確率和輸入速率

簡單識別算法為,檢測到目標字符立即輸出,沒有做任何二次的判斷.平均準確率為73.15%,字符輸入速率為1.23個/min (這里指有效字符),相較于本文的優(yōu)化的識別算法獲得的97.73%平均準確率和1.95個/min平均輸入速率,可以驗證優(yōu)化的目標識別算法實現(xiàn)了更高速和更精確的字符輸入.

由于上述所有組別的實驗都使用同一設備進行,因此沒有單獨測量每組實驗的平均靈敏度,只針對使用了優(yōu)化目標識別算法和改進的交互方式的實驗組做了一次測量.平均靈敏度為81.85%,可知設備與系統(tǒng)的藍牙連接不能保證百分百的數(shù)據(jù)傳輸,這就解釋了個別數(shù)據(jù)的急劇變化,或者出現(xiàn)異常數(shù)據(jù)的原因.而在這種情況下,本文提出的字符輸入系統(tǒng)仍能獲得97.73%的準確率,其優(yōu)越性顯而易見.

5 結束語

本文主要研究了基于眼電的字符輸入系統(tǒng).由于重度運動患者即使喪失了機體大部分的運動能力,但是眼部仍然可以靈活運動,所以選擇了由眨眼產生的眼電作為識別信號,并且眼電在時域和頻域上的特征明顯,易于檢測.在交互方面,提出了基于區(qū)域優(yōu)化的字符閃爍交互方式.對實驗結果進行分析后可以看出,該交互方式使得在采用精確度不足的低成本設備時,系統(tǒng)仍能獲得較高的字符輸入速率和識別準確率,并使用戶疲勞程度處于可接受范圍內,對于幫助家庭困難的重度運動障礙患者獲得與外界交流的能力具有重要現(xiàn)實意義.