基于虛擬現實的肌電-計算機接口技術*

劉萬陽,李曉歐

(1.上海理工大學醫(yī)療器械與食品學院，上海 200093；2.上海健康醫(yī)學院醫(yī)療器械學院，上海 201318)

1 引 言

人機接口(human-computer interface, HCI)是在人體和計算機之間建立不依賴于常規(guī)信息交互操作方式的全新人機信息交流與控制技術。隨著計算機、多媒體和互聯網技術的迅速發(fā)展與普及，HCI越來越多應用于智能化交互、多媒體交互、虛擬現實交互等方面。人體生物電信號含有豐富的感知信息、動作意向、運動功能和生理病理狀態(tài)等信息，是HCI研發(fā)與應用的主要信息交互來源。表面肌電信號(surface EMG, sEMG)是由活躍運動單元激發(fā)的動作電位序列沿肌纖維傳播，并經由皮膚構成的容積導體濾波后，在皮膚表面上時間和空間綜合疊加的結果[1-3]。通過sEMG判斷人體動作類型并轉換成設備輸入指令，成為一種新穎的人機接口，即肌電-計算機接口。sEMG采集技術相對成熟，利用電極可無損傷便捷檢測，因而成為肌電-計算機接口的首選，并廣泛應用于智能假肢控制、康復治療等領域[4]。近幾年發(fā)展到用于手語手勢識別、游戲控制和可穿戴設備中。

2 肌電-計算機接口技術應用

sEMG能反映人的運動意圖，肌電-計算機接口可用于手語翻譯設備[5]、預測手指關節(jié)角度[6]、控制二維屏幕的光標移動和點擊[7]以及移動設備上字母和字符輸入連續(xù)輸入[8]。另外，sEMG信號可以實時評估老年人跌倒風險[9]、控制外骨骼臂用于屈伸[10]、利用肩部肌肉肌電活動驅動腿部運動[11]。加拿大科技公司Thalmic Labs推出了MYO手勢控制臂環(huán)，其內置電極和感應器，讀取手臂肌群sEMG信號，獲取手勢動作指令并無線傳輸至受控設備來瀏覽網頁、改變無人機飛行狀態(tài)等[12]。

近幾年在人工智能和虛擬現實技術蓬勃發(fā)展的大環(huán)境下,肌電-計算機接口將仍然會是一個熱門的研究方向。

3 肌電-計算機接口在虛擬現實中的應用

3.1 虛擬現實技術

虛擬現實(VR)技術起源于20世紀60年代的有聲形動態(tài)的模擬，到70年代產生虛擬現實萌芽。1986年Lamier正式提出了虛擬現實技術的概念[13]。

VR技術是一種可以體驗虛擬世界的計算機技術，由計算機圖形圖像技術、多媒體技術、傳感器技術、人工智能技術等多門技術交織組成[14]。虛擬環(huán)境向用戶提供視覺、聽覺、觸覺和運動信息。從通用的鼠標、鍵盤等設備到具有運動捕捉系統等更復雜的接口，其提供反饋并使用戶感覺到它們正在操縱真實物體[13-14]。一個典型的虛擬現實系統主要組成部分包括：計算機、輸入/輸出設備、應用軟件和數據庫，其結構見圖1。截止到目前，虛擬現實系統大致可以分為非沉浸式、沉浸式、分布式以及增強式四類[15]。

3.2 表面肌電控制接口在虛擬現實中的應用

利用表面肌電信號可以控制虛擬假肢進行虛擬現實訓練[16]。Olivares等人開發(fā)出一種利用手臂表面肌電信號分類輸出為潛在的控制刺激來控制具有十類動作的三維人類手臂虛擬假肢，見圖2，主要用于肌無力或有先天性缺陷等需要康復的人增強手臂運動[17]。Blana等人開發(fā)了一種假體控制器，其結構見圖3，它使用從人的近端肱骨記錄的運動學和sEMG信號的組合，圍繞肱骨放置六個sEMG電極陣列，在虛擬現實環(huán)境中實際模擬假體檢測任務[18]。通過對比發(fā)現相較于文獻[17]中Olivares等人開發(fā)的虛擬假體，文獻[18]中Blana等人開發(fā)的虛擬假體可以進行杯子等物體的抓取，并且在對假體的控制過程中加入了對人體做動作時肱部的移動速度和加速度的判別，使虛擬假體對動作的識別更加精準高效，制作上也更加逼真，更具沉浸感。

圖1 虛擬現實系統結構

圖2 三維人類手臂虛擬假肢

圖3 虛擬假體控制器

虛擬現實康復系統與傳統康復相比更加安全，并且可以輕松調整訓練任務難度,使患者能夠在漫長而乏味的重復性訓練中獲得樂趣[19]。Bevilacqua等人提出了一種新穎的前臂康復方法，見圖4，利用MYO臂環(huán)來獲取肌電信號，控制虛擬現實中功能性游戲的康復任務[12]。肌電-計算機接口也被用于基于虛擬現實的娛樂智能設備中。Madusha等人開發(fā)出能夠量化特定肌肉活動期間肌肉力量的系統，可將其作為計算機游戲控制輸入[20]。

文獻[12]中應用的MYO手勢控制臂環(huán)內置電極和感應器，相較于傳統的電極貼片有線采集減少了許多繁瑣的流程，將其用于虛擬現實康復系統或虛擬現實游戲中能減少對使用者的束縛，更加便于動作的完成。

圖4 MYO臂環(huán)結構及其控制VR游戲

3.3 肌電生物反饋在虛擬現實中的應用

與機械反饋相比，利用肌電反饋可以提高肌肉指令的精度，降低不確定性從而提高假肢的抓取控制效率[21]。新型EMG生物反饋還可用在計算機使用中的姿勢矯正的評估[22]。隨著VR技術的發(fā)展，肌電生物反饋也與其相結合用于康復治療與游戲娛樂等領域。Rincon等人設計了一個沉浸式康復視頻游戲，見圖5，它利用Unity引擎和EMG傳感器將運動動作捕捉，該設計中利用肌電傳感器采集受試者的肌電信號，并作為肌肉狀態(tài)的度量進行分析[23]。在國內，溫馨等人設計了一種基于虛擬現實技術的上肢康復訓練系統，具有更好的交互體驗和沉浸感。在患者訓練過程中，采集其上肢主要運動肌肉的sEMG作為肌肉運動水平的評估依據供醫(yī)生進行評估。除此之外，通過sEMG信號觸發(fā)電刺激模塊，實現對患者的運動補償，從視覺和知覺兩個方面對運動功能進行強化[24]。

文獻[23]、[24]中都是將sEMG信號的反饋用于虛擬現實康復系統中對肌肉狀態(tài)的恢復情況進行度量，游戲的動作捕捉上均主要采用的是微軟的Kinect和不同的空間傳感器輔助完成，并未利用sEMG信號作為康復系統中虛擬現實游戲的動作控制。但文獻[24]中所述虛擬現實康復系統中通過sEMG信號觸發(fā)電刺激模塊，對患者進行電刺激，不僅有利于患者恢復，并且從感覺上增加了虛擬現實環(huán)境的真實性。

圖5 沉浸式康復視頻游戲系統

綜合上述研究現狀把具有代表性的應用肌電-計算機接口的虛擬現實設備總結見表1。由表可知，目前肌電信號與虛擬現實系統的結合大多都是控制虛擬假肢或非沉浸式虛擬游戲以及利用肌電反饋來觀察和評估患者的肌肉恢復情況。利用肌電-計算機接口來控制沉浸式虛擬現實系統及游戲的應用目前還不多，并且都還處在實驗階段。但從發(fā)展趨勢上看，未來會向更加具有沉浸感和真實性的虛擬現實應用方向發(fā)展。

表1應用肌電-計算機接口的虛擬現實設備

Table1VirtualrealitydevicesbaseonsEMG-computerinterface

年份作者設備VR平臺參考文獻2005Parijat虛擬假體非沉浸式[16]2009Saponas T S虛擬繪畫游戲非沉浸式[20]2012A.Olivares虛擬假肢非沉浸式[17]2015Dimitra Blana虛擬假肢沉浸式[18]2016Rincon A L虛擬現實游戲沉浸式[24]

4 技術難點及展望

首先是肌電-計算機接口的算法上還有待改進，如長時間運動過程中的肌肉疲勞影響，會使肌電信號的幅值、頻率等發(fā)生改變，導致動作識別失敗。因此，需要設計相應的自適應策略，克服非穩(wěn)態(tài)信號造成的影響。

其次，虛擬現實技術發(fā)展還存在瓶頸，包括復雜場景中的定位技術，虛擬場景下除視覺和聽覺外的觸覺和嗅覺感知如何提升以及如何減輕眩暈和人眼疲勞。另外，真實感和沉浸感還有待增強，雖然頭戴顯示器能夠產生視覺的沉浸感，但頭顯的重量也干擾了用戶自由活動，容易使人產生疲勞感。所以，如何解決增加沉浸感和真實感與減少設備對體驗者的束縛之間的矛盾也是一個亟待解決的難點。

基于虛擬現實的肌電-計算機接口的研究目前也只是剛剛起步，控制效率和用戶體驗還在不斷提升。并且隨著技術的不斷進步，頭戴顯示器的重量和體積會逐漸減小，而且也會逐漸趨于無線化，并且未來會發(fā)展到裸眼全息。目前，肌電采集設備已經能做到無線傳輸并且體積輕巧，如MYO手勢控制臂環(huán)，sEMG對虛擬現實系統的控制不僅會應用在沉浸式虛擬現實游戲中，而且會更多地應用于醫(yī)療康復系統中。比如由于疾病造成運動功能障礙，偏癱等問題的患者在治療過程中需要進行康復訓練。相比于傳統重復性康復訓練，sEMG的反饋信息可以讓患者通過不斷努力和動作完成現實中不可能完成的動作，來激發(fā)患者的訓練興趣。另外，還可在虛擬現實系統中加入日常生活場景，如虛擬廚房，使患者在康復中享受到正常的生活樂趣?；谔摂M現實的肌電-計算機接口在將來很長一段時間仍然會是研究的熱點。虛擬現實很有可能是繼PC和智能手機之后的下一代計算平臺,sEMG控制與虛擬現實的結合會有很大的發(fā)展空間。

5 結論

本研究首先總結了肌電-計算機接口的發(fā)展狀況，可以發(fā)現，肌電-計算機接口技術還在不斷發(fā)展進步，穩(wěn)定性和適應性在不斷提高。從sEMG的采集上來看，肌電采集設備逐漸趨于小型化和無線化，并且向智能可穿戴方向發(fā)展。

其次，總結了肌電-計算機接口技術在虛擬現實中的應用，目前sEMG信號與虛擬現實系統的結合大多都是基于桌面式虛擬現實系統。真正利用肌電-計算機接口來控制沉浸式虛擬現實系統及游戲的應用目前還不多，并未真正推廣，但整體趨勢是向更加具有沉浸感和真實性方向發(fā)展。

最后，總結了肌電-計算機接口目前使用的算法中肌肉疲勞度影響以及交互動作評判標準上的難點。虛擬現實系統中場景定位技術，眩暈和人眼疲勞的難點。真實感和沉浸感的增強與頭戴顯示器無線和小型化之間權衡等問題。并且展望虛擬現實技術未來會向裸眼全息發(fā)展以及sEMG對虛擬現實系統的控制在生活場景應用，增加患者進行康復訓練的興趣和積極性。

總之，基于虛擬現實的肌電-計算機接口的研究目前也只是剛剛起步，在未來很長一段時間仍然會是研究的熱點，一定會開啟人工智能的新篇章。