基于多模態(tài)數(shù)據(jù)建模的生理電人體運動意圖預(yù)測的研究方法簡述

張博文,周麗麗

(黑龍江省科學(xué)院智能制造研究所，黑龍江 哈爾濱 150090)

1 引言

人機交互接口與人機系統(tǒng)一直是科學(xué)發(fā)展的主要研究方向之一，通過人機交互接口能夠廣泛的實現(xiàn)多場景下人機智能協(xié)作與智能輔助，帶來較大社會效益。作為計算機科學(xué)、人體運動學(xué)、生理學(xué)等多學(xué)科研究的交合點，人機系統(tǒng)涉及各個層面研究的理解與綜合。其中，對于人體運動的意圖感知和預(yù)測是實現(xiàn)高效人機系統(tǒng)協(xié)調(diào)控制、高校耦合的核心基礎(chǔ)與根本保障。在人體機能康復(fù)與居家養(yǎng)老保健的場景下，進行有效的康復(fù)水平判斷、標準制定與積極的康復(fù)保健方案需要對人體運動意圖進行精確的判斷與指標的量化。雖然近年來針對運動理解與運動意圖感知的技術(shù)取得了很大的進展，但依然在個體適配、復(fù)雜場景等問題上難以保證實用性與穩(wěn)定性。

在人體意圖感知方面，運動意圖的感知與理解需要從生理結(jié)構(gòu)的角度出發(fā)，提取多維的生物運動特征，并進行高效的耦合分析。因此，對多模態(tài)生物數(shù)據(jù)的提取與分析策略的優(yōu)化是影響康復(fù)與保健場景下的關(guān)鍵因素。人體生理參數(shù)及其衍生的肌肉-骨骼模型需要根據(jù)解剖與測量進行分別建模并合成，然而對于實時與普適的應(yīng)用場景亟需一種能夠保證靈活性的量化方式，在基于多模態(tài)的人體生理數(shù)據(jù)獲取基礎(chǔ)上，對人體生理結(jié)構(gòu)特性分析構(gòu)建肌肉-骨骼模型能夠有效解決這一問題，并提供豐富的時空特征進行人體運動意圖的感知與預(yù)測[1]。

2 基于視覺的手勢識別與體勢識別

生物體的動作姿態(tài)識別的研究，經(jīng)歷多個階段的衍生與發(fā)展，大體上可以歸為兩種方式，一種是基于模板匹配幾何法，通過人為干預(yù)以及多維度建模的方式來搭建生物體各部件模型的靜態(tài)生物體圖像，運用生成的靜態(tài)生物圖像再構(gòu)建空間模型，把每個部件之間的關(guān)系展現(xiàn)出來，這種幾何匹配算法是比較傳統(tǒng)的體資檢測算法。經(jīng)過算法的優(yōu)化與提升，人們更加注重算法特性，使特征方程描述的更加精細。然而面對更加復(fù)雜的應(yīng)用場景與應(yīng)用需求，需要針對需求狀態(tài)與用戶狀態(tài)進行已知技術(shù)的進一步優(yōu)化，故提出級聯(lián)式動態(tài)行為感知技術(shù)與可分離并行卷積神經(jīng)網(wǎng)絡(luò)。

隨著人工智能的飛速發(fā)展，機器視覺技術(shù)與生物體運動行為識別技術(shù)在人類生產(chǎn)活動中得到了廣泛應(yīng)用與發(fā)展，智慧醫(yī)療、智慧交通、運動訓(xùn)練、智能家居等領(lǐng)域都有這廣闊的發(fā)展空間，但是視覺識別的數(shù)據(jù)采集、生物動態(tài)差異化方面方法依然存在一些問題，如在復(fù)雜環(huán)境下光線的缺失對視覺識別來說是一個很嚴重的干擾因素，其次在數(shù)據(jù)采集過程中，拍攝角度的差異同樣影響最終測算結(jié)果。而且不同生物體的運動方式會有很大的不同，為了解決以上問題，提出一種級聯(lián)式的動態(tài)行為感知方法，通過多級網(wǎng)絡(luò)模型的串并聯(lián)結(jié)構(gòu)，有效的提升了感知的性能。

基于視覺的圖像處理首先需要進行特征處理，為了能夠降低特征提取的復(fù)雜度，提升運算性能，通過多種特征融合的方式進行特征提取。在特征提取的過程中，通過多個網(wǎng)絡(luò)提取不同維度的特征并優(yōu)化空間誤差，在不影響精度的情況下大大提升了運算效率。在特征提取的環(huán)節(jié)，使用了多級卷積神經(jīng)網(wǎng)絡(luò)。首先通過SSD進行目標識別，可在大尺度情況下迅速定位目標感興趣區(qū)域。SSD網(wǎng)絡(luò)使用積分層VGG16 作為底層網(wǎng)絡(luò)特征的直接交互式映射，以預(yù)測多目標類別和周長。采用單點多幀檢測方法避免了快速R-CNN 中的候選區(qū)域法，在檢測精度和實時性上達到了平衡。SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)框架

在此基礎(chǔ)上，由于目標區(qū)域的尺度與感知場景大部分集中在圖像中心區(qū)域，針對性的對SSD 的錨框進行優(yōu)化，在不損失精度的情況下，進一步地優(yōu)化了處理流程。提取目標感興趣區(qū)域后，使用ResNet進行特征點圖像坐標回歸，由于感興趣區(qū)域的尺寸較小，并且特征比較集中，可以進行快速的熱力圖建立并回歸到特征點的坐標。進一步使用傳統(tǒng)的統(tǒng)計學(xué)特征可修正偏差，可以在優(yōu)于同類方法幾十倍速度的情況下，完成像素誤差的結(jié)果輸出[2]。

通過雙目相機進行特征點空間重建。三維空間點P在相機的成像圖如下圖所示。根據(jù)相似三角形原理，有以下關(guān)系：

因此，當已知三維空間上任意一點在不同圖像上的視差，再根據(jù)相機的參數(shù)，就可以知道該點的三維坐標。如圖2所示。

圖2 空間成像原理

通過多通道的LSTM網(wǎng)絡(luò)對人體各個關(guān)節(jié)點進行時序信息提取，能夠?qū)θ我獾奶卣魍瓿蓵r空連續(xù)性的動作分析。根據(jù)不同特征點形成的運動模式進行平面的線性分類，可有效完成行為感知。

3 基于肌電信號(EMG)的運動意圖模式識別

在人體肌肉中表達的各種生物電現(xiàn)象大多是基于細胞的基本電現(xiàn)象（靜息電位與刺激動作電位）。靜息時，細胞膜內(nèi)外的電位差為靜息電位。靜止電位通常是穩(wěn)定的直流電流。當不刺激細胞時，靜息電位值保持在穩(wěn)定范圍內(nèi)。從生理上講，細胞膜兩側(cè)靜止時的內(nèi)負電位和外正電位狀態(tài)稱為膜極化狀態(tài)。當細胞受到刺激時，細胞膜的極化狀態(tài)會發(fā)生變化。當細胞膜內(nèi)外的狀態(tài)恢復(fù)到靜默極化狀態(tài)時，稱為復(fù)極[3]。作用電位是由于受激膜的去極化引起的，當膜的去極化達到一定的臨界值時，膜對鈉、鉀離子的滲透性發(fā)生快速可逆的變化。導(dǎo)致膜內(nèi)外張力差劇烈重復(fù)變化。直到增加的膜通透性消失，膜的靜息電位才得以恢復(fù)。

人類肌肉的收縮活動由神經(jīng)系統(tǒng)控制。中樞神經(jīng)系統(tǒng)向運動神經(jīng)的外周分支發(fā)送動作電位。神經(jīng)肌肉接觸類似于突觸（結(jié)構(gòu)上包括突觸前膜、突觸后膜和突觸間隙）。突觸后膜是肌肉細胞中與軸突膜，即運動終板相對應(yīng)的部分。在運動終板上有一個乙酰膽堿受體，可以與乙酰膽堿特異性結(jié)合。刺激通過化學(xué)遞質(zhì)乙酰膽堿和終板膜電位的變化傳遞到神經(jīng)肌肉復(fù)合物。肌電圖（EMG）信號是人腦向肌肉發(fā)送的運動指令的電化學(xué)表達[4]。肌電信號是疊加在皮膚表面刺激上的肌電信號的綜合效應(yīng)。肌電圖信號應(yīng)先于肌肉收縮或放松，并部分反映神經(jīng)肌肉活動。圖3是肌電信號產(chǎn)生機制的示意圖。

圖3 肌電信號產(chǎn)生機理

為了連續(xù)評估運動意圖參數(shù)，在提取肌電信號的特性后，將參數(shù)輸入希爾肌力模型[5-6]，并根據(jù)模型度，下肢研究主要用于預(yù)測膝蓋的角度。與關(guān)節(jié)力矩的評估相比，角度預(yù)測更易于測量和驗證。肌電信號的魯棒特性預(yù)測模型的建立尚未完全成熟，該技術(shù)的發(fā)展將極大地改善外骨骼和動態(tài)假肢的用戶體驗。從定性研究中的意向感知角度出發(fā)，通過傳統(tǒng)的模式分類意向識別解決了一致性控制模式變化的問題，減少了用戶與外骨骼之間的反饋力，提高了外骨骼的輔助效果。

4 EMG信號的預(yù)處理與特征提取

鑒于肌電信號幅值低的特性，在檢測過程中容易受到噪聲的影響。因此需要進行噪聲處理，來使得肌電信號不受影響避免信號損失。我們根據(jù)高頻噪聲與低頻噪聲的不同頻帶，采用濾波算法對采集信號進行兩次濾波，以保證信號質(zhì)量。低頻噪聲包括肌電感應(yīng)電極和皮膚之間的微小運動引起的偽軌跡，高頻噪聲包括電磁設(shè)備噪聲和實驗環(huán)境中的工頻干擾。通過肌電檢測設(shè)備的硬件濾波可以在一定程度上降低噪聲對采集信號的影響。

根據(jù)肌電信號的不同特征，可分為時域、頻域和時頻域。時域特征函數(shù)是基于信號幅度提取時間窗口中的絕對均值和方差得到的函數(shù)；頻域特征函數(shù)是通過快速傅里葉變換從肌電信號頻譜中提取中頻和平均功率頻率所得到的函數(shù)。時頻特性函數(shù)則是通過小波變換、小波包變換或短時傅立葉變換獲得的。肌電信號的不同特性可以結(jié)合起來形成模式識別的直接向量。與早期只提取單一信號特征作為分類模型的輸入相比，多類型肌電特征不僅可以提高分類精度，還可以與其他類型的信號特征融合。同時，也保證了最終結(jié)果的準確性與平穩(wěn)性。

5 結(jié)束語

綜上所述，本文簡要闡述了人體運動意圖感知與預(yù)測的關(guān)鍵問題研究，擬從生物特征信號處理角度入手，對多模態(tài)的生物數(shù)據(jù)進行建模分析，通過EMG肌信號的實時、準確的人體運動意圖識別技術(shù)，對差異化運動生物圖像進行優(yōu)化，為進一步研發(fā)人工智能型裝備提供扎實可行的理論依據(jù)。