基于雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的步態(tài)時(shí)空參數(shù)腦肌電解碼方法

下肢外骨骼機(jī)器人是可用于幫助運(yùn)動(dòng)功能障礙患者行走和恢復(fù)運(yùn)動(dòng)功能、提高老年人運(yùn)動(dòng)能力、增強(qiáng)體力勞動(dòng)者和士兵負(fù)載強(qiáng)度和耐力的可穿戴人機(jī)一體化輔助裝置

。與智能假肢不同,外骨骼需要與人體融合,感知人體的運(yùn)動(dòng)意圖,從而以一定的方式配合穿戴者完成特定動(dòng)作

。對于下肢外骨骼而言,步態(tài)的分析和識(shí)別是其完成人體運(yùn)動(dòng)意圖感知和預(yù)測的關(guān)鍵環(huán)節(jié)。對穿戴者運(yùn)動(dòng)意圖的精確感知,是外骨骼配合穿戴者完成目標(biāo)運(yùn)動(dòng)的首要條件,也是解決人機(jī)協(xié)調(diào)問題的關(guān)鍵技術(shù)

?；颊咄ㄟ^自身意圖對外骨骼進(jìn)行控制,一方面可以提高患者的參與度和積極性,另一方面可以促進(jìn)大腦的可塑性

。目前,用于下肢外骨骼的步態(tài)信息形式包括:足底壓力、加速度、關(guān)節(jié)運(yùn)動(dòng)角度

、腦電(electroencephalography,EEG)、表面肌電信號(hào)(surface electromyography,sEMG)等

和多模態(tài)信號(hào)融合等

?；诓綉B(tài)相位和運(yùn)動(dòng)模式識(shí)別

的離散控制方式,存在運(yùn)動(dòng)不平穩(wěn)、步態(tài)連續(xù)性差等問題,為了實(shí)現(xiàn)對外骨骼步態(tài)的連續(xù)、平滑控制,步態(tài)軌跡的連續(xù)解碼對下肢外骨骼的發(fā)展至關(guān)重要。

(1)由于冷凝式熱水器內(nèi)部存在系統(tǒng)熱容會(huì)導(dǎo)致熱水器內(nèi)管路對熱量有蓄熱的作用，熱量傳遞給水在時(shí)間上發(fā)生延遲，因此熱水溫升與加熱時(shí)間呈非線性增長趨勢，熱水器系統(tǒng)熱量分布可由 表示，熱水溫升與加熱時(shí)間關(guān)系數(shù)學(xué)模型由表示。熱水器加熱時(shí)間的影響因素包括系統(tǒng)熱容、進(jìn)水流量以及進(jìn)氣流量。

目前對連續(xù)步態(tài)軌跡解碼的研究有基于EEG信號(hào)、sEMG信號(hào)和關(guān)節(jié)運(yùn)動(dòng)學(xué)數(shù)據(jù)等,比如休斯頓大學(xué)的Nakagome等

利用EEG信號(hào)對下肢關(guān)節(jié)的運(yùn)動(dòng)角度進(jìn)行解碼。杜克大學(xué)利用恒河猴的侵入式腦電信號(hào)對下肢關(guān)節(jié)三維運(yùn)動(dòng)位移、肌電信號(hào)、步長等運(yùn)動(dòng)信息進(jìn)行解碼

。哈爾濱工業(yè)大學(xué)的研究人員利用sEMG信號(hào)和慣性測量單元的數(shù)據(jù)對下肢關(guān)節(jié)運(yùn)動(dòng)角度等進(jìn)行預(yù)測

。然而,基于EEG信號(hào)的步態(tài)運(yùn)動(dòng)軌跡預(yù)測相關(guān)性較低,難以達(dá)到實(shí)際應(yīng)用的程度。侵入式腦電信號(hào)采集方式對人體傷害性較大,難以廣泛應(yīng)用。基于sEMG和慣性測量單元數(shù)據(jù)的步態(tài)預(yù)測,由于慣性測量單元所測量的數(shù)據(jù)屬于運(yùn)動(dòng)學(xué)數(shù)據(jù),將其與sEMG信號(hào)融合對運(yùn)動(dòng)學(xué)數(shù)據(jù)進(jìn)行預(yù)測,很難評價(jià)sEMG的解碼能力。

本研究設(shè)計(jì)雙向深度長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型(bidirectional long short term memory,BiLSTM),利用深度學(xué)習(xí)模型自動(dòng)提取運(yùn)動(dòng)相關(guān)頻段sEMG和EEG的特征,實(shí)現(xiàn)對膝關(guān)節(jié)和髖關(guān)節(jié)運(yùn)動(dòng)時(shí)空參數(shù)的連續(xù)解碼,實(shí)現(xiàn)了基于雙信號(hào)模式的,下肢關(guān)節(jié)運(yùn)動(dòng)時(shí)空參數(shù)的連續(xù)精確解碼;利用sEMG和EEG的相關(guān)關(guān)系,設(shè)計(jì)基于BiLSTM的EEG解碼sEMG信號(hào)的神經(jīng)網(wǎng)絡(luò)模型。

1 BiLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

LSTM是在遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的基礎(chǔ)上發(fā)展而來,該算法是為了解決RNN梯度消失和梯度爆炸的問題。通過選擇性記憶和忘記,LSTM可解決對有時(shí)序關(guān)系的時(shí)間序列的長時(shí)記憶問題。下肢運(yùn)動(dòng)中的sEMG和EEG信號(hào)屬于有序時(shí)間序列,可采用LSTM對其進(jìn)行分析

。LSTM神經(jīng)網(wǎng)絡(luò)一個(gè)神經(jīng)元包含網(wǎng)絡(luò)的當(dāng)前輸入信號(hào)

(該信號(hào)在本文中為EEG和sEMG融合信號(hào)或單獨(dú)的EEG信號(hào)),上一時(shí)刻隱含狀態(tài)

-1

,遺忘門控信號(hào)

,選擇性記憶門控信號(hào)

,輸出門控信號(hào)

,新的輸入信號(hào)

。3個(gè)門控信號(hào)是由

和

-1

的拼接矩陣乘以權(quán)重再通過

激活函數(shù)轉(zhuǎn)換為0到1之間的數(shù)值,其計(jì)算方法分別如式(1)～(3)所示,新的輸入信號(hào)

由

和

-1

的拼接矩陣乘以權(quán)重再通過tanh激活函數(shù)轉(zhuǎn)換為-1到1之間的數(shù)值,計(jì)算方法如式(4)所示

=

(

[

,

-1

])

(1)

式中:

和tanh是激活函數(shù);

、

、

、

是權(quán)重矩陣;

為當(dāng)前輸入的用于解碼的信號(hào);

-1

為上一時(shí)刻隱含狀態(tài)。

(2)

=

(

[

,

-1

])

(3)

=tanh(

[

,

-1

])

(4)

=

(

[

,

-1

])

CFRP在軌道交通車輛車體上的推廣應(yīng)用是復(fù)合材料行業(yè)的一大機(jī)遇和挑戰(zhàn)，雖然目前受制造成本、成型工藝、生產(chǎn)效率等方面的制約，難以在短期內(nèi)實(shí)現(xiàn)批量生產(chǎn)，但是全碳纖維復(fù)合材料地鐵車輛車體的成功研制經(jīng)驗(yàn)為后續(xù)軌道交通復(fù)合材料承載結(jié)構(gòu)的研究奠定了基礎(chǔ)。隨著新材料、新技術(shù)日新月異的進(jìn)步，相信在不久的將來，中國將迎來軌道交通車輛車體新材料應(yīng)用的又一次變革。

=

(

′

)

4.在課后組織方面——重視課堂小結(jié)。由于同層次學(xué)生對知識(shí)的學(xué)習(xí)掌握能力不同，教師要定期總結(jié)，幫助學(xué)習(xí)能力不強(qiáng)的學(xué)生跟上教師的講課進(jìn)度。

=

⊙

-1

+

⊙

(5)

大港油田積極響應(yīng)中國石油“穩(wěn)健發(fā)展”和“保持一億噸以上原油產(chǎn)量規(guī)模”的發(fā)展戰(zhàn)略，堅(jiān)持把提高采收率增加老油田可采儲(chǔ)量作為油氣開發(fā)的核心價(jià)值觀，規(guī)模開展高孔高滲、高溫高鹽、深層低滲三大類油藏的開發(fā)試驗(yàn)，大幅度提高老油田采收率，努力把資源優(yōu)勢轉(zhuǎn)化為產(chǎn)量優(yōu)勢和發(fā)展優(yōu)勢，努力實(shí)現(xiàn)產(chǎn)量穩(wěn)定和可持續(xù)發(fā)展。

人類的下肢運(yùn)動(dòng)意圖由大腦運(yùn)動(dòng)相關(guān)皮層發(fā)起,由腦干控制執(zhí)行過程,受小腦、丘腦和基底神經(jīng)節(jié)的調(diào)節(jié),由大腦皮層產(chǎn)生的動(dòng)作電位通過神經(jīng)-肌肉接頭傳入骨骼肌中并形成終板電位,當(dāng)終板電位達(dá)到一定閾值后,會(huì)在肌細(xì)胞中產(chǎn)生強(qiáng)大的肌細(xì)胞動(dòng)作電位,隨著動(dòng)作電位的傳播,肌漿網(wǎng)釋放鈣離子,根據(jù)肌絲滑行理論,細(xì)肌絲沿著粗肌絲滑行,實(shí)現(xiàn)肌肉收縮,完成相應(yīng)的動(dòng)作,如圖3所示,為運(yùn)動(dòng)的產(chǎn)生和執(zhí)行通路。在運(yùn)動(dòng)意圖產(chǎn)生和傳播過程中,所產(chǎn)生的EEG和sEMG信號(hào)真實(shí)記錄了整個(gè)運(yùn)動(dòng)過程的發(fā)生。因此,為了全面描述步態(tài)的真實(shí)過程,下肢運(yùn)動(dòng)實(shí)驗(yàn)對勻速行走時(shí),運(yùn)動(dòng)皮層EEG、運(yùn)動(dòng)相關(guān)肌肉sEMG和下肢關(guān)節(jié)三維運(yùn)動(dòng)軌跡進(jìn)行同步采集。EEG和sEMG信號(hào)的同步,通過Brain Products公司的無線32導(dǎo)運(yùn)動(dòng)狀態(tài)下腦肌電同步采集設(shè)備,該設(shè)備是為運(yùn)動(dòng)中EEG和sEMG信號(hào)采集所設(shè)計(jì),并通過設(shè)備自帶的同步核實(shí)現(xiàn)和Vicon系統(tǒng)的同步,從而實(shí)現(xiàn)對下肢運(yùn)動(dòng)學(xué)數(shù)據(jù)的同步采集。

=

⊙tanh(

)

(6)

LSTM的執(zhí)行過程主要包括以下幾個(gè)步驟:首先,是遺忘階段,對傳入的上一時(shí)刻的細(xì)胞狀態(tài)

-1

通過遺忘門

進(jìn)行選擇性忘記,記住重要的信息,對不重要的信息進(jìn)行遺忘。其次,是選擇性記憶階段,首先對網(wǎng)絡(luò)的當(dāng)前的輸入信號(hào)

和網(wǎng)絡(luò)的上一時(shí)刻的隱藏狀態(tài)

-1

進(jìn)行拼接,乘以權(quán)重并通過tanh激活函數(shù)轉(zhuǎn)換為新的輸入信號(hào)

,再通過記憶門控單元

進(jìn)行選擇性記憶,記住重要的輸入信息。前兩個(gè)階段的計(jì)算如下式所示

(7)

式中:

和tanh是激活函數(shù);

是權(quán)重矩陣;

為當(dāng)前時(shí)刻細(xì)胞狀態(tài)。當(dāng)前狀態(tài)的輸出

由當(dāng)前隱含狀態(tài)

計(jì)算得到,計(jì)算過程如下式所示

式中:

-1

為上一時(shí)刻細(xì)胞狀態(tài);

、

、

分別為遺忘、選擇性記憶和輸出門控信號(hào);

為新的輸入信號(hào);⊙運(yùn)算表示對兩個(gè)矩陣中的對應(yīng)元素進(jìn)行相乘操作。

=

(

′

)

(8)

式中

保存了當(dāng)前時(shí)刻隱含狀態(tài),具有短期記憶功能。

綜合了當(dāng)前輸入和前一時(shí)刻的狀態(tài)信息,可保存長期的狀態(tài),因此該神經(jīng)網(wǎng)絡(luò)被稱為長短時(shí)記憶神經(jīng)網(wǎng)絡(luò),LSTM神經(jīng)網(wǎng)絡(luò)一個(gè)神經(jīng)元的結(jié)構(gòu)如圖1所示。

LSTM神經(jīng)網(wǎng)絡(luò)利用過去的信息進(jìn)行信號(hào)的分析,而BiLSTM神經(jīng)網(wǎng)絡(luò)在LSTM的基礎(chǔ)上加入未來的信息。BiLSTM的運(yùn)算如圖2所示。在前向計(jì)算的基礎(chǔ)上加入反向計(jì)算(不是反向傳播),將未來的信息加入當(dāng)前狀態(tài)的計(jì)算,比如

+1時(shí)刻的信息

+1

傳入

時(shí)刻,參與該時(shí)刻細(xì)胞狀態(tài)的計(jì)算。本文將建立面向步態(tài)時(shí)空參數(shù)解碼的BiLSTM神經(jīng)網(wǎng)絡(luò)模型,對膝關(guān)節(jié)和踝關(guān)節(jié)的步態(tài)時(shí)空參數(shù)進(jìn)行解碼。LSTM神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)包括一個(gè)輸入層、兩個(gè)LSTM層、兩個(gè)全連接層和一個(gè)輸出層,其中輸入層包含的節(jié)點(diǎn)個(gè)數(shù)和輸入的信號(hào)特征個(gè)數(shù)相等,每個(gè)LSTM層包含一個(gè)dropout層,參數(shù)設(shè)置為0.5,即隨機(jī)丟棄概率為0.5,其作用是防止數(shù)據(jù)過擬合。為防止梯度爆炸,將梯度閾值設(shè)置為1,LSTM層的隱含單元個(gè)數(shù)為200,訓(xùn)練樣本最大迭代次數(shù)設(shè)置為100,采用adam優(yōu)化器對訓(xùn)練過程進(jìn)行優(yōu)化,學(xué)習(xí)率即步長設(shè)置為0.01,并設(shè)置驗(yàn)證集,對訓(xùn)練過程進(jìn)行校驗(yàn)。由于研究的數(shù)據(jù)為連續(xù)的信號(hào)對連續(xù)運(yùn)動(dòng)軌跡的解碼,因此選擇序列到序列(sequence-to-sequence)的回歸方式。BiLSTM神經(jīng)網(wǎng)絡(luò)模型在LSTM結(jié)構(gòu)的基礎(chǔ)上增加了BiLSTM層,隱含單元個(gè)數(shù)為200。

一是反腐職責(zé)與保護(hù)地方經(jīng)濟(jì)的矛盾。腐敗的主要表現(xiàn)形式為官權(quán)與商業(yè)資本的聯(lián)合，并且腐敗案件涉及的商業(yè)項(xiàng)目資金數(shù)額都較為龐大，若依照程序嚴(yán)懲腐敗分子，則與腐敗案件關(guān)聯(lián)的商業(yè)項(xiàng)目必然隨之枯萎，地方經(jīng)濟(jì)遭受損失。反之則是容忍腐敗分子侵吞公共財(cái)產(chǎn)，擾亂市場秩序。在反腐工作與經(jīng)濟(jì)保護(hù)之間的價(jià)值選擇成為阻礙反腐績效的矛盾之一。二是價(jià)值與執(zhí)行相脫節(jié)。在復(fù)雜的利益紛爭下，公共部門所推崇的政治價(jià)值、管理價(jià)值等基本公共價(jià)值在官僚系統(tǒng)運(yùn)行過程中容易走樣，無法真正指導(dǎo)和落實(shí)到執(zhí)行過程。

2 步態(tài)時(shí)空參數(shù)的腦肌電解碼

2.1 下肢sEMG和EEG信號(hào)采集實(shí)驗(yàn)范式

最后,是輸出階段,決定哪些信息將輸入下一個(gè)狀態(tài),將當(dāng)前細(xì)胞狀態(tài)經(jīng)過tanh激活函數(shù)轉(zhuǎn)換后通過門控信號(hào)

進(jìn)行控制,計(jì)算過程如下式所示

實(shí)驗(yàn)招募了7名來自西安交通大學(xué)的健康研究生,平均年齡為24歲,由于本次實(shí)驗(yàn)為短期實(shí)驗(yàn),短期實(shí)驗(yàn)對象個(gè)數(shù)為7～12,因此本次實(shí)驗(yàn)被試人數(shù)在合理范圍內(nèi)。實(shí)驗(yàn)所有程序均經(jīng)西安交通大學(xué)倫理委員會(huì)批準(zhǔn),且符合1975年赫爾辛基宣言的相關(guān)規(guī)定,實(shí)驗(yàn)前所有被試均簽署了知情同意書。在進(jìn)行步態(tài)相關(guān)實(shí)驗(yàn)時(shí),采集EEG和下肢肌肉sEMG信號(hào)時(shí),每位被試按照自己日常習(xí)慣行走,盡量保證步態(tài)協(xié)調(diào),不要產(chǎn)生過大的加速度,特別是在步態(tài)實(shí)驗(yàn)中,被試除了下肢運(yùn)動(dòng)外,身體其他部位盡量不要做過多的運(yùn)動(dòng),盡量減少肌電的干擾。比如,盡量不要做轉(zhuǎn)頭、低頭等動(dòng)作,以減少頸部肌肉對EEG信號(hào)的影響,同時(shí)盡量避免頻繁眨眼,以減少眼電干擾。在實(shí)驗(yàn)過程中,被試盡量減少咀嚼、吞咽動(dòng)作和夸張的面部表情等,并保持注意力集中,以免在其他大腦皮層產(chǎn)生與運(yùn)動(dòng)無關(guān)的EEG信號(hào),干擾運(yùn)動(dòng)區(qū)的EEG信號(hào)。腦電帽佩戴要符合規(guī)范,緊貼頭皮,以防止腦電帽電極的滑動(dòng)引起EEG信號(hào)的干擾。每位被試在跑步機(jī)上以自己舒適的速度行走,經(jīng)過7名被試的反饋,最終綜合確定最佳速度為2.0 km/h。

為采集與下肢運(yùn)動(dòng)最相關(guān)肌肉的sEMG信號(hào),通過查閱相關(guān)的國內(nèi)外文獻(xiàn)和歐洲發(fā)布的用于非侵入式肌肉評價(jià)的sEMG信號(hào)采集計(jì)劃(surface electromyography for the non-invasive assessment of muscles,SENIAM)(www.seniam.org)的內(nèi)容,本實(shí)驗(yàn)對左右腿的股二頭肌(biceps femoris,BF)、股內(nèi)側(cè)肌(vastus medialis,VM)、內(nèi)側(cè)腓腸肌(gastrocnemius medialis,GM)和脛骨前肌(tibialis anterior,TA)8塊肌肉的sEMG信號(hào)進(jìn)行采集,單腿4塊肌肉的作用如表1所示,肌肉位置如圖4所示。

試驗(yàn)設(shè)置2個(gè)組，配合飼料組和血液組，每個(gè)組3個(gè)重復(fù)。養(yǎng)殖密度為40尾/箱。試驗(yàn)組采用自制配合飼料灌入風(fēng)干豬血腸衣中投喂，對照組采用雞血打成血漿灌入風(fēng)干豬血腸衣中投喂，養(yǎng)殖周期60 d，投喂頻率為每3 d 1次，每天換水量50%，停飼1周采樣。

實(shí)驗(yàn)過程中,首先,被試在平地上站立30 s,采集靜息態(tài)下的EEG、sEMG信號(hào)和關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù),用于運(yùn)動(dòng)學(xué)模型的校正。其次,等待跑步機(jī)以2.0 km/h的速度運(yùn)行正常后,被試在跑步機(jī)上勻速行走30 s為一組,每組中間休息10 s,采集15組后,完成整個(gè)步態(tài)信息采集實(shí)驗(yàn)。保證整個(gè)實(shí)驗(yàn)中對時(shí)間嚴(yán)格要求,被試狀態(tài)良好,注意力集中。

2.2 實(shí)驗(yàn)平臺(tái)搭建

根據(jù)設(shè)計(jì)的下肢運(yùn)動(dòng)實(shí)驗(yàn)范式,搭建下肢運(yùn)動(dòng)數(shù)據(jù)采集實(shí)驗(yàn)平臺(tái)。實(shí)驗(yàn)臺(tái)硬件設(shè)備主要包括:Brain Products公司的32Ch LiveAmp腦電帽、LiveAmp無線放大器和同步核、三維步態(tài)分析系統(tǒng)Vicon T40S、跑步機(jī)和計(jì)算機(jī)等;數(shù)據(jù)采集軟件包括:Recorder腦肌電數(shù)據(jù)采集軟件、Analyzer 2.0腦肌電數(shù)據(jù)分析軟件、Nexus 2.6下肢關(guān)節(jié)運(yùn)動(dòng)軌跡捕捉與數(shù)據(jù)處理軟件。

實(shí)驗(yàn)采用的無線腦肌電同步采集系統(tǒng)由腦電采集帽、肌電采集電極、無線放大器和同步核組成,腦電帽的電極位置按照10-20國際標(biāo)準(zhǔn)分布。LiveAmp放大器是針對運(yùn)動(dòng)EEG信號(hào)采集設(shè)計(jì)的,LiveAmp的記錄特性可與高端實(shí)驗(yàn)室腦電圖系統(tǒng)相比,24位A/D轉(zhuǎn)換,可同時(shí)對EEG和sEMG信號(hào)進(jìn)行采集,內(nèi)置三軸加速度計(jì),可用于后續(xù)對運(yùn)動(dòng)偽跡的去除。實(shí)驗(yàn)開始前,被試者頭戴腦電帽,腦電帽的絕緣電纜線一端與腦電帽相連,另一端與信號(hào)放大器相連,放大器與計(jì)算機(jī)USB接口相連,并通過其供電和傳輸數(shù)據(jù),不需要任何的特殊接口或特殊電源供應(yīng)。計(jì)算機(jī)上的Recorder采集系統(tǒng)實(shí)時(shí)采集并保存被試24導(dǎo)EEG信號(hào)(Fp1,Fp2,F3,F4,C3,C4,P3,P4,O1,O2,F7,F8,T7,T8,P7,P8,Fz,Cz,Pz,Oz,M1,M2,FPz和VEOG,其中VEOG為水平眼電信號(hào))和左右腿共8個(gè)肌肉通道的sEMG信號(hào),采樣頻率為500 Hz。分別將Vicon反光球貼在左和右下肢的髂前上棘、髂后上棘、大腿、膝關(guān)節(jié)、脛骨(小腿)、踝關(guān)節(jié)、腳后跟、腳趾共16個(gè)位置上,采用10個(gè)攝像頭捕捉反光球的運(yùn)動(dòng)軌跡,采樣頻率為100 Hz。

這天下午，易非陪著媽帶著李倩倩去產(chǎn)檢，李倩倩剛進(jìn)到B超室，媽就在外面嘮叨：“這孩子是懷上了，不知道能接進(jìn)來不？”她指的還是房子。

2.3 sEMG和EEG信號(hào)預(yù)處理

由于實(shí)驗(yàn)中采用的LiveAmp無線放大器和三維步態(tài)分析系統(tǒng)Vicon T40S的采樣頻率不一致,同時(shí)考慮到增加序列長度(單個(gè)步態(tài)階段的數(shù)據(jù)點(diǎn)數(shù))可以豐富腦電信號(hào)或表面肌電信號(hào)的特征信息,因此將重采樣頻率設(shè)為1 000 Hz。實(shí)驗(yàn)中采用的電極帽,其參考電極位于額葉區(qū)和中央?yún)^(qū)之間,不符合參考電極的標(biāo)準(zhǔn):參考電極的活動(dòng)盡量降到最低,以獲得最真實(shí)的基線(近似零)信號(hào)。因此,FCz通道不適合作為參考信號(hào),本文選擇雙側(cè)耳后乳突M1和M2的平均值作為新參考。眼球運(yùn)動(dòng)會(huì)改變眼睛周圍電場分布,而眼睛又十分靠近頭皮,所以對頭皮表面電場分布影響很大。眼動(dòng)偽跡頻率范圍與EEG頻率重疊,且幅值較大,是EEG采集中的一種主要干擾。獨(dú)立成分分析(independent component analysis,ICA)分析方法可用于從多個(gè)源信號(hào)線性混合的信號(hào)中分離出源信號(hào),算法首先會(huì)找到一個(gè)映射,使混合信號(hào)通過該映射后投影分量在時(shí)間上重疊的最小,因此引入眼電相關(guān)ICA對初始信號(hào)中的眼電進(jìn)行分離。下肢運(yùn)動(dòng)帶來的運(yùn)動(dòng)偽跡,對EEG的影響較大,可利用EEGLAB工具箱中的偽跡子空間重構(gòu)(artifact subspace reconstruction,ASR)算法進(jìn)行處理。ASR將主成分分析應(yīng)用于EEG數(shù)據(jù),識(shí)別出與包含最小運(yùn)動(dòng)偽影的基線數(shù)據(jù)顯著偏離的EEG通道,再與基線數(shù)據(jù)相比,方差高于預(yù)定義閾值的通道被識(shí)別為受干擾的通道,并使用從基線數(shù)據(jù)計(jì)算的混合矩陣進(jìn)行重構(gòu)

。經(jīng)過以上分析,可分別去除和眼電、運(yùn)動(dòng)相關(guān)性最高的成分

。

2.4 sEMG和EEG信號(hào)運(yùn)動(dòng)相關(guān)特征提取

運(yùn)動(dòng)相關(guān)的頻段主要分布在低頻部分。Presacco等的研究表明

,運(yùn)動(dòng)學(xué)信號(hào)頻率小于3 Hz部分占總功率譜密度的90%,因此對sEMG、EEG和運(yùn)動(dòng)信號(hào)進(jìn)行1～3 Hz的帶通濾波。事件相關(guān)譜擾動(dòng)(event related spectral perturbation,ERSP)

可對EEG信號(hào)進(jìn)行時(shí)頻分析,利用ERSP對行走時(shí)EEG信號(hào)的能量譜進(jìn)行分析,驗(yàn)證EEG用于步態(tài)解碼的可行性。如圖5所示,圖5(a)為一個(gè)步態(tài)周期C3通道EEG信號(hào)ERSP分析結(jié)果,圖5(b)為濾波后EEG、sEMG信號(hào)和踝關(guān)節(jié)運(yùn)動(dòng)軌跡。從圖5(a)中可觀察到,一個(gè)步態(tài)周期EEG信號(hào)的1～3 Hz頻段(紅框部分)包含充分的信息,比如在步態(tài)周期前50%,有兩個(gè)時(shí)段大腦活動(dòng)受到抑制,說明在這兩個(gè)時(shí)段大腦參與行走運(yùn)動(dòng)

。從圖5(b)中可觀察到,濾波后sEMG信號(hào)和EEG信號(hào)中出現(xiàn)部分與踝關(guān)節(jié)運(yùn)動(dòng)相關(guān)的波形,特別是sEMG信號(hào)的波形與踝關(guān)節(jié)的運(yùn)動(dòng)軌跡相關(guān)的波形更多。

sEMG、EEG和運(yùn)動(dòng)信號(hào)信號(hào)特征提取和解碼器訓(xùn)練過程如圖6所示。首先對右腿4個(gè)肌肉通道的sEMG信號(hào)、21個(gè)通道的EEG信號(hào)和右腳踝、膝關(guān)節(jié)的運(yùn)動(dòng)軌跡進(jìn)行帶通濾波,濾波頻率為1～3 Hz,然后將sEMG和EEG信號(hào)和關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)分別分為訓(xùn)練集、測試集和驗(yàn)證集,3個(gè)數(shù)據(jù)集的比例為6∶2∶2。由于下肢運(yùn)動(dòng)是由拮抗肌肉的激活產(chǎn)生的,因此需要提取能夠代表這種拮抗作用的特征,以提高步態(tài)的連續(xù)解碼精度。為了解決這一問題,采用BiLSTM神經(jīng)網(wǎng)絡(luò)自動(dòng)提取sEMG和EEG信號(hào)的運(yùn)動(dòng)相關(guān)特征。在所有的深度學(xué)習(xí)算法中,BiLSTM由于增加了遺忘門,可以對記憶的信息進(jìn)行選擇性遺忘,從而對長時(shí)依賴信號(hào)的分析方面有顯著優(yōu)勢。為了驗(yàn)證該算法在利用EEG和sEMG信號(hào)對步態(tài)解碼的優(yōu)勢,本文將對采用BiLSTM神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)神經(jīng)網(wǎng)絡(luò)(support vector machine,SVM)

的步態(tài)解碼結(jié)果進(jìn)行對比分析,SVM分類算法可實(shí)現(xiàn)對離散動(dòng)作的識(shí)別,回歸算法可實(shí)現(xiàn)對連續(xù)軌跡的擬合,是一種常用的生物電信號(hào)分析機(jī)器學(xué)習(xí)算法。本文采用BiLSTM (200-100)對非平穩(wěn)sEMG和EEG信號(hào)進(jìn)行特征提取,數(shù)據(jù)的標(biāo)簽設(shè)置為下肢關(guān)節(jié)運(yùn)動(dòng)位移數(shù)據(jù),在誤差反向傳播階段,需要根據(jù)預(yù)測結(jié)果和標(biāo)簽的數(shù)據(jù)之間的誤差對訓(xùn)練過程進(jìn)行調(diào)節(jié)。

3 步態(tài)時(shí)空參數(shù)解碼結(jié)果

3.1 基于sEMG和EEG的步態(tài)時(shí)空參數(shù)解碼

對于多種模式信息的融合,主要有數(shù)據(jù)層、特征層和決策層3種方式。數(shù)據(jù)層的融合方式可以最大程度的保留各種融合信號(hào)的信息;特征層融合方式是在提取每種融合信號(hào)的特征后,將融合后的特征輸入判別器進(jìn)行分析;決策層的融合方式是對每種信號(hào)的判別結(jié)果采用特定規(guī)則進(jìn)行融合。由于BiLSTM神經(jīng)網(wǎng)絡(luò)模型的特征提取由網(wǎng)絡(luò)自動(dòng)進(jìn)行的,不需要采用特征層融合方式,但為了和數(shù)據(jù)層融合策略的解碼結(jié)果進(jìn)行對比,提取sEMG和EEG信號(hào)的平均絕對值(mean absolute value,MAV)特征并進(jìn)行融合作為BiLSTM神經(jīng)網(wǎng)絡(luò)輸入信號(hào),決策層融合方式丟失信息過多,因此本次研究不進(jìn)行分析。本文采用數(shù)據(jù)層的sEMG和EEG融合方式對步態(tài)時(shí)空參數(shù)進(jìn)行解碼,將右腿4個(gè)肌肉通道的sEMG信號(hào)和21個(gè)通道的EEG信號(hào),組成數(shù)據(jù)矩陣輸入BiLSTM神經(jīng)網(wǎng)絡(luò)模型中,在模型中自動(dòng)進(jìn)行特征提取和回歸分析。

sEMG和EEG融合信號(hào)的膝關(guān)節(jié)和踝關(guān)節(jié)運(yùn)動(dòng)軌跡解碼結(jié)果和模型訓(xùn)練過程中誤差的變化如圖7所示,隨著模型迭代次數(shù)的增加,模型誤差RMSE逐漸減小,最終趨于穩(wěn)定,說明該模型對步態(tài)解碼效果較好,迭代次數(shù)選擇較合理。從解碼的軌跡和實(shí)測軌跡的對比中,可看到sEMG和EEG融合信號(hào)解碼的軌跡與實(shí)測信號(hào)軌跡雖然形狀較相似,但解碼出的軌跡幅值存在一定誤差?？赡艿脑蚴莝EMG和EEG信號(hào)幅值的差異較大,導(dǎo)致解碼出的運(yùn)動(dòng)軌跡形狀相似性較高,但幅值在波峰和波谷處存在誤差,后續(xù)研究可在通過對信號(hào)進(jìn)行歸一化處理或者針對不同類型信號(hào)引入調(diào)節(jié)參數(shù)進(jìn)行處理。sEMG-EEG融合信號(hào)解碼軌跡和實(shí)際軌跡的Pearson相關(guān)系數(shù)

和均方根誤差RMSE如表2所示。從表中可看到,sEMG-EEG融合信號(hào)的解碼軌跡和實(shí)際軌跡的Pearson相關(guān)系數(shù)

超過0.9,說明他們形狀相似度非常高,本文所提的步態(tài)時(shí)空參數(shù)解碼策略可成功解碼出下肢膝關(guān)節(jié)和踝關(guān)節(jié)的運(yùn)動(dòng)參數(shù)。

為了證明本文中所提sEMG-EEG融合信號(hào)對步態(tài)時(shí)空參數(shù)解碼的效果,分別對單獨(dú)的sEMG信號(hào)、EEG信號(hào)和sEMG-EEG特征融合信號(hào)的步態(tài)軌跡解碼進(jìn)行分析,對踝關(guān)節(jié)軌跡解碼結(jié)果如圖8(a)、(b)和(c)所示。此外,對sEMG-EEG融合信號(hào)在分別采用BiLSTM神經(jīng)網(wǎng)絡(luò)和SVM神經(jīng)網(wǎng)絡(luò)的步態(tài)時(shí)空參數(shù)解碼進(jìn)行分析,結(jié)果如圖8(d)所示。圖8中4種方法解碼軌跡的Pearson相關(guān)系數(shù)

和均方根誤差RMSE如表3所示。圖8中的結(jié)果表明,采用單獨(dú)的sEMG信號(hào)可解碼出波峰處的軌跡(比如采樣點(diǎn)1 000左右),但對次波峰處的解碼軌跡誤差較大(比如采樣點(diǎn)300左右)。采樣單獨(dú)的EEG信號(hào)和sEMG-EEG特征融合信號(hào)的步態(tài)軌跡解碼形狀誤差較大,從表3中可看到,二者解碼出的軌跡

值都低于0.5。采用SVM回歸算法從sEMG-EEG融合信號(hào)中解碼出的踝關(guān)節(jié)軌跡在波峰和波谷處出現(xiàn)高頻振蕩,形狀相似性

值為0.85±0.02,與BiLSTM神經(jīng)網(wǎng)絡(luò)的解碼結(jié)果相比,解碼軌跡的形狀相似性較低。綜上所述,本文所提出的基于sEMG-EEG融合信號(hào)的BiLSTM神經(jīng)網(wǎng)絡(luò)步態(tài)時(shí)空參數(shù)解碼策略效果最好。

3.2 基于EEG的行走時(shí)sEMG信號(hào)解碼

行走時(shí)大腦皮層和下肢肌肉之間生理層面的相關(guān)性,為從EEG信號(hào)中解碼sEMG信號(hào)提供了理論基礎(chǔ)。BiLSTM神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及參數(shù)設(shè)計(jì)與上述研究中的相同,將21個(gè)EEG通道信號(hào)作為BiLSTM神經(jīng)網(wǎng)絡(luò)模型輸入,左腿VM肌肉通道的左腿VM肌肉通道的sEMG信號(hào)作為標(biāo)簽數(shù)據(jù),對模型進(jìn)行訓(xùn)練,以被試1為例對解碼結(jié)果進(jìn)行分析,其解碼結(jié)果如圖9所示。圖中實(shí)測的曲線為實(shí)測sEMG信號(hào)經(jīng)過1～3 Hz濾波后的波形圖,可觀察到在前2 000個(gè)采樣點(diǎn)中,實(shí)測與解碼的波形圖形狀相似性較高,2 000～2 500這段解碼波形出現(xiàn)兩個(gè)波峰,實(shí)際波形只有一個(gè)波峰,其他時(shí)間段也存在類似的情況,整段解碼波形和實(shí)際波形存在一定誤差。解碼波形與實(shí)際波形的平均Pearson相關(guān)系數(shù)

=0.45±0.02,證明了形狀相關(guān)性較低,可能是因?yàn)镋EG信號(hào)中包含的步態(tài)信息不足以解碼出sEMG信號(hào)中的步態(tài)成分(參考圖5(b))。后續(xù)可以通過設(shè)計(jì)新的實(shí)驗(yàn)方案以增加EEG信號(hào)中步態(tài)信息,比如在被試行走過程中增加行走運(yùn)動(dòng)想象。解碼波形的平均RMSE為2.03±0.32,和解碼關(guān)節(jié)運(yùn)動(dòng)軌跡時(shí)的RMSE值相比沒有增加很多。這可能是因?yàn)閟EMG信號(hào)的幅值相對關(guān)節(jié)運(yùn)動(dòng)的位移較小,因此盡管預(yù)測波形的誤差較大,但其RMSE值依然較小。

4 總 結(jié)

本文通過構(gòu)建基于BiLSTM神經(jīng)網(wǎng)絡(luò)模型的下肢膝關(guān)節(jié)和踝關(guān)節(jié)的運(yùn)動(dòng)軌跡連續(xù)解碼模型,將sEMG-EEG融合信號(hào)作為神經(jīng)網(wǎng)絡(luò)的輸入信號(hào),解碼軌跡與實(shí)測軌跡形狀相似性較高(膝關(guān)節(jié)

=0.94±0.04,踝關(guān)節(jié)

=0.97±0.02),可實(shí)現(xiàn)對下肢膝踝關(guān)節(jié)運(yùn)動(dòng)參數(shù)的解碼。與傳統(tǒng)的SVM模型相比,對踝關(guān)節(jié)解碼軌跡與實(shí)測軌跡形狀相似性Pearson相關(guān)系數(shù)提高了0.12;所提出的腦肌電融合方法比單獨(dú)的腦電、表面肌電信號(hào)和腦肌電信號(hào)平均絕對值特征融合信號(hào)相比,對踝關(guān)節(jié)解碼軌跡與實(shí)測軌跡形狀相似性Pearson相關(guān)系數(shù)分別提高了0.81、0.19和0.63。

明朝繼承元朝的東北疆域后，于明成祖永樂七年(1409)置奴兒干都指揮使司(簡稱奴兒干都司)，統(tǒng)轄包括今庫頁島、北海道在內(nèi)的黑龍江流域。

在采用BiLSTM神經(jīng)網(wǎng)絡(luò)模型,從EEG信號(hào)中連續(xù)解碼左腿VM肌肉通道的sEMG波形的研究中,雖然可解碼出部分波形,但平均的形狀相關(guān)性較低,解碼波形的Pearson相關(guān)系數(shù)

接近0.5,說明EEG信號(hào)中存在和sEMG相似的運(yùn)動(dòng)模式。綜上,研究證明從EEG信號(hào)中可解碼出肌肉通道的sEMG信號(hào)波形,但還需進(jìn)行深入研究相關(guān)的解碼算法和增強(qiáng)EEG中運(yùn)動(dòng)信息,以改善解碼精度。

:

[1] YOUNG A J,FERRIS D P.State of the art and future directions for lower limb robotic exoskeletons [J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2017,25(2):171-182.

[2] KAPSALYAMOV A,JAMWAL P K,HUSSAIN S,et al.State of the art lower limb robotic exoskeletons for elderly assistance [J].IEEE Access,2019,7:95075-95086.

[3] TARIQ M,TRIVAILO P M,SIMIC M.EEG-based BCI control schemes for lower-limb assistive-robots [J].Frontiers in Human Neuroscience,2018,12:312.

[4] 陳朝峰.穿戴式下肢外骨骼系統(tǒng)設(shè)計(jì)與交互控制策略研究 [D].哈爾濱:哈爾濱工業(yè)大學(xué),2020.

[5] GORDLEEVA S Y,LOBOV S A,GRIGOREV N A,et al.Real-time EEG-EMG human-machine interface-based control system for a lower-limb exoskeleton [J].IEEE Access,2020,8:84070-84081.

[6] 楊燦軍,彭楨哲,徐鈴輝,等.柔性膝關(guān)節(jié)保護(hù)外骨骼及其行走助力方法設(shè)計(jì) [J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2021,55(2):213-221.

YANG Canjun,PENG Zhenzhe,XU Linghui,et al.Design of flexible knee-joint protection exoskeleton and walking assistance method [J].Journal of Zhejiang University (Engineering Science),2021,55(2):213-221.

[7] WINTER C,KERN F,GALL D,et al.Immersive virtual reality during gait rehabilitation increases walking speed and motivation:a usability evaluation with healthy participants and patients with multiple sclerosis and stroke [J].Journal of NeuroEngineering and Rehabilitation,2021,18(1):68.

[8] 陳超強(qiáng),蔣磊,王恒.基于SAE和LSTM的下肢外骨骼步態(tài)預(yù)測方法 [J].計(jì)算機(jī)工程與應(yīng)用,2019,55(12):110-116,154.

CHEN Chaoqiang,JIANG Lei,WANG Heng.Gait prediction method of lower extremity exoskeleton based on SAE and LSTM neural network [J].Computer Engineering and Applications,2019,55(12):110-116,154.

[10] 郝靜涵.基于SEMG信號(hào)及加速度信號(hào)的步態(tài)辨識(shí)研究 [D].天津:河北工業(yè)大學(xué),2019.

[11] 郭浩.基于EMG的人體下肢運(yùn)動(dòng)意圖感知與預(yù)測研究 [D].哈爾濱:哈爾濱工業(yè)大學(xué),2019.

[12] 李夢瑤.基于多源神經(jīng)信號(hào)融合的人體運(yùn)動(dòng)意圖識(shí)別研究 [D].北京:中國科學(xué)院大學(xué),2021.

[13] 劉篤信.下肢外骨骼機(jī)器人多模融合控制策略研究 [D].深圳:中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院),2018.

[14] NAKAGOME S,LUU T P,HE Yongtian,et al.An empirical comparison of neural networks and machine learning algorithms for EEG gait decoding [J].Scientific Reports,2020,10(1):4372.

[15] FITZSIMMONS N A,LEBEDEV M A,PEIKON I D,et al.Extracting kinematic parameters for monkey bipedal walking from cortical neuronal ensemble activity [J].Frontiers in Integrative Neuroscience,2009,3:3.

[16] YI Chunzhi,JIANG Feng,BHUIYAN M Z A,et al.Smart healthcare-oriented online prediction of lower-limb kinematics and kinetics based on data-driven neural signal decoding [J].Future Generation Computer Systems,2021,114:96-105.

[17] JIA LU,AI Qingsong,MENG Wei,et al.Individualized gait trajectory prediction based on fusion LSTM networks for robotic rehabilitation training [C]∥2021 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM).Piscataway,NJ,USA:IEEE,2021:988-993.

[18] DELORME A,MAKEIG S.EEGLAB:an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis [J].Journal of Neuroscience Methods,2004,134(1):9-21.

[19] CHOI J,KIM H.Real-time decoding of EEG gait intention for controlling a lower-limb exoskeleton system [C]∥2019 7th International Winter Conference on Brain-Computer Interface (BCI).Piscataway,NJ,USA:IEEE,2019:1-3.

[20] GWIN J T,GRAMANN K,MAKEIG S,et al.Electrocortical activity is coupled to gait cycle phase during treadmill walking [J].NeuroImage,2011,54(2):1289-1296.

[21] WEI Pengna,ZHANG Jinhua,WANG Baozeng,et al.Surface electromyography and electroencephalogram-based gait phase recognition and correlations between cortical and locomotor muscle in the seven gait phases [J].Frontiers in Neuroscience,2021,15:607905.

[22] PRESACCO A,GOODMAN R,FORRESTER L,et al.Neural decoding of treadmill walking from noninvasive electroencephalographic signals [J].Journal of Neurophysiology,2011,106(4):1875-1887.

[23] SAXENA M,GUPTA A.Exploration of temporal and spectral features of EEG signals in motor imagery tasks [C]∥2021 International Conference on Communication Systems &Networks (COMSNETS).Piscataway,NJ,USA:IEEE,2021:736-740.

[24] SORIANO-SEGURA P,IANEZ E,ORTIZ M,et al.Detection of the intention of direction changes during gait through EEG signals [J].International Journal of Neural Systems,2021,31(11):2150015.

[25] WEI Pengna,ZHANG Jinhua,TIAN Feifei,et al.A comparison of neural networks algorithms for EEG and sEMG features based gait phases recognition [J].Biomedical Signal Processing and Control,2021,68:102587.