基于腦機(jī)接口的多人協(xié)同控制技術(shù)研究

摘 ?要：腦機(jī)接口技術(shù)旨在維持人類神經(jīng)系統(tǒng)靈活性的同時(shí)讓武器裝備的智能化水平更接近人類智慧，為人類神經(jīng)系統(tǒng)和智能裝備之間搭建橋梁。為了提高腦機(jī)接口的識(shí)別正確率，本文提出了一種多人協(xié)同的控制技術(shù)，通過多位被試同時(shí)進(jìn)行運(yùn)動(dòng)想象任務(wù)，通過決策選取出最終控制指令進(jìn)行輸出，從而提高控制任務(wù)的準(zhǔn)確率。

關(guān)鍵詞：腦機(jī)接口;智能裝備;多人協(xié)同控制

中圖分類號(hào)：TN911.7;TP391.9 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）14-0024-03

Research on Multi-Person Cooperative Control Technology Based on

Brain-Computer Interface

HU Yifang

（The 27th Research Institute of China Electronic Science and Technology Group Corporation，Zhengzhou ?450047，China）

Abstract：Brain-computer interface （BCI） technology aims to maintain the flexibility of human nervous system while bringing the intelligence level of weapon equipment closer to human intelligence and building a bridge between human nervous system and intelligent equipment. In order to improve the recognition accuracy of brain-computer interface （BCI），a multi-person collaborative control technology is proposed in this paper. Through the simultaneous motion imagination task of multiple subjects，the final control instructions are selected for output by decision-making，so as to improve the accuracy of the control task.

Keywords：brain-computer interface;intelligent equipment;multi-person collaborative control

0 ?引 ?言

近年來，隨著科技水平的進(jìn)步，腦機(jī)接口技術(shù)獲得了長足的發(fā)展與進(jìn)步。由運(yùn)動(dòng)想象產(chǎn)生的腦電信號(hào)作為一種自發(fā)性腦電信號(hào)，不需要通過外部刺激，只需被試進(jìn)行自主意志的想象就可以完成控制，在使用時(shí)間上具有更高的靈活性，但同時(shí)也存在一些問題：（1）被試進(jìn)行運(yùn)動(dòng)想象的能力參差不齊;（2）不同被試在進(jìn)行同一任務(wù)時(shí)特征明顯的大腦活動(dòng)區(qū)域不一定相同;（3）被試進(jìn)行試驗(yàn)時(shí)自身精神狀態(tài)也會(huì)對(duì)測(cè)試結(jié)果有影響。為了盡可能減小影響，提高系統(tǒng)識(shí)別準(zhǔn)確率，本文設(shè)計(jì)了一個(gè)用于多人同時(shí)進(jìn)行運(yùn)動(dòng)想象任務(wù)的系統(tǒng)。

1 ?系統(tǒng)概述

基于運(yùn)動(dòng)想象的腦機(jī)接口系統(tǒng)是大腦和被控對(duì)象之間的一個(gè)軟硬件結(jié)合的交互式通信系統(tǒng)。為了使系統(tǒng)具有良好的靈活性與可拓展性，設(shè)計(jì)系統(tǒng)具有以下模塊：腦電信號(hào)采集模塊、數(shù)據(jù)預(yù)處理模塊、特征提取模塊、分類識(shí)別模塊、決策模塊、控制指令模塊以及交互模塊。

腦電信號(hào)采集設(shè)備進(jìn)行數(shù)據(jù)采集，提供給系統(tǒng)作為輸入。由于腦電信號(hào)十分微弱，且具有隨機(jī)性、非平穩(wěn)、非線性等特點(diǎn)，故而對(duì)信號(hào)采集設(shè)備具有很高的要求。并且在數(shù)據(jù)分析之前需要對(duì)采集信號(hào)進(jìn)行初步的預(yù)處理，剔除因外力或其他因素產(chǎn)生的明顯的非正常信號(hào)，進(jìn)而篩選出任務(wù)周期內(nèi)的有效信號(hào)進(jìn)行分析。預(yù)處理的過程主要分為三步，即基線校正、帶通濾波、去眼電。

特征提取是腦機(jī)接口系統(tǒng)中的關(guān)鍵環(huán)節(jié)，其通過相關(guān)算法對(duì)預(yù)處理后的腦電信號(hào)數(shù)據(jù)進(jìn)行量化處理，提取出可以區(qū)分不同思維任務(wù)的有效信息，特征提取的成果將直接影響系統(tǒng)識(shí)別的分類準(zhǔn)確率。本系統(tǒng)采用改進(jìn)的多類CSP算法提取運(yùn)動(dòng)想象腦電信號(hào)最優(yōu)分量的特征，該算法采用多類信號(hào)協(xié)方差矩陣的近似聯(lián)合對(duì)角化實(shí)現(xiàn)CSP算法的擴(kuò)展，然后采用類別與空間濾波信號(hào)的最大互信息實(shí)現(xiàn)對(duì)最優(yōu)濾波器的選擇。

在獲得特征向量后，需用分類器對(duì)腦電信號(hào)根據(jù)特征進(jìn)行分類識(shí)別，常用的分類器有線性分類器（LDA）以及支持向量機(jī)（SVM）。本系統(tǒng)支持以上兩種算法，可以由用戶根據(jù)實(shí)驗(yàn)結(jié)果在交互模塊中自由選擇使用哪一種分類器進(jìn)行在線實(shí)驗(yàn)。

在產(chǎn)生分類識(shí)別結(jié)果后，如果是單人實(shí)驗(yàn)狀態(tài)，由決策模塊直接發(fā)送識(shí)別結(jié)果反饋至交互模塊或產(chǎn)生控制指令發(fā)送至外部設(shè)備;如果是多人實(shí)驗(yàn)狀態(tài)，由決策模塊收集每人的識(shí)別結(jié)果分析，最終輸出一個(gè)結(jié)果反饋至交互模塊或產(chǎn)生控制指令發(fā)送至外部設(shè)備。

此外，在交互模塊中，由于用戶的差異性，還可以根據(jù)用戶自身情況自由選擇進(jìn)行數(shù)據(jù)采集的導(dǎo)聯(lián);并能夠在實(shí)驗(yàn)時(shí)將系統(tǒng)的分類識(shí)別結(jié)果通過顯示屏等方式反饋給被試，以便被試進(jìn)行自我狀態(tài)的調(diào)整。

根據(jù)需要，本系統(tǒng)主要設(shè)計(jì)了三種工作模式：離線訓(xùn)練模式、單人在線控制模式以及多人協(xié)同控制模式。

2 ?離線訓(xùn)練模式

由于不同被試在做同一個(gè)思維任務(wù)時(shí)腦電信號(hào)的特征是不同的，同一被試在不同時(shí)間做同一個(gè)思維任務(wù)時(shí)腦電信號(hào)的特征也不盡相同，因此每次執(zhí)行控制任務(wù)之前，需要針對(duì)將要進(jìn)行任務(wù)的被試對(duì)象進(jìn)行離線訓(xùn)練，采集腦電數(shù)據(jù)并分析，得到當(dāng)前狀態(tài)下的腦電信號(hào)特征，以進(jìn)行在線模式下的指令判別。

設(shè)定4s為一個(gè)任務(wù)周期（trial），在一個(gè)任務(wù)周期內(nèi)，屏幕上出現(xiàn)向左（←）或向右（→）箭頭，被試進(jìn)行相應(yīng)的運(yùn)動(dòng)想象任務(wù)，系統(tǒng)采集數(shù)據(jù)并記錄存儲(chǔ)。一個(gè)任務(wù)周期結(jié)束后，接下來4s為空閑周期，被試進(jìn)行休息與狀態(tài)調(diào)整。如此，任務(wù)周期與空閑周期穿插進(jìn)行，如圖1所示，每次訓(xùn)練包含50個(gè)任務(wù)周期。

在一次訓(xùn)練結(jié)束之后，對(duì)采集記錄的前40個(gè)任務(wù)周期數(shù)據(jù)進(jìn)行離線分析：經(jīng)過預(yù)處理、特征提取、分類識(shí)別，得到數(shù)據(jù)的特征值和分類器參數(shù)，再根據(jù)后10個(gè)任務(wù)周期的數(shù)據(jù)進(jìn)行分類結(jié)果的驗(yàn)證，并根據(jù)結(jié)果對(duì)參數(shù)進(jìn)行修正，得到最終的特征值與分類器參數(shù)。

3 ?單人在線控制模式

在線控制模式是整個(gè)系統(tǒng)最主要的一個(gè)功能。它完成的是一個(gè)腦機(jī)接口系統(tǒng)最核心的工作：讓被試通過自己的腦電信號(hào)來實(shí)時(shí)控制一個(gè)信息化裝備。

對(duì)于單個(gè)被試來說，在線控制模式與離線訓(xùn)練模式類似，每4s為一個(gè)任務(wù)周期，在任務(wù)周期內(nèi)，被試根據(jù)屏幕上的開始提示進(jìn)行左/右手運(yùn)動(dòng)想象任務(wù)，由系統(tǒng)根據(jù)離線訓(xùn)練的結(jié)果進(jìn)行數(shù)據(jù)處理和分類，得到左/右手運(yùn)動(dòng)想象識(shí)別結(jié)果，通過屏幕展示給被試。每一任務(wù)周期結(jié)束后，被試有4s空閑時(shí)間，在下一任務(wù)周期開始提示時(shí)再次進(jìn)行想象任務(wù)。

在任務(wù)進(jìn)行的過程中，被試的腦電信號(hào)通過腦電信號(hào)采集設(shè)備采集并放大，近一段時(shí)間的信號(hào)被儲(chǔ)存在系統(tǒng)中以待分析。每經(jīng)過一段時(shí)間，通過一個(gè)滑動(dòng)窗口來取得最近一段時(shí)間的數(shù)據(jù)進(jìn)行分析。每次滑動(dòng)窗口取得的是一段n導(dǎo)（n為當(dāng)前實(shí)驗(yàn)時(shí)選取的導(dǎo)聯(lián)數(shù)），每個(gè)導(dǎo)包含2s腦電信號(hào)的時(shí)間序列，經(jīng)過預(yù)處理實(shí)現(xiàn)對(duì)該段數(shù)據(jù)的降噪和去偽跡處理，預(yù)處理后的數(shù)據(jù)被同時(shí)發(fā)給分段模塊，分段模塊將數(shù)據(jù)按照配置好的系統(tǒng)參數(shù)分段，然后把這些數(shù)據(jù)段傳遞給特征提取模塊。特征提取模塊根據(jù)已訓(xùn)練好的程序提取相應(yīng)特征量，然后交給分類識(shí)別模塊，用訓(xùn)練好的模型進(jìn)行分類和識(shí)別。最后，由系統(tǒng)產(chǎn)生一個(gè)結(jié)果來表示被試的運(yùn)動(dòng)想象方向，若系統(tǒng)連接外部設(shè)備，則可直接將其轉(zhuǎn)化為控制指令，控制外部設(shè)備執(zhí)行預(yù)設(shè)任務(wù)。

4 ?多人協(xié)同控制模式

對(duì)于大部分參與實(shí)驗(yàn)的被試來說，進(jìn)行運(yùn)動(dòng)想象任務(wù)時(shí)系統(tǒng)識(shí)別的分類準(zhǔn)確率并不是特別高，且通過訓(xùn)練難以獲得較大進(jìn)步。因此我們提出利用多人同時(shí)進(jìn)行運(yùn)動(dòng)想象任務(wù)，進(jìn)行協(xié)同控制，以解決這個(gè)問題。

為了便于識(shí)別正確率的判別與統(tǒng)計(jì)，參考離線訓(xùn)練模式進(jìn)行實(shí)驗(yàn)范式的設(shè)計(jì)，如圖2所示。向左、向右和空閑三種狀態(tài)提示指令通過圖像在屏幕中隨機(jī)出現(xiàn)，每4s為一個(gè)任務(wù)周期，每次試驗(yàn)有60個(gè)任務(wù)，左、右各有15個(gè)任務(wù)，空閑態(tài)有30個(gè)任務(wù)。

參與實(shí)驗(yàn)的三位被試同時(shí)接受相同提示，各自進(jìn)行運(yùn)動(dòng)想象任務(wù)，由系統(tǒng)分別進(jìn)行每人識(shí)別結(jié)果的判別，記錄并發(fā)送至系統(tǒng)決策模塊，同時(shí)計(jì)算與更新當(dāng)前此被試的識(shí)別正確率。系統(tǒng)進(jìn)行決策判定時(shí)，參考每位被試的識(shí)別正確率，對(duì)收集到的識(shí)別結(jié)果進(jìn)行加權(quán)計(jì)算，得出一個(gè)最終結(jié)果并輸出。并在每個(gè)任務(wù)周期結(jié)束后，實(shí)時(shí)調(diào)整權(quán)重值，以提高正確率。

5 ?實(shí)驗(yàn)設(shè)計(jì)

在實(shí)驗(yàn)之前，精心選擇受試對(duì)象，需要選擇身體健康、沒有精神疾病、矯正視力正常的年輕的受試者。被試與腦電采集系統(tǒng)均在屏蔽室中，室內(nèi)燈光適中，以減少由于視覺變化而產(chǎn)生的偽跡和注意力分散。被試坐在一個(gè)舒適的高靠背椅子上，全身肌肉處于放松狀態(tài)，不產(chǎn)生任何的肌肉緊張與實(shí)際運(yùn)動(dòng)。

根據(jù)進(jìn)行運(yùn)動(dòng)想象時(shí)的腦電活躍區(qū)域給被試選擇合適的導(dǎo)聯(lián)進(jìn)行連接，進(jìn)行阻抗檢測(cè)無異常后開始實(shí)驗(yàn)。實(shí)驗(yàn)過程如下：（1）要求被試注意屏幕的提示圖形，執(zhí)行相應(yīng)的思維任務(wù)。每位被試分別進(jìn)行一組離線訓(xùn)練實(shí)驗(yàn)，記錄數(shù)據(jù)，進(jìn)行離線分析后建立每位被試的運(yùn)動(dòng)想象信號(hào)離線模型。（2）三位被試進(jìn)行多人協(xié)同實(shí)驗(yàn)，利用已建立的數(shù)據(jù)模型進(jìn)行在線分析，分別計(jì)算并記錄每位被試識(shí)別正確率Q1、Q2、Q3;同時(shí)分析產(chǎn)生三人協(xié)同控制的結(jié)果，記錄并計(jì)算三人協(xié)同下系統(tǒng)統(tǒng)計(jì)識(shí)別的正確率QT。（3）分別對(duì)比QT與Q1、Q2、Q3。實(shí)驗(yàn)結(jié)果如表1所示。

6 ?結(jié) ?論

本文提出了一種由多人同時(shí)進(jìn)行運(yùn)動(dòng)想象任務(wù)，從而進(jìn)行協(xié)同控制的技術(shù)。通過多人的識(shí)別結(jié)果由系統(tǒng)進(jìn)行計(jì)算判別并產(chǎn)生決策，以解決有些人員運(yùn)動(dòng)想象任務(wù)識(shí)別率不高及狀態(tài)不穩(wěn)定等問題。重點(diǎn)介紹了系統(tǒng)的三種工作模式，即離線訓(xùn)練模式、單人在線控制模式以及多人協(xié)同控制模式。并且詳細(xì)介紹了進(jìn)行多人協(xié)同控制的實(shí)驗(yàn)過程。

經(jīng)多次實(shí)驗(yàn)證明，由多人協(xié)同進(jìn)行運(yùn)動(dòng)想象任務(wù)，經(jīng)系統(tǒng)分析判定產(chǎn)生最終決策的識(shí)別正確率相比較于以往單人任務(wù)的識(shí)別正確率有了較大幅度的提高，降低了由于被試自身運(yùn)動(dòng)想象信號(hào)特征不明顯、實(shí)驗(yàn)狀態(tài)不穩(wěn)定等不確定因素帶來的影響，是一種有效的控制方法。

參考文獻(xiàn)：

[1] 馬留洋.基于虛擬現(xiàn)實(shí)的運(yùn)動(dòng)想象腦—機(jī)接口訓(xùn)練系統(tǒng) [D].鄭州：鄭州大學(xué)，2017.

[2] 馬騰.基于mVEP和MI多模態(tài)腦機(jī)接口的關(guān)鍵技術(shù)研究 [D].成都：電子科技大學(xué)，2018.

作者簡介：胡怡芳（1988-），女，漢族，河南南陽人，工程

師，碩士研究生，研究方向：生物電子、腦機(jī)接口。