面向腦控車輛的模糊融合控制方法研究

董 娜，張文锜，吳志強(qiáng)

天津大學(xué) 電氣自動化與信息工程學(xué)院，天津 300072

腦機(jī)接口（BCI）分析腦信號以了解可用于控制各種機(jī)器的人的意圖和狀態(tài)[1]。由此衍生的腦控技術(shù)，使得BCI的用戶可以通過思想輕松地控制各種電子設(shè)備，如：腦控輪椅[2]、腦控車[3-5]、腦控?zé)o人機(jī)[6]、腦控機(jī)器人[7]等。在BCI的眾多應(yīng)用中，腦控車輛（BCV）指通過腦機(jī)接口解析駕駛員的腦電信號進(jìn)而獲得控制命令的車輛[9]。

根據(jù)腦控駕駛員參與控制的連續(xù)性，可將基于EEG的腦控車輛分成兩類：（1）不連續(xù)的BCV；（2）連續(xù)BCV[10]。對于不連續(xù)型BCV，駕駛員的控制指令并不參與車輛的整個(gè)控制過程[11-12]或者車輛的整個(gè)控制過程不連續(xù)[13]。對于連續(xù)型BCV，駕駛員在整個(gè)駕駛過程中都參與車輛的橫向或縱向控制，且控制過程連續(xù)[14-16]。與不連續(xù)BCV 相比，顯然連續(xù)BCV 人為參與性更高。因此本文中選擇針對連續(xù)型BCV展開設(shè)計(jì)。

對于目前的腦控車輛，制約其控制性能的主要因素是BCI本身的性能受限，其一是BCI可辨識指令數(shù)目受限，一旦變多，辨識準(zhǔn)確率會大大降低。其二是辨識準(zhǔn)確率隨受試者不同變化幅度較大，其三是BCI識別速度慢，難以做到實(shí)時(shí)控制。由于BCI 性能存在以上問題，單獨(dú)使用大腦進(jìn)行控制的車輛性能必然受限。目前提高腦控車輛性能有兩種思路，一是提高BCI 本身性能，二是基于共享控制的思想為BCV添加輔助控制。在文獻(xiàn)[17]中基于模糊控制為腦控車輛設(shè)計(jì)了輔助控制器。但是，大腦控制只部分參與車輛控制，在其余部分車輛切換為自動控制，本質(zhì)上屬于一種不連續(xù)型BCV。文獻(xiàn)[9]提出了一種針對于連續(xù)型BCV的基于模型預(yù)測控制（MPC）的輔助控制方案。在該方案中，其MPC 控制器中使用的模型是將大腦決策過程與簡化的車輛模型一起建模得到的。然而，大腦決策過程本身是一個(gè)復(fù)雜的過程，導(dǎo)致難以對其準(zhǔn)確建模。

本文基于模糊邏輯提出一種以人的意圖為優(yōu)先的模糊腦控融合控制，用于在BCI性能受限的情況下提高BCV的控制性能。因?yàn)槟：刂撇恍枰唧w的數(shù)學(xué)模型，因此避開了給大腦決策過程建模的問題。其次，本文所提出的方法針對連續(xù)型BCV，腦控信號全程參與車輛控制，充分提高人的參與程度。

1 基于SSMVEP型BCI的腦控車輛系統(tǒng)

1.1 整體框架

腦控車輛整體框架如圖1所示。整體的工作流程：首先，腦控駕駛員依靠車輛狀態(tài)和環(huán)境信息決策一個(gè)腦控指令（方向盤向左，方向盤向右，方向盤保持）。然后通過用戶界面施加相應(yīng)的刺激。駕駛員通過注視用戶界面中的3個(gè)旋轉(zhuǎn)頻率不同范式圖案來產(chǎn)生代表3種轉(zhuǎn)向命令的EEG 信號。3 個(gè)范式圖案如圖2 所示，左、中、右側(cè)圖案分別對應(yīng)左轉(zhuǎn)、保持、右轉(zhuǎn)。采集到的EEG信號經(jīng)過信號的處理與分類后，通過發(fā)送裝置發(fā)送。通過信號轉(zhuǎn)換模型，將駕駛員的腦控指令轉(zhuǎn)換為具體的方向盤轉(zhuǎn)角，最終輸出到被控車輛。

表3 左轉(zhuǎn)指令的監(jiān)督模糊規(guī)則表Table 3 Supervision fuzzy rules for turning left instruction

圖1 腦控車輛整體框架Fig.1 Overall framework of BCV

圖2 SSMVEP刺激范式Fig.2 SSMVEP stimulation paradigm

1.2 SSMVEP

傳統(tǒng)的SSVEP型BCI，常采用光閃爍或圖形翻轉(zhuǎn)等刺激方式，易造成使用者視覺疲勞、降低大腦響應(yīng)和辨識準(zhǔn)確率。本文采用一種基于旋轉(zhuǎn)視覺感知的穩(wěn)態(tài)運(yùn)動誘發(fā)電位（SSMVEP）型BCI[18]，可提高信噪比，降低使用者視覺疲勞。范式圖案通過PSYCHTOOLBOX 工具箱編程繪制范式圖案紋理，改變紋理旋轉(zhuǎn)角度來實(shí)現(xiàn)旋轉(zhuǎn)范式運(yùn)動，如圖2所示。

2 模糊腦控融合控制

2.1 整體方案基本思想

由于BCI指令識別可能出現(xiàn)錯(cuò)誤，并且在進(jìn)行腦控操作時(shí)，操作者也可能因?yàn)槠?、注意力不集中等問題而發(fā)出錯(cuò)誤指令。因此對于腦控車系統(tǒng)而言，如想讓駕駛員的腦控指令全程參與車輛的控制過程，首先要對駕駛員發(fā)出的腦控指令進(jìn)行監(jiān)督評估。為此，本文引入FDES監(jiān)督理論解決這個(gè)問題。

其次，在得到了駕駛員腦控指令的正確程度以后，還需要結(jié)合具體的控制機(jī)制以實(shí)現(xiàn)對該指令的具體實(shí)施以及錯(cuò)誤糾正。為此，在監(jiān)督評估腦控指令的正確程度的同時(shí)，本文基于模糊邏輯，設(shè)計(jì)了一個(gè)自動控制器，該控制器會實(shí)時(shí)根據(jù)車輛當(dāng)前狀況進(jìn)行首次模糊推理輸出一個(gè)自動決策。為了使腦控車輛能夠盡可能地尊重駕駛員的主觀意圖，接著將監(jiān)督評估后得到的腦控指令的正確程度與控制器輸出的自動決策進(jìn)行第二次模糊推理以得到腦控車輛的最終決策，即根據(jù)腦控指令的正確程度對自動決策作出更符合人意圖的調(diào)整。當(dāng)駕駛員的控制命令正確時(shí)，那么予以執(zhí)行，即在自動決策的基礎(chǔ)上加重；當(dāng)駕駛員的控制命令錯(cuò)誤程度不嚴(yán)重時(shí)，那么只對其進(jìn)行限制，即在自動決策的基礎(chǔ)上減輕；當(dāng)駕駛員的控制命令錯(cuò)誤嚴(yán)重時(shí)，此時(shí)才進(jìn)行糾正，即輸出自動決策不變。

基于上述思想，本文設(shè)計(jì)了一個(gè)模糊腦控融合控制器來輔助駕駛員完成對腦控車輛的控制，該控制器的整體控制框圖如圖3所示。

圖3 模糊腦控融合的輔助控制機(jī)制Fig.3 Auxiliary control mechanism of fusion brain control based on fuzzy logic

2.2 自動模糊控制

在圖3所示的模糊腦控融合的輔助控制機(jī)制下，首先，以車輛距道路中心線的偏差e，以及偏差的變化率de為輸入量，在設(shè)置好的模糊規(guī)則庫2 下，會基于模糊推理輸出一個(gè)自動控制決策。該過程為基于模糊邏輯的自動模糊控制過程，其作用是為最終決策的制定提供一個(gè)決策的基準(zhǔn)。

輸入變量為車輛距道路中心線的偏差e、偏差的變化率de，輸出變量為車輛方向盤轉(zhuǎn)角u。e的模糊集為{NB，NM，NS，ZO，PS，PM，PB}，對應(yīng)于{偏左較大，偏左中，偏左較小，零，偏右較小，偏右中，偏右較大}。de模糊集為{NB，NM，NS，ZO，PS，PM，PB}，對應(yīng)于{負(fù)大，負(fù)中，負(fù)小，零，正小，正中，正大}。輸出u的模糊集為{NB，NM，NS，ZO，PS，PM，PB}對應(yīng)于{向左嚴(yán)重偏轉(zhuǎn)，向左中等偏轉(zhuǎn)，向左輕微偏轉(zhuǎn)，方向盤保持，向右嚴(yán)重偏轉(zhuǎn)，向右中等偏轉(zhuǎn)，向右輕微偏轉(zhuǎn)}。隸屬度函數(shù)具體如圖4所示。

圖4 自動模糊控制輸入輸出的隸屬度函數(shù)Fig.4 Membership functions of input and output of automatic fuzzy control

其中e的基本論域?yàn)閇-10，10]（單位：m），模糊論域?yàn)閇-5，5]，量化因子Ke為0.5；de的基本論域?yàn)閇-2，2]，模糊論域?yàn)閇-2，2]，量化因子Kde為1；u的基本論域?yàn)閇-720，720]（單位：°），模糊論域?yàn)閇-10，10]，比例因子Ku為72。

如該系統(tǒng)模糊規(guī)則庫R共有n條規(guī)則，用Rn表示第n條規(guī)則：

則模糊關(guān)系為：

系統(tǒng)總的控制規(guī)則R為：

整體控制規(guī)則表如表1所示。

表1 自動模糊控制規(guī)則表Table 1 Automatic fuzzy control rule table

合成運(yùn)算°采用取大-取小法，當(dāng)輸入變量e、de分別取模糊集A、B時(shí)，經(jīng)模糊推理得到輸出量U可表示為：

采用重心法去模糊化得到最終輸出u：

2.3 腦控指令監(jiān)督模式

對于腦控車系統(tǒng)而言，需要監(jiān)控的事件是駕駛員發(fā)出的腦控指令的正確程度。

本文所設(shè)計(jì)的腦控車系統(tǒng)主要針對其橫向方向上的運(yùn)動，其模糊自動機(jī)描述為：

其中系統(tǒng)狀態(tài)代表車輛轉(zhuǎn)向程度，分別代表左轉(zhuǎn)程度、保持方向盤程度、右轉(zhuǎn)程度：

由于腦控指令數(shù)量有限，認(rèn)為事件集P并非模糊事件，即每次腦控指令到來時(shí)，以固定角度左或右轉(zhuǎn)。事件集P由Pc可控事件和Puc不可控事件組成：

其中Pc可控事件代表接收到駕駛員的腦控指令：

pL、pH、pR代表接受到3種腦控指令，左轉(zhuǎn)、保持方向盤、右轉(zhuǎn)。而Puc代表未接受到腦控指令，即腦控指令發(fā)送間隔。在接受到一個(gè)腦控指令后，直到下一個(gè)指令到達(dá)，Pc的狀態(tài)才會變更為接收到下一個(gè)腦控指令的狀態(tài)。Pc的初始值為pH。

為模糊狀態(tài)轉(zhuǎn)換函數(shù)，具體表現(xiàn)為IF-Then 形式的模糊規(guī)則語句所表達(dá)的模糊推理過程的集合：

并使得下式成立：

其中為合成運(yùn)算。

系統(tǒng)的初始狀態(tài)為。

模糊監(jiān)控器為，是其對應(yīng)的模糊語言。此時(shí)設(shè)為事件發(fā)生程度的約束項(xiàng)，在這里表示接收到腦控信號的正確程度。Pc(p)為當(dāng)前發(fā)生的可控的事件，則監(jiān)控行為可表示為：

這里由偏差e及偏差變化率de通過表2至表4中的模糊規(guī)則進(jìn)行模糊推理確定。

表2 保持指令的監(jiān)督模糊規(guī)則表Table 2 Supervision fuzzy rules for holding on instruction

表4 右轉(zhuǎn)指令的監(jiān)督模糊規(guī)則表Table 4 Supervision fuzzy rules for turning right instruction

由偏差e和偏差變化率de經(jīng)公式（1）至（6）得出，其模糊集為{Bad，Mid，Good}，對應(yīng)于{錯(cuò)誤程度嚴(yán)重，錯(cuò)誤程度一般，正確}?！蔥-1,1]。為了方便表示，后續(xù)統(tǒng)一用Γ來代表駕駛員腦控指令的正確程度，Γ的隸屬度函數(shù)如圖5所示。

圖5 Γ 的隸屬度函數(shù)Fig.5 Membership function of Γ

2.4 模糊腦控融合決策過程

在得到腦控指令的正確程度Γ以后，本文中將這一結(jié)果與2.2節(jié)中自動模糊控制器的輸出進(jìn)行二次模糊推理，根據(jù)Γ所確定的腦控指令的正確程度對自動決策進(jìn)行更符合人意圖的調(diào)整，得到腦控車輛的最終決策。該過程的具體思路為：

（1）當(dāng)經(jīng)過監(jiān)督評估后，腦控指令的正確程度較高（Γ為Good）時(shí)，此時(shí)執(zhí)行腦控指令，并對自動決策的程度進(jìn)行加重。比如自動決策為向左輕微偏轉(zhuǎn)（NS），此時(shí)腦控指令為左轉(zhuǎn)并且經(jīng)過監(jiān)督評估后判斷為正確（Good），則最終決策由自動決策的向左輕微偏轉(zhuǎn)（NS）加重為向左中等偏轉(zhuǎn)（NM）。

（2）當(dāng)經(jīng)過監(jiān)督評估后，腦控指令出錯(cuò)，但是錯(cuò)誤程度一般（Γ為Mid）時(shí)，此時(shí)雖然不執(zhí)行指令，但出于最大程度尊重人主觀想法的原則，會把自動決策的程度減輕。比如自動決策是向右中等偏轉(zhuǎn)（PM），此時(shí)腦控指令為左轉(zhuǎn)并且經(jīng)過監(jiān)督評估后判斷為錯(cuò)誤程度一般（Mid），則最終決策由自動決策的向右中等偏轉(zhuǎn)（PM）減輕為向右輕微偏轉(zhuǎn)（PS）。

（3）當(dāng)經(jīng)過監(jiān)督評估后，腦控指令出錯(cuò)，并且錯(cuò)誤程度嚴(yán)重（Γ為Bad）時(shí)，此時(shí)則糾正該指令，輸出自動決策的結(jié)果。比如自動決策為向右嚴(yán)重偏轉(zhuǎn)（PB），此時(shí)腦控指令為左轉(zhuǎn)并且經(jīng)過監(jiān)督評估后判斷為錯(cuò)誤程度嚴(yán)重（Bad），則最終輸出仍為向右嚴(yán)重偏轉(zhuǎn)（PB）。

按照上述決策思路得到了表5 所示的融合模糊規(guī)則表（L、H、R分別代表左轉(zhuǎn)指令、保持指令和右轉(zhuǎn)指令，L_Good代表腦控指令為左轉(zhuǎn)并經(jīng)過監(jiān)督評估后判斷為正確）。

表5 融合模糊規(guī)則表Table 5 Fusion fuzzy rule table

3 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文所提方案的有效性，本章中搭建了腦控車系統(tǒng)實(shí)驗(yàn)平臺，設(shè)計(jì)并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

實(shí)驗(yàn)中硬件部分腦機(jī)接口采用SSMVEP型BCI，信號采集使用天津大學(xué)人工智能與網(wǎng)絡(luò)科學(xué)研究所設(shè)計(jì)的便攜式腦電采集設(shè)備配合40 通道的腦電極帽，傳輸采用無線WiFi，軟件部分為Carsim 與Matlab 聯(lián)合仿真平臺。實(shí)驗(yàn)平臺如圖6所示。

圖6 實(shí)驗(yàn)平臺Fig.6 Experiment platform

實(shí)驗(yàn)道路如圖7，道路寬度設(shè)置為10 m，超出視為超界。以起點(diǎn)為原點(diǎn)，行駛方向?yàn)閤軸，道路中心線的軌跡可分成2段彎道部分及2段直線部分：

圖7 實(shí)物道路Fig.7 Experimental road

小車的初始狀態(tài)為方向盤轉(zhuǎn)角為0°，縱向速度2 m/s并全程保持不變。腦控指令發(fā)送周期為4 s，腦控指令分為3種：左轉(zhuǎn)、右轉(zhuǎn)、保持方向盤。未加入模糊腦控融合控制器時(shí)，每次收到腦控轉(zhuǎn)向指令，小車方向盤以90°固定角轉(zhuǎn)動直到接收到下一個(gè)腦控指令。加入模糊腦控融合控制器后，腦控指令僅給出人的意圖（左轉(zhuǎn)、右轉(zhuǎn)或者保持方向盤）即可，具體方向盤轉(zhuǎn)角，由控制器依據(jù)人的意圖以及當(dāng)前的車輛信息給出。SSMVEP 刺激頻率分別為14 Hz、16 Hz和18 Hz。

實(shí)驗(yàn)被試者4名，4人均視力正?；虺C正后正常、精神狀態(tài)良好、沒有大腦相關(guān)疾病。實(shí)驗(yàn)分為離線和在線過程，首先通過離線實(shí)驗(yàn)確定了這4名受試者各自的離線BCI識別準(zhǔn)確率分別為73.8%、80%、84.2%、91.4%。

在線實(shí)驗(yàn)的腦控駕駛?cè)蝿?wù)為控制小車從起點(diǎn)沿路線行駛一圈回到起點(diǎn)，讓BCI識別準(zhǔn)確率不同的4名被試者分別在無融合控制器的輔助下和有融合控制器的輔助下進(jìn)行這一任務(wù)。

實(shí)驗(yàn)統(tǒng)計(jì)的指標(biāo)為：完成腦控駕駛?cè)蝿?wù)的時(shí)間，駕駛?cè)^程的平均側(cè)向偏差、最大側(cè)向偏差、超界行駛率（超界行駛時(shí)間與完成任務(wù)總時(shí)間的比值）、超界的次數(shù)。實(shí)驗(yàn)結(jié)果如表6。

表6 加入融合控制器后的腦控車輛控制性能Table 6 Control performance of BCV after adding fusion controller

為了使最后結(jié)果表現(xiàn)得更加明顯，本文制成了柱狀圖及折線圖進(jìn)行展示如圖8所示，并給出了車輛軌跡圖如圖9所示。

圖8 添加與未添加融合控制器結(jié)果對比Fig.8 Control performance of BCV with or without fusion controller

通過數(shù)據(jù)可知，本文所提方法可以有效改善腦控車輛的控制性能。對于4名受試者而言，即使其BCI識別準(zhǔn)確率差異很大，但在加入融合控制器以后，車輛的最大偏差分別降低了94.5%、95.6%、95.1%、95%，車輛的平均偏差分別降低了93.6%、94.8%、94.8%、93.8%，任務(wù)完成時(shí)間分別減少了8.9%、12.5%、9.3%、15.4%，而超界行駛率都降為0，證明了本文所提方法的普適性和有效性。

進(jìn)一步給出車輛的行駛軌跡圖如圖9所示。

圖9 車輛軌跡圖Fig.9 Trajectory of BCV

由車輛行駛軌跡圖，可進(jìn)一步看出，由于BCI 辨識時(shí)間較長，單獨(dú)由腦控控制的車輛調(diào)節(jié)比較滯后，因此偏離預(yù)設(shè)軌跡嚴(yán)重；且由于BCI 辨識命令數(shù)量受限，因此在有限的指令下難以做到精細(xì)的調(diào)節(jié)，單獨(dú)由腦控控制的車輛軌跡也不夠平滑。而在加入融合控制器后，腦控車輛的控制精度明顯提高，整體軌跡平滑，不會突變。也可以看到在直道部分，車輛并不完全貼合軌跡，證明了該方案在保證控制精度的同時(shí)能夠尊重人的主觀意圖。

4 結(jié)語

實(shí)驗(yàn)結(jié)果表明，加入融合控制器后的BCV 的控制性能得到了明顯改善。對于不同被試者，車輛的最大偏差和平均偏差均減少了90%以上，且在設(shè)定安全限制為10 m 情況下將超界行駛率控制為0。提出的控制器將有限的駕駛員控制命令細(xì)化拓展為更細(xì)微的調(diào)整，在指令非嚴(yán)重錯(cuò)誤時(shí)結(jié)合當(dāng)前車況予以執(zhí)行，并在指令嚴(yán)重錯(cuò)誤時(shí)可以進(jìn)行糾正。在盡量尊重人主觀意圖的前提下，有效彌補(bǔ)了當(dāng)前BCI準(zhǔn)確率隨受試者不同變化幅度較大，辨識時(shí)間及辨識命令數(shù)量也受限的問題。但對于腦控指令的監(jiān)督嚴(yán)格程度及最終決策貼合人意圖程度上，根據(jù)實(shí)際需求可以進(jìn)一步調(diào)整所設(shè)置的模糊規(guī)則。如何確定一個(gè)最佳模糊規(guī)則以實(shí)現(xiàn)讓尊重人的意圖程度和控制精度的統(tǒng)一是今后的研究方向。