飛行員異常事件處理能力的腦電評估方法

崔志翔， 陳大偉*， 吳東蘇， 魏方平

(1.南京航空航天大學(xué)通用航空與飛行學(xué)院， 南京 210000; 2.南京航空航天大學(xué)民航學(xué)院， 南京 210000; 3.上海華?？萍加邢薰?， 上海 200000)

民航飛機(jī)事故發(fā)生的主要因素是人為因素[1]，人為因素在航空安全的重要性早已得到認(rèn)可[2]，理解和預(yù)防人為差錯(cuò)依舊是航空安全的首要挑戰(zhàn)[3]。據(jù)統(tǒng)計(jì)[4-5]，近年所發(fā)生航空事故中20%是因?yàn)闄C(jī)械問題所致，近乎75%～80%的航空事故是由人為因素導(dǎo)致。并且，大多數(shù)航空事故發(fā)生正是因?yàn)轱w行員沒有正確處理好飛行過程中發(fā)生的異常事件[6]。因此，需要對飛行員遭遇異常事件時(shí)，是否具備將飛機(jī)從非正常狀態(tài)中調(diào)整過來的能力進(jìn)行評估。目前，飛行員評估這類課題受到中外航空安全領(lǐng)域?qū)W者的廣泛關(guān)注并展開了相關(guān)研究。

Mansikk等[7]設(shè)計(jì)3種不同程度的飛行任務(wù)，并利用主觀量表與心率評估飛行員所處負(fù)荷程度，結(jié)果表明NASA-TLX(NASA task load index)量表、MCH(modified cooper-harper)量表、IBI(inter-beat interval)量表均能區(qū)分出飛行員所處負(fù)荷程度；Zheng等[8]比較了NASA-TLX量表與眼動信號(electronystagmogram，EOG)作為飛行員壓力評估指標(biāo)的可靠性一般，指出需要尋找更加可靠的生理指標(biāo)作為評判標(biāo)準(zhǔn)； Dussault等[9]研究了不同飛行階段的EEG信號和心電信號 (electrocardiogram，ECG)的差異，證明了生理信號可以作為評價(jià)飛行員處于不同飛行階段心理負(fù)荷的指標(biāo)。由以上研究可知，飛行員評估方法一般分為兩類，一類是主觀評估法，采用的量表包括NASA-TLX、MCH等量表，另一類是客觀評估法，包括電生理信號例如EEG、ECG、EOG等[10]。

EEG信號被證實(shí)能夠客觀反映被試者狀態(tài)[11]，在道路交通領(lǐng)域駕駛員評估方面已有相關(guān)研究證實(shí)EEG信號腦電特性能夠用于判定駕駛員駕駛狀態(tài)[12-13]。然而，將其應(yīng)用到飛行員評估領(lǐng)域的研究并不多，尤其是飛行員面對異常事件時(shí)候的處理能力評估方面的研究更加稀少。

圖3 實(shí)驗(yàn)流程圖Fig.3 Flow diagram of experiment

因此，基于EEG腦電信號對飛行員異常事件處理能力，現(xiàn)收集兩類飛行員腦電信號的實(shí)驗(yàn)，其中一類為未受過異常事件訓(xùn)練的飛行員，另一類為受過異常事件訓(xùn)練的飛行員。對收集到的腦電數(shù)據(jù)進(jìn)行預(yù)處理后使用小波包分析以及近似熵法提取特征用于構(gòu)建特征向量再形成特征數(shù)據(jù)集，該數(shù)據(jù)集被用于構(gòu)建及驗(yàn)證分類器模型，并引入F1、ROC-AUC曲線作為模型評價(jià)指標(biāo)，以選擇最優(yōu)模型。最終將模型用于評估飛行員處理異常事件的能力，從而輔助資源的合理配置以及保障航空安全。

1 實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)采集

(1)實(shí)驗(yàn)人員：無異常事件訓(xùn)練經(jīng)驗(yàn)飛行員4名，有異常事件訓(xùn)練經(jīng)驗(yàn)飛行員4名。

(2)實(shí)驗(yàn)設(shè)備：實(shí)驗(yàn)設(shè)備包括飛行模擬器、腦電采集系統(tǒng)。A320 NEO/CEO全動飛行模擬器如圖1所示，其具備的全動平臺和優(yōu)秀視景系統(tǒng)為飛行員提供了近乎真實(shí)的飛行環(huán)境，且該飛行模擬器可設(shè)定飛行險(xiǎn)情，如單雙發(fā)失效、風(fēng)切變、重著陸、火警等，為實(shí)驗(yàn)提供了仿真環(huán)境。

腦電采集系統(tǒng)中使用的是如圖2所示的EPOC flex 32導(dǎo)聯(lián)濕電極腦電帽，采集到的數(shù)據(jù)可無線傳輸至硬件，采樣頻率為128 Hz，內(nèi)置50 Hz和60 Hz陷波濾波器，電極分布符合國際10～20標(biāo)準(zhǔn)分布標(biāo)準(zhǔn)。

(3)實(shí)驗(yàn)場景：設(shè)定4種實(shí)驗(yàn)場景，分別為風(fēng)切變，失速，發(fā)動機(jī)失效，火警。

對于8名被試，每位被試需將上述設(shè)定的每種實(shí)驗(yàn)場景重復(fù)4次，目的是保證實(shí)驗(yàn)的可靠性。實(shí)驗(yàn)全部結(jié)束后，共收集128組數(shù)據(jù)，其中未經(jīng)異常事件訓(xùn)練的飛行員于異常事件發(fā)生后腦電信號共64組，并標(biāo)記為0類信號；經(jīng)異常事件訓(xùn)練飛行員于異常事件發(fā)生后腦電信號共64組，并標(biāo)記為1類信號。實(shí)驗(yàn)流程如圖3所示。

圖1 全動飛行模擬器Fig.1 Full flight simulator

圖2 腦電帽：EPOC flexFig.2 EEG caps: EPOC flex

2 數(shù)據(jù)預(yù)處理與特征提取

首先，對采集到的數(shù)據(jù)，利用帶通濾波和FASTICA方法去除雜訊，保留信號中的腦電信號成分供后續(xù)分析使用。

2.1 小波包分解與重構(gòu)

目前，在腦電方面主要的研究頻帶為Delta(0～4 Hz)符號為δ, Theta(4～8 Hz)符號為θ, Alpha(8～12 Hz)符號為α, Beta(14～30 Hz) 符號為β[14]這4個(gè)頻帶的腦電信號也被稱為腦電節(jié)律。實(shí)驗(yàn)收集到的腦電信號為時(shí)域信號，為提取上述頻域特征，去除噪音信號，且考慮腦電信號非平穩(wěn)的特性，故采取小波包分解法。在多分辨率分析方法中，小波包分解法對比小波分解法，不僅保留信號的低頻特性，亦保留了信號的高頻特性，利用這種方法對腦電信號進(jìn)行分解，既無冗余也無疏漏。

小波包分解算法:

(1)

小波包重構(gòu)算法：

(2)

式中：h、g為濾波器系數(shù)，由小波函數(shù)和尺度函數(shù)決定；d為小波包分解系數(shù)；p、t為分解層數(shù)；j、k為小波包節(jié)點(diǎn)號。

經(jīng)過小波包分解，最終層的帶寬Δf=1 Hz，對小波包分解序列進(jìn)行重構(gòu)，將重構(gòu)過程中將不需要的小波包分解系數(shù)置零，重構(gòu)分析所需特征頻帶，如圖4所示。

圖4 小波包分解與重構(gòu)示意圖Fig.4 Schematic diagram of wavelet packet decomposition and reconstruction

值得注意的是，信號在利用共軛鏡像濾波器進(jìn)行小波包分解過程中需對信號進(jìn)行隔點(diǎn)采樣，過程中高通濾波器會執(zhí)行一次“翻轉(zhuǎn)”操作，造成采樣頻率減半且排序混亂[15]。因此需通過Gray編碼規(guī)則進(jìn)行重排。假定二進(jìn)制碼為Bn-1Bn-2…B2B1B0，格雷碼為Gn-1Gn-2…G2G1G0，則二者間可通過式(3)進(jìn)行轉(zhuǎn)換，

(3)

式(3)中：⊕為異或運(yùn)算符。

實(shí)驗(yàn)過程中，實(shí)驗(yàn)過程中，從異常事件發(fā)生到飛行員妥善處理完成大約需要20 s，為更好地表征能量差異，截取前10 s飛行員腦電信號，將其分解重構(gòu)從而提取出δ、θ、α、β這4種腦電節(jié)律。4種腦電節(jié)律的時(shí)域信號圖像如圖5所示。

圖5 重構(gòu)所得信號的時(shí)域圖Fig.5 Time-domain diagram of the reconstructed signal

2.2 能量特征提取

利用信號能量計(jì)算公式[式(4)]計(jì)算重構(gòu)后的時(shí)域信號x(t)，t∈[0,10]，單位為s。其中i為腦電節(jié)律的種類，分別為δ、θ、α、β，定義Ei為腦電信號節(jié)律能量，其計(jì)算公式為

(4)

對于實(shí)驗(yàn)收集到的32通道腦電信號，每個(gè)通道的4種節(jié)律的能量特征Eδ、Eθ、Eα、Eβ均作為樣本的特征被計(jì)算從而構(gòu)建出特征向量。

2.3 熵值特征提取

針對生物信號中往往既有確定成分，也有噪聲等隨機(jī)成分的特點(diǎn)；以及腦電信號屬于非穩(wěn)態(tài)信號，具有非線性特性[16]。因此引入具備一定抗干擾與抗噪能力的近似熵算法對腦電信號進(jìn)行分析。近似熵計(jì)算步驟[17]如下。

(1)假定數(shù)據(jù)為時(shí)間序列u，u(i)為其中一個(gè)元素，且i∈[0,N]。

(2)定義m維向量X(i)為

X(i)=[u(i),u(i+1),…,u(i+m-1)]

(5)

式(5)中：i∈[0,m-1]。

(3)定義向量X(i)和X(j)間對應(yīng)元素差值為距離d，計(jì)算公式為

d[X(i),X(j)]=max|u(i+k)-u(j+k)|

(6)

式(6)中:k∈[0,m-1]。

(7)

式(7)中：number為d

(8)

(6)近似熵值 (approximate entropy，ApEn)計(jì)算方式為

(9)

實(shí)驗(yàn)過程中，從異常事件發(fā)生到飛行員妥善處理完成大約需要20 s，為避免個(gè)別值對ApEn均值影響過大，故將20 s的信號都納入計(jì)算范圍，計(jì)算過程中選取m=2，r=0.2SD，N=512[SD為數(shù)據(jù)u(i)的標(biāo)準(zhǔn)差][18]，因設(shè)備采樣頻率為128 Hz，則需4 s的數(shù)據(jù)段來計(jì)算1個(gè)ApEn值，20 s的數(shù)據(jù)可計(jì)算5個(gè)ApEn值，然后平均這5個(gè)ApEn值，所得的值則為該通道20 s內(nèi)的ApEn均值。數(shù)據(jù)選取示意圖如圖6所示。

圖6 數(shù)據(jù)選取示意圖Fig.6 Data selection diagram

對于實(shí)驗(yàn)收集到的32通道腦電信號，每個(gè)通道在異常事件發(fā)生后的20 s數(shù)據(jù)都會被用來計(jì)算得出ApEn均值。

3 模型選擇與模型評估

根據(jù)機(jī)器學(xué)習(xí)算法在腦電方面的應(yīng)用情況[19-21]，選取隨機(jī)森林(random forest classification)、用于分類的支持向量機(jī)(support vector classification)、邏輯回歸(logistic regression classification)3種分類器，利用網(wǎng)格搜索對分類器進(jìn)行超參數(shù)的調(diào)整，并采用五折交叉驗(yàn)證，直至得到具有最佳參數(shù)的分類器模型。分類所得結(jié)果使用混淆矩陣表征，并使用準(zhǔn)確率、F1、接收者操作特征曲線(receiver operating characteristic，ROC)對應(yīng)的曲線下的面積(area under the curve，AUC)作為模型評估參數(shù)。

混淆矩陣是評價(jià)分類模型性能的重要工具，由混淆矩陣可以計(jì)算各種評價(jià)指標(biāo)。此研究中用于區(qū)分0類信號和1類信號的模型均為有監(jiān)督的二分類模型，模型對每個(gè)樣本的預(yù)測結(jié)果為一個(gè)概率值，設(shè)定閾值，概率值高于設(shè)定閾值即為0類信號，低于閾值為1類信號，0類信號被視作陽性(positive),而1類信號被視作陰性(negative),對二分類問題，樣本的真實(shí)類型與模型的預(yù)測類型均為兩類，故混淆矩陣有4個(gè)參數(shù)：TP(true positive)、FP(false positive)、FN(false negative)、TN(ture negative)。參數(shù)與標(biāo)簽的對應(yīng)關(guān)系如圖7所示。

圖7 混淆矩陣Fig.7 Confusion matrix

模型的預(yù)測準(zhǔn)確率(Accuracy)計(jì)算公式為

(10)

召回率(Recall)表示實(shí)際值為0類且預(yù)測結(jié)果也為0類的信號占全部實(shí)際值0類信號的比例，計(jì)算公式為

(11)

精確率(Precision)表示實(shí)際值為0類且預(yù)測結(jié)果也為0類的信號占全部預(yù)測值為0類信號的比例，計(jì)算公式為

(12)

F1是召回率與精確率的調(diào)和平均值，計(jì)算公式為

(13)

通過繪制ROC-AUC曲線對模型進(jìn)一步評估，ROC-AUC曲線圖橫坐標(biāo)表示假陽性比率即FPR(the false positive rate)，縱坐標(biāo)表示真陽性比率即TPR(the true positive rate)，計(jì)算公式為

(14)

通過變化閾值得到不同的混淆矩陣，計(jì)算獲取FPR和TPR數(shù)值對(xi,yi)，用于計(jì)算AUC，即曲線下陰影面積，AUC計(jì)算公式為

(15)

ROC-AUC曲線圖示例如圖8所示。

圖8 ROC-AUC曲線Fig.8 ROC-AUC curve

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)收集到的每一段腦電信號為一個(gè)樣本，單一樣本分別以信號能量，近似熵值，以及信號能量與近似熵值融合所得的合并特征集這3種方式構(gòu)建3類特征向量，綜合所有樣本的特征向量得到特征集，因有3類特征向量，所以可獲得3個(gè)特征集。將每個(gè)特征集歸一化處理后分別使用：隨機(jī)森林(random forest)、用于分類的支持向量機(jī)(support vector classification)、邏輯回歸(logistic regression)三種算法構(gòu)建分類器，為方便表述，將上述三種算法構(gòu)建的分類器簡記為RFC、SVC、LRC。經(jīng)參數(shù)調(diào)整與5折交叉驗(yàn)證后依據(jù)混淆矩陣所得的各項(xiàng)模型評估參數(shù)包括：準(zhǔn)確率、召回率、精確率、F1，并變換閾值計(jì)算FPR與TPR，繪制ROC-AUC曲線，計(jì)算AUC，結(jié)合各項(xiàng)評估參數(shù)選取最適合的特征集與模型。

模型分類過程中將未受異常事件訓(xùn)練的飛行員錯(cuò)誤地預(yù)測為已受異常事件訓(xùn)練的飛行員將會導(dǎo)致飛行風(fēng)險(xiǎn)，同時(shí)若將已受異常事件訓(xùn)練的飛行員錯(cuò)誤地預(yù)測為未受異常事件訓(xùn)練的飛行員，會使訓(xùn)練成本急劇增加，而高精度的模型能夠有效地降低風(fēng)險(xiǎn)并且降低訓(xùn)練成本，因此有必要通過模型預(yù)測結(jié)果得出混淆矩陣，再利用混淆矩陣計(jì)算各項(xiàng)模型評估參數(shù)，從而選擇出最優(yōu)模型。

模型評估階段，測試集占全部數(shù)據(jù)集的20%，圖9為3類特征集基于SVC模型的混淆矩陣。圖10為3類特征集基于LRC模型的混淆矩陣。圖11為3類特征集基于RFC模型的混淆矩陣。

0類信號為實(shí)驗(yàn)收集的未受異常事件訓(xùn)練飛行員的腦電信號，1類信號則為實(shí)驗(yàn)收集的經(jīng)過異常事件訓(xùn)練的飛行員腦電信號，若通過混淆矩陣計(jì)算所得的召回率低，則說明大量0類號被錯(cuò)誤的預(yù)測為1類信號，而在腦電信號劃分過程中，召回率低說明未受異常事件訓(xùn)練飛行員的腦電信號被錯(cuò)誤地預(yù)測為經(jīng)過異常事件訓(xùn)練飛行員腦電信號，若用這類召回率低的模型判定飛行員受訓(xùn)情況會導(dǎo)致未受訓(xùn)飛行員被錯(cuò)誤地認(rèn)定為已受到初步訓(xùn)練，則會使航空安全存在潛在風(fēng)險(xiǎn)；綜上召回率低則風(fēng)險(xiǎn)高，召回率高則風(fēng)險(xiǎn)低。

圖9 SVC混淆矩陣Fig.9 Confusion matrixof SVC

圖10 LRC混淆矩陣Fig.10 Confusion matrix of LRC

圖11 RFC混淆矩陣Fig.11 Confusion matrixof RFC

除卻考慮風(fēng)險(xiǎn)控制能力，仍需考慮高昂的訓(xùn)練成本。精確率可表征訓(xùn)練成本，精確率低說明大量1類信號被錯(cuò)誤的預(yù)測為0類信號，若用這類模型判定飛行員受訓(xùn)情況會導(dǎo)致已受訓(xùn)飛行員被錯(cuò)誤的認(rèn)定為未受訓(xùn)，則會導(dǎo)致訓(xùn)練成本上升。綜上，精確率低則訓(xùn)練成本高，精確率高則訓(xùn)練成本低。為綜合考慮風(fēng)險(xiǎn)控制能力與訓(xùn)練成本，利用二者調(diào)和均值F1對模型進(jìn)行評價(jià)。

為動態(tài)反應(yīng)模型的風(fēng)險(xiǎn)控制能力與訓(xùn)練成本之間的關(guān)系，可通過ROC-AUC曲線圖，曲線圖橫坐標(biāo)為FPR可用于反應(yīng)訓(xùn)練成本，縱坐標(biāo)為TPR可用于反應(yīng)風(fēng)險(xiǎn)控制能力。通過特征集與算法模型組合所繪制ROC-AUC曲線如圖12所示。從圖12中可見所有曲線圖均過兩個(gè)坐標(biāo)點(diǎn)(0,0)與(1,1);其中(0,0)坐標(biāo)表示極低訓(xùn)練成本，相應(yīng)地，此時(shí)的風(fēng)險(xiǎn)控制能力極低；其中(1,1)坐標(biāo)表示極高訓(xùn)練成本，相應(yīng)地，此時(shí)其風(fēng)險(xiǎn)控制能力極高；且由圖12可以觀察得出對于3類不同的特征集，運(yùn)用隨機(jī)森林算法構(gòu)建得出的RFC模型的ROC-AUC曲線優(yōu)于SVC與LRC模型。說明隨機(jī)森林分類算法比其他腦電領(lǐng)域常用的分類算法更加適用于異常事件下的飛行員能力評估。

圖12 ROC-AUC曲線Fig.12 ROC-AUC curve

表1歸納總結(jié)了計(jì)算所得的RFC、SVC、LRC這三類模型的各項(xiàng)評估參數(shù)，包括：準(zhǔn)確率、召回率、精確率、F1。

從圖11與表1中可得知，基于能量特征集與基于合并特征集的RFC模型的AUC均高于0.95，說明兩者均能夠在風(fēng)險(xiǎn)控制能力與訓(xùn)練成本之間取得良好的平衡。繼續(xù)分析表1中數(shù)據(jù)得知，雖然基于能量特征集的RFC模型的召回率與AUC無明顯差異；但前者的準(zhǔn)確率、精確率、F1卻明顯低于后者，這也說明近似熵特征的引入提高了分類器的性能。綜上，最優(yōu)分類器為基于合并特征集的RFC模型，其分類準(zhǔn)確率可達(dá)88.5%，召回率為88.8%，精確率為80.0%，F(xiàn)1為84.2%，AUC為0.95。

表1 模型評估參數(shù)計(jì)算結(jié)果Table 1 Calculation results ofmodel evaluation parameters

5 結(jié)論

針對飛行員的異常事件處理能力評估問題提供了一種新的判別方法，得到以下結(jié)論。

(1) 應(yīng)用腦電信號對飛行員處理飛行過程中出現(xiàn)的異常事件的能力進(jìn)行客觀評估，研究結(jié)果可用于輔助飛行員訓(xùn)練與評估。

(2) 通過小波包變換法克服傳統(tǒng)濾波方法的缺陷，用分解與重構(gòu)方法可以精準(zhǔn)地提取出了腦電信號中Delta、Theta、Alpha、Beta 4個(gè)頻段信號。

(3) 針對腦電信號的非平穩(wěn)性引入近似熵值，最終結(jié)果表明，熵值的引入對分類效果最佳的RFC模型各項(xiàng)評估參數(shù)都有所增益。

(4) 構(gòu)建了9種腦電領(lǐng)域常用的二分類模型，并利用F1，以及ROC-AUC曲線等模型評估方法有效地對模型的風(fēng)險(xiǎn)控制能力和訓(xùn)練成本進(jìn)行了綜合評估。最后綜合各項(xiàng)模型評估指標(biāo)得出：利用腦電信號能量特征和近似熵值特征集合所構(gòu)建的RFC模型為飛行員異常事件處理能力的客觀評估提供了一種精度較高的新方法。

(5) 后續(xù)可通過收集分析心電、皮電等其他生理信號協(xié)同評估飛行員異常事件改出能力，以提高模型精度。