基于多特征融合的瞌睡檢測與預(yù)警系統(tǒng)

丁 洋，蔡成穎

（常州大學(xué) 機(jī)械與軌道交通學(xué)院，常州 213164）

據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，全球每年約有135 萬人死于道路交通事故，其中，有10%～30%的交通事故歸因于疲勞駕駛[1]。因腦電信號(hào)（electroencephalogram，EEG）蘊(yùn)含著豐富的人生理活動(dòng)電信息，被公認(rèn)為最客觀的疲勞檢測信號(hào)依據(jù)。研究清醒、瞌睡狀態(tài)的腦電信號(hào)特性，可為疲勞預(yù)警設(shè)備研發(fā)奠定基礎(chǔ)，具有十分重要的研究價(jià)值。

針對駕駛疲勞腦電瞌睡檢測，目前國內(nèi)外研究者開展了諸多研究。文獻(xiàn)[2]提出一種高斯混合隱馬爾可夫模型進(jìn)行疲勞狀態(tài)評估，獲得準(zhǔn)確率為89.60%、敏感度為88.31%；文獻(xiàn)[3]采用經(jīng)驗(yàn)?zāi)B(tài)分解與能量譜算法相結(jié)合方法提取特征，在粒子群算法優(yōu)化的多層感知超限學(xué)習(xí)機(jī)分類器中實(shí)現(xiàn)對駕駛員疲勞狀態(tài)的檢測，獲得83.12%的分類準(zhǔn)確率；文獻(xiàn)[4]以樣本熵和近似熵為特征并融合送入kNN等4 種分類算法進(jìn)行比較，所得疲勞識(shí)別平均準(zhǔn)確率為92.8%、敏感度為91.4%、F1分?jǐn)?shù)為91.4%；文獻(xiàn)[5]運(yùn)用模糊熵取得85%的識(shí)別準(zhǔn)確率。以上方法在對腦電進(jìn)行特征提取時(shí)，雖能區(qū)分清醒、瞌睡腦電中復(fù)雜瞬態(tài)波變化，但計(jì)算復(fù)雜度高。此外，樣本熵、近似熵及模糊熵算子存有容限值調(diào)參的繁瑣。

針對以上方法存在的問題，本文首次利用注意力熵刻畫清醒、瞌睡腦電的非線性，無需對容限值進(jìn)行調(diào)參，且計(jì)算代價(jià)較小。同時(shí)，采用復(fù)雜度較低的小波包分解法提取相對能量特征，以表征清醒、瞌睡腦電中的復(fù)雜瞬態(tài)波變化。將所提取的注意力熵特征與小波包能量特征應(yīng)用于瞌睡檢測中，構(gòu)建了多模態(tài)融合的駕駛疲勞瞌睡檢測與預(yù)警系統(tǒng)。

1 基于多特征的瞌睡檢測模型及預(yù)警設(shè)計(jì)

研究采用了圖1 所示的框架，包括4 個(gè)部分：①信號(hào)預(yù)處理，因腦電中混疊大量背景噪聲及工頻干擾，故將其送入0.5～45 Hz 的巴特沃茲濾波器進(jìn)行帶通濾波處理；②特征提取，用小波包分解與注意力熵方法提取腦電有效特征；③構(gòu)建支持向量機(jī)分類器模型，實(shí)現(xiàn)清醒和瞌睡狀態(tài)的判別；④通過一定的判別決策決定是否觸發(fā)預(yù)警設(shè)備，采用視覺和聽覺結(jié)合的方式進(jìn)行預(yù)警。

圖1 基于多特征融合的瞌睡檢測與預(yù)警系統(tǒng)框架Fig.1 Framework of a drowsiness detection and warning system based on multi-feature fusion

1.1 數(shù)據(jù)描述

本研究用Sleep-EDF 數(shù)據(jù)庫6 個(gè)健康受試者在清醒與瞌睡狀態(tài)下的腦電信號(hào)。該腦電數(shù)據(jù)采樣頻率為100 Hz，采集于Pz-Oz 電極，每段數(shù)據(jù)長30 s。

1.2 特征提取

選取適宜信號(hào)處理方法對腦電進(jìn)行分析和提取特征是瞌睡檢測模型的關(guān)鍵步驟。

1.2.1 非線性動(dòng)力學(xué)注意力熵特征

針對腦電信號(hào)的非線性特點(diǎn)，利用注意力熵[6]刻畫清醒與瞌睡狀態(tài)下腦電動(dòng)態(tài)演化過程中的復(fù)雜度，相比近似熵、模糊熵等算子，注意力熵具有如下優(yōu)點(diǎn)：對時(shí)間序列長度具有魯棒性，不需要參數(shù)調(diào)優(yōu)，且計(jì)算復(fù)雜度低。

注意力熵選擇了4 種關(guān)鍵模式：①局部最大值到局部最大值的間隔（Max-Max）；②局部最小值到局部最小值的間隔（Min-Min）；③局部最大值到局部最小值的間隔（Max-Min）；④局部最小值到局部最大值的間隔（Min-Max）。并對每一種模式計(jì)算其相鄰間隔出現(xiàn)的頻率，得到Ti，計(jì)算各區(qū)間間隔出現(xiàn)頻率的香農(nóng)熵，并取均值作為特征，公式為

式中：i=1，2，3，4，表示4 種關(guān)鍵模式。

1.2.2 基于小波包的時(shí)頻特征

腦電具有很強(qiáng)的節(jié)律性，既有研究在細(xì)分頻段：Delta（0.5～4 Hz）、Theta（4～8 Hz）、Alpha（8～13 Hz）、Beta（13～30 Hz）進(jìn)行了清醒、瞌睡狀態(tài)腦電的頻域分析。而在清醒與瞌睡演變過程中，腦電的動(dòng)態(tài)變化十分復(fù)雜，除了體現(xiàn)出顯著的非平穩(wěn)特性以外，還需更好地刻畫其細(xì)微的時(shí)頻局部化特點(diǎn)。小波包分解（WPD）在小波變換多尺度分析工具基礎(chǔ)上，規(guī)避了小波分解時(shí)頻固定的缺陷，更能反映復(fù)雜信號(hào)的本質(zhì)和特征。

小波包分解得到的二叉樹結(jié)構(gòu)，如圖2 所示。利用正交小波包變換的快速算法，當(dāng)對腦電信號(hào)進(jìn)行n 層分解時(shí)，則第j 級第k 個(gè)二叉樹節(jié)點(diǎn)的小波包分解系數(shù)為

圖2 6 層小波包分解結(jié)構(gòu)Fig.2 6-layer wavelet packet decomposition structure

第j 級的系數(shù)可以通過第j-1 級的系數(shù)來獲得。此時(shí)，腦電信號(hào)被分為若干個(gè)頻帶，第n 層分解的頻帶范圍表征為

分解層數(shù)取決于分析信號(hào)的有用成分和采樣頻率。本文分析的腦電信號(hào)有用成分為0.5 Hz～45 Hz，對其進(jìn)行6 層分解，得到合適子頻帶的同時(shí)也降低了計(jì)算復(fù)雜度。Db4 小波可平衡正交小波的緊支撐和平滑性，且它的波形與腦電信號(hào)相似，適宜非平穩(wěn)信號(hào)的分析。由于小波包系數(shù)能量能反應(yīng)腦電信號(hào)的時(shí)頻特征，故提取腦電信號(hào)的小波包系數(shù)能量值為基礎(chǔ)特征，以Subject1、Subject4 為例，清醒與瞌睡狀態(tài)的能量分布如圖3 所示。

圖3 清醒與瞌睡狀態(tài)腦電的能量值分布Fig.3 Distribution of energy values of EEG in awake and drowsy states

由圖3（a）看出，10 Hz 之前瞌睡狀態(tài)腦電信號(hào)的小波包系數(shù)能量均值高于清醒狀態(tài)，10 Hz 之后相反；從圖3（b）看出，8 Hz 之前的瞌睡狀態(tài)小波包系數(shù)能量均值與清醒狀態(tài)能量均值混疊，而8 Hz 之后兩者的能量均值則可區(qū)分。值得注意的是，以往研究中少有使用的Gamma（30～45 Hz）節(jié)律，在清醒與瞌睡信號(hào)的差異也很大，故本文也采用此頻段的特征。考慮個(gè)體差異及部分頻段的能量交織，本文將小波包系數(shù)的相對能量值作為特征。此外，由清醒向瞌睡狀態(tài)的演變過程中，Delta、Theta、Alpha、Beta 及Gamma 節(jié)律能量動(dòng)態(tài)變化，據(jù)此提取了這5 種節(jié)律的小波包系數(shù)能量的比值特征。利用小波包分解提取的各個(gè)特征如表1 所示。

表1 WPD 法提取的細(xì)分頻帶相對能量特征Tab.1 Relative energy characteristics of subdivision bands extracted by WPD method

其中，E 為腦電信號(hào)的小波包能量總值，ED、ET、EA、EB、EG分別為Delta、Theta、Alpha、Beta 及Gamma的頻帶小波包能量值。

1.3 分類器

因支持向量機(jī)（SVM）具有優(yōu)異的泛化性能和學(xué)習(xí)能力，適宜瞌睡識(shí)別場景下的小樣本、非線性模式識(shí)別任務(wù)，本文以其為分類器。SVM 的核心思想是通過構(gòu)造使分類間隔最大的超平面而使得對于未知模式的分類誤差最小。而最優(yōu)超平面的構(gòu)造屬于二次型問題，期望獲取的最優(yōu)分類函數(shù)：

為求解這一問題，引入拉格朗日算子：

式中：b 為閾值；xj為第j 個(gè)訓(xùn)練樣本；yj為類別；L為總訓(xùn)練樣本數(shù)；α 為拉格朗日系數(shù)。

1.4 性能指標(biāo)

為評估瞌睡檢測模型性能，采用如下評價(jià)指標(biāo)：正確率（ACC）、敏感度（SEN），F(xiàn)1分?jǐn)?shù)定義為

式中：PRE=TP/（TP+FP）×100%。TP、TN 分別是被測試為正的正樣本數(shù)和被測試為正的負(fù)樣本數(shù)；FP、FN 分別為被測試為負(fù)的正樣本數(shù)和被測試為負(fù)的負(fù)樣本數(shù)。

2 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文所提方法進(jìn)行腦電瞌睡檢測的可行性，將數(shù)據(jù)集按照70%訓(xùn)練集、30%測試集原則分配。

對于小波包方法提取的特征，經(jīng)過Relief 算法篩選出5 個(gè)特征，對Subject1 訓(xùn)練樣本利用小波包方法所得WpdFeat 特征的統(tǒng)計(jì)分析結(jié)果，如表2 所示。

表2 清醒組和瞌睡組WpdFeat 特征統(tǒng)計(jì)值Tab.2 Statistical values of WpdFeat characteristics in awake and sleepy groups

表2 中第2～3 列是對清醒組和瞌睡組所有樣本進(jìn)一步求取統(tǒng)計(jì)平均的結(jié)果，所得結(jié)果以“均值（標(biāo)準(zhǔn)差）”形式給出。第4 列是對特征量進(jìn)行單因素單方差分析（ANOVA）的檢驗(yàn)結(jié)果?？梢姼鱓pdFeat在不同類別間均具統(tǒng)計(jì)顯著差異。

利用注意力熵法所得AttnEn 特征的統(tǒng)計(jì)分析結(jié)果，如表3 所示。

表3 清醒組和瞌睡組AttnEn 特征統(tǒng)計(jì)值Tab.3 Statistical values of AttnEn characteristics for awake and sleepy groups

從表3 中可看出，清醒狀態(tài)的注意力熵均值大于瞌睡狀態(tài)的值，表明在清醒狀態(tài)注意力熵所表征的復(fù)雜度高于瞌睡狀態(tài)的復(fù)雜度。ANOVA 檢驗(yàn)中的p<0.001，表明在統(tǒng)計(jì)意義上所提取的特征能區(qū)分清醒與瞌睡時(shí)腦電信號(hào)的復(fù)雜度特性。

SVM 分類器使用libsvm 工具箱，選擇高斯核函數(shù)，用網(wǎng)格法搜索最佳參數(shù)。為減少過擬合，本文使用5 折交叉驗(yàn)證方法驗(yàn)證分類器性能。將融合的特征矢量送入SVM 分類器中，得到的性能結(jié)果如表4所示。

表4 融合特征的性能結(jié)果Tab.4 Performance results for fused features

從表4 可看出，因個(gè)體間存在差異，不同受試者的性能結(jié)果不盡相同。但就總體性能而言，融合WpdFeat、AttnEn 特征之后，在瞌睡檢測時(shí)具有95.9%的準(zhǔn)確度、96.8%的敏感度，F(xiàn)1分?jǐn)?shù)指標(biāo)為96%。

如表5 所示，與文獻(xiàn)方法進(jìn)行對比，本文使用WPD 結(jié)合AttnEn 方法提取特征，運(yùn)用SVM 分類，獲得了高于對比研究的瞌睡檢測準(zhǔn)確率、敏感度。

表5 不同方法的性能結(jié)果對比Tab.5 Comparison of performance results of different methods

3 駕駛疲勞瞌睡預(yù)警仿真

基于上述方法，本文在LabVIEW 上實(shí)現(xiàn)駕駛疲勞的瞌睡預(yù)警仿真，并針對個(gè)體對聲音的敏感性問題，設(shè)計(jì)多種聲音刺激方式。

通過調(diào)用MATLAB Script 節(jié)點(diǎn)的方法，實(shí)現(xiàn)LabVIEW 和MATLAB 的混合編程。用選項(xiàng)卡將整個(gè)仿真分為瞌睡檢測信號(hào)分析、瞌睡檢測識(shí)別與預(yù)警2 個(gè)模塊界面。

如圖4 所示，在瞌睡檢測信號(hào)分析模塊中，可以加載不同個(gè)體的腦電信號(hào)，對其進(jìn)行濾波預(yù)處理，并將信號(hào)波形展示在虛擬儀器前面板。用戶可操縱滑動(dòng)桿以設(shè)置濾波器的不同參數(shù)。該界面依次展示了原始腦電信號(hào)波形、濾波后清醒和疲勞信號(hào)的小波包能量譜均值對比。在虛擬儀器前面板右側(cè)區(qū)域?qū)μ卣魈崛〗Y(jié)果予以展示，分別為示例信號(hào)WPD法提取的特征參量數(shù)值及AttnEn 特征值。

圖4 瞌睡檢測信號(hào)分析模塊界面Fig.4 Interface of the drowsiness detection signal analysis module

如圖5 所示，瞌睡檢測識(shí)別與預(yù)警模塊中，首先分別采用SVM 分類器和Logistic 分類器實(shí)現(xiàn)對樣本腦電信號(hào)的模式分類，顯示出分類結(jié)果及分類評價(jià)度指標(biāo)?？梢钥吹?，所有指標(biāo)都已達(dá)到100%，說明該仿真模型可以準(zhǔn)確地識(shí)別駕駛員的瞌睡狀態(tài)。接著通過視覺、聽覺兩種方式實(shí)現(xiàn)瞌睡預(yù)警。當(dāng)用戶輸入待識(shí)別的測試集信號(hào)序號(hào)時(shí)，該界面將展示對應(yīng)信號(hào)的原始波形、小波包相對能量譜密度，并顯示對應(yīng)信號(hào)的識(shí)別結(jié)果。一旦識(shí)別結(jié)果為瞌睡狀態(tài)，隨即觸發(fā)預(yù)警。在視覺預(yù)警方面，預(yù)警指示燈由正常的綠色狀態(tài)轉(zhuǎn)為紅色。考慮到駕駛員對不同聲音刺激的敏感問題，本文利用ActiveX 容器節(jié)點(diǎn)調(diào)用Windows Media Player 控件，設(shè)計(jì)了多種聲音的預(yù)警喚醒方式。在聲音文件已加載該仿真模塊前提下，用戶可點(diǎn)擊選擇ALARM 報(bào)警聲或喚醒疲勞的不同音樂，使駕駛員在疲勞的前期得到及時(shí)的提醒。同時(shí)，在Windows Media Player 中，用戶也可以調(diào)節(jié)聲音的音量，控制聲音的暫停與播放。

圖5 瞌睡檢測識(shí)別與預(yù)警模塊界面Fig.5 Drowsiness detection recognition and warning module interface

4 結(jié)語

本文搭建了融合注意力熵與小波包能量特征的瞌睡檢測與預(yù)警系統(tǒng)。首次在瞌睡檢測的腦電信號(hào)特征提取中使用了注意力熵方法，無需調(diào)節(jié)參數(shù)，計(jì)算代價(jià)小。在利用小波包分解方法提取相對能量特征時(shí)，將高頻Gamma 節(jié)律納入考慮，實(shí)驗(yàn)結(jié)果表明了其有效性。此外，本文方法可自適應(yīng)挑選出適合不同個(gè)體的時(shí)頻特征，增強(qiáng)了模型的泛化能力。最后在LabVIEW 上利用所提方法進(jìn)行了虛擬儀器設(shè)計(jì)，表明所提方法為實(shí)際生活中駕駛?cè)藛T的瞌睡檢測和預(yù)警系統(tǒng)開發(fā)提供了有效的模型。