基于腦電信號(hào)分類的高速公路上駕駛疲勞識(shí)別*

羅 旭,王 宏, 王福旺

(1.東北大學(xué),沈陽 110004；2.沈陽師范大學(xué),沈陽 110034)

?

2015041

基于腦電信號(hào)分類的高速公路上駕駛疲勞識(shí)別*

羅 旭1,2,王 宏1, 王福旺1

(1.東北大學(xué),沈陽 110004；2.沈陽師范大學(xué),沈陽 110034)

為駕駛疲勞的識(shí)別提出一種基于小波變換與BP人工神經(jīng)網(wǎng)絡(luò)的自發(fā)腦電信號(hào)分類方法。利用離散小波變換對(duì)駕駛員的腦電信號(hào)濾波，得到頻率低于30Hz的4個(gè)子帶小波系數(shù)，由統(tǒng)計(jì)方法從小波系數(shù)中提取特征值。以這些特征值作為訓(xùn)練數(shù)據(jù)，對(duì)所建的BP人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。結(jié)果表明，用所建的神經(jīng)網(wǎng)絡(luò)對(duì)高速公路客車駕駛員分別在疲勞和非疲勞時(shí)記錄的腦電信號(hào)進(jìn)行分類可達(dá)93.2%的準(zhǔn)確率。

駕駛疲勞；腦電信號(hào)；小波；BP人工神經(jīng)網(wǎng)絡(luò)

前言

疲勞駕駛是引發(fā)交通事故的主要原因之一。經(jīng)統(tǒng)計(jì)，有20%～30% 的交通事故直接由疲勞駕駛引起[1]。因此須研究量化與識(shí)別疲勞駕駛的有效方法，為研制疲勞駕駛預(yù)警系統(tǒng)提供理論與技術(shù)支持。

疲勞駕駛的量化與識(shí)別，主要是通過分析人體電信號(hào)，如腦電(EEG)、眼電(EOG)和肌電(EMG)等來實(shí)現(xiàn)。其中，腦電信號(hào)是最為可信和準(zhǔn)確的疲勞判斷依據(jù)[2]。文獻(xiàn)[3]中試圖使用腦電信號(hào)功率記錄模擬駕駛過程中駕駛員的表現(xiàn)，結(jié)果表明腦電信號(hào)的變化與駕駛員注意力的變化有關(guān)。文獻(xiàn)[4]中提出，疲勞狀態(tài)下的腦電波中，低頻波(θ波與α波)比例增大，而高頻波(β波)比例降低。文獻(xiàn)[5]中通過支持向量機(jī)分類器對(duì)經(jīng)小波濾波的腦電信號(hào)進(jìn)行分類識(shí)別，分類正確率達(dá)90.04%。

本文中結(jié)合離散小波變換濾波技術(shù)與BP人工神經(jīng)網(wǎng)絡(luò)分類方法，對(duì)兩類腦電數(shù)據(jù)(疲勞駕駛和非疲勞駕駛狀態(tài)下的腦電信號(hào))進(jìn)行分類識(shí)別，平均正確率為93.2%。

1 小波濾波與特征提取

腦電信號(hào)在采集過程中參雜大量噪聲，在分類識(shí)別之前必須先濾波。針對(duì)腦電信號(hào)的非線性與非平穩(wěn)性[6]，小波變換是較有效的時(shí)頻分析方法[7]，因此采用快速的離散小波變換設(shè)計(jì)濾波器。

1.1 離散小波濾波

信號(hào)經(jīng)小波變換后，可產(chǎn)生壓縮式的小波系數(shù)，分別為代表原信號(hào)低頻部分的逼近小波系數(shù)與代表高頻部分的細(xì)節(jié)小波系數(shù)。本文中使用離散小波變換[8](DWT)對(duì)腦電信號(hào)進(jìn)行濾波，離散小波變換定義如下：

(1)

式中:ψ(t)為小波基函數(shù)，j、k∈Z并代表頻率分辨率，fj(t)為信號(hào)f(t)在尺度2j的分類。

腦電信號(hào)經(jīng)離散小波變換分解，得到頻率低于32Hz(腦電信號(hào)頻率主要分布在0～30Hz)的4個(gè)子帶內(nèi)的小波系數(shù)，從而過濾掉頻率較高的干擾信號(hào)。離散小波分解過程如下：先對(duì)腦電信號(hào)f(t)進(jìn)行首次分解，得到第1層低通逼近分量A1和高通細(xì)節(jié)分量D1。再對(duì)A1分解得到第2層的逼近和細(xì)節(jié)分量AA2和DA2。以此類推，一直分解到第4層。在第4層中，除了分解逼近分量AAA3，得到AAAA4和DAAA4之外，還分解細(xì)節(jié)分量DAA3，得到ADAA4和DDAA4。為表述方便，將這4個(gè)分量分別標(biāo)記為P1、P2、P3和P4。小波分解過程如圖1所示。

每次分解產(chǎn)生的兩個(gè)分量的頻率范圍都為原分量頻率范圍的一半，且逼近分量覆蓋低頻范圍，細(xì)節(jié)分量覆蓋高頻范圍。例如，假設(shè)原始信號(hào)頻率為128Hz，經(jīng)分解后得到的逼近分量A1的頻率范圍為0～64Hz，D1為64～128Hz。經(jīng)5次分解之后，在第4層產(chǎn)生的4個(gè)分量的頻率范圍分別是0～8Hz、8～16Hz、16～24Hz和24～32Hz。

1.2 提取小波系數(shù)特征

前面得到的每個(gè)小波分量Pi都含有大量的小波系數(shù)，不適合直接作為特征數(shù)據(jù)。為減少計(jì)算量，需要從每個(gè)分量?jī)?nèi)提取統(tǒng)計(jì)值。對(duì)每個(gè)分量Pi(i∈{1,2,3,4}),取其最大值、最小值、均值和標(biāo)準(zhǔn)差。根據(jù)4個(gè)分量一共生成16個(gè)特征值。

當(dāng)采用該特征提取方法分析腦電時(shí)，須預(yù)先定義分析窗口的大小。例如，針對(duì)腦電帽的某通道，可以每當(dāng)采集128組腦電數(shù)據(jù)時(shí),便提取與之對(duì)應(yīng)的16個(gè)特征值。這些特征值將作為神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)，用于之后的神經(jīng)網(wǎng)絡(luò)訓(xùn)練與創(chuàng)建。

2 BP人工神經(jīng)網(wǎng)絡(luò)分類器

2.1 BP人工神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)[9]的學(xué)習(xí)過程由信號(hào)的正向傳輸與誤差的反向傳播兩個(gè)過程組成。正向傳輸時(shí),樣本從輸入層傳入,經(jīng)隱含層逐層處理后傳向輸出層。若輸出層的實(shí)際輸出與期望輸出不符,則進(jìn)入誤差的反向傳播階段。誤差的反向傳播將輸出誤差以某種形式通過隱含層向輸入層逐層反傳,并將誤差分?jǐn)偨o各層的所有單元,從而獲得各層單元的誤差信號(hào),該誤差信號(hào)作為修正各神經(jīng)元權(quán)值的依據(jù)。

2.2 設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

駕駛狀態(tài)下，額頭AF3和AF4部位的腦電電位變化較為明顯，如圖2所示。

因而提取AF3和AF4兩通道腦電信號(hào)的特征值作為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。兩通道的窗口信號(hào)經(jīng)小波過濾和特征提取后，共產(chǎn)生32個(gè)特征值，所以設(shè)置神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)為32。輸出層節(jié)點(diǎn)數(shù)為1，輸出值為0(非疲勞狀態(tài))或1(疲勞狀態(tài))。隱含層最佳節(jié)點(diǎn)數(shù)的計(jì)算公式[10]為

l=log2n

(2)

式中:n為輸入層節(jié)點(diǎn)數(shù);l為隱含層節(jié)點(diǎn)數(shù)。根據(jù)式(2)與輸入層節(jié)點(diǎn)數(shù)32，設(shè)置隱含層節(jié)點(diǎn)數(shù)為5。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

該神經(jīng)網(wǎng)絡(luò)屬于兩類分類器。理想狀態(tài)下，經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能執(zhí)行準(zhǔn)確率較高的分類操作，即向神經(jīng)網(wǎng)絡(luò)輸入屬于某一類(如疲勞)的特征值后，神經(jīng)網(wǎng)絡(luò)以可接受的準(zhǔn)確率輸出與期望值相同的實(shí)際輸出值。

2.3 選擇神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)

神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用Levenberg-Marquardt函數(shù)[11]，該函數(shù)由基于最大鄰域思想的最小二乘估計(jì)算法得出。設(shè)E(w)由數(shù)量為m的個(gè)體誤差項(xiàng)組成，E(w)定義如下：

(3)

式中:w為權(quán)值向量，ei(w)為第i個(gè)神經(jīng)元的實(shí)際輸出值oi(w)與期望輸出值yi的差值。

算法的目標(biāo)是計(jì)算出使E(w)最小的權(quán)值向量w。新權(quán)值向量wk+1可表示為

wk+1=wk+δwk

(4)

式中:wk為原權(quán)值向量，δwk的定義為

(5)

式中:e(wk)=[e1(wk),e2(wk),…,em(wk)]T;Jk為e(wk)在wk處的雅可比矩陣，Jk第i行第j列的元素表達(dá)式為

(6)

式中wj為權(quán)值向量w的第j個(gè)元素。

Levenberg-Marquardt算法計(jì)算過程如下：

①計(jì)算E(wk)；

②將λ初始化為小正數(shù)(如λ=0.01)；

③計(jì)算式(4)得到δwk，并計(jì)算E(wk+δwk)；

④ 如果E(wk+δwk)≥E(wk)，則將λ放大10倍，并跳轉(zhuǎn)到步驟③;

⑤如果E(wk+δwk)

3 疲勞駕駛信號(hào)分類實(shí)驗(yàn)

3.1 采集腦電信號(hào)

3.1.1 信號(hào)采集環(huán)境設(shè)置

實(shí)驗(yàn)使用Emotiv電極帽采集腦電源信號(hào)。該電極帽最高采樣頻率為128Hz，包含國(guó)際10-20系統(tǒng)中的14個(gè)參考電極，如圖4中黑色電極所示。

實(shí)驗(yàn)環(huán)境為沈陽至丹東高速公路客車內(nèi)。參與實(shí)驗(yàn)的人員包括被試者(駕駛員)、觀察員與操作員。觀察員處于客車的副駕駛位，負(fù)責(zé)觀察駕駛員的精神狀態(tài)(如打哈欠頻率、眨眼頻率等)，以及判斷駕駛員是否進(jìn)入疲勞狀態(tài)。操作員位于駕駛員后座，負(fù)責(zé)操控計(jì)算機(jī)和腦電信號(hào)采集設(shè)備。出于安全考慮，客車內(nèi)沒有乘客。

3.1.2 信號(hào)采集過程

信號(hào)采集操作在13∶00～18∶00之間的真實(shí)駕駛狀態(tài)下進(jìn)行。為保證采集的非疲勞腦電信號(hào)盡量接近理想狀態(tài)，駕駛員在參與實(shí)驗(yàn)之前的24h內(nèi)，保證正常睡眠時(shí)間并且沒有從事嚴(yán)重耗費(fèi)體力與精力的活動(dòng)。當(dāng)駕駛員從13∶00開始駕車5min后，操作員采集3min的駕駛員腦電數(shù)據(jù)，該數(shù)據(jù)作為非疲勞數(shù)據(jù)，采集量為23 040組。

根據(jù)《中華人民共和國(guó)道路交通安全法實(shí)施條例》的規(guī)定，連續(xù)駕車4h且休息不足20min的情況認(rèn)定為疲勞駕駛。因此，為獲取較理想的疲勞駕駛腦電信號(hào)，實(shí)驗(yàn)中的駕駛員連續(xù)駕駛客車5h左右后(中途休息5min)，并且當(dāng)有較明顯的眼神呆滯或打哈欠頻率增加的情況時(shí)，由觀察員手勢(shì)通知操作員開始記錄疲勞腦電，采集量同為23 040組。為保證數(shù)據(jù)的穩(wěn)定性，采集過程中駕駛員沒有說話和明顯的肢體動(dòng)作，如轉(zhuǎn)頭、擺臂和抬腿等。

通過上述方式，一共采集了4個(gè)駕駛員的腦電數(shù)據(jù)，得到4個(gè)數(shù)據(jù)集。每個(gè)數(shù)據(jù)集包含代表非疲勞和疲勞兩狀態(tài)的兩個(gè)信號(hào)矩陣，每個(gè)信號(hào)矩陣維度為2×23040(兩行分別對(duì)應(yīng)AF3與AF4通道)。

3.2 生成神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)

以MATLAB為編程工具，將屬于某駕駛員的非疲勞信號(hào)矩陣，按128列為1塊進(jìn)行分塊，得到180個(gè)數(shù)據(jù)塊。對(duì)每個(gè)數(shù)據(jù)塊濾波和統(tǒng)計(jì)后，產(chǎn)生與該數(shù)據(jù)塊對(duì)應(yīng)的32個(gè)特征值。那么，由信號(hào)矩陣得到180×32的非疲勞特征矩陣。同樣方法，產(chǎn)生該駕駛員的180×32的疲勞特征矩陣。將兩矩陣組合為360×32的特征矩陣(前180行對(duì)應(yīng)非疲勞狀態(tài)，后180行對(duì)應(yīng)疲勞狀態(tài))作為神經(jīng)網(wǎng)絡(luò)的輸入層訓(xùn)練數(shù)據(jù)。與該矩陣對(duì)應(yīng)的輸出層訓(xùn)練數(shù)據(jù)為長(zhǎng)度為360的向量(前180行為0，對(duì)應(yīng)非疲勞輸出；后180行為1，對(duì)應(yīng)疲勞輸出)。

3.3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)與結(jié)果分析

根據(jù)第2節(jié)中給出的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方案，利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱創(chuàng)建BP神經(jīng)網(wǎng)絡(luò)，向網(wǎng)絡(luò)輸入已生成的屬于某駕駛員的訓(xùn)練矩陣，執(zhí)行訓(xùn)練網(wǎng)絡(luò)操作。神經(jīng)網(wǎng)絡(luò)經(jīng)訓(xùn)練后，隱含層內(nèi)5個(gè)隱節(jié)點(diǎn)的輸入與輸出權(quán)值向量得到確定，如表1和表2所示。

表1 隱含層節(jié)點(diǎn)的輸入權(quán)值向量

表2 隱含層節(jié)點(diǎn)的輸出權(quán)值向量

執(zhí)行網(wǎng)絡(luò)訓(xùn)練時(shí)，MATLAB隨機(jī)地從所有輸入數(shù)據(jù)中提取70%用于訓(xùn)練操作，15%用于驗(yàn)證操作，15%用于測(cè)試操作。由于此隨機(jī)性的存在，有必要多次執(zhí)行網(wǎng)絡(luò)訓(xùn)練以獲取神經(jīng)網(wǎng)絡(luò)的平均分類準(zhǔn)確率。對(duì)每個(gè)駕駛員的特征數(shù)據(jù)，分別執(zhí)行了4次訓(xùn)練操作，記錄并統(tǒng)計(jì)神經(jīng)網(wǎng)絡(luò)分類準(zhǔn)確率，如表3所示。

表3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果

從實(shí)驗(yàn)結(jié)果可以看到，BP神經(jīng)網(wǎng)絡(luò)對(duì)4個(gè)駕駛員的兩類特征數(shù)據(jù)(非疲勞與疲勞數(shù)據(jù))的分類識(shí)別效果明顯。每個(gè)駕駛員的4次分類準(zhǔn)確性都穩(wěn)定在89%以上，總平均準(zhǔn)確率為93.2%。

4 結(jié)論

駕駛狀態(tài)下的自發(fā)腦電信號(hào)，經(jīng)離散小波變換濾波并進(jìn)行統(tǒng)計(jì)特征提取后，可保留用于區(qū)別是否疲勞的特征內(nèi)容。根據(jù)這些特征內(nèi)容訓(xùn)練并創(chuàng)建BP人工神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)能夠以較高準(zhǔn)確率對(duì)非疲勞與疲勞腦電信號(hào)進(jìn)行分類。

另外，因?yàn)獒槍?duì)每個(gè)窗口下的腦電數(shù)據(jù)，其離散小波濾波與統(tǒng)計(jì)特征提取的計(jì)算時(shí)間，以及BP人工神經(jīng)網(wǎng)絡(luò)根據(jù)輸入值計(jì)算輸出值的時(shí)間，都遠(yuǎn)小于信號(hào)的采集時(shí)間。因此，為下一階段研究實(shí)時(shí)監(jiān)測(cè)駕駛疲勞奠定了基礎(chǔ)。

[1] Lal Saroj K L, Craig A.Electroencephalography Activity Associated with Driver Fatigue: Implications for a Fatigue Countermeasure Device[J/CD].Journal of Psychophysiology, 2001, 15: 125-130.

[2] Lal S K L, Craig A.A Critical Review of the Psychophysiology of Driver Fatigue[J].Biological Psychology, 2001, 55(3): 173-194.

[3] Sehier M A.Changes in EEG Alpha Power During Simulated Driving: A Demonstration International[J].Journal of Psychophysiology, 2000, 37(2) : 155-162

[4] Eoh H J, Chung M K, Kim S H.Electroencephalographic Study of Drowsiness in Simulated Driving with Sleep Deprivation[J].International Journal of Industrial Ergonomics,2005，35(4):307-320.

[5] Zhang C,Zheng C X, Yu X L.Automatic Recognition of Cognitive Fatigue from Physiological Indices by Using Wavelet Packet Transform and Kernel Learning Algorithms[J].Expert Systems with Applications, 2009, 36(3): 4664-4671.

[6] Galka A.Topics in Nonlinear Time Series Analysis: with Implications for EEG Analysis[M].World Scientific Publishing Company Incorporated, 2000.

[7] 馮象初，甘小冰，宋國(guó)鄉(xiāng)．?dāng)?shù)值泛函于小波理論[M]：西安：西安電子科技大學(xué)出版杜，2003.

[8] 楊幫華,顏國(guó)正, 鄢波.基于離散小波變換提取腦機(jī)接口中腦電特征[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào), 2006, 25(5): 518-522.

[9] Hecht-Nielsen R.Theory of the Back Propagation Neural Network[C].Proceeding of the International Joint Conference on Neural Networks(IJCNN), New York, 1989,1:593-605.

[10] 史峰，王小川，郁磊，等.MATLAB神經(jīng)網(wǎng)絡(luò)30個(gè)案例分析[M]：北京：北京航空航天大學(xué)出版社，2010：9-10.

[11] Hagan M T,Menhaj M B.Training Feedforward Networks with the Marquardt Algorithm[J].IEEE Transactions on Neural Networks, 1994, 5(6): 989-993.

Driver Fatigue Recognition in Highway Driving Based on EEG Signal Classification

Luo Xu1,2, Wang Hong1& Wang Fuwang1

1.NortheasternUniversity,Shenyang110004; 2.ShenyangNormalUniversity,Shenyang110034

A method of electroencephalogram (EEG) signal classification for driver fatigue recognition is presented based on wavelet transform and BP neural network.The EEG signals of drivers are filtered using discrete wavelet transform to obtain the wavelet coefficients in four subbands with frequencies lower than 30Hz, from which eigenvalues are extracted by statistical method.With these eigenvalues as training data, the BP artificial neural network created is trained.The results show that the classification with the neural network created on the EEG signals recorded from coach drivers in both fatigue and non-fatigue states in highway driving has reached an accuracy rate up to 93.2 %.

driver fatigue； EEG； wavelet transform； BP artificial neural network

*無線體域網(wǎng)下疲勞駕駛狀態(tài)腦肌眼電信號(hào)特性研究基金(61071057)資助。

原稿收到日期為2013年4月6日，修改稿收到日期為2013年8月12日。