基于多特征模糊融合的疲勞狀態(tài)判決

曹?chē)?guó)震，彭寒，譚偉

（1.西安航空學(xué)院，西安710077；2.西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，西安710072；3.西安導(dǎo)航技術(shù)研究所，西安710068）

基于多特征模糊融合的疲勞狀態(tài)判決

曹?chē)?guó)震1，彭寒2，譚偉3

（1.西安航空學(xué)院，西安710077；2.西北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，西安710072；3.西安導(dǎo)航技術(shù)研究所，西安710068）

在基于視覺(jué)的疲勞駕駛識(shí)別過(guò)程中，使用單個(gè)特征進(jìn)行疲勞駕駛判斷，常常會(huì)受到非普遍適用性、噪聲等因素的影響，從而導(dǎo)致識(shí)別率降低。為了解決眼部特征參數(shù)或者是嘴巴特征參數(shù)單個(gè)特征識(shí)別率低甚至特使環(huán)境無(wú)法識(shí)別的問(wèn)題，提出一種基于多特征融合的判決方法，利用了各種特征之間的優(yōu)勢(shì)互補(bǔ)，可以降低噪聲和類(lèi)內(nèi)類(lèi)間差異的影響，從而提高系統(tǒng)的性能，并且能增強(qiáng)適用性。最后通過(guò)實(shí)驗(yàn)結(jié)果證明，使用眼部和嘴巴特征融合的方法比單一的判決方法準(zhǔn)確率更高。

模糊控制器，多特征模糊融合，眼部特征參數(shù)，嘴巴特征參數(shù)

0 引言

我國(guó)汽車(chē)保有量與日俱增，道路交通事故發(fā)生率居高不下，已成為一個(gè)不可忽視的問(wèn)題，2012～2014年的交通事故死亡人數(shù)分別為30 222、31 604、34 292［1］。Klauer等研究發(fā)現(xiàn)，疲勞駕駛引發(fā)交通事故的概率是正常駕駛的46倍［2］。據(jù)美國(guó)NHTSA相關(guān)研究表明，每年由于疲勞駕駛而導(dǎo)致的交通事故至少有10萬(wàn)起［3］。在我國(guó)，每年因疲勞駕車(chē)而造成的事故分別占總事故率、特大事故率、死亡事故率的20%、40%以上、83%［4］。雖然疲勞駕駛引發(fā)交通事故所占比例在不同的國(guó)家之間存在一定差異，然而基本都在20%左右［5］。因而疲勞駕駛檢測(cè)成為智能交通的一部分。

基于視覺(jué)的疲勞駕駛判斷主要是通過(guò)提取典型的疲勞特征，最后進(jìn)行疲勞程度判斷?；谘劬μ卣魈崛?lái)判決疲勞狀態(tài)有很多，例如Suzuki M［6］、Lenskiy A A［7］等國(guó)內(nèi)外研究者就基于眼睛特征進(jìn)行了研究，并取得顯著的成果；基于嘴巴特征提取來(lái)判決疲勞狀態(tài)的方法也有大量研究者在進(jìn)行研究，例如Li，Lingling［8］、Jin Li-sheng［9］等國(guó)外學(xué)者。

基于單個(gè)特征進(jìn)行疲勞駕駛判斷的方法，常常會(huì)受到非普遍適用性、噪聲等因素的影響，從而導(dǎo)致識(shí)別率降低。在駕駛員的疲勞檢測(cè)中，如果嘴巴或者眼睛出現(xiàn)部分、全部遮擋時(shí)，單特征判決法將無(wú)法判決。而應(yīng)用多特征融合的判決方法，由于利用了各種特征之間的優(yōu)勢(shì)互補(bǔ)，從而提高系統(tǒng)的性能，并且能增強(qiáng)適用性。由于模糊邏輯控制是一種易于控制，容易掌握的非線(xiàn)性控制器，有不錯(cuò)的適應(yīng)性和魯棒性，因此，得到廣泛的應(yīng)用，所以提出了一種基于模糊邏輯融合的方法進(jìn)行疲勞駕駛檢測(cè)方法。

1 疲勞駕駛模糊控制器的設(shè)計(jì)

打哈欠是疲勞或者當(dāng)人體睡眠不足的表現(xiàn)，這就預(yù)示著大腦和其他器官已經(jīng)疲勞，需要得到休息；同時(shí)在疲勞狀態(tài)下，眼睛部位的特征將會(huì)發(fā)生明顯的變化，出現(xiàn)眨眼頻率加快，眨眼持續(xù)時(shí)間延長(zhǎng)等特征。

使用兩個(gè)模糊控制器組合的方式來(lái)進(jìn)行疲勞判決，首先對(duì)提取到的眨眼頻率和平均每次眨眼持續(xù)時(shí)間這兩個(gè)參數(shù)使用模糊邏輯的方法進(jìn)行特征融合，獲得眼部狀態(tài)，然后再與嘴巴狀態(tài)一起輸入到眼嘴模糊控制器，進(jìn)行最終的疲勞判決，如圖1所示。

圖1 模糊融合判決

1.1 隸屬度函數(shù)的建立

對(duì)于眼睛特征模糊控制器，眨眼頻率和持續(xù)時(shí)間作為兩個(gè)輸入、一個(gè)輸出變量分別定義模糊集合，并選擇不同的隸屬度函數(shù)。選擇如下:眨眼頻率= {快、較快、中、較慢、慢}={PB，PS，Z，NS，NB}；平均眨眼持續(xù)時(shí)間={短、較短、中、較長(zhǎng)、長(zhǎng)}={NB，NS，Z，PS，PB}；眼部疲勞狀態(tài)={清醒、較清醒、注意、較疲勞、疲勞}={NB，NS，Z，Ps，PB}。選取1 min之內(nèi)的眨眼次數(shù)和平均眨眼時(shí)間作為輸入，選用經(jīng)驗(yàn)法來(lái)確定隸屬度函數(shù)，采用三角形隸屬度函數(shù)。其中眼部頻率隸屬度函數(shù)分別為PB=［21 28 50 57］，PS=［14 21 28］，Z=［7 14 21］，NS=［0 7 14］，NB=［1 0 7］；平均眨眼持續(xù)時(shí)間隸屬度函數(shù)分別為PB=［1.05 1.4 5 5.7］，PS=［0.7 1.05 1.4］，Z=［0.35 0.7 1.05］，NS=［0 0.35 0.7］，NB=［0.1 0 0.3 5］。據(jù)此，可以得到眨眼頻率和平均眨眼持續(xù)時(shí)間的隸屬度函數(shù)。

對(duì)于輸出眼部疲勞狀態(tài)，隸屬度函數(shù)為PB=［0.9 1.2 1.21］，PS=［0.6 0.9 1.2］，Z=［0.3 0.6 0.9］，NS=［0 0.3 0.9］，NB=［0.01 0 0.3］，使用模糊控制器1（即眼部特征模糊融合）的輸出眼部疲勞狀態(tài)和嘴巴打哈欠狀態(tài)作為模糊控制器2（即眼嘴模糊融合）的輸入，進(jìn)行最終的疲勞度判決。模糊控制器二的輸入輸出隸屬度函數(shù)同樣采用常用的三角形隸屬度函數(shù)。

模糊控制器2輸入為眼睛疲勞度和嘴巴疲勞度，輸出為最終的疲勞度，隸屬度函數(shù)分別為:眼睛疲勞度={清醒、較清醒、注意、較疲勞、疲勞}={NB，NS，Z，PS，PB}，其中NB=［0.1 0 0.3］，NS=［0 0.3 0.6］，Z=［0.3 0.6 0.9］，PS=［0.6 0.9 1.2］，PB=［0.9 1.2 2］；打哈欠頻率={快、較快、中、慢}={PB，Ps，Z，NB}，其中NB=［0.1 0 2］，NS=［0 2 4］，Z=［2 4 6］，PB=［4 6 20 24］；輸出疲勞度={清醒、較清醒、注意、較疲勞、疲勞}={NB，NS，Z，PS，PB}，NB=［0.1 0 0.3］，NS=［0 0.3 0.6］，Z=［0.3 0.6 0.9］，PS=［0.6 0.9 1.2］，PB=［0.9 1.2 2］，當(dāng)最終輸出大于等于0.8時(shí)則判定為疲勞，否則為正常狀態(tài)。

1.2 模糊推理規(guī)則的建立

模糊控制器的輸入變量為平均眨眼持續(xù)時(shí)間和眨眼頻率，采集的圖像經(jīng)過(guò)處理后得到眼睛睜閉的情況，并將眨眼頻率轉(zhuǎn)換為頻率快、眼頻率較快、頻率中、頻率較慢、頻率慢、平均眨眼持續(xù)時(shí)間轉(zhuǎn)換為持續(xù)時(shí)間長(zhǎng)、持續(xù)時(shí)間較長(zhǎng)、持續(xù)時(shí)間中、持續(xù)時(shí)間較短、持續(xù)時(shí)間短等模糊語(yǔ)言。

對(duì)于模糊控制器1，平均眨眼持續(xù)時(shí)間的重要性要高于眨眼頻率，這是因?yàn)檎Ｑ鄢掷m(xù)時(shí)間越長(zhǎng)代表了眼睛在眨眼過(guò)程中眼睛閉合的時(shí)間越長(zhǎng)，眼睛閉合越長(zhǎng)代表危險(xiǎn)性越高；同時(shí)由于駕駛員進(jìn)入輕度疲勞時(shí)，眨眼持續(xù)時(shí)間增加、眨眼頻率增加，但當(dāng)進(jìn)入深度疲勞以至于睡眠時(shí)，眨眼持續(xù)時(shí)間非常長(zhǎng)，而眨眼頻率降低，因此，本文在建立模糊規(guī)則庫(kù)時(shí)，針對(duì)眨眼持續(xù)時(shí)間過(guò)高這種特殊情況，則不論眨眼頻率是否高低均判斷為眼睛疲勞。建立模糊控制規(guī)則表，其相互間最多可得25條控制規(guī)則，可以將上述規(guī)則以簡(jiǎn)單的模糊控制規(guī)則表，如下頁(yè)表1所示。

表1 模糊控制規(guī)則表

疲勞狀態(tài)數(shù)值越高表示越疲勞，文中眼睛疲勞狀態(tài)的重要性要高于嘴巴疲勞狀態(tài)，因?yàn)檎Ｑ鄢掷m(xù)時(shí)間越長(zhǎng)或眨眼頻率越高代表了眼睛在眨眼過(guò)程中眼睛閉合的時(shí)間越長(zhǎng)，不論駕駛員疲勞與否，眼睛閉合越久代表危險(xiǎn)性越高。

對(duì)于模糊控制器2輸入變量為眼睛疲勞狀態(tài)和嘴巴疲勞狀態(tài)，將眼部狀態(tài)轉(zhuǎn)換為清醒、較清醒、注意、較疲勞、疲勞等模糊語(yǔ)言，嘴巴狀態(tài)轉(zhuǎn)換為不打哈欠、打哈欠頻率低、打哈欠頻率較高、打哈欠頻率高。因此，其相互間最多可得20條控制規(guī)則，推理的20條控制規(guī)則如表2所示。

表2 控制規(guī)則表

2 疲勞駕駛檢測(cè)算法整體設(shè)計(jì)

圖2 疲勞駕駛檢測(cè)總流程圖

疲勞駕駛檢測(cè)總流程如圖2所示。整體設(shè)計(jì)思路為:人臉檢測(cè)*人臉跟蹤*特征定位*參數(shù)提取*疲勞判決。特征定位為定位人眼和嘴巴并求其寬高比，參數(shù)提取為提取該幀前1 min之內(nèi)的眨眼頻率、平均眨眼持續(xù)時(shí)間和打哈欠頻率。首先針對(duì)第一幀圖像進(jìn)行人臉檢測(cè)，確定人臉區(qū)域，在其后的幀中對(duì)該人臉區(qū)域進(jìn)行跟蹤，只有在跟蹤失?。ㄏ嗨贫菳hattacha}yya系數(shù)＜0.8或特征定位失敗的時(shí)候才重新啟動(dòng)人臉檢測(cè)算法；因?yàn)楸疚奶崛〉氖? min（即120幀）之內(nèi)的參數(shù)，因此，在開(kāi)始的120幀之內(nèi)并不進(jìn)行參數(shù)提取，只是提取每幀眼睛、嘴巴的寬高比，并求取該120幀中的寬高比最大值及最小值，當(dāng)120幀處理完畢之后，在后續(xù)幀中便可以對(duì)該幀前1 min的眨眼頻率等參數(shù)進(jìn)行提取，并進(jìn)行疲勞判定。

2.1 人臉檢測(cè)

人臉檢測(cè)流程如圖3、圖4所示，該流程分為兩部分:第1部分為神經(jīng)網(wǎng)絡(luò)訓(xùn)練，如圖3，首先對(duì)人臉及非人臉樣本進(jìn)行Gabor濾波，得到一組特征向量，其次使用PCA特征降維，將降維后的向量輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練后得到神經(jīng)網(wǎng)絡(luò)分類(lèi)器。

圖3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練

圖4 人臉標(biāo)記流程

第2部分為人臉檢測(cè)部分，如圖4所示，首先將待檢測(cè)的原始圖像經(jīng)過(guò)光照補(bǔ)償預(yù)處理，其次進(jìn)行非線(xiàn)性膚色分割，并進(jìn)行形態(tài)學(xué)處理得到人臉候選區(qū)域，然后分別對(duì)每個(gè)候選區(qū)域進(jìn)行逐次縮放，進(jìn)行人臉判別，縮放停止的判斷標(biāo)準(zhǔn)是直到檢測(cè)到為人臉或縮放到訓(xùn)練樣本大小。對(duì)每個(gè)候選區(qū)域進(jìn)行人臉判別的過(guò)程為:首先將候選區(qū)域與人臉庫(kù)樣本平均臉做二維卷積運(yùn)算，在結(jié)果矩陣中選取與候選區(qū)域相同大小的中間部分作為一個(gè)新矩陣，在該矩陣中尋找極值點(diǎn)，在候選區(qū)域上與極值點(diǎn)位置對(duì)應(yīng)的附近一定范圍內(nèi)依次選取樣本大小的圖像區(qū)域，將該區(qū)域經(jīng)過(guò)Gabor濾波和PCA降維之后輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉判別；當(dāng)該區(qū)域沒(méi)有檢測(cè)到人臉，但神經(jīng)網(wǎng)絡(luò)輸出值較大時(shí)，可將極值點(diǎn)附近的范圍適當(dāng)放大。人臉跟蹤流程如下頁(yè)圖5所示。

2.2 特征定位和參數(shù)提取流程圖

圖5 人臉跟蹤流程

根據(jù)上述人臉檢測(cè)和跟蹤提取到人臉圖像之后便可以進(jìn)一步定位眼睛和嘴巴，在文中，為避免受跟蹤誤差的影響，選取的人臉圖像為跟蹤窗口適當(dāng)放大之后包含的圖像。首先對(duì)該人臉圖像進(jìn)行膚色二值分割，分別用垂直、水平灰度積分投影確定眼睛、嘴巴的大致區(qū)域，即眼睛和嘴巴的初定位；其次將該人臉圖像轉(zhuǎn)化為灰度圖像，進(jìn)行直方圖均衡化增強(qiáng)、最大類(lèi)間方差分割和形態(tài)學(xué)處理，這樣便可以獲得將眉眼區(qū)域有效區(qū)分開(kāi)的二值圖，結(jié)合之前的初定位，使用連通域標(biāo)記法便可以精確定位出眼睛和嘴巴；然后分別計(jì)算眼睛和嘴巴的寬高比，進(jìn)行狀態(tài)分析，判斷是否張開(kāi)或閉合；最后如果該幀前面幀數(shù)大于120，便可以獲得該幀前120幀的眨眼頻率、平均眨眼持續(xù)時(shí)間和打哈欠頻率等參數(shù)。特征定位和參數(shù)提取流程圖如圖6所示。

圖6 特征定位和參數(shù)提取

2.3 疲勞判決流程圖

獲得眨眼頻率、平均眨眼持續(xù)時(shí)間和打哈欠頻率等參數(shù)之后，便可以使用本文建立的模糊融合法判定疲勞度，疲勞判決流程圖如圖7所示。首先對(duì)眨眼頻率和平均眨眼持續(xù)時(shí)間根據(jù)模糊控制器一輸入隸屬度函數(shù)進(jìn)行模糊化，進(jìn)行模糊推理，結(jié)合輸出隸屬度函數(shù)進(jìn)行反模糊化，得出眼睛的疲勞狀態(tài)；其次把眼睛疲勞狀態(tài)和打哈欠頻率作為輸入，通過(guò)模糊控制器二得出最終的疲勞度，判定是否疲勞駕駛。

3 試驗(yàn)分析

圖7 模糊控制器

選取20組在實(shí)驗(yàn)室模擬的駕駛員疲勞駕駛時(shí)的序列圖像進(jìn)行的測(cè)試，其中1～5組含有打哈欠動(dòng)作并且眼部疲勞程度較高，6～10組不含打哈欠動(dòng)作但眼部疲勞程度較高，11～15組含有打哈欠動(dòng)作但眼部疲勞程度較低，16～20組不含打哈欠動(dòng)作且眼部疲勞程度較低，系統(tǒng)使用處理器為Inter Pentium E5300 2G內(nèi)存的計(jì)算機(jī)進(jìn)行測(cè)試，圖像大小為320 ×240，每秒為20幀，分別使用A:眼睛狀態(tài)判定（使用眨眼頻率和平均眨眼持續(xù)時(shí)間）、B:嘴巴狀態(tài)判定（使用打哈欠頻率）、C:先嘴巴狀態(tài)判定再眼部狀態(tài)判定、D:眼睛和嘴巴融合判定4種方法來(lái)判斷駕駛員是否疲勞，實(shí)驗(yàn)結(jié)果如下頁(yè)表3所示，表3中疲勞用Y表示，不疲勞用N表示。

由表3可知，使用A方法在組別3，4，6，7，12，15，20出現(xiàn)誤判，使用B方法在組別8，9，10，11，13，14出現(xiàn)誤判，使用C方法在組別6，7，11，13，14出現(xiàn)誤判。從實(shí)驗(yàn)結(jié)果可以看出，聯(lián)合使用眼睛和嘴巴比使用單一的特征進(jìn)行疲勞判決在準(zhǔn)確性上有明顯提高。對(duì)不同的駕駛員疲勞和不疲勞狀態(tài)下的視頻序列進(jìn)行檢測(cè)，每段視頻序列時(shí)長(zhǎng)為3 min，試驗(yàn)結(jié)果表明，本文提出的算法在頭部偏轉(zhuǎn)不大時(shí)疲勞檢測(cè)正確率為93.6%，當(dāng)存在頭部偏轉(zhuǎn)時(shí)，正確率為87.9%。由此可知，本文算法具有較高的檢測(cè)率。

表3 試驗(yàn)結(jié)果

4 結(jié)論

為了解決單個(gè)特征進(jìn)行疲勞駕駛判斷的方法，常常會(huì)受到非普遍適用性、噪聲等因素的影響從而導(dǎo)致識(shí)別率降低的問(wèn)題。本文提出了一種基于多特征模糊融合的疲勞狀態(tài)判決，通過(guò)使用兩個(gè)模糊控制器組合的方式來(lái)進(jìn)行疲勞判決。針對(duì)眼睛特征模糊控制器（模糊控制器1）建立了眨眼頻率和平均眨眼持續(xù)時(shí)間隸屬度函數(shù)，并確定相應(yīng)的規(guī)則表，使用眨眼頻率和平均眨眼持續(xù)時(shí)間這兩個(gè)參數(shù)進(jìn)行特征融合，獲得眼部狀態(tài)，并結(jié)合嘴巴打哈欠狀態(tài)作為眼嘴模糊控制器（模糊控制器2）的輸入，建立相應(yīng)的隸屬度函數(shù)和規(guī)則表，進(jìn)行最終的疲勞判決。實(shí)驗(yàn)結(jié)果表明，結(jié)合使用眼睛和嘴巴比使用單一的特征進(jìn)行疲勞判決在準(zhǔn)確性上有明顯提高，本文提出的算法在頭部偏轉(zhuǎn)不大時(shí)疲勞檢測(cè)正確率為93.6%，當(dāng)存在頭部偏轉(zhuǎn)時(shí)，正確率為87.9%。由此可知，本文算法具有較高的檢測(cè)率。

［1］公安部交通管理局.中華人民共和國(guó)道路交通事故統(tǒng)計(jì)年報(bào)［R］.北京:公安部交通管理局，2014.

［2］KLAUER S G，DINGUS T A，NEALE V L，et al.The impact of driver inattention on near crash/crash risk:An analysis using the 100 car naturalistic driving study data［R］.Washington:National Highway Traffic Safety Administration，2006.

［3］LIU C，SUBRAMANIAN R.Factors related to fatal singlevehicle run off road crashes［R］，DOTHS811232，U.S.Department of Transportation，American National Highway Traffic Safety Administration，Washington，DC，USA，2009.

［4］牛清寧.基于信息融合的疲勞駕駛檢測(cè)方法研究［D］.長(zhǎng)春:吉林大學(xué)，2014.

［5］MAC LEAN A W，DAVIES D R T，THIELE K.The hazards and prevention of driving while sleepy［J］.Sleep Medicine Reviews，2003（7）:507-521.

［6］SUZUKI M，YAMAMOTO N，YAMAMOTO O，et al.Measurement of driver’s consciousness by image processing a method for presuming driver’s drowsiness by eye blinks coping with individual differences［C］//IEEE International Conference on Systems，Man and Cybernetics，2006.

［7］LENSKIY A A，LEE J S.Driver’s eye blinking detection using novel color and texture segmentation algorithms［J］.International Journal of Control Automation and Systems，2012，10（2）:317-327.

［8］LI L L，CHEN Y Z，XIN L.Driver Fatigue Detection Based on Mouth Information［C］//8th World Congress on Intelligent Control and Automation，Jinan，PEOPLES R CHINA，2010: 6058-6062.

［9］JIN L S，SUN X，JIANG Y Y.Study on driver's mouth segmentation and location based on color space［C］//IEEE Intelligent Vehicles Symposium，Xi’an，Peoples R China，2009:500-506.

Decision of Fatigue State Based on Characteristics'Fuzzy Fusion

CAO Guo-zhen1，PENG Han2，TAN Wei3
（1.Xi’an Aviation Academy，Xi’an 710077，China；2.School of Computer Science，Northwestern Polytechnical University，Xi’an 710072，China；3.Xi’an Institute of Navigation Technology，Xi’an 710068，China）

The fatigue recognition process based on visual，using a single feature to fatigue driving，often by the universal applicability，the influence of factors such as noise，leading to the recognition rate is reduced.Characteristic parameters in order to solve the eye or mouth feature parameters of the individual character recognition rate is low and even envoy environment cannot be any other questions，this paper proposes a decision method based on feature fusion，using a variety of characteristics between the complementary advantages，can reduce the effects of difference between noise and class in the class，so as to improve the performance of the system，and can enhance the applicability.Finally，the experimental results show that using the eye and mouth features fusion method is higher accuracy than a single sentence.

fuzzy controller，characteristics'fuzzy fusion，eye feature parameters，mouth characteristic parameters

TP391

A

1002-0640（2017）04-0096-05

2016-02-13

2016-04-07

國(guó)家青年科學(xué)基金資助項(xiàng)目（61201321）

曹?chē)?guó)震（1980-），男，陜西榆林人，講師，碩士研究生。研究方向：計(jì)算機(jī)應(yīng)用技術(shù)、信息安全。