基于眼睛狀態(tài)識(shí)別的疲勞駕駛檢測(cè)

徐 蓮， 任小洪， 陳閏雪

(1.四川輕化工大學(xué)自動(dòng)化與信息工程學(xué)院,宜賓 644000；2.人工智能四川省重點(diǎn)實(shí)驗(yàn)室,自貢 643000；3.四川輕化工大學(xué)計(jì)算機(jī)學(xué)院,宜賓 644000)

據(jù)中國(guó)統(tǒng)計(jì)年鑒數(shù)據(jù)顯示,1995—2014年平均每年有38.2萬起交通事故發(fā)生,而35%～40%的交通事故都是由疲勞駕駛引起的,及時(shí)檢測(cè)疲勞并作出預(yù)警是降低交通事故的有效方法之一。疲勞駕駛檢測(cè)技術(shù)大致可分為行為檢測(cè)、生理檢測(cè)和視覺檢測(cè)3類[1-3],視覺檢測(cè)具有非入侵性和準(zhǔn)確率高等特點(diǎn),在疲勞檢測(cè)領(lǐng)域得到廣泛應(yīng)用。

視覺檢測(cè)主要是通過眼睛狀態(tài)、頭部姿態(tài)和面部表情3個(gè)方面來確定疲勞程度,其中眼睛包括豐富的信息,不易受外界干擾和人為抑制。閆河等[4]采用194個(gè)特征點(diǎn)的人臉主動(dòng)形狀模型,結(jié)合harr級(jí)聯(lián)定位眼睛區(qū)域,通過光流法跟蹤眼瞼特征點(diǎn)識(shí)別眼睛狀態(tài),進(jìn)而實(shí)現(xiàn)駕駛員面部疲勞檢測(cè)。該方法對(duì)光照變化有較好的適應(yīng)性,但是眼睛狀態(tài)識(shí)別的準(zhǔn)確率還有待改善。Wang等[5]提出一種基于Adaboost和等高線圓的眨眼疲勞檢測(cè)算法,先采用Adaboost算法對(duì)人臉與眼睛區(qū)域進(jìn)行檢測(cè),用網(wǎng)格方法去除瞳孔區(qū)域的像素,然后用最小二乘法對(duì)上眼瞼輪廓進(jìn)行擬合,最后根據(jù)PERCLOSE判斷疲勞。李長(zhǎng)勇等[6]對(duì)駕駛員人臉進(jìn)行建模,提取駕駛員的視線、眼部PERCLOSE特征,建立基于貝葉斯置信網(wǎng)絡(luò)的多信息融合疲勞檢測(cè)方法。羅元等[7]結(jié)合灰度投影與級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)定位眼睛,利用人眼6個(gè)特征點(diǎn)識(shí)別眼睛開閉度,根據(jù)PERCLOSE比值進(jìn)行疲勞判斷。該類方法在正面能夠達(dá)到較好的檢測(cè)精度,但易受光照與頭部姿態(tài)的影響。在實(shí)際駕駛環(huán)境中,駕駛員會(huì)有多種頭部姿態(tài),如抬頭、低頭、偏頭等,最常見的頭部姿態(tài)為左右偏轉(zhuǎn)。當(dāng)駕駛員左右偏頭幅度過大時(shí),會(huì)出現(xiàn)部分臉部及眼睛的遮擋。綜上所述,減小頭部姿態(tài)引起的誤差和提高疲勞駕駛檢測(cè)精度是至關(guān)重要的。而且疲勞駕駛引發(fā)的交通事故反應(yīng)時(shí)間非常短暫,設(shè)計(jì)一個(gè)能夠快速檢測(cè)出駕駛員疲勞的模型具有重要意義。

針對(duì)以上問題,設(shè)計(jì)一種眼睛狀態(tài)識(shí)別網(wǎng)絡(luò)(Gabor and LBP-convolutional neural networks,GL-CNN),該網(wǎng)絡(luò)將眼睛圖像的gabor特征和LBP特征相結(jié)合,通過遷移學(xué)習(xí)將傳統(tǒng)的圖像處理技術(shù)與深度學(xué)習(xí)結(jié)合起來,能夠更有主觀意識(shí)地學(xué)習(xí)特征,有效提高模型分類準(zhǔn)確率。用單眼檢測(cè)代替?zhèn)鹘y(tǒng)的雙眼檢測(cè),增加駕駛員頭部姿態(tài)的檢測(cè)范圍,旨在提高疲勞駕駛的智能監(jiān)控能力。

1 疲勞檢測(cè)流程

基于眼態(tài)識(shí)別的疲勞檢測(cè)流程如圖1所示。首先將采集的視頻圖像通過MTCNN(multi-task convolutional neural networks)檢測(cè)出駕駛員的人臉,并對(duì)左右眼睛的位置進(jìn)行定位,然后經(jīng)過眼睛篩選機(jī)制獲取待檢測(cè)的左眼或右眼圖像,將眼睛圖片的Gabor 特征與LBP特征結(jié)合到CNN中構(gòu)造GL-CNN模型,再用訓(xùn)練好的眼睛狀態(tài)分類模型GL-CNN來判斷待檢測(cè)眼睛的睜閉狀態(tài),最后通過PERCLOSE等準(zhǔn)則判斷駕駛員疲勞或清醒的狀態(tài)。

圖1 基于眼態(tài)識(shí)別的疲勞檢測(cè)流程Fig.1 Fatigue detection process based on eye state recognition

1.1 眼睛定位

人臉檢測(cè)和眼睛定位是眼睛狀態(tài)識(shí)別的關(guān)鍵部分。近年來深度學(xué)習(xí)[8-9]在圖像處理中取得了驚人的成就,在疲勞駕駛檢測(cè)中也有涉及。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的多層結(jié)構(gòu)能夠自動(dòng)學(xué)習(xí)特征,并且可以學(xué)到多個(gè)層次的特征。在復(fù)雜的實(shí)際駕駛環(huán)境中,單個(gè)CNN模型已經(jīng)不能滿足人臉關(guān)鍵點(diǎn)定位的要求,現(xiàn)參考Zhang等[10]的MTCNN訓(xùn)練好的模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,主要由PNet、RNet、ONet三層網(wǎng)絡(luò)網(wǎng)絡(luò)構(gòu)成,網(wǎng)絡(luò)結(jié)構(gòu)由簡(jiǎn)單到復(fù)雜。

圖2 MTCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The network structure of MTCNN

PNet采用全卷積網(wǎng)絡(luò)訓(xùn)練得到人臉候選框和回歸框向量,然后對(duì)人臉候選框進(jìn)行校準(zhǔn),用非極大值抑制(nonmaximum suppression,NMS)去除掉高度重合的候選框。

RNet將PNet預(yù)測(cè)的候選窗作為輸入,濾除大量效果較差的候選框,然后對(duì)候選框進(jìn)行校準(zhǔn)和NMS進(jìn)一步優(yōu)化預(yù)測(cè)結(jié)果。

ONet通過更多的監(jiān)督來識(shí)別面部的區(qū)域,最終輸出人臉框和5個(gè)特征點(diǎn)(左右眼睛瞳孔、鼻尖、左右嘴角)坐標(biāo)。

由于只需要定位人臉與眼睛,人臉檢測(cè)與眼睛定位如式(1)所示。

1.2 基于遷移學(xué)習(xí)的眼睛分類模型GL-CNN

1.2.1 眼睛篩選機(jī)制

在實(shí)際駕駛環(huán)境中,駕駛員的頭部姿態(tài)是多樣化的,當(dāng)某只眼睛由于偏轉(zhuǎn)被遮擋時(shí)很難實(shí)現(xiàn)同時(shí)正確檢測(cè)雙眼的狀態(tài),一旦某只眼睛出現(xiàn)錯(cuò)檢,就判斷為錯(cuò)檢,對(duì)實(shí)驗(yàn)結(jié)果的干擾很大。針對(duì)這種情況,提出一種眼睛篩選機(jī)制。當(dāng)頭部大幅度偏轉(zhuǎn)、傾斜時(shí),檢測(cè)未被遮擋的單只眼睛圖片,而當(dāng)雙眼均未被遮擋時(shí),同樣檢測(cè)單只眼睛。具體如圖3所示,圖3中fw和fh分別表示MTCNN檢測(cè)出人臉框的寬和高,d表示MTCNN定位雙眼瞳孔連線的中點(diǎn)到人臉右邊框的垂直距離,當(dāng)d大于fw/2時(shí),檢測(cè)圖片右眼(實(shí)際駕駛員的左眼),否則檢測(cè)圖片左眼(實(shí)際駕駛員的右眼)。

圖3 眼睛篩選機(jī)制示意圖Fig.3 Schematic diagram of the eye screening mechanism

對(duì)于檢測(cè)到的人臉大小不一,采用一種自適應(yīng)的方法進(jìn)行眼睛圖片切割。根據(jù)MTCNN檢測(cè)出來的眼睛位置分布和人臉大小來剪裁眼睛,即

式(2)中：w和h分別表示剪切后眼睛的寬和高。

1.2.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)有域(Domain)和任務(wù)(Task)兩個(gè)概念[11],域D={X,P(X)}是由特征空間X與邊緣概率分布P(X)(X∈{x1,x2,…,xn})兩部分組成,任務(wù)T={Y,H(·)}是由標(biāo)簽空間Y和目標(biāo)預(yù)測(cè)函數(shù)H(·)兩部分組成。定義源域?yàn)镈S,源任務(wù)為TS,目標(biāo)域?yàn)镈T,目標(biāo)任務(wù)為TT,對(duì)于給定的DT、DS、TS、TT,遷移學(xué)習(xí)是指當(dāng)DS≠DT或TS≠TT時(shí),用DS和TS的相關(guān)信息提高TT中目標(biāo)預(yù)測(cè)函數(shù)H(·)的學(xué)習(xí)效率。

根據(jù)源域、目標(biāo)域和任務(wù)之間的不同情況,將遷移學(xué)習(xí)分為歸納遷移學(xué)習(xí)、傳遞遷移學(xué)習(xí)和無監(jiān)督遷移學(xué)習(xí)3類?，F(xiàn)采用傳遞遷移學(xué)習(xí),將眼睛的Gabor特征、LBP特征數(shù)據(jù)集作為源域,原眼睛圖片作為目標(biāo)域,當(dāng)對(duì)原眼睛圖片分類訓(xùn)練時(shí),將特征圖像訓(xùn)練獲得的模型參數(shù)作為模型初始參數(shù)。

局部二值模式(LBP)是用來描述圖像局部紋理特征,具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn)。Gabor濾波器可以提取圖像不同方向上的紋理信息,對(duì)光照、姿態(tài)具有一定的魯棒性。Gabor特征圖與LBP特征圖如圖4所示,原圖經(jīng)過局部二值化得到眼睛的LBP特征圖,Gabor濾波器從原圖提取0°、45°和90° 3個(gè)方向上的特征圖,然后將3個(gè)特征圖像映射合成一個(gè)新的3通道圖像,最后經(jīng)過灰度化得到Gabor特征圖。

圖4 Gabor特征圖與LBP特征圖Fig.4 Gabor feature map and LBP feature map

眼睛的Gabor特征、LBP特征圖與原圖有一定的相似性,但是比原圖更凸顯邊緣輪廓。將Gabor特征融合圖與LBP算子結(jié)合不僅能夠保留圖像紋理變化表征能力,還能有效降低特征冗余。

1.2.3 眼睛分類模型GL-CNN

眼睛狀態(tài)識(shí)別方法主要有基于特征分析[12]和模式分類[13]兩類方法,這兩類方法各有所長(zhǎng),但是在實(shí)際環(huán)境中,光照變化和圖像分辨率低的情況下不能達(dá)到理想的效果。為此通過遷移學(xué)習(xí)將Gabor特征與LBP特征加入到CNN網(wǎng)絡(luò)中構(gòu)造GL-CNN網(wǎng)絡(luò)。GL-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,先將gabor特征圖和LBP特征圖加入到CNN中進(jìn)行預(yù)訓(xùn)練,再訓(xùn)練與預(yù)訓(xùn)練采用相同的CNN網(wǎng)絡(luò)結(jié)構(gòu),將預(yù)訓(xùn)練好的模型參數(shù)作為再訓(xùn)練過程的初始參數(shù),然后對(duì)原始圖片進(jìn)行再訓(xùn)練,最后判斷眼睛的狀態(tài)open(睜眼)或close(閉眼)。

CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖5虛線框內(nèi)所示,該網(wǎng)絡(luò)層包含2個(gè)卷積層、2個(gè)池化層、2個(gè)全連接層。在每個(gè)卷積層后都采用relu激活函數(shù),分別在第二層卷積層和第一個(gè)全連接層后面接比例為0.25和0.5的Dropout層防止過擬合。經(jīng)過兩個(gè)全連接層之后,通過一個(gè)softmax層完成最后的分類,softmax函數(shù)為

圖5 GL-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The network structure of GL-CNN

式(3)中：Pm表示分類為m的概率,m為0表示睜眼，m為1表示閉眼；xm為全連接層的輸出。全連接層計(jì)算公式為

式(4)中：xn表示上一層輸出；wn,m和bm分別表示全連接的權(quán)重和偏置。CNN采用二值交叉熵?fù)p失函數(shù),公式為

式(5)中：Ln表示第n個(gè)樣本的交叉熵；N表示分類數(shù)量；yc∈(0,1)表示眼睛樣本的標(biāo)簽,0表示睜眼,1表示閉眼；Pc表示樣本預(yù)測(cè)為c的概率。

2 實(shí)驗(yàn)結(jié)果與分析

采集數(shù)據(jù)、訓(xùn)數(shù)和測(cè)試都是基于Python3.6和Tensorflow 1.2.1平臺(tái)上實(shí)現(xiàn)的,采用普通攝像頭(640×480),顯卡型號(hào)為Tesla T4,顯存為15 G。MTCNN對(duì)于偏轉(zhuǎn)一定角度的人臉有較高的準(zhǔn)確率,且魯棒性好,為眼睛狀態(tài)識(shí)別奠定了基礎(chǔ)。

2.1 眼睛數(shù)據(jù)采集

默認(rèn)眼睛只有開閉兩種狀態(tài),定義一個(gè)標(biāo)準(zhǔn):如果虹膜和眼白部分可見定義為睜眼,否則定義為閉眼。不同的眼睛狀態(tài)如圖6所示,如圖6(c)所示,眼睛實(shí)際上是睜開的,但是虹膜看不見,將這種近似閉眼的情況定義為閉眼。

圖6 不同狀態(tài)的眼睛示例Fig.6 Examples of eyes in different states

眼睛狀態(tài)分類網(wǎng)絡(luò)GL-CNN訓(xùn)練和測(cè)試數(shù)據(jù)為自主采集,綜合考慮到實(shí)際駕駛環(huán)境的復(fù)雜性,采集的眼睛圖像包括戴眼鏡、不戴眼鏡、正面、側(cè)面和光照不均勻等多種情況。對(duì)數(shù)據(jù)集進(jìn)行篩選(不區(qū)分左右眼),選擇可用于訓(xùn)練或測(cè)試的睜閉眼圖片共12 000張。

2.2 眼睛分類模型GL-CNN實(shí)驗(yàn)對(duì)比

GL-CNN采用隨機(jī)梯度下降法(stochastic gradient descent,SGD)和動(dòng)量(momentum)的優(yōu)化器進(jìn)行訓(xùn)練,為了能更好地評(píng)估模型的性能和避免過擬合,采用十折交叉驗(yàn)證原則劃分?jǐn)?shù)據(jù)集,訓(xùn)練集與驗(yàn)證集比例為7∶3。GL-CNN再訓(xùn)練損失函數(shù)如圖7 所示,再訓(xùn)練的初始損失率約0.1,在經(jīng)過1 000次迭代損失函數(shù)曲線基本收斂于0.05,在自采集數(shù)據(jù)集測(cè)試準(zhǔn)確率為98.2%。

圖7 GL-CNN再訓(xùn)練損失函數(shù)曲線Fig.7 Retraining loss function curve of GL-CNN

通過遷移學(xué)習(xí)將Gabor濾波器加入CNN調(diào)制稱為G-CNN(Gabor-convolutional neural networks ),同理將LBP特征加入CNN調(diào)制稱為L(zhǎng)-CNN(LBP-convolutional neural networks ),基于CNN的不同算法對(duì)比如表1所示。相對(duì)于經(jīng)典C-NN算法,分別加入Gabor特征和LBP特征提升了分類準(zhǔn)確率,而將Gabor特征和LBP特征相結(jié)合加入CNN人工調(diào)制,比單獨(dú)加入一種特征圖的準(zhǔn)確率高。將傳統(tǒng)的圖像處理技術(shù)與深度學(xué)習(xí)結(jié)合起來,不僅能擴(kuò)展數(shù)據(jù)集,而且能有效提高模型分類準(zhǔn)確率。不同算法在自采集數(shù)據(jù)測(cè)試集上的分類準(zhǔn)確率及算法速率如表2所示,本文算法分類準(zhǔn)確率最高且速率最快。

表1 基于CNN的不同算法分類對(duì)比Table 1 Comparison of classification of different algorithms based on CNN

ZJU(Zhejiang University dataset)[14]是浙江大學(xué)采集的眨眼視頻集,共獲取有效圖片8 681幀,本文的眼睛狀態(tài)識(shí)別算法在ZJU上的測(cè)試準(zhǔn)確率為97.51%。文獻(xiàn)[15]提出一種新的特征描述子,主方向梯度多尺度直方圖,將MultiHPOG、LTP、Gabor與SVM結(jié)合起來檢測(cè)眼睛狀態(tài),該方法準(zhǔn)確率較高,但耗時(shí)較長(zhǎng)。對(duì)比文獻(xiàn)[15]在ZJU數(shù)據(jù)集上的性能檢測(cè)如表3所示,本文的眼睛狀態(tài)識(shí)別算法準(zhǔn)確率比文獻(xiàn)[15]更高,而且大大縮短了檢測(cè)時(shí)間。

表2 不同算法在自采集數(shù)據(jù)集的分類對(duì)比Table 2 Comparison of classification of different algorithms in self-acquired datasets

表3 與文獻(xiàn)[15]在ZJU上眼睛狀態(tài)識(shí)別性能對(duì)比Table 3 Comparison of eye state recognition performance with ZJU in[15]

2.3 基于眼睛篩選機(jī)制的實(shí)驗(yàn)對(duì)比

以駕駛員的正前方為中心軸,頭部向各個(gè)方向偏轉(zhuǎn)較小范圍內(nèi),雙眼檢測(cè)能達(dá)到較好的檢測(cè)效果。圖8給出了部分具有代表性的5種頭部狀態(tài)實(shí)驗(yàn)圖,當(dāng)駕駛員疲勞時(shí)會(huì)精神恍惚,頭部會(huì)偏轉(zhuǎn)或者出現(xiàn)頻繁點(diǎn)頭現(xiàn)象,這樣采集到的人臉大面積被遮擋,從而造成眼睛狀態(tài)的錯(cuò)檢。

由圖8可知,頭部偏轉(zhuǎn)極端時(shí),被遮擋的眼睛出現(xiàn)錯(cuò)檢,但沒有被遮擋的眼睛檢測(cè)正確。因此提出一種眼睛篩選機(jī)制,用未被遮擋的單只眼睛替代雙眼檢測(cè)。這里測(cè)試了450張人臉圖像,分別在轉(zhuǎn)動(dòng)角(pitch)方向-30°～30°、滾動(dòng)角(roll)方向-30°～30°、平動(dòng)角(yaw)方向-75°～75°范圍內(nèi)偏轉(zhuǎn),考慮到駕駛員白天頭部左右偏轉(zhuǎn)比較頻繁,重點(diǎn)檢測(cè)平動(dòng)角方向上的效果,視頻流檢測(cè)部分結(jié)果如圖9所示。

圖8 雙眼檢測(cè)結(jié)果示例Fig.8 Example of binocular test results

圖9 基于眼睛篩選機(jī)制的單眼檢測(cè)結(jié)果示例Fig.9 Example of monocular detection results based on eye screening mechanism

由圖8、圖9可知,單眼檢測(cè)比雙眼檢測(cè)適應(yīng)的頭部姿態(tài)更多,單眼檢測(cè)在不同的平動(dòng)角范圍內(nèi)檢測(cè)結(jié)果如表4所示。本文算法對(duì)于頭部左右大幅度偏轉(zhuǎn)情況下具有較高的準(zhǔn)確率,而且能適應(yīng)一定范圍內(nèi)的光照變化,不同光照情況下檢測(cè)結(jié)果示例如圖10所示。

表4 對(duì)比平動(dòng)角(-75°～75°)范圍內(nèi)檢測(cè)結(jié)果Table 4 Compare test results in the range of yaw (-75°～75°)

圖10 不同光照檢測(cè)結(jié)果示例Fig.10 Example of different lighting detection results

圖11 本文算法在YawDD數(shù)據(jù)集測(cè)試圖片示例Fig.11 Example of the algorithm in the YawDD dataset test image

采用YawDD(yawning detection dataset)[16]來測(cè)試單眼檢測(cè)與雙眼檢測(cè)準(zhǔn)確率,YawDD是在駕駛環(huán)境中拍攝的視頻數(shù)據(jù)。男女各占一半,其中20人不戴眼鏡,10人帶眼鏡,共獲取20 005幀圖片,檢測(cè)結(jié)果如表5所示,單眼檢測(cè)比雙眼檢測(cè)準(zhǔn)確率更高,單眼檢測(cè)方法在YawDD數(shù)據(jù)集上準(zhǔn)確率達(dá)91.28%,比雙眼檢測(cè)方法高出3.37個(gè)百分比,由于有色眼鏡框?qū)ρ劬^(qū)域有不同程度的遮擋,對(duì)眼睛狀態(tài)檢測(cè)增加了難度,戴眼鏡的檢測(cè)準(zhǔn)確率較不戴眼鏡準(zhǔn)確率低,本文算法在YawDD數(shù)據(jù)集上部分檢測(cè)圖片如圖11所示。

表5 單眼檢測(cè)與雙眼檢測(cè)眼態(tài)識(shí)別結(jié)果對(duì)比Table 5 Comparison between monocular detection and binocular detection

由此可見,基于眼睛篩選機(jī)制的單眼檢測(cè)方法,可以在不擴(kuò)展數(shù)據(jù)集的情況下,提高眼睛狀態(tài)的識(shí)別精度,檢測(cè)更多種頭部姿態(tài)下的眼睛狀態(tài)。

2.4 疲勞駕駛檢測(cè)

當(dāng)駕駛員疲勞時(shí)面部會(huì)出現(xiàn)疲勞特征,如長(zhǎng)時(shí)間持續(xù)閉眼、緩慢眨眼等現(xiàn)象,為此通過獲取駕駛員眼睛的狀態(tài)信息判斷駕駛員的疲勞程度。PERCLOSE 表示一段時(shí)間內(nèi)眼睛閉合幀數(shù)占該段時(shí)間總幀數(shù)的占比率,即

式(6)中：m表示閉眼幀數(shù)；M表示該段時(shí)間內(nèi)檢測(cè)眼睛總幀數(shù),當(dāng)PERCLOSE大于某個(gè)閾值時(shí),判定駕駛員為疲勞狀態(tài)。采集了20名志愿者的模擬駕駛的過程,每個(gè)人錄10個(gè)視頻,每個(gè)視頻30 s,共100次疲勞狀態(tài),100次清醒狀態(tài)。經(jīng)過檢測(cè)得知,其中清醒狀態(tài)PERCLOSE范圍為0～0.3,疲勞狀態(tài)的PERCLOSE范圍為0.2～1.0,由此可見當(dāng)PERCLOSE 在0.2～0.3范圍內(nèi)是介于清醒與疲勞的過度狀態(tài),為此針對(duì)不同閾值PERCLOSE做了對(duì)比測(cè)試,測(cè)試結(jié)果如表6所示。當(dāng)PERCLOSE取值為0.25時(shí),總體錯(cuò)檢個(gè)數(shù)最少,檢測(cè)的準(zhǔn)確率最高,可達(dá)到97.5%。

文獻(xiàn)[17]采用動(dòng)感模擬駕駛儀和ASL眼動(dòng)儀等設(shè)備提取眼部特征參數(shù),建立了基于SVM的疲勞檢測(cè)模型。文獻(xiàn)[18]提出一種利用駕駛員眼睛的時(shí)空特征檢測(cè)疲勞的方法,先采用深度級(jí)聯(lián)多任務(wù)框架提取眼睛區(qū)域,然后通過深度卷積層學(xué)習(xí)眼睛的空間特征,再通過LSTM單元分析相鄰幀間的關(guān)系,最后對(duì)眼睛疲勞狀態(tài)做序列級(jí)預(yù)測(cè)。不同算法疲勞檢測(cè)如表7所示,與文獻(xiàn)[17]相比,本文算法準(zhǔn)確率更高。對(duì)比于文獻(xiàn)[18],本文算法的精度和召回率更高,檢測(cè)速度更快。

表6 不同PERCLOS值的疲勞測(cè)試準(zhǔn)確率對(duì)比Table 6 Accuracy comparison of fatigue test with different PERCLOS values

表7 與文獻(xiàn)[17-18]的疲勞檢測(cè)性能比較Table 7 Comparison with fatigue testing performance in[17-18]

一般情況下,駕駛員的眨眼頻率為15～30次/min,對(duì)于400×300的圖像,本文提出的方法在CPU上運(yùn)行每分鐘可以檢測(cè)視頻圖像700幀左右,平均每次眨眼0.25～0.3 s,本文算法在CPU上運(yùn)行每張圖片檢測(cè)只需要0.096 s。所以,本文算法可以滿足駕駛員的實(shí)時(shí)疲勞狀態(tài)的判斷。

3 結(jié)論

提出一種眼部狀態(tài)的疲勞駕駛狀態(tài)識(shí)別方法,傳統(tǒng)的基于特征提取的疲勞檢測(cè)方法簡(jiǎn)單有效,基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測(cè)方法準(zhǔn)確率高、魯棒性強(qiáng)。通過將傳統(tǒng)的特征提取方法與深度學(xué)習(xí)結(jié)合起來,不僅可以學(xué)習(xí)到更多的特征,而且還可以提高眼睛狀態(tài)識(shí)別率,可以實(shí)時(shí)輸出駕駛員的疲勞狀態(tài)。實(shí)驗(yàn)結(jié)果表明,本文算法在實(shí)際駕駛環(huán)境中對(duì)于駕駛員多姿態(tài)疲勞檢測(cè)有較高的準(zhǔn)確率,而且能夠適應(yīng)一定的光照變化。本文算法在白天具有較好的檢測(cè)效果,在后續(xù)工作中,嘗試用紅外圖像檢測(cè)晚上的疲勞狀態(tài)。