基于深度學(xué)習(xí)的疲勞檢測(cè)算法

陳之坤 遲萬達(dá) 高尚 劉曉欣 范迪

摘要：為了實(shí)現(xiàn)對(duì)駕駛員駕駛狀態(tài)的檢測(cè)預(yù)警，避免發(fā)生交通事故。提出了一種基于改進(jìn)多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Multi-Task Convolutional Neural Networks，MTCNN）人臉檢測(cè)及多特征融合的疲勞檢測(cè)方法。算法利用改進(jìn)的MTCNN進(jìn)行人臉檢測(cè)和面部9個(gè)特征點(diǎn)定位；基于特征點(diǎn)確定出嘴巴、眼睛區(qū)域輸入多尺度深度可分離卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale Depth Separable Networks，MSDS-Net），以識(shí)別嘴巴和眼睛的狀態(tài)。算法融合眼睛閉合率（ECR）、嘴巴張合率（MCR）和頭部非正臉率（NFR）三個(gè)特征參數(shù)并進(jìn)行疲勞狀態(tài)判定，在YawDD數(shù)據(jù)集和課題組自制數(shù)據(jù)集上查準(zhǔn)率和查全率分別為96.22%，98.08%。

關(guān)鍵詞：多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)；人臉檢測(cè)；疲勞檢測(cè)；MSDS-Net；YawDD

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2020）08-68-4

0引言

疲勞駕駛是引發(fā)交通事故的重要因素[1]，實(shí)時(shí)疲勞狀態(tài)檢測(cè)對(duì)減少交通事故非常重要。目前，疲勞檢測(cè)的方法主要有基于駕駛員生理參數(shù)的檢測(cè)方法[2]、基于駕駛行為及車輛狀態(tài)的檢測(cè)方法[3]和基于駕駛員視覺特征的檢測(cè)方法[4]3種。傳統(tǒng)的基于駕駛員視覺特征的檢測(cè)算法容易受光線、姿勢(shì)等因素的影響，以及單一指標(biāo)判別造成檢測(cè)準(zhǔn)確率、魯棒性低等問題?；谝陨蠁栴}，提出了基于深度學(xué)習(xí)的疲勞檢測(cè)改進(jìn)算法，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)駕駛員的眼睛、嘴巴、頭部進(jìn)行多特征的提取與狀態(tài)的識(shí)別，實(shí)現(xiàn)多特征融合的疲勞狀態(tài)的判定。

1基于人臉檢測(cè)及多特征融合的疲勞檢測(cè)算法

基于深度學(xué)習(xí)的疲勞檢測(cè)算法分為人臉及特征點(diǎn)檢測(cè)定位模塊、特征狀態(tài)識(shí)別模塊和疲勞狀態(tài)判定模塊，如圖1所示。

1.1改進(jìn)MTCNN人臉及特征點(diǎn)檢測(cè)定位模型

MTCNN是一種基于多任務(wù)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)框架如圖2所示，主要包括P-Net，R-Net，O-Net。將原始圖像縮放得到圖像金字塔，通過P-Net檢測(cè)出大量候選框；通過R-Net對(duì)候選框的進(jìn)一步調(diào)整；通過O-Net對(duì)預(yù)測(cè)框進(jìn)行更精確的定位，最終輸出邊界框坐標(biāo)和特征點(diǎn)信息。

對(duì)MTCNN模型進(jìn)行改進(jìn)，在原有5個(gè)特征點(diǎn)（左右眼睛、左右嘴角、鼻尖）的基礎(chǔ)上增加4個(gè)特征點(diǎn)（眉心、左右臉頰、下巴中心點(diǎn)）進(jìn)行訓(xùn)練，目的是為了更準(zhǔn)確實(shí)現(xiàn)頭部姿態(tài)的判定。同時(shí)，在O-Net網(wǎng)絡(luò)結(jié)構(gòu)中添加多尺度池化層增強(qiáng)網(wǎng)絡(luò)對(duì)多尺度特征圖的處理能力，提高網(wǎng)絡(luò)檢測(cè)精度。同時(shí)，修改O-Net網(wǎng)絡(luò)中的任務(wù)權(quán)重，使之側(cè)重訓(xùn)練特征點(diǎn)，以得到更加準(zhǔn)確的特征點(diǎn)定位，為后續(xù)特征的提取做好準(zhǔn)備，MTCNN三層網(wǎng)絡(luò)結(jié)構(gòu)以及O-Net網(wǎng)絡(luò)的改進(jìn)部分如圖3所示。

1.2基于MSDS-Net的眼嘴狀態(tài)識(shí)別模塊

提出了基于MSDS-Net實(shí)現(xiàn)對(duì)眼睛和嘴巴狀態(tài)的識(shí)別，眼睛與嘴巴的識(shí)別方法相同。網(wǎng)絡(luò)僅使用3×3的深度可分離卷積，在max pooling前將多個(gè)3×3卷積堆疊在一起，組成卷積塊結(jié)構(gòu)。

網(wǎng)絡(luò)使用了BatchNormalization對(duì)數(shù)據(jù)流進(jìn)行優(yōu)化，同時(shí)設(shè)置Dropout為0.25的隨機(jī)失活系數(shù)，防止網(wǎng)絡(luò)過擬合[5]，優(yōu)化方法使用了適應(yīng)性矩陣估計(jì)（Adaptive Moment Estimation， Adam）方法。

1.3頭部姿態(tài)識(shí)別模塊

2多特征融合的疲勞檢測(cè)算法

依據(jù)網(wǎng)絡(luò)識(shí)別出的眼睛、嘴巴和頭部姿態(tài)，本文借鑒PERCLOS準(zhǔn)則，設(shè)定ECR，MCR，NFR三種特征指標(biāo)，通過多特征指標(biāo)融合策略進(jìn)行駕駛員疲勞程度的判定，疲勞判定模塊流程圖如圖5所示。

2.1 PERCLOS

PERCLOS是在單位時(shí)間內(nèi)眼睛閉合時(shí)間所占的百分比[6]，有P70，P80，EM三種標(biāo)準(zhǔn)。P80標(biāo)準(zhǔn)認(rèn)為眼睛開度低于20%為閉合狀態(tài)，高于80%為睜開狀態(tài)。原理如圖6所示，計(jì)算公式如式（2）所示。

3實(shí)驗(yàn)結(jié)果與分析

3.1人臉檢測(cè)及特征點(diǎn)定位模型訓(xùn)練與結(jié)果分析

改進(jìn)的MTCNN人臉檢測(cè)采用WIDER Face作為訓(xùn)練數(shù)據(jù)，特征點(diǎn)訓(xùn)練采用新增4個(gè)（眉心、下巴中心點(diǎn)和左右臉頰）標(biāo)注信息的MTFL數(shù)據(jù)集。使用FDDB人臉數(shù)據(jù)集作為測(cè)試數(shù)據(jù)，F(xiàn)DDB人臉檢測(cè)數(shù)據(jù)集包含了5 171個(gè)人臉分布在2 845張圖片上。本文是在Ubuntu16.04環(huán)境下基于Python和Tensorflow1.8.0進(jìn)行算法模型的訓(xùn)練和性能的測(cè)試。為了驗(yàn)證算法的改進(jìn)效果，在FDDB數(shù)據(jù)集上與原MTCNN算法進(jìn)行對(duì)比試驗(yàn)。實(shí)驗(yàn)結(jié)果如圖7所示，圖7（a）為連續(xù)ROC曲線，表示檢測(cè)框與真實(shí)框的相近程度；圖7（b）為離散ROC曲線，表示人臉是否被檢測(cè)到。從實(shí)驗(yàn)結(jié)果可以看出，本文改進(jìn)的MTCNN算法優(yōu)于原始算法。

基于后期頭部姿態(tài)的判定和眼睛、嘴巴特征提取的需要，本文在算法原始5個(gè)特征點(diǎn)的基礎(chǔ)上新增4個(gè)特征點(diǎn)進(jìn)行訓(xùn)練，新增特征點(diǎn)后的圖片示例以及相應(yīng)特征提取示例如圖8所示。

3.2眼睛嘴巴狀態(tài)模型訓(xùn)練與結(jié)果分析

實(shí)驗(yàn)使用CEW閉眼數(shù)據(jù)集和自建嘴巴數(shù)據(jù)集進(jìn)行模型的訓(xùn)練和測(cè)試。CEW數(shù)據(jù)集包含睜眼狀態(tài)樣本2 462個(gè)，其中訓(xùn)練樣本2 112個(gè)，測(cè)試樣本350個(gè)。閉眼狀態(tài)樣本2 384，其中訓(xùn)練樣本2 034個(gè)，測(cè)試樣本350個(gè)。嘴巴數(shù)據(jù)集包含張嘴樣本1 921個(gè)，其中訓(xùn)練樣本1 721個(gè)，測(cè)試樣本200個(gè)。閉嘴樣本998個(gè)，其中訓(xùn)練樣本839個(gè)，測(cè)試樣本159個(gè)。嘴巴眼睛數(shù)據(jù)集樣本示例如圖9所示。

實(shí)驗(yàn)中網(wǎng)絡(luò)設(shè)置batch_size為32，學(xué)習(xí)率為0.01，設(shè)置Dropout為0.25，網(wǎng)絡(luò)設(shè)置最大訓(xùn)練Epoch為40，最終眼睛和嘴巴訓(xùn)練曲線如圖10所示。在測(cè)試集上眼睛的準(zhǔn)確率在40個(gè)epoch之后達(dá)到0.98，嘴巴的準(zhǔn)確率在40個(gè)epoch之后達(dá)到0.99。

3.3疲勞檢測(cè)仿真實(shí)驗(yàn)與結(jié)果分析

疲勞狀態(tài)仿真實(shí)驗(yàn)使用YawDD數(shù)據(jù)集[7]以及課題組志愿者自己錄制模擬駕駛過程視頻作為仿真數(shù)據(jù)，2種數(shù)據(jù)中均含有干擾因素如眨眼、說話及笑等干擾狀態(tài)，不同實(shí)驗(yàn)條件下（正常光線、暗光和強(qiáng)光）實(shí)驗(yàn)效果如圖11所示。

由圖11中實(shí)驗(yàn)結(jié)果可看出，本文所設(shè)計(jì)算法以及疲勞判定策略能準(zhǔn)確檢測(cè)出駕駛員狀態(tài)。

為了進(jìn)一步驗(yàn)證算法的可行性，本文隨機(jī)選取YawDD視頻數(shù)據(jù)中5個(gè)female數(shù)據(jù)和5個(gè)male數(shù)據(jù)，以及2個(gè)課題組自制視頻數(shù)據(jù)，統(tǒng)計(jì)這12個(gè)視頻（總計(jì)841 s）中真實(shí)疲勞次數(shù)，以及算法識(shí)別疲勞次數(shù)。通過與傳統(tǒng)疲勞檢測(cè)方式對(duì)比實(shí)驗(yàn)，查看算法查全率與查準(zhǔn)率，實(shí)驗(yàn)數(shù)據(jù)如表1所示。查準(zhǔn)率為=（ - ）/（ - +），查全率為=（ - ）/，其中表示真實(shí)疲勞次數(shù)，表示漏檢的次數(shù)，表示誤檢的次數(shù)。從實(shí)驗(yàn)結(jié)果可以看出，本文算法的查準(zhǔn)率和查全率均優(yōu)于傳統(tǒng)算法，誤檢和漏檢情況主要是出現(xiàn)在暗光線下的，相對(duì)來說正常光照下查全率和查準(zhǔn)率會(huì)更高。

4結(jié)束語

本文提出了一種基于改進(jìn)MTCNN人臉檢測(cè)及多特征融合的疲勞檢測(cè)方法。首先通過改進(jìn)的MTCNN網(wǎng)絡(luò)實(shí)現(xiàn)人臉定位和相應(yīng)特征點(diǎn)定位，提取出識(shí)別駕駛員疲勞狀態(tài)所需的眼睛和嘴巴特征，同時(shí)根據(jù)特征點(diǎn)數(shù)據(jù)結(jié)合頭部姿態(tài)判定策略判別出駕駛員頭部姿態(tài)。然后，將提取的眼睛嘴巴特征輸入MSDS-Net進(jìn)行狀態(tài)的識(shí)別，最后依據(jù)ECR，MCR，NFR三種特征指標(biāo)融合的疲勞判定策略，實(shí)現(xiàn)駕駛員狀態(tài)判定。通過相關(guān)實(shí)驗(yàn)表明針對(duì)不同的實(shí)驗(yàn)環(huán)境本文算法有較高的魯棒性、查準(zhǔn)率和查全率，達(dá)到檢測(cè)的要求。

參考文獻(xiàn)

[1]孔質(zhì)彬，劉翔，秦文玉，等.道路交通事故的成因和地區(qū)分布特點(diǎn)研究[J].中國(guó)社會(huì)醫(yī)學(xué)雜志，2018，35（1）：31-33.

[2]王琳，化成城，姜鑫，等.基于頸腰部肌電及腦電信號(hào)的疲勞駕駛檢測(cè)[J].東北大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，39（1）： 102-107.

[3] WU G，HE J，NIE P，et al.Drivers Posture Detection Based on Centroid Coordinates of Two-hand （arm） Region[C]//2018 IEEE 3rd International Conference on Communication and Information Systems （ICCIS），IEEE，2018：23-27.

[4] ZHANG Zhiwei，ZHANG Ruijun，HAO Jianguo，et al.Fatigue Driving Detection and Warning Based on Eye Features[C]// The Euro-China Conference on Intelligent Data Analysis and Applications. Springer， Cham，2018： 491-498.

[5]李兆旭，陳之坤，李永毅，等.基于LBP和級(jí)聯(lián)XGBoost的駕駛員打電話行為檢測(cè)算法[J].信息與電腦（理論版）， 2019，（3）： 72-76.

[6] WANG JJ，XU W，GONG YH. Real-time Driving Danger-Level Prediction[J]. Engineering Applications of Artificial Intelligence，2010，23（8）：1247-1254.

[7] ABTAHI S， OMIDYEGANEH M， SHIRMOHAMMADI S， et al. YawDD： a yawning Detection Dataset[C]//Proceedings of the 5th ACM Multimedia Systems Conference， ACM， 2014： 24-28.