基于多特征融合的疲勞駕駛狀態(tài)識別方法研究

胡峰松 程哲坤 徐青云 彭清舟 全夏杰

摘要：針對交通安全中疲勞駕駛狀態(tài)識別問題，使用單一的疲勞駕駛特征的方法識別率較低，本文提出一種基于面部多特征加權(quán)和的疲勞識別方法，通過人眼狀態(tài)檢測算法提取眼部疲勞參數(shù)，即持續(xù)閉眼時(shí)間、閉眼幀數(shù)比、眨眼頻率，通過打哈欠狀態(tài)檢測得到打哈欠次數(shù)和打哈欠持續(xù)時(shí)間，通過頭部運(yùn)動(dòng)狀態(tài)分析得到點(diǎn)頭頻率，建立融合以上六個(gè)特征的駕駛疲勞狀態(tài)檢測模型來評估駕駛員的疲勞等級并進(jìn)行相應(yīng)的預(yù)警.實(shí)驗(yàn)測試數(shù)據(jù)選自NTHU駕駛員疲勞檢測視頻數(shù)據(jù)集的部分?jǐn)?shù)據(jù).經(jīng)實(shí)驗(yàn)調(diào)整后，發(fā)現(xiàn)該方法的識別準(zhǔn)確率較高，識別效果好.

關(guān)鍵詞：駕駛安全;特征點(diǎn)定位;眨眼狀態(tài)識別;多特征融合;疲勞識別

中圖分類號：N39文獻(xiàn)標(biāo)志碼：A

Research on Fatigue Driving State Recognition Method Based on Multi-feature Fusion

HU Fengsong，CHENG Zhekun，XU Qingyun，PENG Qingzhou，QUAN Xiajie

（College of Computer Science and Electronic Engineering，Hunan University，Changsha 41008 China）

Abstract：Aiming at the problem of fatigue driving state recognition in traffic safety，the recognition rate of using a single fatigue driving feature is low. This paper studies and proposes a fatigue recognition method based on the weighted sum of facial multi-features. The eye fatigue parameters，such as continuous eye closing time，eye closing frame ratio and blink frequency，are extracted by human eye state detection algorithm. The number and duration of yawning are obtained through yawning state detection，the nodding frequency is obtained through head motion state analysis，and a driving fatigue state detection model integrating the above six characteristics is established to evaluate the drivers fatigue level and give the corresponding early warning. The experimental test data are selected from part of the NTHU driver fatigue detection video data set. After experimental adjustment，it is found that this method has high recognition accuracy and provide a good recognition effect.

Key words：driving safety;feature point positioning;blink of an eye state recognition;multiple feature fusion;fatigue recognition

隨著汽車數(shù)量的迅猛增長，汽車在給人們生活帶來快捷與便利的同時(shí)，頻繁的道路交通事故也帶來了慘重的經(jīng)濟(jì)損失，人民的生命安全受到了巨大的威脅，疲勞駕駛已成為全球一個(gè)嚴(yán)重而亟待解決的交通安全問題[1].研究表明，應(yīng)用機(jī)器學(xué)習(xí)、模式識別等技術(shù)對疲勞駕駛狀態(tài)檢測識別及預(yù)警的方法效果較好[2-3]，能有效預(yù)防道路交通事故的發(fā)生，疲勞駕駛檢測技術(shù)已逐步從研究領(lǐng)域轉(zhuǎn)移到工業(yè)應(yīng)用領(lǐng)域并不斷發(fā)展完善[4-5].

疲勞駕駛識別研究領(lǐng)域目前還存在很多難點(diǎn)，在不同的場景下如戴太陽鏡、光照明喑等都會(huì)影響識別的準(zhǔn)確率[4].疲勞駕駛狀態(tài)信息包括眼部疲勞信息、嘴部疲勞信息和頭部疲勞信息，識別方法可分為單一特征疲勞信息識別和多特征疲勞信息識別，而單一特征疲勞信息識別的準(zhǔn)確率有待提高⑹本文主要根據(jù)多特征疲勞信息來進(jìn)行疲勞駕駛狀態(tài)識別.首先，基于SVM的睜閉眼狀態(tài)識別算法判斷眼部疲勞狀態(tài)，然后通過嘴部高寬比和點(diǎn)頭頻率判斷嘴部和頭部疲勞狀態(tài)，最后融合多特征進(jìn)行疲勞駕駛狀態(tài)識別.

1眼部疲勞狀態(tài)判斷

1.1人眼定位

使用由Kazemi和Sullivan提出的基于級聯(lián)回歸樹的人臉關(guān)鍵點(diǎn)定位算法進(jìn)行人眼定位。如圖1 （a）中人臉特征點(diǎn)模型所示，根據(jù)圖中關(guān)鍵點(diǎn)序號可以知道每個(gè)特征點(diǎn)的位置，如左眼的序號為36～4 右眼的序號為42～47.根據(jù)眼部特征點(diǎn)的序號，提取的左、右眼部區(qū)域如圖1（b）所示的左、右長方形方框區(qū)域.其定位計(jì)算規(guī)則如下：

W=1.6×W_e，H=3×H_e（1）

式中：W_e為人眼特征點(diǎn)36到39之間的水平距離，H_e為人眼特征點(diǎn)37到41之間和38到40之間垂直距離的平均值，而W和H為定位的眼部區(qū)域的寬和高.

1.2基于SVM的睜閉眼狀態(tài)識別

為了能更為精準(zhǔn)地識別人眼睜閉狀態(tài)，使用兩個(gè)特征：人眼縱橫比和人眼黑色像素累積差值作為支持向量機(jī)SVM分類器的輸入，使用SVM來識別圖像中人眼的狀態(tài).

1.2.1計(jì)算人眼縱橫比

為了能準(zhǔn)確快速識別眼睛的睜閉狀態(tài)，我們計(jì)算眼睛的高度和寬度之間的縱橫比（eye aspect ratio，EAR）.睜眼時(shí)的縱橫比在個(gè)體之間的差異基本上很小，并且對于圖像的均勻縮放和面部的旋轉(zhuǎn)是完全不變的[8].圖2為左眼在睜開與閉合狀態(tài)下檢測到的6個(gè)關(guān)鍵點(diǎn)，眼睛縱橫比計(jì)算式為：

為了精確地識別眼部狀態(tài)，取雙眼EAR的平均值作為眼睛睜閉識別的特征：

EAR=Mean（EAR_left，EAR_right）（3）

計(jì)算視頻圖像連續(xù)200幀左、右眼的縱橫比，得到的結(jié)果如圖3所示.當(dāng)發(fā)生眨眼時(shí)，EAR值迅速減小接近于0，然后慢慢增加至接近于正常情況下睜眼時(shí)的EAR值.

1.2.2基于自適應(yīng)閾值計(jì)算人眼黑色像素累積差值

定位人眼區(qū)域，然后選取局部自適應(yīng)閾值算法對人眼圖像進(jìn)行二值化，經(jīng)過形態(tài)學(xué)開閉操作和中值濾波處理后，能較好地呈現(xiàn)眼睛輪廓及細(xì)節(jié)，表1 為右眼不同情況下的二值圖像.

當(dāng)人眼閉合時(shí)，盡管可能會(huì)受睫毛和眼瞼等暗區(qū)域的影響，但是最大暗部在瞳孔區(qū)域不會(huì)出現(xiàn).所以與睜眼相比，當(dāng)眼睛閉合時(shí)，二值圖像中的黑色像素的數(shù)量會(huì)急劇減少.但是，由于黑色像素的數(shù)量會(huì)隨著人眼與攝像頭之間距離的改變而改變，當(dāng)距離變大時(shí)，在圖像中眼睛區(qū)域縮小，因此黑色像素的數(shù)量減少.

為了減少人眼與攝像頭距離因素的影響，將人眼圖像歸一為同一尺寸，計(jì)算連續(xù)兩幀之間的黑色像素差.一般在兩個(gè)以上的連續(xù)幀中可以觀察到閉眼的動(dòng)作，因此當(dāng)連續(xù)兩幀的差值小于0時(shí)，開始累計(jì)差值.人眼一次眨眼過程中，黑色像素?cái)?shù)量變化如圖4 （a）所示.根據(jù)圖4可以看到：第54幀由于差值大于0 而沒有累積差值，導(dǎo)致其被錯(cuò)誤地識別為睜眼狀態(tài).

根據(jù)文獻(xiàn)[9]提出的方法，使用自適應(yīng)閾值的方法累積差值.規(guī)定“狀態(tài)0”和“狀態(tài)1”兩種狀態(tài)，當(dāng)人眼區(qū)域二值化圖像的黑色像素的差值小于0時(shí)，從“狀態(tài)0”變?yōu)椤盃顟B(tài)1”.在“狀態(tài)1”時(shí)，若差值小于閾值T（t），累積差值并保持狀態(tài)不變;若差值大于或等于閾值T（t），不累積差值且狀態(tài)變?yōu)椤盃顟B(tài)0”.請參考圖5.

計(jì)算方法如下：

式中：N（t）是第t幀的黑色像素?cái)?shù)量，ΔN（t）為第t幀與第t-1幀之間的差值，D（t-1）為“狀態(tài)1”中在第t-1幀的累積差值，a為0到1之間的恒定值，最優(yōu)a值通過檢測睜閉眼的準(zhǔn)確性確定.由第t-1幀的累積差值D（t-1）得到第t幀的自適應(yīng)閾值T（t）.使用自適應(yīng)閾值可正確地將第54幀識別為閉眼.圖6為使用自適應(yīng)閾值計(jì)算人眼二值圖像的黑色像素累積差值的結(jié)果圖，可以看出該方法能較好地識別閉眼狀態(tài).

1.2.3睜閉眼狀態(tài)測試

從ZJU眨眼視頻數(shù)據(jù)集[10]的80個(gè)視頻中選取睜眼樣本2 000張，閉眼樣本700張;從NTHU駕駛員疲勞檢測視頻數(shù)據(jù)集[11]中選取睜眼樣本2 000張，閉眼樣本1 300張;同時(shí)自采集睜眼樣本2 000張、閉眼樣本4 000張，總共采集睜、閉眼圖像各6 000張.對人眼縱橫比、黑色像素累積差值這兩類特征參數(shù)數(shù)據(jù)進(jìn)行歸一化處理.在進(jìn)行分類器訓(xùn)練前，需要選擇合適的核函數(shù)，當(dāng)特征與分類標(biāo)簽之間的關(guān)系為非線性時(shí)，選擇RBF核函數(shù)，故本文采用RBF核函數(shù)進(jìn)行模型訓(xùn)練.

從樣本數(shù)據(jù)中選擇8 000組數(shù)據(jù)進(jìn)行訓(xùn)練，剩余的4 000組數(shù)據(jù)對睜閉眼狀態(tài)進(jìn)行測試，其測試結(jié)果如表2所示.

從表2可以看出，提出的方法對睜閉眼狀態(tài)識別的準(zhǔn)確率較高.表3為使用不同算法的識別結(jié)果對比.

1.3眼部疲勞信息提取

當(dāng)人處于疲勞狀態(tài)時(shí)，會(huì)出現(xiàn)眨眼頻率增加、閉眼時(shí)間增長、打哈欠等現(xiàn)象，嚴(yán)重時(shí)甚至?xí)霈F(xiàn)打瞌睡的現(xiàn)象.研究發(fā)現(xiàn)，人在正常情況下每分鐘眨眼10 次到25次不等，眨眼一次眼睛閉合持續(xù)的時(shí)間約為0.2s左右.根據(jù)這一現(xiàn)象，本文選取最能表現(xiàn)疲勞狀態(tài)的三個(gè)眼部指標(biāo)作為眼部疲勞特征參數(shù)：基于PERCLOS準(zhǔn)則[13]的ECR（閉眼幀數(shù)所占比）、MECT（最長持續(xù)閉眼時(shí)間）和BF（眨眼頻率）.

1.4眨眼檢測

由圖3的EAR值計(jì)算結(jié)果可知，一次眨眼過程中，EAR值先減小直至接近于零，然后逐漸增大至正常睜眼狀態(tài)值.設(shè)E為EAR閾值，K為判斷眨眼的幀數(shù)閾值.當(dāng)EAR小于閾值E時(shí)，眼睛開始閉合;當(dāng)其值接近于正常睜眼狀態(tài)值即大于E時(shí)，眼睛完全睜開.我們統(tǒng)計(jì)該過程中EAR < E的連續(xù)幀數(shù)F，當(dāng)EAR≥E時(shí)，若F大于設(shè)定的連續(xù)幀數(shù)閾值K，則記眨眼一次.

為了尋找最優(yōu)閾值E和K，我們在ZJU眨眼數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).ZJU中80個(gè)視頻包含四種主題：未戴眼鏡的正面視頻、戴薄邊框眼鏡的正面視頻、戴黑框眼鏡的正面視頻及未戴眼鏡向上仰角的視頻，每個(gè)主題20組視頻，每個(gè)視頻中眨眼次數(shù)1到6次不等，數(shù)據(jù)集中總共包含255次眨眼.圖7為不同EAR閾值E值與連續(xù)視頻幀數(shù)閾值K值下眨眼檢測結(jié)果的精確率.根據(jù)圖7的結(jié)果，我們在提取眼睛疲勞參數(shù)眨眼頻率時(shí)，選擇計(jì)算EAR小于閾值E=0.24時(shí)的連續(xù)幀數(shù).當(dāng)EAR大于該閾值時(shí)，若連續(xù)幀數(shù)也大于閾值K= 則記一次眨眼.計(jì)算一個(gè)時(shí)間周期內(nèi)眨眼的次數(shù)，即為眨眼頻率.

以60 s為一個(gè)時(shí)間周期，對周期內(nèi)人眼狀態(tài)進(jìn)行統(tǒng)計(jì)分析，得到眼部疲勞特征統(tǒng)計(jì)值.以0表示清醒狀態(tài)，1表示疲勞狀態(tài)，記最長閉眼時(shí)間為MECT，閉眼幀數(shù)所占比為ECR，眨眼次數(shù)為BF.經(jīng)實(shí)驗(yàn)及參考相關(guān)文獻(xiàn)，得出三個(gè)眼部疲勞特征值之間的疲勞閾值如式（6）所示.

2嘴部疲勞狀態(tài)判斷

嘴部檢測定位的方法很多.基于級聯(lián)回歸樹（Ensemble of Regression Tress，ERT）算法[10]的人臉關(guān)鍵點(diǎn)檢測中，嘴部的位置序號為48～67.因此，我們可以根據(jù)該序號來定位嘴部并識別其狀態(tài).

本文主要通過計(jì)算嘴部高寬比（MAR）來判斷嘴部狀態(tài).為了使MAR值更為精準(zhǔn)，如圖8所示，標(biāo)記的P 1-P10用來計(jì)算MAR的10個(gè)特征點(diǎn)，歐氏距離的計(jì)算公式可參照式（7）.

我們知道，正常駕駛情況下，嘴部處于閉合狀態(tài);當(dāng)與他人說話時(shí)，嘴唇處于開合不斷變化狀態(tài)，且張開幅度不大;而當(dāng)處于疲勞打哈欠狀態(tài)時(shí)，嘴巴張開幅度很大且持續(xù)時(shí)間較長[14].為了判斷嘴部狀態(tài)如講話、打哈欠等，使用基于高寬比的方法在樣本上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖9所示.由圖9可知：當(dāng)MAR≤0.4時(shí)，嘴巴是閉合的;當(dāng)0.4 < MAR < 0.8 時(shí)，為正常講話狀態(tài);當(dāng)MAR > 0.8時(shí)，處于打哈欠狀態(tài).根據(jù)上述分析，可以使用MAR作為特征來識別嘴部狀態(tài).

當(dāng)駕駛者處于困倦狀態(tài)時(shí)，會(huì)接連不斷地打哈欠，每次打哈欠嘴部持續(xù)張開時(shí)間約6 s，此時(shí)就需要停車休息，不宜繼續(xù)駕駛.根據(jù)該現(xiàn)象，我們可以檢測一個(gè)時(shí)間周期內(nèi)司機(jī)打哈欠的次數(shù)，并據(jù)此來評估其是否疲勞.為了正確識別打哈欠狀態(tài)，我們在YawDD數(shù)據(jù)集[15]上進(jìn)行實(shí)驗(yàn)，不斷改變MAR的閾值和連續(xù)幀數(shù)值，尋找最優(yōu)高寬比MAR的閾值M，并定義MAR值高于閾值M的連續(xù)幀數(shù)為打哈欠的閾值K.找到最優(yōu)閾值M=0.7和K=15后，在數(shù)據(jù)集上檢測打哈欠，準(zhǔn)確率約為95.6%.當(dāng)嘴部高寬比MAR連續(xù)15幀大于0.7時(shí)，我們則記一次打哈欠.圖10中的t₁到t₄的時(shí)間差即為一次哈欠時(shí)間，當(dāng)嘴部張開程度超過閾值時(shí)，我們檢測是否打哈欠.以0表示正常狀態(tài)，1表示疲勞狀態(tài)，嘴部疲勞狀態(tài)取值條件如式（8）所示：

式中：YF表示打哈欠的次數(shù)，YT為打一次哈欠持續(xù)的時(shí)間，閾值取N= t=4s.

3頭部疲勞狀態(tài)判斷

駕駛員駕駛過程中的點(diǎn)頭頻率的檢測是對頭部運(yùn)動(dòng)分析的關(guān)鍵，也是疲勞駕駛檢測的重要因素.當(dāng)一個(gè)時(shí)間周期內(nèi)點(diǎn)頭頻率超過某個(gè)閾值時(shí)，可以認(rèn)為駕駛員處于疲勞狀態(tài).

依據(jù)定位到的眼部特征點(diǎn)位置信息，從實(shí)時(shí)性和準(zhǔn)確性出發(fā)，本文提出了一種基于二維垂直方向的點(diǎn)頭頻率特征分析算法.取定位的雙眼的中心點(diǎn)連線的中點(diǎn)作為頭部位置檢測點(diǎn)，根據(jù)該檢測點(diǎn)在垂直方向上坐標(biāo)y隨時(shí)間的變化情況，計(jì)算一個(gè)時(shí)間周期內(nèi)的點(diǎn)頭頻率.圖11為駕駛員打瞌睡時(shí)的y值與幀數(shù)之間的關(guān)系圖.

算法過程如下：當(dāng)視頻幀數(shù)較多時(shí)，圖像可近似擬合為曲線，計(jì)算曲線極值點(diǎn)，極值點(diǎn)可將曲線分成許多單調(diào)的曲線.經(jīng)實(shí)驗(yàn)得出，統(tǒng)計(jì)一個(gè)時(shí)間周期內(nèi)單調(diào)遞減段極小值點(diǎn)y值大于初始位置50像素的極值點(diǎn)個(gè)數(shù)，即為點(diǎn)頭次數(shù)NF;若曲線沒有極小值點(diǎn)，則判斷曲線是否單調(diào)遞減，若為單調(diào)遞減，則點(diǎn)頭次數(shù)NF為 否則為0.NF取值如式（9）所示：

若一個(gè)時(shí)間周期內(nèi)點(diǎn)頭次數(shù)NF大于某個(gè)閾值，則NF疲勞特征參數(shù)值為 否則為0.經(jīng)實(shí)驗(yàn)和相關(guān)文獻(xiàn)可知：取N=10時(shí)，疲勞狀態(tài)檢測準(zhǔn)確率最高.

4基于多特征加權(quán)和的疲勞狀態(tài)識別

4.1疲勞狀態(tài)識別算法

依據(jù)單一的疲勞特征來評估疲勞狀態(tài)，其準(zhǔn)確率要比將多個(gè)疲勞特征融合進(jìn)行識別的方法低[16].因此，根據(jù)上述眼部、嘴部及頭部的疲勞特征參數(shù)，本文提出了基于多特征加權(quán)和的疲勞等級識別算法，算法具體步驟如下.

將眼部、嘴部及頭部的五個(gè)疲勞特征指標(biāo)各自取權(quán)重值，經(jīng)實(shí)驗(yàn)，其權(quán)重取值如表4所示.

根據(jù)疲勞參數(shù)加權(quán)后值的不同，將狀態(tài)分為三個(gè)等級：清醒、疲勞、重度疲勞.特征參數(shù)加權(quán)和計(jì)算如式（10）所示：

F=∑V_i×W_i，i=（ECR，MECT，BF，NF，YF）（10）

5個(gè)特征參數(shù)值分別乘以其對應(yīng)的權(quán)重值，求和后便得到特征參數(shù)加權(quán)疲勞值F.

綜合特征參數(shù)的權(quán)重值和疲勞等級，將特征參數(shù)加權(quán)值與疲勞等級相對應(yīng)，根據(jù)對應(yīng)關(guān)系便能判斷出駕駛員的駕駛狀態(tài).對應(yīng)關(guān)系如表5所示.

4.2實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證研究方法的性能，本文的實(shí)驗(yàn)在64位操作系統(tǒng)的PC上進(jìn)行，采用python編程語言，并結(jié)合Opencv 2.4.13和Dlib18.17函數(shù)庫進(jìn)行分析.實(shí)驗(yàn)測試數(shù)據(jù)來自NTHU駕駛員疲勞檢測視頻數(shù)據(jù)集的部分?jǐn)?shù)據(jù).該測試數(shù)據(jù)中有5種不同場景：白天戴眼鏡、戴太陽鏡和不戴眼鏡，晚上戴眼鏡和不戴眼鏡.每個(gè)場景中選取5組數(shù)據(jù)，每組數(shù)據(jù)包含清醒、疲勞和重度疲勞狀態(tài).

本文以60s為一個(gè)時(shí)間周期檢測駕駛員疲勞狀態(tài)，表6為在不同場景下疲勞識別的結(jié)果，表7為白天戴眼鏡情況下各特征參數(shù)的計(jì)算結(jié)果、疲勞值與對應(yīng)的疲勞識別結(jié)果.

由表6可以看出，本文提出的疲勞識別方法在白天的識別準(zhǔn)確率比夜晚要好，在戴太陽鏡時(shí)識別的精度較低，但是就整體而言，識別效果較好.

5結(jié)束語

本文提出了一種融合三類疲勞參數(shù)指標(biāo)加權(quán)和的疲勞識別方法，建立了疲勞識別系統(tǒng)，根據(jù)相應(yīng)的比重進(jìn)行加權(quán)計(jì)算疲勞值來判斷駕駛者的疲勞程度.實(shí)驗(yàn)表明：本文的疲勞識別算法準(zhǔn)確率較高，且效果較好.本文研究的算法，雖然在一定程度上能進(jìn)行疲勞識別，但在太陽光很強(qiáng)和夜晚時(shí)的識別率還不理想.今后的研究可針對不同光照環(huán)境進(jìn)行不同的光照處理，將該識別方法擴(kuò)展到適用于更多的駕駛環(huán)境.另外，因?yàn)樵撟R別方法只根據(jù)駕駛員的面部特征進(jìn)行疲勞識別，未能考慮車輛特征如車輛偏移、車速、轉(zhuǎn)達(dá)向盤轉(zhuǎn)向等特征參數(shù)的影響，如何融合這些特征參數(shù)進(jìn)一步提高識別的準(zhǔn)確率，是下一步的研究方向.

參考文獻(xiàn)

[1] LIANG Z M. A fatigue driving detection algorithm based on support vector machine [J]. Review of Computer Engineering Studies ，2019，6（4）：87-92.

[2] DUA M，SHAKSHI，SINGLA R，et al. Deep CNN models-based ensemble approach to driver drowsiness detection[J]. Neural Computing and Applications，202 33（8）：3155-3168.

[3] DOUDOU M，BOUABDALLAH A，BERGE-CHERFAOUI V. Driver drowsiness measurement technologies：current research，market solutions，and challenges[J]. International Journal of Intelligent Transportation Systems Research，2020，18（2）：297-319.

[4]潘陳聽.深度學(xué)習(xí)在視頻動(dòng)作識別中的應(yīng)用[J].計(jì)算技術(shù)與自動(dòng)化，2020，39（4）：123-127.

PAN C T. Application of deep learning in video action recognition [J]. Computing Technology and Automation，2020，39（4）：123127.（In Chinese）

[5] ABDULLAH M H，RAMAN K J，AZMAN A，et al.Driver fatigue detection [ C ] //Information Science and Applications （ICISA）2016.Singapore：Springer Singapore，2016：269-278.

[6] BRANDT T，STEMMERR，RAKOTONIRAINY A. Affordable visual driver monitoring system for fatigue and monotony[C]//2004

IEEE International Conference on Systems，Man and Cybernetics .The Hague，Netherlands：IEEE，2004：6451-6456.

[7] KAZEMI V，SULLIVAN J.One millisecond face alignment with an ensemble of regression trees[ C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus，OH，USA：IEEE，2014：1867-1874.

[8] SOUKUPOVA T，CECH J. Real-time eye blink detection using facial landmarks[J]// Cent. Mach. Perception，Dep.Cybern. Fac.Electr. Eng. Czech Tech. Univ. Prague，2016：1-8.

[9] LEE W O，LEE E C，PARK K R. Blink detection robust to various facial poses[J].Journal of Neuroscience Methods，2010，193 （2）：356-372 .

[10] PAN G，SUN L，WU Z H，et al.Eyeblink-based anti-spoofing in face recognition from a generic web camera[ C]//2007 IEEE 11th International Conference on Computer Vision.Rio de Janeiro，Brazil：IEEE，2007：1-8.

[11] WENG C H，LAI Y H，LAI S H.Driver drowsiness detection via a hierarchical temporal deep belief network[C]//Computer Vision - ACCV 2016 Workshops. 2017.

[12]黃潔媛，岑翼剛，張琳娜，等.基于卷積神經(jīng)網(wǎng)絡(luò)的人眼狀態(tài)檢測[J].揚(yáng)州大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，21（3）：25-29.

HUANG J Y，CEN Y G，ZHANG L N，et al.Eye state detection based on convolutional neural network[J].Journal of Yangzhou University（Natural Science Edition），2018，21（3）：25-29.（In Chinese）

[13] WU Q，SUN B X，XIE B，et al. A PERCLOS-based driver fatigue recognition application for smart vehicle space[C]//2010 Third International Symposium on Information Processing. Qingdao，China：IEEE，2010：437-441 .

[14] ABTAHI S，SHIRMOHAMMADI S，HARIRI B，et al. A yawning measurement method using embedded smart cameras[C]//2013 IEEE International Instrumentation and Measurement Technology Conference（I2MTC）. Minneapolis，MN，USA：IEEE，2013：1605- 1608.

[15] ABTAHI S，OMIDVEGANEH M，SHIMOHAMMADI S，et al.YawDD：a yawning detection dataset[C]// Proceedings of the 5th ACM Multimedia Systems Conference. MN，USA：IEEE，2014：24-28.

[16]戴詩琪，曾智勇.基于深度學(xué)習(xí)的疲勞駕駛檢測算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2018，27（7）：113-120.

DAI S Q，ZENG Z Y. Fatigue driving detection algorithm based on deep learning [J]. Computer Systems & Applications，2018，27 （7）：113-120.（In Chinese）