基于DCNN與HMM融合的疲勞駕駛檢測(cè)方法研究

方 斌， 王 巖, 楊降勇, 胡 鵬

(湖南警察學(xué)院 交通管理系， 湖南 長(zhǎng)沙 410138)

0 引言

疲勞駕駛是造成道路交通事故，尤其是高速道路交通事故的主要因素[1]，根據(jù)統(tǒng)計(jì)，每年大概11.9%交通事故是由于疲勞駕駛造成的?；谝曈X(jué)的檢測(cè)方法方便應(yīng)用在駕駛室里面，因此被廣泛地用于疲勞檢測(cè)研究中。2005年，張笑非等[2]在國(guó)內(nèi)率先采用基于視覺(jué)的駕駛員疲勞檢測(cè)，隨著深度學(xué)習(xí)的廣泛應(yīng)用，2017年Reddy等[3]首次提出將基于深度卷積網(wǎng)絡(luò)壓縮技術(shù)應(yīng)用于疲勞檢測(cè)中，然而該方法缺乏駕駛員時(shí)序信息。

目前基于視覺(jué)的疲勞檢測(cè)的具體實(shí)現(xiàn)方法包括圖1所示的3種。方法1直接采用人臉檢測(cè)特征提取各個(gè)點(diǎn)后，根據(jù)各個(gè)點(diǎn)的位置輸出判斷閾值，該方法簡(jiǎn)單可用于輕便化的開(kāi)發(fā)板中。2018年Chellappa等[4]采用Dlib進(jìn)行人臉特征點(diǎn)檢測(cè)，但頭部偏轉(zhuǎn)時(shí)，特征點(diǎn)檢測(cè)誤差不好處理；羅元等[5]提出了基于人眼信息特征的人體疲勞檢測(cè)，但頭部姿勢(shì)偏轉(zhuǎn)過(guò)大時(shí)，人眼定位效果還有待進(jìn)一步提高。方法2在特征檢測(cè)后對(duì)眼睛、嘴巴進(jìn)行劃分，然后再進(jìn)行深度卷積網(wǎng)絡(luò)識(shí)別[6]，該方法需要多次對(duì)原始圖像人臉進(jìn)行操作，缺乏對(duì)駕駛員時(shí)序狀態(tài)的判斷。方法3考慮到先驗(yàn)知識(shí)，把預(yù)先訓(xùn)練好的網(wǎng)絡(luò)參數(shù)送入到網(wǎng)絡(luò)分類中，其中網(wǎng)絡(luò)分類主要包括2019年呂立程等[7]提出的采用貝葉斯網(wǎng)絡(luò)和2018年Mingheng等[8]提出的采用隱馬爾可夫模型。其它方法還包括基于眼睛運(yùn)動(dòng)的LSTM(Long Short-Term Memory)[9]等，但其輸出結(jié)果較為單一，且需假設(shè)人臉特征檢測(cè)結(jié)果較為準(zhǔn)確。

圖1 常用的駕駛員疲勞檢測(cè)方法

1 基于DCNN與HMM融合的駕駛員疲勞檢測(cè)

駕駛疲勞是一個(gè)從狀態(tài)良好到重度疲勞的時(shí)序過(guò)程。針對(duì)特征點(diǎn)檢測(cè)后，直接利用眼睛、嘴巴上特征點(diǎn)位置檢測(cè)駕駛疲勞狀態(tài)存在一定的檢測(cè)誤差[10]的情況，本文提出了一種基于DCNN與HMM融合的駕駛疲勞檢測(cè)研究，采用基于深度學(xué)習(xí)的駕駛員眼睛、嘴巴狀態(tài)檢測(cè)，對(duì)圖像進(jìn)行多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(MTCNN)[11]的人臉區(qū)域和人臉5個(gè)特征點(diǎn)檢測(cè)，然后采用三層卷積神經(jīng)網(wǎng)絡(luò)分別輸出眼睛、嘴巴狀態(tài)。最后根據(jù)訓(xùn)練數(shù)據(jù)獲得的HMM模型和當(dāng)前駕駛員狀態(tài)信息估計(jì)該駕駛員的疲勞狀態(tài)等級(jí)，其流程如圖2所示。

1.1 基于深度學(xué)習(xí)的人臉眼睛嘴巴狀態(tài)檢測(cè)

隨著深度學(xué)習(xí)的廣泛應(yīng)用，人臉檢測(cè)、人臉特征點(diǎn)提取、人臉表情識(shí)別等相關(guān)的研究也常用深度學(xué)習(xí)方法。本文采用基于深度學(xué)習(xí)的人臉檢測(cè)和人臉特征點(diǎn)一體的檢測(cè)方法MTCNN。駕駛員通常離攝像頭最近、像素值，因此選擇最大的人臉檢測(cè)和人臉特征點(diǎn)提取，通過(guò)MTCNN網(wǎng)絡(luò)后輸出最大的人臉框和人臉5個(gè)特征點(diǎn)的位置坐標(biāo)。然后采用人臉正則化，把面部以及特征點(diǎn)歸一到統(tǒng)一坐標(biāo)為150×150的坐標(biāo)位置。分別根據(jù)左、右眼以及嘴巴的特征點(diǎn)，提取坐標(biāo)點(diǎn)區(qū)域的圖像，采用三層卷積神經(jīng)網(wǎng)絡(luò)輸出左、右眼和嘴巴狀態(tài)。此外，通過(guò)人臉正則化使得頭部偏轉(zhuǎn)后轉(zhuǎn)正，可以適應(yīng)于頭部小角度偏轉(zhuǎn)的場(chǎng)景，如圖3所示。

圖2 駕駛員疲勞檢測(cè)流程圖

圖3 基于深度學(xué)習(xí)的人臉眼睛嘴巴狀態(tài)檢測(cè)

1.1.1眼睛、嘴巴狀態(tài)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)層

眼睛、嘴巴狀態(tài)識(shí)別是獲取駕駛員疲勞狀態(tài)的主要部分，眼睛閉合和打哈欠都可能引起駕駛員疲勞。本文眼睛和嘴巴狀態(tài)分為“0”和“1”兩種，因此選擇輕量級(jí)三層網(wǎng)絡(luò)作為本文眼睛和嘴巴狀態(tài)識(shí)別的網(wǎng)絡(luò)。眼睛和嘴巴狀態(tài)識(shí)別卷積網(wǎng)絡(luò)結(jié)構(gòu)如下：輸入層(×28×28)，卷積層1(32×28×28)，池化層1(32×14×14)，卷積層2(64×14×14)，池化層2(64×7×7)，全連接層(1×128)，SoftMax層(2)。使用卷積層給神經(jīng)網(wǎng)絡(luò)帶來(lái)的好處是能夠提取到圖像的邊緣特征(見(jiàn)圖4)。通過(guò)池化層(一般為最大池化層)進(jìn)行池化，能夠?qū)⑻卣髦凶顬槊黠@的部分提取出來(lái)，在盡量不損失特征的情況下，達(dá)到縮小特征數(shù)量的目的，最后通過(guò)SoftMax層輸出眼睛或者嘴巴的狀態(tài)信息，“1”代表眼睛閉合和嘴巴張開(kāi)的狀態(tài)，“0”代表眼睛睜開(kāi)和嘴巴閉合的狀態(tài)。

圖4 眼睛嘴巴狀態(tài)識(shí)別卷積網(wǎng)絡(luò)層

1.1.2頭部姿態(tài)定位

頭部姿態(tài)定位是駕駛員狀態(tài)的一部分，當(dāng)駕駛員頻繁低頭、或長(zhǎng)時(shí)間低頭時(shí)，說(shuō)明駕駛員出現(xiàn)疲勞；當(dāng)駕駛員頻繁跟其他人說(shuō)話時(shí)頭部?jī)A斜角較大，容易造成行車安全事故。本文以標(biāo)準(zhǔn)人臉5個(gè)特征點(diǎn)(見(jiàn)圖5)為基準(zhǔn)的三維坐標(biāo)，二維圖像上的5個(gè)特征點(diǎn)通過(guò)投影變換轉(zhuǎn)化為三維坐標(biāo)點(diǎn)，可得到人臉的旋轉(zhuǎn)矩陣和平移矩陣。

圖5 標(biāo)準(zhǔn)人臉5個(gè)特征點(diǎn)

設(shè)(xw，yw，zw)是三維世界坐標(biāo)系中目標(biāo)點(diǎn)p的三維坐標(biāo)，像素坐標(biāo)分別為和(u，v)。R、T矩陣分別為頭部的旋轉(zhuǎn)和平移矩陣。圖像坐標(biāo)和世界坐標(biāo)的關(guān)系可以表述為：

(1)

識(shí)別的人臉特征點(diǎn)為5個(gè)點(diǎn)，10個(gè)已知量，求解6個(gè)參數(shù)，因此根據(jù)RANSAC擬合可獲得最佳的角度估計(jì)值。本文采用OpenCV自帶的函數(shù)cv::solvePnP求解該過(guò)程[12]。圖6為駕駛員的頭部姿態(tài)檢測(cè)，本文采用立方體的畫(huà)線方式，可更直觀地描述駕駛員的頭部姿態(tài)。

圖6 頭部姿態(tài)檢測(cè)

1.2 基于HMM的駕駛員疲勞檢測(cè)研究

1.2.1HMM的駕駛員疲勞檢測(cè)模型

HMM是一種用于數(shù)學(xué)統(tǒng)計(jì)的模型，包含隱含狀態(tài)的隨機(jī)轉(zhuǎn)移過(guò)程和隱含狀態(tài)下對(duì)應(yīng)的可觀測(cè)變量狀態(tài)。HMM被運(yùn)用到模式識(shí)別、圖像處理等領(lǐng)域并取得較好的效果[13]。

本文駕駛員的參數(shù)包括平均閉眼次數(shù)Neye、哈欠頻率Nmouth和低頭頻率Nhead，把駕駛員疲勞分為3個(gè)不同的狀態(tài):不疲勞、輕度疲勞和重度疲勞，如表1所示。

表1 疲勞參數(shù)指標(biāo)各個(gè)等級(jí)級(jí)別平均閉眼次數(shù)/min哈欠頻率/(次·min-1)低頭頻率/(次·min-1)不疲勞S1<12<1<5輕度疲勞S212～181～25～15嚴(yán)重疲勞S3>18>3>15

HMM可以用λ={π，A，B}表示(見(jiàn)圖7)，定義的3個(gè)參數(shù)概率含義如下。

π：初始概率矢量π=[π1，π2，π3]，給定的觀察序列O=o1，o2，…，or在t=1時(shí)刻下各個(gè)狀態(tài)的概率分布，由于駕駛員一般開(kāi)始的精神狀態(tài)良好，因此選擇π=[1.0，0.0，0.0]。

B： 觀測(cè)序列的概率矩陣(混淆矩陣)B=[bij]3×M，其中M為每個(gè)狀態(tài)對(duì)應(yīng)的可能觀測(cè)值數(shù)目，觀測(cè)值為平均閉眼時(shí)間、哈欠頻率和低頭頻率3種，因此M可能有27種可能。B為觀測(cè)序列O中的任意觀察值，它為隨機(jī)變量或隨機(jī)矢量在各狀態(tài)的觀察概率空間分布，其中,其初值得選取很大程度上會(huì)對(duì)最終模型準(zhǔn)確度產(chǎn)生影響。

圖7 HMM示意圖

1.2.2HMM參數(shù)估計(jì)

HMM參數(shù)估計(jì)主要是針對(duì)λ={π，A，B}中A、B的值，定義駕駛員的觀察值序列長(zhǎng)度為N，狀態(tài)基準(zhǔn)序列為Q。利用數(shù)理統(tǒng)計(jì)方法統(tǒng)計(jì)出該時(shí)段內(nèi)基準(zhǔn)狀態(tài)為j的個(gè)數(shù)Qj，觀測(cè)值狀態(tài)為i的個(gè)數(shù)Mi，則矩陣B中的各元素取值為：

(2)

利用BW算法[14]對(duì)HMM進(jìn)行訓(xùn)練時(shí)，在模型參數(shù)初始值選定基礎(chǔ)上利用式(3)進(jìn)行反復(fù)迭代，通過(guò)轉(zhuǎn)移概率估計(jì)值進(jìn)行評(píng)估，直到矩陣A和B達(dá)到最優(yōu)解。

(3)

BW算法不需對(duì)初始參數(shù)A、B進(jìn)行特別選取，只需隨機(jī)選取，在不斷地優(yōu)化過(guò)程中即可達(dá)到全局最優(yōu)。

1.2.3HMM狀態(tài)估計(jì)實(shí)現(xiàn)

計(jì)算輸出概率P(O|λ)可以通過(guò)“前向-后向”算法來(lái)實(shí)現(xiàn)。定義前向變量a(i)為給定HMM參數(shù)λ，輸出部分觀察序列{O1，O2，…，OT}，則在t時(shí)刻處于狀態(tài)Si的概率為at(i)=P(O1O2…Ot，qt=si|λ)，定義變量β(i)為給定HMM參數(shù)λ，觀察序列在t時(shí)刻處于狀態(tài)Si，則系統(tǒng)輸出部分觀察序列{Ot+1，Ot+2，…，OT}的概率βt(i)=P(Ot+1，Ot+2，…，OT，qt=si|λ)。通過(guò)前向、后向變量，可以得到輸出概率：

(4)

P(O|λ)處于某種狀態(tài)概率最大時(shí)，認(rèn)定為該狀態(tài)。

2 基于CNN與HMM融合的駕駛員疲勞檢測(cè)試驗(yàn)

試驗(yàn)在軟件環(huán)境Ubuntu18.04下進(jìn)行，硬件環(huán)境由搭載3.7GHZ的Intel i7-8700K處理器、11G顯存的GTX 2080Ti圖形處理器、32G的內(nèi)存構(gòu)成。

首先采用YawDD數(shù)據(jù)集作為疲勞檢測(cè)的標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)本文算法進(jìn)行訓(xùn)練和測(cè)試，該數(shù)據(jù)集包含不同膚色、種族、性別、身高的駕駛員視頻。然后安排5名駕駛員分別在模擬駕駛室環(huán)境下工作2 h以獲取數(shù)據(jù)，每分鐘讀取一次平均閉眼時(shí)間、哈欠頻率和低頭頻率。試驗(yàn)流程如圖8所示：

圖8 試驗(yàn)流程

2.1 基于CNN與HMM融合的駕駛員疲勞檢測(cè)訓(xùn)練

根據(jù)文獻(xiàn)[2]Dlib特征點(diǎn)檢測(cè)的方法對(duì)駕駛員進(jìn)行訓(xùn)練，采用眼睛和嘴巴位置特征點(diǎn)的閾值對(duì)其進(jìn)行閉上眼睛和張開(kāi)嘴巴的判斷。

(5)

式中: EAR(Eye Aspect Ratio)為眼睛睜開(kāi)閉合程度，p為眼睛上的特征點(diǎn)坐標(biāo)。

當(dāng)EYE

HMM的數(shù)據(jù)訓(xùn)練采用參數(shù)加權(quán)法[15]的方式對(duì)駕駛員疲勞進(jìn)行檢測(cè)。當(dāng)疲勞等級(jí)Flevel處于臨界值時(shí)，需要人工進(jìn)行標(biāo)記。

Flevel=aNeye+bNmouth+cNhead

(6)

2.2 基于深度學(xué)習(xí)的人臉眼睛嘴巴狀態(tài)檢測(cè)

人臉眼睛嘴巴狀態(tài)檢測(cè)采用Caffe深度學(xué)習(xí)框架進(jìn)行訓(xùn)練，將配置文件轉(zhuǎn)化為NCNN模型[16]，方便輕量化以及集成。本文眼睛、嘴巴的訓(xùn)練和測(cè)試樣本大概為2萬(wàn)張，隨機(jī)選擇1.5萬(wàn)張作為訓(xùn)練樣本，0.5萬(wàn)張作為測(cè)試樣本。數(shù)據(jù)集標(biāo)簽種類為表1所示的不疲勞、輕度疲勞以及嚴(yán)重疲勞3個(gè)疲勞等級(jí)。眼睛訓(xùn)練和測(cè)試的精度及召回率如圖9所示。當(dāng)眼睛訓(xùn)練達(dá)到900次以上時(shí)，精度達(dá)到98%，召回率達(dá)到98%；由于嘴巴相對(duì)眼睛圖像背景單一，因此嘴巴訓(xùn)練600次后精度達(dá)到98%，召回率達(dá)到98%。

a) 眼睛訓(xùn)練的精度結(jié)果

b) 嘴巴訓(xùn)練的結(jié)果

c) 眼睛訓(xùn)練的召回率結(jié)果

d) 嘴巴訓(xùn)練的召回率結(jié)果

2.3 基于HMM的駕駛員疲勞檢測(cè)研究

采用式(3)獲取HMM中的參數(shù)，然后采用式(4)獲取駕駛員當(dāng)前處于不同狀態(tài)下的概率，狀態(tài)(S1，S2，S3)中某個(gè)概率越高，則認(rèn)為是該狀態(tài)。本文首先采用YawDD數(shù)據(jù)集作為疲勞檢測(cè)的標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)本文算法進(jìn)行訓(xùn)練和測(cè)試。圖10為不同方法的識(shí)別結(jié)果，各個(gè)參數(shù)加權(quán)與真實(shí)值的對(duì)比，點(diǎn)線為真實(shí)值，實(shí)線為本文算法的值，虛線為各個(gè)參數(shù)加權(quán)的值，為了增加直觀感覺(jué)，本文在實(shí)線和虛線點(diǎn)的數(shù)值基礎(chǔ)上分別加0.1和0.2。

試驗(yàn)結(jié)果表明，本文方法的準(zhǔn)確率為88.5%，各個(gè)參數(shù)加權(quán)的準(zhǔn)確率為77.6%，本文準(zhǔn)確率提高約10.9%，能有效地解決因狀態(tài)檢測(cè)和突變?cè)斐傻恼`差。此外，由于本文采用的深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)少，在11G顯存GTX 2080Ti的單幀檢測(cè)時(shí)間為150 ms，可為后續(xù)輕量化硬件平臺(tái)移植提供可能。

圖10 不同方法的識(shí)別結(jié)果圖

將本文的方法與文獻(xiàn)[3， 4， 6，17]中提出的疲勞檢測(cè)方法從檢測(cè)部位、是否考慮駕駛員頭部位置、準(zhǔn)確性以及速度等方面進(jìn)行比較。其中，準(zhǔn)確性表示正確識(shí)別出的疲勞狀態(tài)次數(shù)和總檢測(cè)次數(shù)的比值，對(duì)比結(jié)果如表2所示。

表2 不同的駕駛員疲勞檢測(cè)方法作者/文獻(xiàn)方法檢測(cè)部位考慮駕駛員頭部位置準(zhǔn)確性/%速度/msKIM W [6]圖片直接經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)后全連接層輸出眼睛、嘴巴、頭部是(頭部姿態(tài)放入卷積網(wǎng)絡(luò)中訓(xùn)練)82.34460Reddy B[3]提取人臉特征點(diǎn)后各區(qū)域融合送入深度學(xué)習(xí)網(wǎng)絡(luò)眼睛、嘴巴否91.6163Chellppa A[4]臉部特征點(diǎn)檢測(cè)臉部特征點(diǎn)+眼睛定位否—910Celona L[17]Dlib特征點(diǎn)檢測(cè)后各區(qū)域融合送入深度學(xué)習(xí)網(wǎng)絡(luò)眼睛、嘴巴、頭部是(頭部姿態(tài)放入卷積網(wǎng)絡(luò)中訓(xùn)練)83.44> 910本文DCNN與HMM融合的駕駛員疲勞檢測(cè)眼睛、嘴巴、頭部是(采集標(biāo)定減少模型大小和訓(xùn)練次數(shù))88.5150

3 結(jié)語(yǔ)

駕駛疲勞是一個(gè)從狀態(tài)良好到重度疲勞的時(shí)序過(guò)程，本文提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)與隱馬爾可夫模型(HMM)融合的駕駛員疲勞檢測(cè)方法，針對(duì)眼睛和嘴巴狀態(tài)單一的問(wèn)題，構(gòu)建三層DCNN網(wǎng)絡(luò)來(lái)識(shí)別眼睛和嘴巴閉合狀態(tài)；針對(duì)訓(xùn)練樣本人工標(biāo)記困難，提出結(jié)合人工標(biāo)記、采用Dlib特征點(diǎn)檢測(cè)和疲勞參數(shù)加權(quán)獲取駕駛員疲勞等級(jí)的方法進(jìn)行標(biāo)記。試驗(yàn)結(jié)果表明，該方法識(shí)別準(zhǔn)確率較傳統(tǒng)方法提高約10%，能有效地解決因狀態(tài)檢測(cè)和突變?cè)斐傻恼`差；且單幀檢測(cè)時(shí)間約為150 ms，滿足實(shí)時(shí)性要求，可后續(xù)應(yīng)用于輕量化硬件平臺(tái)。然而車載運(yùn)動(dòng)過(guò)程中會(huì)因抖動(dòng)干擾等造成數(shù)據(jù)存在一定的誤差，外界環(huán)境干擾也會(huì)使駕駛員的狀態(tài)變化復(fù)雜。此外，當(dāng)頭部偏轉(zhuǎn)角度較大，對(duì)面部特征的提取同樣會(huì)帶來(lái)挑戰(zhàn)，這些都將是后續(xù)研究的重點(diǎn)。