基于機(jī)器視覺的疲勞駕駛檢測算法研究

王彥博， 張劍書， 孫新元

（南京工程學(xué)院計(jì)算機(jī)工程學(xué)院， 南京 211167）

0 引 言

疲勞駕駛行為是造成交通事故的主要因素之一，交通事故常常會(huì)造成巨大的經(jīng)濟(jì)損失，甚至威脅到駕乘人的生命安全［1］。 據(jù)交通部統(tǒng)計(jì)，中國每年因疲勞駕駛導(dǎo)致的交通事故約占所有交通事故的20%，在特大交通事故中占比40%，且其發(fā)生數(shù)量呈現(xiàn)出逐年升高的趨勢［2］。 因此，通過各項(xiàng)技術(shù)手段實(shí)現(xiàn)對駕駛員的疲勞檢測，并及時(shí)給予提醒是必要的。

近年來，隨著機(jī)器視覺技術(shù)和機(jī)器學(xué)習(xí)的興起，人臉檢測和面部信息提取技術(shù)得到了進(jìn)一步的發(fā)展，在人工智能等領(lǐng)域發(fā)揮著舉足輕重的作用，基于駕駛員的面部圖像數(shù)據(jù)分析面部狀態(tài)，以實(shí)現(xiàn)對駕駛員疲勞檢測與預(yù)警，在駕駛安全領(lǐng)域具有重要的實(shí)用價(jià)值和研究意義［3］。 Hernandez 等［4］提出了以駕駛員腦電信號(hào)為基礎(chǔ)的疲勞檢測方法；在針對圖像數(shù)據(jù)的疲勞檢測方面，Majdi M S 等［5］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)決策森林的駕駛員注意力分散檢測方法，其分類準(zhǔn)確率能達(dá)到95%。

本文提出了一種基于機(jī)器視覺的駕駛?cè)似跈z測算法，針對車內(nèi)監(jiān)控設(shè)備采集的司機(jī)面部圖像進(jìn)行預(yù)處理，提取出面部關(guān)鍵點(diǎn)信息；融合眼部、嘴部和頭部姿勢3 個(gè)特征，分別檢測駕駛員的眨眼、打哈欠和點(diǎn)頭行為，從而綜合評價(jià)駕駛?cè)说钠跔顟B(tài)。

1 疲勞特征提取

疲勞特征提取是實(shí)現(xiàn)疲勞檢測算法的前提。 與正常狀態(tài)相比，人在疲勞時(shí)，嘴巴、眼睛和頭部姿勢會(huì)表現(xiàn)出較大差異。 因此，基于機(jī)器視覺的疲勞檢測需要先提取被檢測目標(biāo)的相關(guān)面部和頭部運(yùn)動(dòng)特征。 本文基于Dlib（一個(gè)包含機(jī)器學(xué)習(xí)算法和工具的C＋＋工具包）中的人臉關(guān)鍵點(diǎn)檢測技術(shù)實(shí)現(xiàn)面部特征提取，Dlib 提供的人臉檢測模型能夠快速獲取到包括面部、眼睛、鼻子、嘴巴等部位輪廓的68 個(gè)關(guān)鍵點(diǎn)，如圖1 所示。

圖1 面部68 個(gè)關(guān)鍵點(diǎn)位置Fig. 1 The location of the 68 key points on the face

在檢測出這些關(guān)鍵點(diǎn)之后，可以通過計(jì)算眼睛和嘴巴縱向與橫向的比例，來判斷其張開與閉合程度，也可以將這68 個(gè)關(guān)鍵點(diǎn)間的信息，投射在3D模型上，獲得面部的朝向與姿勢，計(jì)算頭部旋轉(zhuǎn)的歐拉角，獲得頭部的姿態(tài)與動(dòng)作。

1.1 基于縱橫比的眨眼特征提取

從檢測到的68 個(gè)關(guān)鍵點(diǎn)中提取出左右眼睛的輪廓坐標(biāo)，并計(jì)算眼部縱橫比EAR（Eye Aspect Ratio），可以估計(jì)駕駛?cè)搜劬Φ膹堥_或閉合程度，眼睛關(guān)鍵點(diǎn)位示意如圖2 所示。

圖2 眼部關(guān)鍵點(diǎn)Fig. 2 Key points of eyes

EAR1與EAR2分別表示左眼與右眼的縱橫比，Pn表示關(guān)鍵點(diǎn)坐標(biāo)（xn，yn） ，左眼關(guān)鍵點(diǎn)序號(hào)為37～42，右眼關(guān)鍵點(diǎn)序號(hào)為43 ～48，取上述關(guān)鍵點(diǎn)對雙眼縱橫比進(jìn)行計(jì)算，公式（1）和公式（2）：

取EAR1與EAR2均值作為駕駛?cè)水?dāng)前狀態(tài)的EAR值。

1.2 基于縱橫比的張嘴特征提取

將縱橫比公式運(yùn)用在嘴部橫縱比MAR（Mouth Aspect Ratio）提取時(shí)，為了準(zhǔn)確計(jì)算嘴巴的張開程度，主要提取序號(hào)為51、59、53、57 的關(guān)鍵點(diǎn)和序號(hào)為49、55 的關(guān)鍵點(diǎn)的橫坐標(biāo)進(jìn)行縱橫比的判斷，嘴部關(guān)鍵點(diǎn)示意圖如圖3 所示。

圖3 嘴部關(guān)鍵點(diǎn)Fig. 3 Key points of mouth

MAR計(jì)算公式（3）如下：

1.3 基于HPE 算法的頭部姿勢特征提取

利用HPE（Head Pose Estimation，HPE）算法進(jìn)行頭部姿勢預(yù)測。 首先需要獲得2D 人臉關(guān)鍵點(diǎn)坐標(biāo)，并將2D 坐標(biāo)分別與3D 人臉模型進(jìn)行匹配，計(jì)算3D 與2D 關(guān)鍵點(diǎn)之間的轉(zhuǎn)換關(guān)系，根據(jù)旋轉(zhuǎn)矩陣求解歐拉角。 轉(zhuǎn)換時(shí)需要使用到世界坐標(biāo)系（UVW）、相機(jī)坐標(biāo)系（XYZ）、圖像中心坐標(biāo)系（uv）和像素坐標(biāo)系（xy）。

世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系，公式（4）：

相機(jī)坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系，公式（5）：

像素坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，公式（6）：

圖像中心坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系，公式（7）：

由公式（4）～公式（7）可以獲得旋轉(zhuǎn)矩陣，基于此可以求出歐拉角，公式（8）：

其中，θ、?和φ分別為章動(dòng)角、旋進(jìn)角和自轉(zhuǎn)角，三者共同構(gòu)成歐拉角。

將2D 人臉關(guān)鍵點(diǎn)與3D 人臉模型進(jìn)行映射匹配，根據(jù)旋轉(zhuǎn)矩陣計(jì)算頭部旋轉(zhuǎn)歐拉角，便可以獲得頭部姿勢和運(yùn)動(dòng)狀態(tài)。

2 駕駛?cè)似跈z測結(jié)果

駕駛?cè)似跈z測算法通過融合EAR、MAR和HPE算法提取的眼部、嘴部和頭部姿勢3 個(gè)特征，實(shí)現(xiàn)對駕駛員面部狀態(tài)的實(shí)時(shí)檢測。 為了獲得更加合理的檢測閾值，本文在模擬疲勞駕駛的視頻數(shù)據(jù)集YawDD 上對算法和數(shù)值變化進(jìn)行了實(shí)驗(yàn)與測試。YawDD 數(shù)據(jù)集中包含29 位志愿者在靜止車輛中模擬長時(shí)間駕駛后的疲勞狀態(tài)錄制的正面視頻，視頻中志愿者的行為包括眨眼、打哈欠、注意力分散、交談等行為，視頻樣例如圖4 所示。

圖4 YawDD 數(shù)據(jù)集樣例Fig. 4 Example of YawDD dataset

通過眨眼、張嘴和頭部姿勢特征提取方法對YawDD 數(shù)據(jù)集中志愿者的視頻進(jìn)行測試，得到的EAR和MAR數(shù)據(jù)變化趨勢曲線如圖5 所示。 從圖5可以發(fā)現(xiàn)，駕駛員在眼睛睜開時(shí)，對應(yīng)的EAR值在0.3 ～0.4 區(qū)間波動(dòng)；而在出現(xiàn)眨眼或閉眼動(dòng)作時(shí)，EAR值則會(huì)瞬間下降至0.2 以下，并趨于0。 因此，可以設(shè)置判斷眨眼的閾值為EAR ＜0.2 且保持2幀。

圖5 YawDD 數(shù)據(jù)集中EAR、MAR 變化曲線示例Fig. 5 Variation curve of EAR and MAR under fatigue state of volunteers in YawDD dataset

另外，駕駛員在正常狀態(tài)下，MAR值較小，交談時(shí)MAR值在0.3～0.5 之間上下波動(dòng)；而在打哈欠時(shí)，MAR值將迅速增大至0.6 及以上，并會(huì)持續(xù)一段時(shí)間。 因此，在進(jìn)行打哈欠檢測時(shí)將MAR閾值設(shè)置為0.6，當(dāng)MAR ＞0.6 并保持12 幀之后，則計(jì)算為打哈欠一次。 此外，駕駛員平視前方時(shí)，視線水平角度約為0°，當(dāng)?shù)皖^打瞌睡時(shí)，平視角度將會(huì)下降，因此可以將低頭檢測的閾值設(shè)置為0.3，即在一段時(shí)間內(nèi)，低頭歐拉角大于20°或平視角度變換比例超過0.3 時(shí)，則認(rèn)為低頭或點(diǎn)頭一次。

經(jīng)過統(tǒng)計(jì)分析，駕駛?cè)嗽谄隈{駛狀態(tài)下的每分鐘平均眨眼次數(shù)超過20 次，打哈欠次數(shù)超過5次，并且會(huì)存在頭部角度較低，以此作為該段時(shí)間內(nèi)疲勞判斷的標(biāo)準(zhǔn)，疲勞檢測的結(jié)果如圖6 所示。

圖6 疲勞檢測結(jié)果Fig. 6 Results of fatigue detection

3 結(jié)束語

本文提出了一種基于機(jī)器視覺的疲勞駕駛檢測方法，通過Dlib 完成了駕駛?cè)嗣娌筷P(guān)鍵點(diǎn)的檢測，并從中提取駕駛?cè)似跔顟B(tài)相關(guān)的特征，基于此實(shí)現(xiàn)對駕駛?cè)似跔顟B(tài)的實(shí)時(shí)檢測。 該方法僅需在車內(nèi)部署一個(gè)小型監(jiān)控?cái)z像頭，而不需要復(fù)雜的腦電設(shè)備或可穿戴設(shè)備，因此不會(huì)對駕駛?cè)说膭?dòng)作或行為造成任何影響，具有一定的實(shí)際應(yīng)用價(jià)值。