基于面部多特征融合的疲勞駕駛檢測(cè)綜述

王 暢，李雷孝，楊艷艷

（1.內(nèi)蒙古工業(yè)大學(xué) 數(shù)據(jù)科學(xué)與應(yīng)用學(xué)院，呼和浩特 010080；2.內(nèi)蒙古自治區(qū)科學(xué)技術(shù)廳 內(nèi)蒙古自治區(qū)基于大數(shù)據(jù)的軟件服務(wù)工程技術(shù)研究中心，呼和浩特 010080）

0 概述

隨著我國(guó)經(jīng)濟(jì)的高速發(fā)展，汽車已成為公民最常用的交通運(yùn)輸工具，近年來(lái)，公路上的實(shí)際車流量一直在急速提升。據(jù)公安部統(tǒng)計(jì)，截止到2022 年3 月底我國(guó)機(jī)動(dòng)車保有量已達(dá)4.02 億輛，其中汽車保有量為3.07 億輛，占機(jī)動(dòng)車總量的76.37%［1］。汽車在給生活提供便利的同時(shí)也帶來(lái)了一系列問(wèn)題，比如交通事故的頻發(fā)。有報(bào)告統(tǒng)計(jì)，在導(dǎo)致交通事故的諸多原因中，疲勞駕駛是肇事致死數(shù)量最多的因素之一，其每年造成的事故死亡人數(shù)占機(jī)動(dòng)車事故死亡人數(shù)的10.9%以上［2］。因此，疲勞駕駛一直是國(guó)家交管部門(mén)及駕駛員非常重視的問(wèn)題。若能在駕駛員疲勞駕駛跡象發(fā)生時(shí)及時(shí)提醒駕駛員進(jìn)行休息，則能有效減少因駕駛員疲勞駕駛而導(dǎo)致的交通事故發(fā)生。

基于單一特征的檢測(cè)方法存在一些不足，如現(xiàn)實(shí)中駕駛員面部可能出現(xiàn)部分遮擋，此時(shí)基于單一特征的判別準(zhǔn)確率不夠穩(wěn)定。因此，大量學(xué)者開(kāi)始研究多特征融合的疲勞駕駛檢測(cè)方法?；诿娌慷嗵卣鞯钠隈{駛檢測(cè)方法主要分為4 個(gè)步驟，即人臉檢測(cè)、特征提取、單特征狀態(tài)判別及多特征融合判別。本文分析不同的面部特征提取方法，探究在不同方法下對(duì)單一特征狀態(tài)和單一特征疲勞的判別，歸納不同特征融合方式下進(jìn)行疲勞判別的差異性，分析討論當(dāng)前檢測(cè)方法中存在的不足并對(duì)未來(lái)的研究方向進(jìn)行展望。

1 疲勞駕駛

1.1 疲勞駕駛的概念

疲勞駕駛一般是指駕駛員在長(zhǎng)時(shí)間精神高度集中的連續(xù)行車后，因腦力和體力消耗而產(chǎn)生的一種生理、心理機(jī)能衰退現(xiàn)象。疲勞駕駛會(huì)造成肌肉上的松弛和精神上的疲倦，導(dǎo)致手腳反應(yīng)能力和預(yù)判能力下降，會(huì)影響到駕駛員的注意力、感覺(jué)、知覺(jué)、思維、判斷、意志、決定和運(yùn)動(dòng)等諸多方面，進(jìn)而使駕駛員產(chǎn)生反應(yīng)遲鈍以及對(duì)外界環(huán)境的感知、判斷能力和控制車輛的能力下降的現(xiàn)象。在早期疲勞駕駛的定義中，文獻(xiàn)［3］認(rèn)為疲勞是一種從清醒到睡眠狀態(tài)的過(guò)渡，疲勞狀態(tài)下駕車更容易引發(fā)交通事故，給自身安全帶來(lái)巨大隱患。

1.2 面部疲勞特征

駕駛員面部的部分特征信息及頭部姿態(tài)變化信號(hào)可以很好地表征疲勞狀態(tài)，在研究中，主要通過(guò)眼部、嘴部和頭部姿態(tài)進(jìn)行分析。輕微疲勞的特征體現(xiàn)為眨眼次數(shù)增多、間歇式打哈欠等；中度疲勞的特征體現(xiàn)為頻繁眨眼且經(jīng)常性揉眼睛、經(jīng)常性點(diǎn)頭、頭部有輕微昏沉等；重度疲勞的特征體現(xiàn)為眼睛干澀且閉合時(shí)間較長(zhǎng)、頻繁打哈欠、反應(yīng)遲鈍或無(wú)法集中注意力等。疲勞駕駛判別所需的具體特征行為如圖1 所示。

圖1 疲勞駕駛判別所需的面部特征Fig.1 Facial features required for fatigue driving discrimination

1.3 疲勞駕駛檢測(cè)流程

基于駕駛員面部特征的疲勞駕駛檢測(cè)是通過(guò)車內(nèi)攝像頭記錄駕駛員駕駛時(shí)的面部狀態(tài)，隨后使用疲勞駕駛檢測(cè)系統(tǒng)對(duì)采集到的面部視頻數(shù)據(jù)進(jìn)行分析并做出結(jié)論的過(guò)程。疲勞駕駛檢測(cè)在實(shí)際情況下具有方便、直觀和非侵入性等優(yōu)點(diǎn)，因此得到了廣泛的研究與應(yīng)用?；诿娌慷嗵卣鞯钠隈{駛檢測(cè)流程如圖2 所示。

圖2 基于面部多特征的疲勞駕駛檢測(cè)流程Fig.2 Fatigue driving detection procedure based on facial multiple features

首先，通過(guò)車內(nèi)攝像頭獲取駕駛員駕駛時(shí)的視頻圖像；然后，使用算法實(shí)現(xiàn)對(duì)視頻的人臉檢測(cè)和跟蹤；隨后，對(duì)面部不同區(qū)域進(jìn)行特征提取，并判別特征狀態(tài)；最后，根據(jù)特征狀態(tài)判別是否疲勞，對(duì)疲勞情況發(fā)出預(yù)警，提醒駕駛員及時(shí)休息，注意駕駛安全。

2 特征提取

由于駕駛員疲勞狀態(tài)的判別主要通過(guò)其面部特征區(qū)域信息分析，因此在檢測(cè)到人臉圖像的基礎(chǔ)上，首先需要利用不同方法提取相應(yīng)區(qū)域的特征。本節(jié)分別對(duì)不同區(qū)域的特征提取方法進(jìn)行深入分析，整理不同提取方法下提取到的信息，進(jìn)而分析不同方法的優(yōu)缺點(diǎn)。由于疲勞行為主要分布在眼部、嘴部和頭部，因此本文重點(diǎn)關(guān)注這3 個(gè)方面。

2.1 眼部區(qū)域特征提取

駕駛員在疲勞狀態(tài)下眼部會(huì)出現(xiàn)眨眼和長(zhǎng)時(shí)間閉眼的現(xiàn)象，這些現(xiàn)象明顯、直觀且便于提取和判別，因此，大量學(xué)者研究眼部特征在疲勞駕駛檢測(cè)中的應(yīng)用。通過(guò)對(duì)大量文獻(xiàn)的調(diào)研發(fā)現(xiàn)，當(dāng)前研究中眼部疲勞狀態(tài)的判別主要通過(guò)2 種不同的方法實(shí)現(xiàn)：一是獲取眼部關(guān)鍵點(diǎn)信息，根據(jù)數(shù)學(xué)計(jì)算判別眼部狀態(tài)；二是獲取眼部感興趣區(qū)域（Region of Interest，ROI）圖像，通過(guò)算法分類判別眼部狀態(tài)。表1 整理了以面部特征點(diǎn)為核心的眼部特征提取方法。

表1 基于面部特征點(diǎn)的眼部特征提取方法Table 1 Eye features extraction methods based on facial feature points

從表1 可以看出，大多數(shù)方法使用Dlib 和多種算法檢測(cè)人臉特征點(diǎn)，提取眼部關(guān)鍵點(diǎn)直接參與眼部狀態(tài)判別。此外，文獻(xiàn)［24-26］中還介紹了另外的檢測(cè)方法。文獻(xiàn)［24］介紹的方法中使用的眼部特征信息由兩部分構(gòu)成，分別是眼部關(guān)鍵點(diǎn)信息和由眼部關(guān)鍵點(diǎn)經(jīng)橢圓擬合后的虹膜圖像。文獻(xiàn)［26］也介紹了一種眼部特征信息由兩部分構(gòu)成的方法，分別是通過(guò)眼部關(guān)鍵點(diǎn)曲線擬合的眼部曲線和眼部曲線對(duì)應(yīng)的外接圓。文獻(xiàn)［25］介紹的方法中眼部特征信息是眼部關(guān)鍵點(diǎn)經(jīng)橢圓擬合后提取的虹膜圖像，通過(guò)虹膜圖像判別駕駛員眼部狀態(tài)。

在提取眼部ROI 圖像時(shí)通常需要在預(yù)先已經(jīng)檢測(cè)到的人臉區(qū)域上找到眼部位置，再提取眼部ROI。在獲取到眼部ROI圖像后，通常還會(huì)進(jìn)行一些后續(xù)處理，突出眼部特征，便于后續(xù)對(duì)眼部狀態(tài)進(jìn)行判別。判別方法都是通過(guò)算法判別圖像上的眼部狀態(tài)。

表2 總結(jié)了近年來(lái)提取眼部ROI 的方法，并整理了對(duì)提取出的眼部ROI 圖像進(jìn)行處理的方法。

表2 眼部ROI 信息提取和處理方法Table 2 Methods of eye ROI information extraction and processing

通過(guò)表2 可知，對(duì)眼部位置的定位可以通過(guò)面部特征點(diǎn)和多種算法獲取，進(jìn)而提取眼部ROI 圖像和眼部窗口信息。表2 中主要介紹獲取眼部ROI 圖像的方法，獲取到的眼部ROI 圖像要進(jìn)行后續(xù)處理才能判別眼睛狀態(tài)。文獻(xiàn)［31-32］介紹了提取眼部窗口信息的方法，通過(guò)信息計(jì)算眼睛張開(kāi)度從而判別眼睛狀態(tài)。值得關(guān)注的是，文獻(xiàn)［28］方法提取眼部橢圓擬合圖像，文獻(xiàn)［29-30］方法則通過(guò)眼部區(qū)域像素點(diǎn)數(shù)目判別眼睛狀態(tài)，文獻(xiàn)［29］方法還提取了眼部窗口信息，綜合2 種信息判別眼部狀態(tài)。

通過(guò)上述總結(jié)發(fā)現(xiàn)，大部分研究成果都是對(duì)駕駛員正臉圖像上的特征進(jìn)行提取。文獻(xiàn)［27］介紹了基于駕駛員側(cè)臉圖像的疲勞判別方法，此方法提取了駕駛員側(cè)臉輪廓線，然后提取側(cè)臉各區(qū)域特征以判別疲勞。但是，該方法停留在提取特征信息這一步，提取的特征信息在疲勞判別時(shí)的準(zhǔn)確性和實(shí)時(shí)性等未作實(shí)驗(yàn)驗(yàn)證，實(shí)際可行性仍需進(jìn)一步驗(yàn)證。

綜上所述，當(dāng)前提取眼部區(qū)域特征的技術(shù)主要分為基于面部特征點(diǎn)和人臉對(duì)齊算法這兩種。本節(jié)根據(jù)2 種技術(shù)整理分析了近些年眼部特征提取方法，發(fā)現(xiàn)提取到的特征也分為眼部關(guān)鍵點(diǎn)信息和眼部ROI 圖像2 類。表3 對(duì)2 種眼部特征在不同方法下的優(yōu)點(diǎn)、缺點(diǎn)和適用場(chǎng)景進(jìn)行了總結(jié)。

綜上所述，眼部關(guān)鍵點(diǎn)信息的優(yōu)點(diǎn)是便于數(shù)學(xué)計(jì)算，通過(guò)數(shù)值直觀展示眼部特征信息，在判別狀態(tài)的方法上簡(jiǎn)明扼要；缺點(diǎn)主要是遮擋、光照、眼睛大小等因素對(duì)數(shù)值影響較大。缺點(diǎn)產(chǎn)生的原因是特征信息反饋為數(shù)值，數(shù)字波動(dòng)非常敏感，任何輕微的變化都會(huì)直接反饋在數(shù)字上。此外，不同人眼睛的差異對(duì)數(shù)值影響較大，相同數(shù)值對(duì)不同人可能代表不同含義。這些缺點(diǎn)導(dǎo)致了其更適用于正面角度和小角度下的正常光照。但也有學(xué)者研究了適用于夜間環(huán)境提取眼部關(guān)鍵點(diǎn)信息的方法，雖然準(zhǔn)確率低于正常光照時(shí)的情況，但是結(jié)果已得到了提升。至于眼鏡遮擋產(chǎn)生的影響，當(dāng)前研究成果中主要通過(guò)調(diào)節(jié)閾值標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)眼鏡佩戴者的眼部狀態(tài)判別。

眼部ROI 圖像中包含的眼部窗口信息等可通過(guò)數(shù)學(xué)計(jì)算判別狀態(tài)，其優(yōu)點(diǎn)是提取方法簡(jiǎn)單，計(jì)算結(jié)果簡(jiǎn)明扼要；缺點(diǎn)是提取信息單一，眼睛大小對(duì)計(jì)算結(jié)果影響較大，判別準(zhǔn)確率較低。眼部ROI 圖像通過(guò)算法分類判別的優(yōu)點(diǎn)是遮擋、光照、眼睛大小等因素對(duì)判別結(jié)果影響較小，算法準(zhǔn)確率高；缺點(diǎn)是提取到圖像后還需后續(xù)處理，流程更繁瑣，并且算法分類的方法對(duì)模型預(yù)訓(xùn)練要求較高。在適用場(chǎng)景方面，眼部ROI 圖像在多角度視頻、正常光照、夜間環(huán)境、眼鏡遮擋等場(chǎng)景中都適用，但是在夜間環(huán)境和遮擋情況下準(zhǔn)確率低于正常情況。

任何方法都無(wú)法在墨鏡遮擋下提取眼部特征，因此，上述方法適用場(chǎng)景的前提是無(wú)墨鏡遮擋。

2.2 嘴部區(qū)域特征提取

除眼部區(qū)域特征外，多種疲勞駕駛檢測(cè)方法中也會(huì)使用嘴部特征作為輔助信息來(lái)判別疲勞。因此，嘴部區(qū)域的特征信息也非常重要。本節(jié)將總結(jié)整理疲勞駕駛檢測(cè)系統(tǒng)中對(duì)嘴部區(qū)域特征的提取方法，分析不同方法下提取到的不同特征信息及其優(yōu)缺點(diǎn)。

與眼部相似，嘴部特征信息也劃分為嘴部關(guān)鍵點(diǎn)信息和嘴部ROI 圖像。表4 整理了以面部特征點(diǎn)為核心的嘴部特征提取方法。

表4 基于面部特征點(diǎn)的嘴部特征提取方法Table 4 Mouth features extraction method based on facial feature points

通過(guò)表4 可以發(fā)現(xiàn)，和眼部關(guān)鍵點(diǎn)信息提取相似，在嘴部關(guān)鍵點(diǎn)信息提取的過(guò)程中，也主要使用Dlib 獲取人臉全部特征點(diǎn)后定位提取嘴部關(guān)鍵點(diǎn)信息。除Dlib 外，還可以使用多種算法模型檢測(cè)人臉特征點(diǎn)。

在檢測(cè)到人臉特征點(diǎn)之后，嘴部特征的獲取除文獻(xiàn)［26］外都是直接將嘴部關(guān)鍵點(diǎn)信息作為特征信息通過(guò)計(jì)算判別嘴部狀態(tài)。文獻(xiàn)［26］介紹的方法中，嘴部關(guān)鍵點(diǎn)信息與其眼部信息處理方法相同，也是通過(guò)擬合嘴部曲線及曲線對(duì)應(yīng)的外接圓作為嘴部特征用于后續(xù)判別使用，在判別時(shí)的方法也相同。

提取嘴部ROI 圖像的方法和表2 中眼部ROI 圖像提取方法相似，通常需要在預(yù)先已經(jīng)檢測(cè)到的人臉區(qū)域上找到嘴部位置，從而將嘴部ROI 圖像劃分出來(lái)。表5 總結(jié)了近年來(lái)提取嘴部窗口信息的各種方法。通過(guò)表5 可以發(fā)現(xiàn)，當(dāng)前學(xué)者們通常使用算法模型在人臉圖像上獲取所需的嘴部位置并提取嘴部ROI 圖像或嘴部窗口信息，其方法與表2 中獲取眼部ROI 圖像和眼部窗口信息的方法相同。而且，大部分方法直接將提取到的嘴部ROI 圖像或嘴部窗口信息作為嘴部特征，少量方法使用其他信息作為嘴部特征。文獻(xiàn)［27］介紹了獲取駕駛員側(cè)臉嘴部區(qū)域輪廓線并作為特征的方法，其他文獻(xiàn)中都是獲取駕駛員正臉圖像上的嘴部特征。文獻(xiàn)［30］介紹了通過(guò)嘴部區(qū)域像素點(diǎn)數(shù)目判別嘴部狀態(tài)的方法。

表5 嘴部ROI 信息提取和處理方法Table 5 Methods of mouth ROI information extraction and processing

本節(jié)整理分析了近些年對(duì)嘴部特征提取的研究成果，發(fā)現(xiàn)當(dāng)前提取嘴部特征的技術(shù)、提取的特征信息及其優(yōu)缺點(diǎn)都和眼部相似。表6 對(duì)2 種嘴部特征在不同方法下的優(yōu)點(diǎn)、缺點(diǎn)和適用場(chǎng)景進(jìn)行了總結(jié)。

表6 2 種嘴部特征在不同方法下的優(yōu)點(diǎn)、缺點(diǎn)及適用場(chǎng)景Table 6 Advantages，disadvantages and application scenarios of the two mouth features in different methods

總體來(lái)說(shuō)，嘴部特征的優(yōu)缺點(diǎn)與適用場(chǎng)景和眼部相似。因此，嘴部關(guān)鍵點(diǎn)也更適用于正面和小角度的正常光照，嘴部ROI 圖像也更適用于多角度視頻、正常光照等。兩者在夜間環(huán)境下準(zhǔn)確率都低于正常情況。除此之外，嘴部特征要在無(wú)遮擋情況下才能提取，因此，所有適用場(chǎng)景的前提都是無(wú)遮擋。

每種嘴部特征的提取和判別方法都會(huì)因說(shuō)話等張嘴行為而影響嘴部狀態(tài)判別的準(zhǔn)確率。因此，在嘴部狀態(tài)判別中，將張嘴準(zhǔn)確判別為打哈欠或說(shuō)話等行為，是嘴部狀態(tài)判別的重難點(diǎn)。

2.3 頭部姿態(tài)特征提取

除眼部和嘴部區(qū)域的特征外，還會(huì)使用頭部姿態(tài)輔助判別疲勞。因此，頭部姿態(tài)信息也很重要。本節(jié)將總結(jié)整理頭部姿態(tài)提取方法，分析不同方法下提取到的不同信息及其優(yōu)缺點(diǎn)。

文獻(xiàn)［48］介紹了人頭部姿態(tài)的變化情況，將其分為Pitch、Yaw 和Roll 3 個(gè)角度。頭部姿態(tài)的變動(dòng)方向如圖3 所示。

圖3 頭部姿態(tài)的變動(dòng)方向Fig.3 Change direction of head posture

在圖3 中，Pitch、Yaw、Roll 分別對(duì)應(yīng)三維空間中的x、y、z軸。駕駛員的點(diǎn)頭行為可以理解為頭部繞x和z軸運(yùn)動(dòng)，對(duì)應(yīng)Pitch 和Roll 軸的變化；頭部左右晃動(dòng)的行為是繞y軸的運(yùn)動(dòng)，對(duì)應(yīng)Yaw 軸變化。在疲勞駕駛檢測(cè)系統(tǒng)中通過(guò)計(jì)算頭部姿態(tài)在各角度上的變化，結(jié)合其他特征來(lái)判別疲勞。表7 中整理了頭部姿態(tài)提取方法和提取出的各種信息。

表7 頭部姿態(tài)提取方法和提取的信息Table 7 Head pose extraction methods and extracted information

通過(guò)表7 可以發(fā)現(xiàn)，學(xué)者們通常使用頭部在三維各角度的姿態(tài)變化。此外，文獻(xiàn)［27］介紹了獲取側(cè)臉下頜區(qū)域輪廓線以判別頭部姿態(tài)的方法，文獻(xiàn)［20，49］介紹了使用面部特征點(diǎn)計(jì)算相關(guān)數(shù)據(jù)以對(duì)應(yīng)各角度變化的方法。

駕駛員頭部在三維各角度的特征提取方法是獲取到人臉特征點(diǎn)后，通過(guò)算法或者計(jì)算求解得出頭部姿態(tài)的變化。雖然目前在頭部姿態(tài)上的提取方法不多，但是綜合來(lái)看，大多以坐標(biāo)系轉(zhuǎn)換為核心，并且在選取多角度變化上，大多選取Pitch 軸的變化來(lái)判別疲勞，這是因?yàn)镻itch 軸反映點(diǎn)頭行為，疲勞判別準(zhǔn)確性最高。其中，文獻(xiàn)［8，14-15］介紹的方法中還選取了Roll 軸輔助Pitch 軸判別，文獻(xiàn)［16］介紹的方法則選取Yaw 軸輔助Pitch 軸判別，文獻(xiàn)［41］介紹的方法選取3 個(gè)軸的變化來(lái)判別。還有方法不使用Pitch 軸，文獻(xiàn)［10］選取單Yaw 軸判別，文獻(xiàn)［23］選取Roll、Yaw 這2 個(gè)軸上的變化判別疲勞。

本節(jié)整理分析了近些年對(duì)頭部特征提取的研究成果，表8 總結(jié)了不同特征信息在不同方法下的優(yōu)點(diǎn)、缺點(diǎn)和適用場(chǎng)景。

表8 不同頭部特征信息在不同方法下的優(yōu)點(diǎn)、缺點(diǎn)及適用場(chǎng)景Table 8 Advantages，disadvantages and application scenarios of different head feature information in different methods

綜上所述，因?yàn)轭^部特征信息都是數(shù)值信息，所以都具有清晰直觀的優(yōu)點(diǎn)和數(shù)字變化敏感、閾值判別易失誤的缺點(diǎn)，而且都是在獲取到人臉關(guān)鍵點(diǎn)后提取特征，適用場(chǎng)景都相同。

除此之外，提取的特征信息是頭部在3 個(gè)角度上的變化情況時(shí)，特征信息直接體現(xiàn)頭部狀態(tài)，有利于提高判別準(zhǔn)確率；缺點(diǎn)是提取方法復(fù)雜、繁瑣。而特征信息是人臉關(guān)鍵點(diǎn)計(jì)算所得的數(shù)值信息時(shí)，因?yàn)閿?shù)據(jù)為直接計(jì)算所得，所以提取更簡(jiǎn)潔；缺點(diǎn)是它間接反映頭部姿態(tài)，判別準(zhǔn)確率不夠穩(wěn)定，還需進(jìn)一步提升。

3 特征狀態(tài)判別

從不同特征區(qū)域提取出相應(yīng)的關(guān)鍵信息后，需要對(duì)提取的信息做出判斷以得到結(jié)論，然后根據(jù)不同部位的特征結(jié)論分析駕駛員的疲勞狀態(tài)。本節(jié)分別整理總結(jié)不同特征區(qū)域?qū)?shù)據(jù)的判別方法。

3.1 眼部特征狀態(tài)判別

眼部特征區(qū)域要根據(jù)提取到的眼部特征信息判別眼睛的開(kāi)閉狀態(tài)。在判別時(shí)由于提取的特征信息不同，判別方法也有所差異。根據(jù)特征信息類別可將判別方法分為2 種：一是根據(jù)關(guān)鍵點(diǎn)信息或眼部窗口信息等，采用數(shù)學(xué)計(jì)算的方法進(jìn)行判別；二是根據(jù)眼部ROI 圖像等，采用不同算法進(jìn)行分類判別。

3.1.1 數(shù)學(xué)計(jì)算判別

關(guān)于關(guān)鍵點(diǎn)信息和眼部窗口信息，通過(guò)公式計(jì)算得出相關(guān)數(shù)值，根據(jù)預(yù)先設(shè)置的閾值判斷眼睛狀態(tài)。提取出的6 個(gè)人眼關(guān)鍵點(diǎn)信息如圖4 所示。

圖4 眼部關(guān)鍵點(diǎn)信息Fig.4 Eye key point information

在圖4 中，Pi(i=1,2,…,6)為眼部6 個(gè)關(guān)鍵點(diǎn)的坐標(biāo)信息。根據(jù)坐標(biāo)信息計(jì)算得到眼部縱橫比（Eye Aspect Ratio，EAR），其計(jì)算公式如下：

為了確定眼睛在不同狀態(tài)下EAR 值的變化情況，根據(jù)駕駛員駕駛視頻進(jìn)行疲勞判別實(shí)驗(yàn)，實(shí)時(shí)記錄一段時(shí)間內(nèi)駕駛員眼部視頻流數(shù)據(jù)的EAR 值變化情況，結(jié)果如圖5、圖6 所示，圖5 為駕駛員正常狀態(tài)下EAR 值的變化情況，圖6 為駕駛員疲勞狀態(tài)下EAR 值的變化情況。

圖5 正常狀態(tài)下EAR 值的變化情況Fig.5 Changes of EAR values under normal conditions

圖6 疲勞狀態(tài)下EAR 值的變化情況Fig.6 Changes of EAR values under fatigue conditions

從中可以看出，駕駛員眼睛閉合與張開(kāi)狀態(tài)下EAR 值有顯著差異，在閉眼時(shí)EAR 值會(huì)顯著下降。在圖5 的正常狀態(tài)下，閉眼次數(shù)很少，大部分時(shí)候EAR 值在0.28～0.32 之間，只記錄到1 次閉眼，其EAR 值顯著下降至0.18 以下；在圖6 的疲勞狀態(tài)下，發(fā)生了長(zhǎng)時(shí)間持續(xù)閉眼和多次眨眼，圖中EAR 值長(zhǎng)時(shí)間連續(xù)低于0.15，還記錄到了3 次EAR 值下降到0.15 之下的變化。因此得出結(jié)論，EAR 值在判別眼睛開(kāi)閉狀態(tài)上具有很高的參考意義，但是在當(dāng)前研究中，閾值標(biāo)準(zhǔn)在不同方法中各有不同。

對(duì)于眼部窗口信息，需要計(jì)算窗口縱橫比來(lái)判別眼部狀態(tài)。眼部窗口縱橫比計(jì)算公式如下：

其中：Ymax-Ymin為眼部窗口信息中的高度；Xmax-Xmin為長(zhǎng)度；Z為高度與長(zhǎng)度的比值。

此外，還有研究方法［34］通過(guò)計(jì)算眼部縱向差值，根據(jù)閾值標(biāo)準(zhǔn)判別眼睛的開(kāi)閉狀態(tài)。

3.1.2 算法分類判別

除數(shù)學(xué)計(jì)算的方法外，眼部ROI 圖像等根據(jù)不同算法分類判別眼睛開(kāi)閉狀態(tài)。表9 總結(jié)了根據(jù)眼部ROI 圖像判別眼部狀態(tài)的方法。

表9 眼部ROI 圖像分類判別方法Table 9 Classification and discrimination methods of eye ROI images

通過(guò)表9 的總結(jié)可知，當(dāng)前研究中主要通過(guò)不同算法實(shí)現(xiàn)對(duì)輸入眼部ROI 圖像的分類判別，最終得到眼部開(kāi)閉狀態(tài)。此外，文獻(xiàn)［28］介紹了通過(guò)橢圓擬合方法對(duì)眼球圖像擬合，再根據(jù)由預(yù)先實(shí)驗(yàn)總結(jié)的標(biāo)準(zhǔn)判斷擬合圖像狀態(tài)的方法。文獻(xiàn)［4］介紹的方法也不同于大部分研究，其輸入信息并非常用的眼部ROI 圖像，而是眼部特征向量。

3.2 嘴部特征狀態(tài)判別

嘴部特征狀態(tài)判別和眼部相似。嘴部區(qū)域提取到的特征信息為嘴部關(guān)鍵點(diǎn)信息和嘴部ROI 窗口信息，嘴部區(qū)域?qū)烧叩呐袆e與眼部判別也相似，即針對(duì)關(guān)鍵點(diǎn)信息或ROI 窗口信息，根據(jù)數(shù)學(xué)計(jì)算方法判別嘴部閉合程度。

針對(duì)嘴部關(guān)鍵點(diǎn)信息和嘴部ROI 窗口信息，都是利用其坐標(biāo)數(shù)據(jù)根據(jù)公式計(jì)算得出數(shù)值，然后依據(jù)設(shè)置的不同閾值來(lái)判斷嘴部閉合程度。提取出的嘴部關(guān)鍵點(diǎn)信息如圖7 所示。

圖7 嘴部關(guān)鍵點(diǎn)信息Fig.7 Mouth key point information

在圖7 中，Mi(i=1,2,…,6)為嘴部6 個(gè)關(guān)鍵點(diǎn)的坐標(biāo)信息。根據(jù)圖中關(guān)鍵點(diǎn)坐標(biāo)計(jì)算得出嘴部縱橫比（Mouth Aspect Ratio，MAR），其計(jì)算公式如下：

為了確定在不同狀態(tài)下嘴部MAR 值的變化情況，根據(jù)駕駛員駕駛視頻進(jìn)行嘴部疲勞判別實(shí)驗(yàn)，實(shí)時(shí)記錄一段時(shí)間內(nèi)駕駛員嘴部視頻流數(shù)據(jù)的MAR值變化情況，結(jié)果如圖8、圖9 所示。圖8 為駕駛員正常狀態(tài)下MAR 值的變化情況，圖9 為駕駛員疲勞狀態(tài)下MAR 值的變化情況。

圖8 正常狀態(tài)下MAR 值的變化情況Fig.8 Changes of MAR values under normal conditions

圖9 疲勞狀態(tài)下MAR 值的變化情況Fig.9 Changes of MAR values under fatigue conditions

從中可以看出，駕駛員在嘴部閉合和張開(kāi)狀態(tài)下MAR 值具有顯著差異，且不同狀態(tài)下嘴巴的張開(kāi)程度也不同，如在說(shuō)話、吃東西和打哈欠狀態(tài)下嘴巴張開(kāi)程度都不一樣，在MAR 值上也體現(xiàn)出了差異。圖8 中正常狀態(tài)下MAR 值雖然因說(shuō)話發(fā)生了提高，但其最高值未超過(guò)0.55；圖9 中有說(shuō)話和打哈欠2 種情況造成的MAR 值提升，其中打哈欠時(shí)MAR 值超過(guò)了0.8，說(shuō)話時(shí)MAR 值最高不超過(guò)0.6。綜合2 張圖可以明顯發(fā)現(xiàn)，在說(shuō)話和打哈欠的狀態(tài)下MAR 值均會(huì)顯著提升，但是說(shuō)話時(shí)MAR 值的提升程度不足打哈欠的一半，因此，可以根據(jù)MAR 值判斷嘴部張開(kāi)程度，從而判別疲勞狀態(tài)。但是在當(dāng)前研究中，閾值標(biāo)準(zhǔn)在不同方法中也不同。

與眼部窗口信息相同，對(duì)于駕駛員的嘴部窗口信息，同樣計(jì)算窗口的縱橫比，通過(guò)與閾值的對(duì)比來(lái)判定嘴部狀態(tài)。嘴部窗口縱橫比計(jì)算公式如下：

其中：Ymax-Ymin為嘴部窗口信息中的高度；Xmax-Xmin為長(zhǎng)度；Z為高度與長(zhǎng)度的比值。

3.3 頭部姿態(tài)狀態(tài)判別

當(dāng)駕駛員處于疲勞狀態(tài)時(shí)，頭部通常表現(xiàn)為頻繁點(diǎn)頭和姿態(tài)異常。通過(guò)表7 的總結(jié)可知，多數(shù)方法都會(huì)觀察頭部姿態(tài)在Pitch 軸上的變化，通過(guò)點(diǎn)頭情況判別疲勞狀態(tài)。但是，文獻(xiàn)［48］發(fā)現(xiàn)正常情況下頭部姿態(tài)的變化范圍有一個(gè)固定值，研究后給定了一般頭部在3 個(gè)角度上的最大變化范圍。因此，很多學(xué)者通過(guò)多角度變化判斷頭部姿態(tài)的異常情況，從而判斷駕駛員的疲勞狀態(tài)。

在頭部姿態(tài)的判別中，不同方法中判別疲勞狀態(tài)的閾值標(biāo)準(zhǔn)設(shè)定也有所不同。如文獻(xiàn)［12］方法判別點(diǎn)頭的Pitch 軸變化標(biāo)準(zhǔn)為30°，而文獻(xiàn)［14］方法中Pitch 軸的變化標(biāo)準(zhǔn)為25°。因此，在參考他人研究成果的同時(shí)，還要通過(guò)預(yù)先實(shí)驗(yàn)確定判別標(biāo)準(zhǔn)，保證疲勞判別的準(zhǔn)確率。

4 疲勞判別

在疲勞狀態(tài)下，眼部、嘴部和頭部都可能會(huì)出現(xiàn)一些癥狀。因此，疲勞狀態(tài)的判別就是通過(guò)眼部、嘴部和頭部姿態(tài)信息進(jìn)行判別。部分研究通過(guò)單特征即可分析判別疲勞，但是大多數(shù)還是根據(jù)多特征信息綜合判別疲勞。本節(jié)首先總結(jié)單特征疲勞判別方法，然后整理分析多特征融合的疲勞判別方法。

4.1 單特征疲勞判別

單特征判別疲勞根據(jù)提取到的駕駛員特征分為單眼部特征疲勞判別、單嘴部特征疲勞判別和單頭部姿態(tài)疲勞判別。

4.1.1 眼部特征疲勞判別

通過(guò)駕駛員眼部特征判別疲勞采取的方法是對(duì)駕駛員的眨眼頻率和眼部閉合時(shí)間進(jìn)行計(jì)算。利用文獻(xiàn)［51］經(jīng)過(guò)大量實(shí)驗(yàn)和驗(yàn)證提出的測(cè)量疲勞的PERCLOS 參數(shù)來(lái)判別駕駛員疲勞程度，是當(dāng)前根據(jù)眼部特征判別疲勞最可靠、最有效、最常用的方法。PERCLOS 指單位時(shí)間內(nèi)閉眼時(shí)間占總時(shí)間的百分比，計(jì)算方法如下：

在PERCLOS 方法中，有3 種較為常用的標(biāo)準(zhǔn)，分別為P70、P80、EM。EM、P70、P80 分別指當(dāng)眼睛閉合程度超過(guò)50%、70%、80%時(shí)即看作眼睛閉合。其中，P80 最為常用，在多篇通過(guò)眼部特征判別疲勞的文獻(xiàn)中都使用了P80 標(biāo)準(zhǔn)作為指標(biāo)。

眨眼頻率也可作為疲勞判別的指標(biāo)，其計(jì)算公式如下：

其中：NTB是單位時(shí)間內(nèi)的眨眼次數(shù)；NT是單位時(shí)間內(nèi)的總幀數(shù)；fB是單位時(shí)間內(nèi)的眨眼頻率。

最長(zhǎng)持續(xù)閉眼時(shí)長(zhǎng)也經(jīng)常作為一個(gè)判別指標(biāo)，其通過(guò)記錄連續(xù)閉眼幀數(shù)獲取。

根據(jù)調(diào)研發(fā)現(xiàn)，不同方法中判定標(biāo)準(zhǔn)不盡相同，但是均采用了PERCLOS、眨眼頻率、最長(zhǎng)持續(xù)閉眼時(shí)長(zhǎng)等指標(biāo)中的一個(gè)或多個(gè)來(lái)判別疲勞狀態(tài)。而且，大部分方法通過(guò)眼部特征結(jié)合其他特征來(lái)綜合判別疲勞，僅少數(shù)方法是通過(guò)單眼部特征進(jìn)行判別，包括文獻(xiàn)［28-29，31，34，52-56］中的方法。

4.1.2 嘴部特征疲勞判別

嘴部特征判別疲勞是通過(guò)對(duì)駕駛員在單位時(shí)間內(nèi)打哈欠次數(shù)、頻率等數(shù)據(jù)的計(jì)算來(lái)判別疲勞。打哈欠頻率的計(jì)算公式如下：

其中：NTY是單位時(shí)間內(nèi)打哈欠的次數(shù)；NT是單位時(shí)間內(nèi)的總幀數(shù)；fY是單位時(shí)間內(nèi)打哈欠的頻率。

單位時(shí)間內(nèi)打哈欠的幀數(shù)占總幀數(shù)的百分比可用式（8）表示：

最長(zhǎng)持續(xù)打哈欠時(shí)長(zhǎng)有時(shí)也會(huì)作為嘴部的疲勞判別指標(biāo)，通過(guò)記錄連續(xù)張嘴圖像幀數(shù)獲取。

通過(guò)調(diào)研大量文獻(xiàn)發(fā)現(xiàn)，嘴部特征通常是輔助眼部特征來(lái)判別駕駛員疲勞。嘴部特征雖然不是主要成分，但是加入后準(zhǔn)確率得到了提升。在2020年后發(fā)表的研究中，很多都綜合了眼部與嘴部的特征來(lái)判別疲勞，由此可見(jiàn)嘴部特征在疲勞判別中的重要性。

4.1.3 頭部姿態(tài)疲勞判別

駕駛員疲勞時(shí)通常會(huì)伴隨頻繁點(diǎn)頭和頭部?jī)A斜、晃動(dòng)等現(xiàn)象。因此，頭部姿態(tài)疲勞判別時(shí)可以根據(jù)單位時(shí)間內(nèi)點(diǎn)頭次數(shù)、點(diǎn)頭頻率、姿態(tài)異常頻率等指標(biāo)進(jìn)行判斷。點(diǎn)頭頻率的計(jì)算公式如下：

其中：NTN是單位時(shí)間內(nèi)點(diǎn)頭的次數(shù)；NT是單位時(shí)間內(nèi)的總幀數(shù)；fN是單位時(shí)間內(nèi)點(diǎn)頭的頻率。

姿態(tài)異常頻率根據(jù)式（10）計(jì)算所得：

其中：NTP是單位時(shí)間內(nèi)姿態(tài)異常的次數(shù)；fP是單位時(shí)間內(nèi)姿態(tài)異常的頻率。

頭部姿態(tài)一般也僅作為輔助標(biāo)準(zhǔn)，結(jié)合其他區(qū)域特征來(lái)共同判別駕駛員疲勞狀態(tài)。

4.2 多特征融合疲勞判別

由于多特征融合的疲勞判別方法比單特征判別方法考慮的因素更多、更全面，因此近年來(lái)更多的疲勞駕駛檢測(cè)方法是基于多特征融合來(lái)判別的。本節(jié)對(duì)不同特征的融合判別進(jìn)行深入分析，研究各種方法的內(nèi)在聯(lián)系與差異。

4.2.1 眼部與嘴部特征融合

表10 總結(jié)了一些眼部與嘴部特征融合的疲勞判別方法，在不同判別方法下使用的判別疲勞特征信息有所差異。

表10 眼部與嘴部特征融合的疲勞判別方法Table 10 Fatigue discrimination method based on fusion of eye and mouth features

在融合眼部特征與嘴部特征判別疲勞的方法研究中，都是根據(jù)眼部和嘴部特征判別疲勞的多種參數(shù)，綜合判別駕駛員疲勞狀態(tài)，主要利用眼部的PERCLOS 參數(shù)、眨眼頻率、眨眼次數(shù)和嘴部的打哈欠頻率、打哈欠次數(shù)。其中，大多數(shù)研究還停留在綜合考慮階段，只有少數(shù)文獻(xiàn)介紹了將多特征融合落實(shí)到具體數(shù)學(xué)公式上的疲勞判別方法，這種落實(shí)在具體數(shù)學(xué)公式上的疲勞判別方法更具直觀性，將來(lái)更具研究?jī)r(jià)值。

4.2.2 眼部與頭部特征融合

眼部特征與頭部姿態(tài)融合的疲勞判別研究比較少見(jiàn)，當(dāng)前僅文獻(xiàn)［23］使用眼部特征結(jié)合頭部姿態(tài)綜合判別駕駛員疲勞狀態(tài)，它根據(jù)眼部的PERCLOS參數(shù)、眨眼頻率融合頭部的點(diǎn)頭頻率和姿態(tài)異常頻率，綜合判斷駕駛員疲勞狀態(tài)。

4.2.3 眼部、嘴部和頭部特征融合

眼部、嘴部和頭部3 種特征信息融合的疲勞判別方法在近年來(lái)有了少量的研究成果，其與眼部、嘴部特征融合相似，在眼部、嘴部融合的基礎(chǔ)上結(jié)合頭部特征判別疲勞。

表11 總結(jié)了當(dāng)前眼部、嘴部、頭部3 種特征融合的疲勞判別方法。

表11 眼部、嘴部和頭部特征融合的疲勞判別方法Table 11 Fatigue discrimination method based on fusion of eye，mouth，and head features

可以發(fā)現(xiàn)，3 個(gè)特征融合和2 個(gè)特征融合相似，主要都是綜合考慮多種參數(shù)來(lái)判別駕駛員疲勞狀態(tài)。只有文獻(xiàn)［16，26］方法通過(guò)數(shù)學(xué)公式加權(quán)計(jì)算多特征參數(shù)的綜合疲勞指數(shù)，這種體現(xiàn)在具體數(shù)學(xué)關(guān)系上的方法相較于其他方法更具參考性，但是各參數(shù)對(duì)應(yīng)的具體權(quán)重還需進(jìn)一步研究。

4.3 不同特征疲勞判別分析

在當(dāng)前研究中，眼部、嘴部和頭部特征成為疲勞判別的重要標(biāo)準(zhǔn)。在疲勞判別時(shí)，3 種不同特征發(fā)揮的作用不同，對(duì)判別結(jié)果產(chǎn)生的影響也不同。表12針對(duì)當(dāng)前研究成果總結(jié)了3 種特征單獨(dú)使用和多特征融合的優(yōu)缺點(diǎn)及適用范圍，并分析了其對(duì)疲勞判別產(chǎn)生的影響。從表12 可以看出，多特征融合判別較單一特征判別方法更復(fù)雜，流程更繁瑣，算法理解難度和模型預(yù)訓(xùn)練要求都更高。雖然這些缺點(diǎn)導(dǎo)致多特征融合的實(shí)現(xiàn)難度高于單一特征，但是多特征融合較單一特征考慮得更加全面，準(zhǔn)確率更高。因此，多特征融合成為近年來(lái)疲勞判別的重要研究方向。眼部、嘴部和頭部這3 種特征有一些共性，都受光照影響較大，但是憑借多年的技術(shù)進(jìn)步和研究，也都實(shí)現(xiàn)了夜間環(huán)境下的疲勞判別，只是準(zhǔn)確率仍有提升空間。3 種特征提取方法和疲勞判別方法也都較為成熟，強(qiáng)有力的技術(shù)支撐使得各種疲勞判別方法都易實(shí)現(xiàn)。

在3 種特征中，眼部特征對(duì)疲勞判別最為重要，這主要是由于駕駛員容易出現(xiàn)佩戴口罩和帽子的情況，對(duì)嘴部和頭部特征的提取影響更大，存在提取特征失敗的可能。而眼部特征在受遮擋情況下大多只是因?yàn)榕宕餮坨R而影響準(zhǔn)確率，少數(shù)情況下才會(huì)因配戴墨鏡而使得特征提取失敗。適用場(chǎng)景方面也充分證明了這一點(diǎn)，眼部特征只需保證無(wú)墨鏡遮擋，其他都要保證完全無(wú)遮擋。因此，在面部特征中眼部特征對(duì)疲勞判別最為重要，其他特征主要用于輔助眼部特征。

5 未來(lái)展望

當(dāng)前學(xué)者們?cè)诨诿娌慷嗵卣魅诤系钠隈{駛檢測(cè)領(lǐng)域開(kāi)展了大量研究工作，并得到了一定成果，但是在以下方面還需要進(jìn)行發(fā)展或改進(jìn)：

1）近年來(lái)，多特征融合較單特征方法更流行，其中，融合眼部與嘴部特征較融合眼部和頭部特征成果更多，融合3 種特征的方法也逐漸展示出成果。因此，本文認(rèn)為基于多特征融合判別疲勞仍是該領(lǐng)域的熱點(diǎn)，值得進(jìn)一步研究。

2）在多特征融合的疲勞判別方法中，有部分使用多特征加權(quán)計(jì)算來(lái)判別疲勞，但是當(dāng)前成果較少，主要還只是對(duì)多特征的綜合考慮，未體現(xiàn)到具體的數(shù)學(xué)關(guān)系上。而且，研究成果中計(jì)算多特征指標(biāo)的權(quán)重各有不同，難以確定最優(yōu)結(jié)果。因此，通過(guò)數(shù)學(xué)公式體現(xiàn)多特征與疲勞之間的關(guān)系并確定合適的權(quán)重，需要進(jìn)行探索。

3）當(dāng)前研究對(duì)現(xiàn)實(shí)中可能存在的問(wèn)題考慮不夠充分。在現(xiàn)實(shí)中，駕駛員車內(nèi)攝像頭位置是隨機(jī)的，圖像并非都是正面的，而當(dāng)前成果主要是對(duì)正面圖像進(jìn)行處理與判別，對(duì)側(cè)面圖像的研究很少，僅文獻(xiàn)［27］意圖對(duì)側(cè)面圖像提取特征并判別疲勞，但其止步于提取側(cè)臉特征信息，未通過(guò)實(shí)驗(yàn)驗(yàn)證其特征判別疲勞的準(zhǔn)確性。因此，通過(guò)駕駛員側(cè)面判別疲勞值得進(jìn)一步探索。

4）當(dāng)駕駛員頭部姿態(tài)快速變化、處于大角度的側(cè)面狀態(tài)或佩戴墨鏡時(shí)，當(dāng)前方法容易出現(xiàn)無(wú)法追蹤到人臉或是無(wú)法檢測(cè)到人臉關(guān)鍵點(diǎn)的情況。因此，提高在各種情況下人臉追蹤和人臉關(guān)鍵點(diǎn)定位技術(shù)的穩(wěn)定性是一個(gè)重要的研究方向。

6 結(jié)束語(yǔ)

基于面部多特征的疲勞駕駛檢測(cè)方法對(duì)駕駛員具有非侵入性的優(yōu)點(diǎn)，便于在實(shí)際中應(yīng)用。本文調(diào)研大量疲勞駕駛檢測(cè)方法的相關(guān)研究，總結(jié)分析依據(jù)不同面部特征判別疲勞的方法，歸納不同特征在疲勞駕駛狀態(tài)判別時(shí)使用的參數(shù)，介紹基于單一特征和多特征融合的疲勞判別方法。同時(shí)，總結(jié)當(dāng)前基于面部多特征融合的疲勞駕駛檢測(cè)領(lǐng)域面臨的一些挑戰(zhàn)。未來(lái)可重點(diǎn)關(guān)注多特征融合的疲勞判別和駕駛員側(cè)面狀態(tài)下的疲勞判別，推動(dòng)疲勞判別方法在實(shí)際中的應(yīng)用和發(fā)展。