基于面部特征分析的疲勞駕駛檢測方法

胡習(xí)之， 黃冰瑜

(華南理工大學(xué)機(jī)械與汽車工程學(xué)院, 廣州 510641)

疲勞駕駛是交通事故的主要誘因之一,美國國家高速交通安全管理局統(tǒng)計(jì)表明,17%～21%的交通事故與駕駛?cè)藛T的精神狀態(tài)有關(guān)[1]。疲勞駕駛問題的根本誘因?yàn)轳{駛員安全意識薄弱、休息時(shí)間不規(guī)律、連續(xù)高強(qiáng)度集中作業(yè)等,僅在規(guī)章制度上約束難以根絕此類事故。因此,除了加強(qiáng)駕駛作業(yè)管理、合理安排長途運(yùn)輸,提升相關(guān)智能駕駛輔助預(yù)警系統(tǒng)的性能是一項(xiàng)重要途徑。針對疲勞駕駛檢測的相關(guān)研究中,主要有主觀檢測和客觀檢測兩種辦法?？陀^檢測指對駕駛員行駛過程中的生理和心理相關(guān)特異性指標(biāo)進(jìn)行檢測,如行車數(shù)據(jù)、生理狀態(tài)、視覺特征。行車數(shù)據(jù)極易受駕駛員個(gè)人行為習(xí)慣、技術(shù)水平、車型及道路狀況影響[2-3],主要作為判定輔助?；谏硇盘柕钠跈z測技術(shù)通過穿戴設(shè)備采集駕駛員的腦電、心電等生理信號,進(jìn)行清醒及疲勞特征差異分析[4]。生理信號采集需要駕駛員穿戴設(shè)備,屬于侵入性檢測,成本也相對高,不利于實(shí)際應(yīng)用推廣?；谝曈X特征的疲勞駕駛檢測方法依據(jù)視頻采集設(shè)備獲得駕駛員實(shí)時(shí)駕駛圖像,對圖像進(jìn)行后期處理,可獲得駕駛員面部、頭部、手部等的特征參數(shù),判斷疲勞狀態(tài)[5-6]。與前兩種技術(shù)手段相比,該方法對硬件設(shè)備要求低、可移植性強(qiáng),算法優(yōu)化空間大,是疲勞檢測領(lǐng)域的主流檢測方法。

常用的面部疲勞特征檢測方法可分為基于機(jī)器學(xué)習(xí)的檢測算法和基于深度學(xué)習(xí)的檢測算法。基于機(jī)器學(xué)習(xí)的算法采用滑動窗口的檢測策略,利用灰度積分法、哈爾特征等提取視覺特征,通過支持向量機(jī)(support vector machine,SVM)、自適應(yīng)增強(qiáng)算法(adaptive boosting,AdaBoost)等分類器識別眼睛閉合度、哈欠動作等疲勞特征[7]。該方法原理簡單直觀,易于設(shè)計(jì)及優(yōu)化,但人工設(shè)計(jì)特征的魯棒性不足,檢測精度易受光線變化、遮擋缺失等環(huán)境因素影響?；谏疃葘W(xué)習(xí)的檢測算法利用卷積神經(jīng)網(wǎng)絡(luò)提取隱式特征,對疲勞動作的判別精度大大提高,但復(fù)雜的模型結(jié)構(gòu)影響檢測速度,在實(shí)時(shí)檢測中的應(yīng)用受到阻礙。

針對實(shí)時(shí)疲勞駕駛檢測的特點(diǎn),結(jié)合深度學(xué)習(xí)模型及機(jī)器學(xué)習(xí)模型設(shè)計(jì)一套基于面部特征分析的駕駛員疲勞檢測系統(tǒng)。在人臉檢測環(huán)節(jié),對SSD(single shot multi box detector)目標(biāo)檢測模型進(jìn)行優(yōu)化,后續(xù)使用目標(biāo)跟蹤算法進(jìn)行駕駛員人臉區(qū)域定位,以平衡人臉定位的精度及效率。在人臉定位的基礎(chǔ)上,使用級聯(lián)回歸樹模型提取面部特征點(diǎn),以特征點(diǎn)相對位置的變化作為疲勞檢測依據(jù)。計(jì)算并使用眼部閉合百分比、最大閉眼時(shí)長、眨眼頻率及哈欠次數(shù)作為疲勞特征參數(shù),建立多指標(biāo)融合模型以提高系統(tǒng)準(zhǔn)確率及魯棒性。

1 基于改進(jìn)SSD的人臉檢測算法

1.1 SSD模型結(jié)構(gòu)

SSD是一種端對端的基于回歸的One-stage目標(biāo)檢測算法[8],具有檢測速度快、檢測精度高的優(yōu)點(diǎn)。SSD可針對不同尺度的目標(biāo),使用卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測物體位置、判定所屬類別、計(jì)算置信度。最后利用非極大值抑制(non maximum suppression,NMS)算法綜合多層特征圖的信息給出檢測結(jié)果。SSD模型基本框架如圖1所示。

圖2 基于ResNet50的SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 SSD network structure based on ResNet50

圖1 SSD模型基本框架Fig.1 Basic structure of SSD

1.2 改進(jìn)SSD模型結(jié)構(gòu)

SSD采用VGG-16(visual geometry group-16)[9]作為基礎(chǔ)模型,該網(wǎng)絡(luò)結(jié)構(gòu)簡單,由若干卷積層堆疊成較深的網(wǎng)絡(luò)。由于結(jié)構(gòu)限制,若進(jìn)一步加深網(wǎng)絡(luò)將面臨梯度消失問題,因此使用ResNet-50(residual network-50)[10]作為主干網(wǎng)絡(luò)。

ResNet-50的特點(diǎn)是引進(jìn)了殘差模塊,釋放了深層網(wǎng)絡(luò)的優(yōu)化潛力。具體做法為,在部分網(wǎng)絡(luò)的輸入輸出之間添加一個(gè)恒等映射的快捷連接,即在原輸出上做加和,加和部分為原始輸入。其計(jì)算公式為

H(x)=F(x)+x

(1)

式(1)中:x為殘差模塊的輸入；F(x)為殘差；H(x)為經(jīng)過第一層線性變化并激活后的輸出。

更換主干網(wǎng)絡(luò)后的SSD模型結(jié)構(gòu)如圖2所示。

1.3 分類損失函數(shù)替換

在目標(biāo)檢測算法中,不處在Ground Truth和背景過渡區(qū)域的先驗(yàn)框稱為易分樣本,具有較大損失值、對網(wǎng)絡(luò)收斂具有重要作用的先驗(yàn)框稱為難分樣本。為避免大量駕駛室的背景樣本抑制少數(shù)難分樣本,引入Focal Loss[11]代替原分類損失函數(shù)Softmax Loss。

二分類任務(wù)的FL(Focal Loss)公式為

FL(pt)=-αt(1-pt)γIn(pt)

(2)

(3)

式(2)中:pt表示模型預(yù)測的當(dāng)前樣本屬于true class的概率；p表示模型預(yù)測的當(dāng)前樣本屬于其中一個(gè)類別的概率；y為類別標(biāo)簽；αt為平衡因子,0<αt<1；γ為權(quán)重因子,0<γ<5。

對于二分類任務(wù),αt=0.25,γ=2時(shí)有最佳檢測效果。可知,pt越大,(1 -pt)γ權(quán)重就越小,從而使模型更關(guān)注困難、易錯(cuò)樣本。

1.4 模型訓(xùn)練及評估

為訓(xùn)練并驗(yàn)證模型性能,采集駕駛員人臉圖像以構(gòu)建實(shí)驗(yàn)樣本集。通過安裝在靜止車輛前方的攝像頭,拍攝駕駛位上的人員的面部視頻。視頻拍攝期間,駕駛員會模擬看左右后視鏡、車內(nèi)后視鏡、儀表盤等一系列駕駛行為。提取視頻中的圖像并進(jìn)行手動標(biāo)注,形成包含5 000張樣本的人臉數(shù)據(jù)集,標(biāo)注樣本如圖3所示。

共設(shè)置120輪迭代,并采用自適應(yīng)學(xué)習(xí)率衰減、數(shù)據(jù)增強(qiáng)、過擬合早停等技巧。模型訓(xùn)練環(huán)境配置如表1所示。

在自建的人臉數(shù)據(jù)集上驗(yàn)證改進(jìn)前后的模型性能。通常用平均正確率(average precision,AP)反映檢測精度,用畫面每秒傳輸幀數(shù)(frames per second,FPS)反映圖像處理速度。實(shí)驗(yàn)數(shù)據(jù)如表2所示。

圖3 標(biāo)注圖像示例Fig.3 Annotation samples

表1 訓(xùn)練環(huán)境配置

實(shí)驗(yàn)表明,改進(jìn)SSD算法的檢測精度顯著提升,比原SSD算法提高7.0%的平均正確率。同時(shí),由于卷積層加深,模型檢測速度有一定下降。為提高人臉定位效率,引入CamShift(continuously adaptive MeanShift)跟蹤算法及卡曼濾波機(jī)制。

表2 改進(jìn)前后模型性能

2 基于改進(jìn)CamShift的跟蹤算法

2.1 改進(jìn)CamShift的基本原理

將CamShift跟蹤算法[12]與卡爾曼濾波算法[13]相結(jié)合,提出一種跟蹤預(yù)測算法。

CamShift是由MeanShift算法改進(jìn)得到的自適應(yīng)均值漂移算法[10],其原理為使用MeanShift算法在顏色概率密度分布圖進(jìn)行迭代運(yùn)算,找出目標(biāo)在當(dāng)前幀的位置。設(shè)I(x,y)為像素點(diǎn)(x,y)在顏色概率密度分布圖中對應(yīng)的概率估計(jì)值,定義概率密度分布的零階矩M00和一階矩M10、M01分別為

(4)

(5)

(6)

運(yùn)動目標(biāo)的質(zhì)心坐標(biāo)為

(7)

依據(jù)零階矩反映的長寬度調(diào)整窗口大小,依據(jù)求得的質(zhì)心坐標(biāo)調(diào)整搜索框的中心到質(zhì)心位置。

由于CamShift算法對顏色空間敏感度高,易受相近顏色或光線變化干擾,因此增加卡爾曼濾波預(yù)測機(jī)制。

卡爾曼濾波狀態(tài)方程為

Xt=AXt-1+Wt-1

(8)

式(8)中:Xt和Xt-1分別為t時(shí)刻和t-1時(shí)刻的狀態(tài)向量；Wt-1表示過程噪聲。

觀測方程:

Zt=HXt+Vt

(9)

式(9)中:Zt表示t時(shí)刻的觀測向量；A為相應(yīng)的狀態(tài)轉(zhuǎn)移矩陣；H為觀測矩陣；Vt表示測量噪聲。

Kalman濾波利用觀測數(shù)值對狀態(tài)變量的預(yù)測估計(jì)進(jìn)行修正,得到狀態(tài)值的最優(yōu)估計(jì)。算法融合的具體策略如圖4所示。

圖4 改進(jìn)CamShift跟蹤預(yù)測算法流程圖Fig.4 Flow chart of improved CamShift algorithm

改進(jìn)CamShift跟蹤預(yù)測算法的具體策略為:將初始化人臉區(qū)域輸入CamShift進(jìn)行跟蹤,并實(shí)時(shí)判斷判斷是否出現(xiàn)顏色干擾或者嚴(yán)重遮擋,若有大面積的顏色干擾或遮擋,則用卡爾曼濾波器的預(yù)測值作為當(dāng)前幀的質(zhì)心位置,并自動更新作為下一幀CamShift跟蹤算法計(jì)算的質(zhì)心位置。

采用巴氏距離來度量跟蹤區(qū)域的相似性。巴氏距離計(jì)算兩個(gè)統(tǒng)計(jì)樣本的重疊量,以衡量兩組樣本的相關(guān)性[14],其定義為

(10)

式(10)中：pu(f)為測量對象樣本；qu為參考樣本；m為樣本分區(qū)數(shù)目；u為當(dāng)前樣本分區(qū)；ρ[pu(f),qu]越大,表示所構(gòu)造模型間相似性越高,取值最大的即為匹配度最高的候選目標(biāo)模型。

2.2 跟蹤效果實(shí)驗(yàn)

使用改進(jìn)CamShift算法進(jìn)行不同情況下的運(yùn)動目標(biāo)跟蹤。

2.2.1 一般情況

如圖5所示,藍(lán)色框?yàn)镃amShift算法計(jì)算結(jié)果,綠色圓圈為卡爾曼濾波器預(yù)測結(jié)果。運(yùn)動目標(biāo)在視頻范圍內(nèi)移動并發(fā)生尺度變化,算法都能很好地完成預(yù)期目標(biāo)物體跟蹤任務(wù)。

2.2.2 顏色干擾

顏色干擾實(shí)驗(yàn)過程如圖6所示。顏色干擾靠近目標(biāo),算法借助Kalman濾波器預(yù)測結(jié)果的校正作用,仍能穩(wěn)定跟蹤目標(biāo)。當(dāng)顏色干擾離開目標(biāo),搜索框仍保持跟蹤目標(biāo)不變,并未發(fā)生偏離現(xiàn)象。

2.2.3 遮擋干擾

圖5 一般情況跟蹤效果Fig.5 Tracking effects of general condition

遮擋干擾下的實(shí)驗(yàn)結(jié)果如圖7所示。遮擋物進(jìn)入視頻區(qū)域后逐漸對目標(biāo)產(chǎn)生遮擋作用。大范圍遮擋時(shí),仍可勾選畫面中少部分的目標(biāo)物體。當(dāng)目標(biāo)在視頻中消失,搜索框失去跟蹤目標(biāo),但當(dāng)遮擋消失,目標(biāo)重新出現(xiàn)時(shí),算法重新跟蹤目標(biāo)。

由實(shí)驗(yàn)可知,增加了卡爾曼濾波機(jī)制的改進(jìn)CamShift跟蹤算法的魯棒性顯著提高,能防止顏色及遮擋干擾帶來的目標(biāo)誤判或丟失。

2.3 算法融合

融合基于改進(jìn)SSD的人臉檢測算法和改進(jìn)的CamShift算法,使面部區(qū)域定位更加準(zhǔn)確、高效。融合算法流程如圖8所示,系統(tǒng)包含兩個(gè)主要的判定環(huán)節(jié)。

(1)是否存在初始搜索窗口。當(dāng)判定不存在初始搜索窗口時(shí),系統(tǒng)啟動人臉檢測算法。判定存在初始搜索窗口時(shí),系統(tǒng)使用跟蹤算法進(jìn)行預(yù)測跟蹤。在進(jìn)行跟蹤時(shí),判斷人臉區(qū)域是否超出形態(tài)約束閾值,如果超過,即返回人臉檢測算法,重新檢測人臉；否則,將跟蹤到的人臉作為目標(biāo)人臉輸入給下一幀圖像,進(jìn)行后續(xù)檢測。

(2)是否檢測到人臉。啟動人臉檢測算法檢測人臉時(shí),如果成功檢測到人臉,即設(shè)置檢測結(jié)果為目標(biāo)人臉。否則,代表視頻中不存在有效人臉信息,返回原視頻重新檢測。

圖8 人臉檢測系統(tǒng)流程圖Fig.8 Flow chart of face detection system

表3 算法檢測速度對比

表3為算法檢測速度對比實(shí)驗(yàn)結(jié)果。從對比結(jié)果(表3)可知,改進(jìn)SSD算法融合改進(jìn)CamShift跟蹤預(yù)測算法之后,不僅保證了更好地檢測效果的同時(shí),也大幅降低了檢測時(shí)間,提高了實(shí)時(shí)性。

3 駕駛員疲勞特征建模

在基于面部特征的駕駛員疲勞研究中,眼部及嘴部特征具有易提取、變化明顯等優(yōu)點(diǎn)。因此選取人臉眼睛特征和嘴巴特征,提取相關(guān)參數(shù)進(jìn)行駕駛員疲勞狀態(tài)的研判。

3.1 實(shí)車數(shù)據(jù)采集

在實(shí)際道路駕駛環(huán)境下,采集駕駛員在駕駛過程中的面部圖像數(shù)據(jù),以分析提取的特征并測試模型的有效性。

共10名具有不同駕駛年齡的駕駛員參與了實(shí)際道路試驗(yàn),分布不同的年齡段,男性8名,女性2名。在實(shí)驗(yàn)過程中,要求駕駛員盡量減少換道操作,如遇阻擋則以跟車為主,在駕駛過程中盡量避免交談,禁止開車內(nèi)音樂和廣播。所選取的路線均為一般城市道路,要求駕駛員保持車速在50～80 km/h,一般不超出該范圍行駛。

在獲取視頻樣本后,結(jié)合駕駛員事后描述和評價(jià)小組的綜合評價(jià)結(jié)果來標(biāo)注樣本的疲勞狀態(tài)。具體的評判規(guī)則實(shí)施步驟為:將駕駛員面部視頻進(jìn)行分割,形成系列時(shí)長為30秒的視頻片段(樣本),根據(jù)駕駛員面部表情特征對每個(gè)樣本中駕駛員的疲勞狀態(tài)進(jìn)行評價(jià)。評價(jià)時(shí)將駕駛員的狀態(tài)分為清醒(0分)、疲勞(1分)與嚴(yán)重疲勞(2分)三級。樣本情況如表4所示。

表4 實(shí)驗(yàn)樣本集情況

3.2 特征點(diǎn)定位

采取一種基于回歸樹的人臉對齊算法[15],基于特征點(diǎn)定位完成面部疲勞特征的提取。

級聯(lián)回歸樹模型的預(yù)測原理為

S(k)=S(k-1)+sk(I,S(k))

(11)

式(11)中：S(k)、S(k-1)分別表示當(dāng)前級及上一級的回歸器預(yù)測結(jié)果；k表示級聯(lián)序號；sk表示當(dāng)前級的回歸器,回歸器的輸入?yún)?shù)為預(yù)測圖像I和上一級回歸器的更新值。

級聯(lián)回歸器的預(yù)測過程如下:加法模型中的第一棵決策樹利用得到的最優(yōu)參數(shù),挑選圖像中的隨機(jī)像素點(diǎn)對進(jìn)行閾值對比,判斷分裂方向,將圖像劃分到某個(gè)葉結(jié)點(diǎn)中,使用葉結(jié)點(diǎn)的平均殘差,即位置偏移量更新初始形狀向量,再將結(jié)果輸出給下一棵樹。每一級回歸器都經(jīng)過M′次更新,并輸出位置偏移量。對結(jié)果進(jìn)行級聯(lián)回歸更新,得到最終的預(yù)測形狀。在實(shí)際檢測中,對視頻圖像幀進(jìn)行灰度化、去噪等預(yù)處理,輸入級聯(lián)回歸樹模型獲得特征點(diǎn)序列如圖9所示。

圖9 人臉特征點(diǎn)定位Fig.9 Face feature point location

3.3 面部疲勞特征參數(shù)

3.3.1 眼睛閉合時(shí)間百分比

眼睛閉合時(shí)間百分比(percentage of eyelid closure,PERCLOS),指在單位時(shí)間內(nèi)眼睛閉合程度超過某一閾值的時(shí)間所占百分比[16]。研究采用P80標(biāo)準(zhǔn),圖10為PERCLOS的基本原理。

圖10 基于PERCLOS P80的測量標(biāo)準(zhǔn)Fig.10 Criterion of PERCLOS P80

為了提高準(zhǔn)確性和簡化計(jì)算,使用視頻幀數(shù)代替時(shí)間,即采用單位時(shí)間內(nèi)閉眼的視頻幀數(shù)占視頻總幀數(shù)的百分比來代替眼睛閉合時(shí)間所占總時(shí)長的百分比。

(12)

式(12)中:N表示單位時(shí)間內(nèi)閉眼的視頻幀數(shù)；M表示單位時(shí)間的視頻總幀數(shù)。

3.3.2 閉眼持續(xù)時(shí)間最大值

閉眼持續(xù)時(shí)間最大值(maximum duration of eye closure，MDEC)指在特定時(shí)間內(nèi)眼睛閉合狀態(tài)持續(xù)時(shí)間的最大值,其表達(dá)式為[17]

MDEC=max{Z1,Z2,…,ZN}

(13)

式(13)中:Z1,Z2, …,ZN表示某時(shí)間段內(nèi)的眼睛閉合持續(xù)時(shí)間記錄值。

在疲勞狀態(tài)下,眼部睜閉時(shí)間隨著疲勞程度的加深會大幅延長。因此,可通過統(tǒng)計(jì)正常清醒狀態(tài)下,駕駛員正常閉眼持續(xù)時(shí)間最大值作為閾值,當(dāng)檢測到一段時(shí)間內(nèi)駕駛員閉眼持續(xù)時(shí)間最大值大于該閾值時(shí)可判定為疲勞狀態(tài),否則為清醒狀況。

3.3.3 眨眼頻率

眨眼頻率(blink frequency，BF)是指在1 min內(nèi)的眨眼次數(shù)。通過眼睛的縱橫比(eye aspect radio，EAR)來衡量其張開的程度,并考察其持續(xù)的時(shí)間,可以對眨眼頻率進(jìn)行直觀準(zhǔn)確的判斷。

眼部特征點(diǎn)如圖11所示。將眼部縱橫比應(yīng)用在疲勞參數(shù)建立中,其計(jì)算公式為

(14)

式(14)中:p1、p2、p3、p4、p5、p6為眼部特征點(diǎn)的坐標(biāo)。

疲勞時(shí)人的眨眼頻率會明顯減少,可將清醒狀態(tài)下最慢的眨眼頻率統(tǒng)計(jì)數(shù)據(jù)確定為狀態(tài)判定的閾值,當(dāng)檢測出駕駛員眨眼頻率小于該閾值時(shí),認(rèn)定駕駛員處于疲勞之中,否則,為清醒狀態(tài)。

3.3.4 嘴部縱橫比

通過嘴巴的縱橫比來衡量其張開的程度,并考察其持續(xù)的時(shí)間(一般打哈欠會持續(xù)4 s以上)來判斷其是否打哈欠。嘴部特征點(diǎn)如圖12所示。嘴部縱橫比(mouth aspect ratio，MAR)的定義為

圖11 眼部特征點(diǎn)模型Fig.11 Model of eye points

圖12 嘴部特征點(diǎn)模型Fig.12 Model of mouth points

(15)

式(15)中:M1、M2、M3、M4、M5、M6為唇部特征點(diǎn)的坐標(biāo)。

若MAR超過了正常狀態(tài)下的最大閾值,則認(rèn)為有打哈欠行為。

3.4 疲勞判定流程

針對眼睛狀態(tài)參數(shù)選取PERCLOS參數(shù)閾值為0.12,大于此閾值時(shí)表明駕駛員出現(xiàn)疲勞；選取MDEC>0.8 s時(shí),表明駕駛員出現(xiàn)疲勞；選取眨眼頻率閾值為15～20次/min,如果未達(dá)到該范圍,則認(rèn)為駕駛員處于疲勞狀態(tài)。針對是否打哈欠,選取MAR閾值為0.8,超過即表明駕駛員出現(xiàn)打哈欠。

圖13為疲勞駕駛整體檢測流程。若眼部及嘴部疲勞特征參數(shù)不一致,有兩種策略。①當(dāng)系統(tǒng)檢測到眼睛的參數(shù)有兩項(xiàng)或兩項(xiàng)以上超出閾值時(shí),嘴部未出現(xiàn)打哈欠,則以眼睛狀態(tài)參數(shù)為主要指標(biāo),判定為疲勞狀態(tài)；②當(dāng)檢測到嘴部出現(xiàn)打哈欠時(shí),若眼睛狀態(tài)參數(shù)正常,則以嘴部疲勞狀態(tài)為主,判定為疲勞狀態(tài)。

由于重度疲勞時(shí)駕駛員的面部表情僵滯,頭部姿態(tài)變換遲緩,肢體動作緩慢或短時(shí)無任何動作,因此,以眼睛狀態(tài)參數(shù)為主要指標(biāo)進(jìn)行判斷。設(shè)定有兩項(xiàng)或兩項(xiàng)以上眼部狀態(tài)參數(shù)超出疲勞狀態(tài)閾值的25%時(shí),系統(tǒng)將判定為重度疲勞狀態(tài)。

圖13 疲勞駕駛整體檢測流程Fig.13 Flow chart of fatigue driving detection

4 疲勞判定實(shí)驗(yàn)與分析

4.1 典型樣本參數(shù)分析

利用獲取的實(shí)車數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證與分析。圖14為來自同一駕駛員的3個(gè)典型樣本。圖14中，樣本1、樣本2、樣本3分別標(biāo)定為清醒樣本、疲勞樣本、重度疲勞樣本。利用所設(shè)計(jì)疲勞檢測系統(tǒng)進(jìn)行分析,分析結(jié)果如表5～表7所示。

圖15中,樣本1為清醒狀態(tài),樣本2為中度疲勞狀態(tài),樣本3為重度疲勞狀態(tài)。實(shí)驗(yàn)結(jié)果(圖15)與樣本標(biāo)定結(jié)果一致。

圖14 疲勞檢測樣本Fig.14 Samples of fatigue detection

表5 樣本PERCLOS分析結(jié)果

表6 MDEC分析結(jié)果

表7 樣本BF分析結(jié)果

4.2 樣本集檢測效果

從實(shí)車采集的10名駕駛員樣本集中隨機(jī)抽取共計(jì)200個(gè)有效樣本用于分析。將200個(gè)有效樣本分別標(biāo)定,最終得到清醒狀態(tài)樣本共142個(gè),疲勞狀態(tài)樣本37個(gè),重度疲勞狀態(tài)樣本21個(gè)。

分別將樣本輸入疲勞檢測系統(tǒng),系統(tǒng)識別判定結(jié)果如表8所示。

圖15 樣本MAR比較Fig.15 MAR comparison of samples

表8 系統(tǒng)識別結(jié)果

從實(shí)驗(yàn)結(jié)果(表8)可知,對照樣本的人工標(biāo)定結(jié)果,系統(tǒng)對3種疲勞狀態(tài)的檢測普遍具有較高的檢測準(zhǔn)確率,在區(qū)分清醒和非清醒狀態(tài)時(shí)達(dá)到了97.9%的檢測效果。系統(tǒng)的平均識別準(zhǔn)確率達(dá)到了92.2%,在同類疲勞檢測系統(tǒng)中達(dá)到了較高的水平。

5 結(jié)論

針對疲勞駕駛檢測的特點(diǎn),融合多個(gè)疲勞特征參數(shù)設(shè)計(jì)了一種高效、可靠的疲勞檢測系統(tǒng),得出如下結(jié)論。

(1)針對復(fù)雜的駕駛環(huán)境,對SSD目標(biāo)檢測算法進(jìn)行結(jié)構(gòu)優(yōu)化及損失函數(shù)改進(jìn),改進(jìn)后的SSD算法在人臉數(shù)據(jù)集上的平均準(zhǔn)確率提高了7.0%。

(2)為提高檢測效率及魯棒性,結(jié)合CamShift及卡爾曼算法進(jìn)行人臉跟蹤預(yù)測。顏色干擾實(shí)驗(yàn)及遮擋實(shí)驗(yàn)表明,融合后的算法對環(huán)境干擾的魯棒性更強(qiáng),能避免跟蹤丟失或目標(biāo)誤判。

(3)利用眼睛和嘴巴的特征點(diǎn)序列,建立疲勞多個(gè)特征參數(shù)并設(shè)定疲勞判定策略。整體系統(tǒng)在實(shí)車樣本集上的平均檢測準(zhǔn)確率為92.2%,達(dá)到了疲勞檢測系統(tǒng)的要求。