疲勞駕駛檢測(cè)模塊設(shè)計(jì)及仿真驗(yàn)證

蔡 羽，徐朝陽(yáng)

（1.江蘇科技大學(xué)電信學(xué)院，江蘇鎮(zhèn)江212003；2.中國(guó)船舶重工集團(tuán)公司第723研究所江蘇揚(yáng)州225001）

交通安全主管部門(mén)調(diào)查數(shù)據(jù)顯示，疲勞駕駛是引發(fā)車禍的重要因素之一[1-3]。因此，研究疲勞檢測(cè)技術(shù)對(duì)駕駛員的行車安全具有重要意義。目前疲勞檢測(cè)方法大體分為3類：1）基于駕駛員生理參數(shù)，檢測(cè)準(zhǔn)確性高，但是成本很高，而且需要與人體接觸；2）基于駕駛員的操作行為及車輛狀態(tài)參數(shù)，準(zhǔn)確性不高；3）基于駕駛員生理反應(yīng)特征參數(shù)，檢測(cè)準(zhǔn)確性較高，非接觸式。三者相比較而言，第三種方法成為當(dāng)前的檢測(cè)的首選。PERCLOS已被證明是一種有效的疲勞檢測(cè)手段，但僅僅根據(jù)眼睛的狀態(tài)信息進(jìn)行駕駛員的疲勞程度的判定，容易漏判、誤判。基于此，本文通過(guò)攝像頭來(lái)實(shí)時(shí)的拍攝駕駛員的圖像，獲取雙眼、鼻和嘴部狀態(tài)參數(shù)，分別合成相應(yīng)模板，根據(jù)不同區(qū)域所含信息量和疲勞判斷所占重要程度對(duì)其設(shè)定不同的權(quán)重系數(shù)，結(jié)合多目標(biāo)優(yōu)化和卷積相關(guān)理論知識(shí)，確定駕駛員的疲勞與否。實(shí)驗(yàn)結(jié)果表明，綜合三者面部器官檢測(cè)，增強(qiáng)重要器官對(duì)實(shí)驗(yàn)結(jié)果的影響，比單純的參數(shù)檢測(cè)具有更高的準(zhǔn)確性。

1 駕駛員人臉定位

通過(guò)攝像頭拍攝所獲得的駕駛員圖像并不能直接進(jìn)行人臉的檢測(cè)，計(jì)算機(jī)在進(jìn)行圖像處理的過(guò)程中容易出現(xiàn)失真，在傳輸過(guò)程中受到各種噪聲的干擾，造成圖像與原圖像存在一定的差異[4-5]。因此，對(duì)圖像進(jìn)行預(yù)處理是十分有必要的，圖像顏色的純正可以提高圖像特征聚類與提取的正確性，有利于后續(xù)人臉定位的精度。將彩色圖像轉(zhuǎn)換成灰度圖像，然后進(jìn)行直方圖均衡化，使圖像灰度范圍擴(kuò)展，提高圖像對(duì)比度、凸顯更多的細(xì)節(jié)信息，最后使用參考白方法對(duì)圖像進(jìn)行光照補(bǔ)償，改進(jìn)局部白平衡，從而得到比較純正的圖像，如圖1所示。

圖1 預(yù)處理結(jié)果

原始圖灰度圖直方圖均衡化光照補(bǔ)償圖在彩色圖像中，膚色是人臉區(qū)別于其他事物的重要特征，人臉區(qū)域可以通過(guò)簡(jiǎn)單的閾值處理分割出來(lái)，獲得二值化圖像。HSV膚色模型具有良好的聚類性，對(duì)RGB到HSV色彩空間的轉(zhuǎn)換公式進(jìn)行修正，綜合考慮各個(gè)分量H、S、V的信息一起提取人臉候選區(qū)。公式修正為：

對(duì)于圖像中的每一個(gè)像素的R、G、B的值轉(zhuǎn)化到HSV色彩空間中，若像素點(diǎn)的H、S、V的值滿足以下的關(guān)系時(shí)，則將該點(diǎn)判別為膚色，像素值設(shè)置為1，否則為非膚色點(diǎn)，像素值設(shè)置為0，利用此方法對(duì)圖像進(jìn)行二值化。

采用先開(kāi)啟、腐蝕后閉合的形態(tài)處理步驟，去除二值化圖像細(xì)小的噪聲干擾，得到粗檢后的可能的人臉區(qū)域如圖2所示。

圖2 二值化圖像和形態(tài)處理的對(duì)比圖

已經(jīng)分割為目標(biāo)（膚色）和背景（非膚色）兩個(gè)區(qū)域有著明顯的對(duì)比。采用快速投影的方法來(lái)確定人臉區(qū)域的位置，對(duì)二值圖像中白色像素點(diǎn)的個(gè)數(shù)做水平和垂直方向的求和，公式分別如下：

高度起始為（height/6，5*height/6），寬度起始為（width/6，6*width/7），粗略的來(lái)獲取面部區(qū)域在水平方向上的左側(cè)和右側(cè)的坐標(biāo)值及在垂直方向上的頂部和底部的坐標(biāo)值。先在水平方向上進(jìn)行像素點(diǎn)的快速投影，在最大累計(jì)值所對(duì)應(yīng)的行號(hào)以上的人臉區(qū)域內(nèi)，進(jìn)行垂直方向上的快速投影，得到最大累計(jì)值所對(duì)應(yīng)的列號(hào)。此行和列的交點(diǎn)即為人臉的中心點(diǎn)。根據(jù)人臉的尺寸約束，即滿足人臉長(zhǎng)（height）寬（width）比（h/w）0.8＜h/w＜1.59的條件，進(jìn)而得到人臉區(qū)域的定位圖像。方框以內(nèi)即為駕駛員在不同狀態(tài)下檢測(cè)到的人臉圖像，人臉區(qū)域定位的效果如圖3所示。

圖3 人臉定位圖

2 面部器官的定位與提取

完成人臉區(qū)域的定位之后，需要定位出左右眼的中心位置，且人眼定位越精確疲勞狀態(tài)判別越準(zhǔn)確，對(duì)駕駛員疲勞監(jiān)測(cè)的可靠性也就越高。為了進(jìn)一步定位人眼位置，提高人眼定位精度，本文提出改進(jìn)的ASEF算法，即先用ASEF算法對(duì)人眼定位，已經(jīng)具有一定的定位精度，然后分割出初始定位點(diǎn)鄰域部分，采用Otsu最大類間方差法得到一個(gè)合適的閥值，使圖像二值化，最后采用灰度積分投影算法，從而得到左右眼的中心位置。此方法不僅消除了眉毛的影響，而且算法簡(jiǎn)單，對(duì)人眼定位的實(shí)時(shí)性影響很小。圖4是人眼定位圖。

圖4 人眼定位圖

由于人臉面部器官分布遵循3庭五眼規(guī)律[6-9]，三庭就是從發(fā)際線到下頜劃分為三等份；五眼是指從左耳到右耳的水平線上可以分成五個(gè)眼睛的寬度，如圖5所示。分別對(duì)眼部、鼻部及嘴部區(qū)域進(jìn)行劃分，并進(jìn)行縮放變換，使三者區(qū)域的圖像大小統(tǒng)一，避免無(wú)用背景對(duì)駕駛疲勞判別的影響。而鼻部和嘴部的定位是在左右眼定位的基礎(chǔ)上進(jìn)行的，所以眼睛定位的精確性直接影響其他器官定位的準(zhǔn)確性。對(duì)這3部分圖像分別進(jìn)行相應(yīng)的判別，確定駕駛員行駛過(guò)程中是否處于疲勞駕駛狀態(tài)，并給出相應(yīng)的提示信息。

圖5 人臉面部器官分布

3 疲勞狀態(tài)的判定

通常，在這些面部器官圖像中，眼睛狀態(tài)有3種狀態(tài)：完全睜開(kāi)、半開(kāi)半閉、完全閉合；鼻部有未側(cè)移和側(cè)移兩種狀態(tài)；嘴部狀態(tài)存在完全張開(kāi)、半張半閉、完全閉合[10-12]。為了提高人臉面部器官狀態(tài)判別的可靠性，本文利用模板匹配法，結(jié)合模板卷積的相關(guān)理論，采用多目標(biāo)優(yōu)化技術(shù)，最后實(shí)現(xiàn)眼部、鼻部和嘴部圖像的狀態(tài)檢測(cè)。其具體的操作方法如下：

1）建立圖形庫(kù)。對(duì)攝像機(jī)拍攝的駕駛員不同疲勞狀態(tài)的面部器官圖像進(jìn)行采集，對(duì)圖像進(jìn)行預(yù)處理，包括光照補(bǔ)償、尺寸歸一化、灰度化等，獲得實(shí)驗(yàn)數(shù)據(jù)庫(kù)。

2）生成卷積模板。根據(jù)常用的人臉比例，以實(shí)驗(yàn)庫(kù)圖像特征為依據(jù)，識(shí)別定位人臉區(qū)域，將分割出的眼部、鼻部和嘴部區(qū)域設(shè)定統(tǒng)一的尺寸大小，然后分別合成卷積模板。

3）歸一化。包括圖像尺寸歸一化和像素值歸一化，對(duì)待識(shí)別的區(qū)域進(jìn)行尺寸歸一化，獲得與對(duì)應(yīng)面部器官的卷積模板尺寸相同，然后對(duì)卷積模板和待識(shí)別圖像進(jìn)行像素值歸一化處理，實(shí)現(xiàn)后續(xù)圖像疲勞狀態(tài)判斷標(biāo)準(zhǔn)。

4）訓(xùn)練閾值。根據(jù)模板和待識(shí)別圖像的卷積值進(jìn)行訓(xùn)練，并構(gòu)造多目標(biāo)函數(shù)，求出眼部、鼻部和嘴部卷積模板的權(quán)重系數(shù)。

5）驗(yàn)證。對(duì)待識(shí)別駕駛員圖像進(jìn)行疲勞判定。

人臉中的眼部、鼻部和嘴部相對(duì)于其他面部信息量更豐富，對(duì)疲勞判定的影響程度會(huì)更大，所以為了突出這三者區(qū)域的重要性，分別合成眼部模板、鼻部模板和嘴部模板，結(jié)合不同區(qū)域所含信息量和疲勞判斷所占重要程度對(duì)其設(shè)定相應(yīng)的權(quán)重系數(shù)，利用待匹配圖像與3種卷積模板的卷積值，加權(quán)求和得到用于駕駛員圖像疲勞判斷的最終卷積值。當(dāng)進(jìn)行卷積的兩幅圖像非常相似時(shí)，其對(duì)應(yīng)部位的像素值乘積擴(kuò)大，卷積值也會(huì)非常大；反之，會(huì)得到非常小的卷積值。積值。根據(jù)這一理論，通過(guò)實(shí)驗(yàn)庫(kù)中的圖像，訓(xùn)練3種不同卷積模板的權(quán)重系數(shù)及圖像匹配最佳閾值[13-16]。

假設(shè)三者模板的權(quán)重系數(shù)分別為K1，K2，K3，Ye，Yn，Ym分別表示待檢測(cè)圖像的眼部區(qū)域、鼻部區(qū)域和嘴部區(qū)域與其對(duì)應(yīng)疲勞狀態(tài)模板的卷積值，則疲勞匹配判斷最終卷積值Y的表達(dá)式為：

其中K1，K2，K33個(gè)量的數(shù)值和為1，即：

本文涉及到3種不同疲勞狀態(tài)模板系數(shù)（K1，K2，K3）和最優(yōu)閾值VT，這4個(gè)未知變量即為待求目標(biāo)參數(shù)，利用多目標(biāo)優(yōu)化技術(shù)，訓(xùn)練不同模板系數(shù)，得到一組接近實(shí)驗(yàn)?zāi)康挠行Ы?。?yōu)化問(wèn)題的最終目標(biāo)是為了使檢測(cè)疲勞狀態(tài)的正確率最大，其表達(dá)式為：

P(i)表示i幅圖像是否處于疲勞駕駛的異常狀態(tài)，n表示用于訓(xùn)練多目標(biāo)的圖像總數(shù)。當(dāng)待判別未知狀態(tài)的局部圖片與數(shù)據(jù)庫(kù)中的對(duì)應(yīng)疲勞面部器官圖片匹配結(jié)果正確，則進(jìn)行計(jì)數(shù)，否則，不進(jìn)行計(jì)數(shù)。約束條件除了式（7）和式（8），還包括：

約束條件中函數(shù)H(i)表示算法的判別結(jié)果，其表達(dá)式的含義為：通過(guò)訓(xùn)練得到的最優(yōu)閾值VT對(duì)待檢測(cè)圖像進(jìn)行自動(dòng)判斷，當(dāng)最終的卷積值Y大于等于閾值VT，表示判別結(jié)果和卷積模板匹配，此時(shí)系統(tǒng)自動(dòng)將H(i)的值賦值為1，判定待檢測(cè)圖像為疲勞駕駛狀態(tài)；否則，判別結(jié)果和卷積模板匹配，H(i)的值為0，判定待檢測(cè)圖像為正常駕駛狀態(tài)；函數(shù)D(i)表示待檢測(cè)圖像本身是否為疲勞駕駛狀態(tài)，此函數(shù)作為已知的真實(shí)條件存在。若待檢測(cè)圖像本身處于駕駛疲勞狀態(tài)，將D(i)的值賦值為1；否則D(i)的值為0。

當(dāng)函數(shù)H(i)和D(i)值相同時(shí)，將P(i)的值賦值為1；否則，P(i)的值為0。函數(shù)P(i)存在以下4種情況：

1）待檢測(cè)圖像本身處于疲勞駕駛狀態(tài)，經(jīng)該算法自動(dòng)判斷后，判斷其與對(duì)應(yīng)卷積模板相匹配，被判斷為疲勞駕駛，判斷結(jié)果正確。

2）待檢測(cè)圖像本身處于正常駕駛狀態(tài)，經(jīng)該算法自動(dòng)判斷后，判斷其與對(duì)應(yīng)卷積模板不匹配，被判斷為非疲勞駕駛，判斷結(jié)果正確。

3）待檢測(cè)圖像本身處于疲勞駕駛狀態(tài)，經(jīng)該算法自動(dòng)判斷后，判斷其與對(duì)應(yīng)卷積模板不匹配，誤判為正常駕駛，判斷結(jié)果錯(cuò)誤。

4）待檢測(cè)圖像本身處于正常駕駛狀態(tài)，經(jīng)該算法自動(dòng)判斷后，判斷其與對(duì)應(yīng)卷積模板相匹配，誤判為疲勞駕駛，判斷結(jié)果錯(cuò)誤。

由上述4種情況可知，前兩種情況會(huì)得到正確的匹配結(jié)果，此時(shí)H(i)和D(i)值相同，P(i)賦值為1；而后兩種匹配結(jié)果出錯(cuò)，H(i)和D(i)值不同，P(i)的值為0。

為了得到3種不同疲勞狀態(tài)模板系數(shù)（K1，K2，K3）和最優(yōu)閾值VT，需要選擇一定的訓(xùn)練樣本圖像。具體的算法流程分為以下幾步：首先對(duì)選取的訓(xùn)練集圖像灰度化并進(jìn)行直方圖均衡化，裁剪出雙眼、嘴和鼻部區(qū)域，對(duì)其尺寸歸一化處理，使該圖像的尺寸與其對(duì)應(yīng)的卷積模板的尺寸相同，從而得到3種圖像庫(kù)；然后對(duì)提取的所有位置的灰度值進(jìn)行像素值歸一化，分別與雙眼、嘴和鼻部3種卷積模板進(jìn)行卷積操作，即對(duì)應(yīng)位置像素的數(shù)值相乘再相加求和的計(jì)算，得到3組卷積值；之后利用公式（7）將3個(gè)卷積值分別與待求的權(quán)重系數(shù)相乘后相加，得到用于匹配判斷的最終卷積值；根據(jù)式（9）對(duì)4個(gè)未知變量即3種模板的權(quán)重系數(shù)及最佳匹配閾值構(gòu)造目標(biāo)優(yōu)化方程，通過(guò)多目標(biāo)優(yōu)化問(wèn)題的約束條件，不斷修正3種模板權(quán)重系數(shù)，權(quán)重系數(shù)的每一種變化情況都影響著唯一的判斷正確率和唯一的閾值，在訓(xùn)練的過(guò)程中，需要提前設(shè)定判斷準(zhǔn)確率，直到3種權(quán)重系數(shù)和最優(yōu)匹配判斷閾值滿足正確率達(dá)到或者接近設(shè)定的要求，此時(shí)訓(xùn)練過(guò)程結(jié)束，選擇對(duì)應(yīng)的一組值作為訓(xùn)練結(jié)果并輸出，否則重復(fù)操作。算法流程圖如圖6所示。

圖6 權(quán)重系數(shù)及閾值算法流程圖

4 系統(tǒng)構(gòu)建及測(cè)試

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)運(yùn)行環(huán)境:

操作系統(tǒng):Windows 10旗艦版

處理器:英特爾Corei5-6200U@2.30GHz雙核

內(nèi)存:4GB

系統(tǒng)類型:64位操作系統(tǒng)

實(shí)驗(yàn)開(kāi)發(fā)環(huán)境:

開(kāi)發(fā)軟件:Microsoft Visual Studio 2013

開(kāi)發(fā)語(yǔ)言:C++

軟 件 工 具:AdobePhotoshop CS6（64 Bit） ，MATLAB2013

本文采用C++開(kāi)發(fā)語(yǔ)言，對(duì)駕駛員疲勞檢測(cè)算法進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)。使用AdobePhotoshop CS6對(duì)待測(cè)駕駛員圖像進(jìn)行尺寸歸一化處理，同時(shí)采用MATLAB2013工具箱合成卷積模板。

4.2 實(shí)驗(yàn)結(jié)果

本系統(tǒng)為了判定駕駛員疲勞，獲得更準(zhǔn)確的檢測(cè)效果，增強(qiáng)影響程度大的面部器官的比重系數(shù)，減弱影響作用小的面部器官的比重系數(shù)，眼、鼻和嘴對(duì)應(yīng)不同的權(quán)重系數(shù)，提出3組卷積值加權(quán)求和的算法。

本實(shí)驗(yàn)通過(guò)攝像頭獲得駕駛員的圖像庫(kù)，首先對(duì)圖形庫(kù)中的圖像進(jìn)行預(yù)處理，彩色圖像灰度化并進(jìn)行直方圖均衡化，分割出的眼部、鼻部和嘴部區(qū)域設(shè)定尺寸分別為85×17像素、38×33像素、55×33像素。部分實(shí)驗(yàn)庫(kù)圖像如圖7所示。

圖7 實(shí)驗(yàn)庫(kù)圖像

利用實(shí)驗(yàn)圖像庫(kù)合成卷積模板，共300幅疲勞圖像，其中女性圖像100幅，男性圖像是200幅，最終卷積模板如圖8所示。

實(shí)驗(yàn)監(jiān)測(cè)駕駛員疲勞狀態(tài)圖像共200幅，正常駕駛狀態(tài)圖像60幅，在沒(méi)有考慮眼鏡遮蓋物影響的情況下，利用本實(shí)驗(yàn)庫(kù)圖像得到的實(shí)驗(yàn)結(jié)果如表1所示。

表1 無(wú)遮蓋物的判別結(jié)果

利用同樣的方法，被檢測(cè)人戴上墨鏡的情況進(jìn)行了檢測(cè)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 有遮蓋物的判別結(jié)果

從表1和表2可以看出，在無(wú)遮蓋物的情況下，對(duì)駕駛員疲勞狀態(tài)和非疲勞狀態(tài)匹配的總正確率達(dá)到了97.5%，有遮蓋物的情況下眼部的狀態(tài)認(rèn)為是無(wú)效的，被誤判的幾率增加，總正確率為89.85%。從實(shí)驗(yàn)結(jié)果可以看出，基于面部器官3組卷積值加權(quán)求和的算法對(duì)駕駛員疲勞監(jiān)測(cè)的效果更好、正確率更高，對(duì)于疲勞和非疲勞圖像進(jìn)行辨別能達(dá)到滿意的結(jié)果。

圖8 卷積模板

5 結(jié)束語(yǔ)

本文結(jié)合多目標(biāo)優(yōu)化和卷積相關(guān)理論知識(shí)，提出了一種基于面部器官3組卷積值加權(quán)求和的方法，易于實(shí)現(xiàn)、計(jì)算量小，利用人臉重要的面部器官，加強(qiáng)對(duì)檢測(cè)疲勞影響大的特征信息的權(quán)重系數(shù)，突出了重要器官的作用，彌補(bǔ)了單純依靠整個(gè)面部特征進(jìn)行疲勞狀態(tài)檢測(cè)在一些情況下正確率低的缺點(diǎn)。實(shí)驗(yàn)結(jié)果表明該方法檢測(cè)正確率高，在一定場(chǎng)合下能準(zhǔn)確檢測(cè)疲勞狀態(tài)，為進(jìn)一步研究疲勞駕駛檢測(cè)的新方法提供一定的參考價(jià)值。

[1]姜兆普，許勇，趙檢群.基于眼部特征的疲勞檢測(cè)算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2014，23（8）:91-96.

[2]朱真真，王偉，段曉東，等.基于Kinect的人臉眼部狀態(tài)實(shí)時(shí)檢測(cè)[J].大連民族學(xué)院學(xué)報(bào)，2015，17（1）:81-84.

[3]宋浩東，林小竹.變化光照條件下人眼定位方法[J].北京印刷學(xué)院學(xué)報(bào)，2014，22（2）:62-67.

[4]張波，王文軍，張偉，等.駕駛?cè)搜劬植繀^(qū)域定位算法[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，54（6）:756-762.

[5]徐杰.多特征疲勞檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].武漢：武漢華中科技大學(xué)，2013.

[6]陳旭，肖洪兵.基于面部綜合信息的疲勞駕駛判斷研究[J].科學(xué)技術(shù)與工程，2014，14（11）:226-230.

[7]SUN Li-shu，ZHU Yu-chuan.Eye detection method for fatiguedetection system under complex environment[J].ComputerSystems&Applications，2014，23（11）：256-263.

[8]SONG Hao-Bong，LIN Xiao-zhu.Eye location under varying illumination[J].Journal of Beijing Institute of Graphic Communication，2014，22（2）:62-67.

[9]ZHANG Bo，WANG Wen-jun，ZHANG Wei，et al.Drivers eye region location algorithm[J].Journal of Tsinghua University（Sci&Technol），2014，54（6）:756-762.

[10]Hyun HeeJo，Helen Hong Jin Mo Goo.Pulmonary nodule registration in serial CT scans using global rib matching and nodule template matching[J].Computers in Biology and Medicine，2014，4（5）:87-97.

[11]Tae Yong Kim，JongMyoungPark，HyunUkKim，et al.Design of homo-organic acid producing strains using multi-objective optimization[J].Metabolic Engineering，2015，2（8）:63-73.

[12]孫立書(shū)，朱予川.用于復(fù)雜環(huán)境下的疲勞檢測(cè)系統(tǒng)人眼檢測(cè)方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2014，23（22）:62-67.

[13]徐國(guó)慶.在線融合特征的眼睛狀態(tài)識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2015，35（7）:2062-2066.

[14]朱維寧.基于人眼狀態(tài)的駕駛員疲勞檢測(cè)研究[D].南京：南京理工大學(xué)，2014.

[15]程紅，陳文劍，孫文邦.一種改進(jìn)的快速歸一化積相關(guān)圖像匹配算法[J].光電工程，2013，40（1）:118-125.

[16]牛清寧，周志強(qiáng)，金立生，等.基于眼動(dòng)特征的疲勞駕駛檢測(cè)方法[J].哈爾濱工程大學(xué)學(xué)報(bào)，2015，36（3）:394-398.