基于深度相機(jī)的疲勞預(yù)警檢測算法研究

李金寶 張維忠

摘要：??為解決復(fù)雜環(huán)境下傳統(tǒng)彩色圖像對危險(xiǎn)駕駛行為無法正確識別的難點(diǎn)，本文提出一種基于深度相機(jī)的疲勞預(yù)警檢測方法。首先通過深度相機(jī)獲取駕駛員的紅外圖像與深度圖像，對獲取的紅外圖像使用局部二值模式（local?binary?pattern，LBP）特征算子檢測定位人臉區(qū)域;在人臉區(qū)域使用隨機(jī)森林和全局線性回歸相結(jié)合的方法訓(xùn)練出模型，并檢測定位人臉的68個(gè)特征點(diǎn)，進(jìn)而確定眼睛和嘴巴的閉合狀態(tài)。為了增強(qiáng)疲勞檢測的準(zhǔn)確性，判斷駕駛員佩戴眼鏡情況，采用改進(jìn)的疲勞檢測算法判定駕駛員的疲勞狀態(tài)，同時(shí)采用圖像處理方法對眼部狀態(tài)與嘴部狀態(tài)進(jìn)行疲勞檢測。檢測結(jié)果表明，本算法能夠有效識別白天和夜間眼睛與嘴部的疲勞狀態(tài)，具有較強(qiáng)的實(shí)用性。

關(guān)鍵詞：??OpenCV;?疲勞檢測;?人臉關(guān)鍵點(diǎn);?紅外圖像;?危險(xiǎn)駕駛

中圖分類號：?TP391.413?文獻(xiàn)標(biāo)識碼：?A

收稿日期：?2019-03-25;?修回日期：?2019-10-21

作者簡介：??李金寶（1995-），男，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺。

通信作者：??張維忠（1963-），男，博士，教授，主要研究方向?yàn)橛?jì)算機(jī)視覺、模式識別和圖像處理等。Email：?zhangwz_01@aliyun.com

目前，我國已成為汽車制造大國，汽車保有量躍居世界第二。隨著汽車數(shù)量的不斷增加，交通事故及死亡人數(shù)也隨之增多。據(jù)美國國家公路交通安全管理局的調(diào)查報(bào)告顯示，在以往的交通事故中，由疲勞駕駛引起的事故比例較大[1]。近年來，通過腦電波檢測疲勞[2-3]和外部特征檢測疲勞都有較大發(fā)展，既有傳統(tǒng)的幀差法[4]與機(jī)器學(xué)習(xí)的Adaboost眼部閾值分割法[5]，也有瞳孔判別法[6]、面部特征法[7-8]和使用深度學(xué)習(xí)定位特征點(diǎn)的方法[9-10]。但以上方法多數(shù)受環(huán)境光線影響大、設(shè)備要求高、實(shí)時(shí)性低等缺點(diǎn)，導(dǎo)致無法準(zhǔn)確識別?；诖?，本文采用抗干擾能力強(qiáng)的紅外圖像與深度圖像，對基于深度相機(jī)的疲勞預(yù)警檢測方法進(jìn)行研究。紅外圖像進(jìn)行面部識別和特征點(diǎn)提取，并在深度圖像上獲取面部深度與手部深度，去掉噪聲獲得輪廓，同時(shí)根據(jù)其連通域，獲得其手部狀態(tài)。實(shí)驗(yàn)結(jié)果表明，該算法魯棒性高，設(shè)備成本較低，能夠滿足實(shí)時(shí)檢測的需要。該研究為疲勞檢測預(yù)警提供了新思路，具有較高的實(shí)用價(jià)值。

1?算法設(shè)計(jì)方案

整個(gè)算法設(shè)計(jì)基于計(jì)算機(jī)視覺技術(shù)，根據(jù)駕駛員的眼部特征與嘴部特征來獲得其疲勞狀態(tài)，在其疲勞駕駛時(shí)給出實(shí)時(shí)預(yù)警。整體算法設(shè)計(jì)方案如下：

1）?利用深度相機(jī)獲取紅外圖像。

2）?利用紅外圖像預(yù)處理后識別面部，結(jié)合隨機(jī)森林和全局線性回歸方法訓(xùn)練出LBF特征模型獲取人臉特征點(diǎn)，計(jì)算眼部縱橫比（eye?aspect?ratio，EAR）[11]獲得眼部狀態(tài)，同時(shí)，結(jié)合嘴部特征，利用改進(jìn)的PERCLOS指數(shù)模型，獲得疲勞狀態(tài)。

3）?在深度圖像下處理頭部區(qū)域，得到面部深度，使用深度閾值分割和形態(tài)學(xué)處理去掉噪聲，獲得面部區(qū)域深度圖像，連通域二值化并根據(jù)連通域面積變化計(jì)算面部狀態(tài)。進(jìn)行疲勞檢測與危險(xiǎn)駕駛行為檢測，檢測算法流程圖如圖1所示。

2?人臉的檢測與特征點(diǎn)獲取

2.1?基于局部二進(jìn)制模式直方圖（local?binary?patterns?histograms，LBPH）的人臉檢測

局部二值模式（local?binary?patterns，LBP）算子[12]是在一個(gè)3×3的窗口內(nèi)取其中心像素值為閾值，與周圍8個(gè)像素值進(jìn)行比較，若大于，標(biāo)記為1，否則為0。其公式為

LBPxc，yc=∑p-1p=02ps（ip-ic）（1）

式中，其中，xc，yc是中心像素;亮度ic，ip為鄰接像素;sx=1x≥00x<0?。

采用LBP特征檢測人臉，與哈爾特征（Haarlike?features）檢測人臉相比，運(yùn)算速度快，精準(zhǔn)度高，滿足在邊緣計(jì)算平臺下要求時(shí)效性的特點(diǎn)，LBP特征的人臉檢測與人臉識別已得到廣泛應(yīng)用[13-14]。首先計(jì)算圖像大小為（w-2?radius，h-2?radius）的第i個(gè)LBP編碼圖像LBPi，然后計(jì)算各像素在第n鄰域所對應(yīng)的像素偏移坐標(biāo)dx，dyn，即

dxn=-radius?sin2.0?PInneighborsdyn=-radius?cos2.0?PInneighbors（2）

采用雙線性差值，計(jì)算像素（x，y）第n鄰域的灰度值gray（x，y）n和編碼LBP（x，y）n，即

LBP（x，y）n=1（grayx，yn≤gray（x，y））0（grayx，yn>grayx，y）（3）

所以得出像素LBP編碼值為

LBPx，y=∑neighbors-1n=0LBP（x，y）n×2n?（x∈0，w-2?radius，y∈（0，h-2?radius））（4）

計(jì)算每個(gè)LBPi圖像的寬度和高度分別為

w_grad=LBPi.cols/gridxh_grad=LBPi.rows/gridy（5）

按行統(tǒng)計(jì)每個(gè)LBPi直方圖各值高度，將結(jié)果存儲在HIST中，并將高度除以w_grad×h_grad，進(jìn)行直方圖歸一化，以行為主序列將HIST轉(zhuǎn)換為1維的向量矩陣。計(jì)算直方圖之間的距離為

disi=∑lenj=0（hij-hqj）hij-hqjhij，?hij≠0（6）

其中，hij和hqj分別是數(shù)值為j的直方圖高度和待匹配圖像值為j的直方圖高度;len為直方圖最大值。

2.2?人臉特征點(diǎn)獲取

在獲得人臉區(qū)域后，采用Ren?Shaoqing提出的隨機(jī)森林和全局線性回歸相結(jié)合的方法[15]，進(jìn)行人臉標(biāo)定獲取特征點(diǎn)具有較高的準(zhǔn)確率和實(shí)時(shí)性。首先使用隨機(jī)森林算法和形狀索引特征，得到圖像的局部二值特征，并線性回歸求解回歸模型，然后采用訓(xùn)練得到的特征圖和線性方程更新后得到的shape?Δs，與上個(gè)階段相加，得到當(dāng)前步驟的shape，不斷迭代至結(jié)束。

由于采集的圖像受光照、背景、噪聲等因素的影響，如果直接檢測會(huì)對算法的適應(yīng)性和結(jié)果的準(zhǔn)確性產(chǎn)生影響，因此需要對獲取的圖像進(jìn)行預(yù)處理。為了有效的區(qū)分前景和背景，在預(yù)處理階段，首先進(jìn)行光照補(bǔ)償和圖像直方圖均衡處理，以增強(qiáng)圖像的對比度。同時(shí)，為了消除噪聲的影響，對圖像進(jìn)行中值濾波處理，該方法不僅可以去除孤立點(diǎn)噪聲，還可以有效保護(hù)圖像邊界信息。在預(yù)處理后，再進(jìn)行人臉檢測與特征點(diǎn)檢測，檢測結(jié)果表明，處理后的圖像面部識別率明顯提高。預(yù)處理后的實(shí)驗(yàn)圖如圖2所示。

3?疲勞檢測

3.1?眼睛與嘴部狀態(tài)獲取

當(dāng)獲得實(shí)時(shí)面部特征點(diǎn)后，根據(jù)特征點(diǎn)獲得眼部和嘴部狀態(tài)。眼部狀態(tài)特征有慢眼運(yùn)行（slow?eye?movement，SEM）與睜閉眼特征，Jiao?Y等人[16]利用SEM這一睡眠開始的標(biāo)志特征檢測疲勞，而本文采用基于特征點(diǎn)的方法檢測眼睛閉合狀態(tài)，進(jìn)而確定疲勞狀態(tài)，但該方法需要計(jì)算眼睛縱橫比（eye?aspect?ratio，EAR）。在人臉的68個(gè)特征點(diǎn)中，每個(gè)眼部有6個(gè)特征點(diǎn)，且在睜眼與閉眼時(shí)處在不同的狀態(tài)，因此EAR概念被提出，通過計(jì)算眼睛寬和高的比值，計(jì)算眼睛狀態(tài)，其計(jì)算方法為

EAR=‖P2-P6‖+‖P3-P5‖2‖P1-P4‖（7）

由實(shí)驗(yàn)可知，閉眼時(shí)，EAR值發(fā)生明顯波動(dòng)，可以方便的找出閾值，并可判斷是否眨眼，符合實(shí)時(shí)檢測要求，精準(zhǔn)度較高。

為了更加準(zhǔn)確的識別疲勞狀況，本文提出了綜合嘴部狀態(tài)的疲勞檢測指數(shù)PERCLOSmouth，其中mouth為嘴部狀態(tài)mousestate，即嘴部疲勞狀態(tài)。取嘴部內(nèi)嘴角與外嘴角特征點(diǎn)，計(jì)算嘴部的寬widthmouse=‖mouseleft-mouseright‖;取嘴部的上、下頂點(diǎn)，計(jì)算嘴部的高h(yuǎn)ightmouse=‖mousehigh-mouselow‖，最后計(jì)算嘴部的縱橫比，得出嘴部狀態(tài)為

mousestate=hightmouse/widthmouse?（8）

3.2?佩戴眼鏡檢測

由于佩戴眼鏡使圖像中的人眼特征點(diǎn)擬合產(chǎn)生影響，因此需要戴眼鏡檢測對應(yīng)相應(yīng)的閾值。本文提出的戴眼鏡檢測的具體算法GLASSESdetect如下：

1）?對獲得的紅外圖像進(jìn)行預(yù)處理，使用均值濾波平滑圖像。

2）?為了正確判斷是否佩戴眼鏡，需要求出眼睛中部戴眼鏡部位的眼鏡框邊緣，且只需要眼鏡框的Y方向邊緣，因此使用sobel算子進(jìn)行圖像Y方向的邊緣檢測。

3）?為了方便計(jì)算與提高運(yùn)算效率，對邊緣檢測后的面部圖像進(jìn)行二值化處理。

4）?利用求得的面部特征點(diǎn)，計(jì)算兩眼的中間坐標(biāo)與鼻部特征點(diǎn)的距離和眼睛的內(nèi)角點(diǎn)，以此分割眼鏡中間感興趣區(qū)域（region?of?interest，ROI）區(qū)域，不戴眼鏡與戴眼鏡的ROI區(qū)域如圖3所示。

5）?在分割的ROI區(qū)域，求眼鏡邊緣占ROI的百分比，即白色像素所占比值，實(shí)驗(yàn)結(jié)果表明，當(dāng)比值超6%時(shí)為戴眼鏡情況。

在獲得是否佩戴眼鏡的判斷結(jié)果后，根據(jù)不同情況進(jìn)行處理。在不佩戴眼鏡的情況下，使用不佩戴眼鏡的ERA閾值;在佩戴眼鏡的情況下，使用佩戴眼鏡的ERA閾值，從而獲取各狀態(tài)下的眼部狀態(tài)。

3.3?融合眼部與嘴部狀態(tài)的PERCLOS疲勞檢測

為增強(qiáng)疲勞檢測的魯棒性，馬召賓等人[17]提出了融合眼部特征和頭部姿態(tài)的方法;R.?Ahmed等人[18]采用圖像處理方法，檢測閉眼、打哈欠、頭部傾斜等特征，并綜合判斷疲勞?；谪惾~斯網(wǎng)絡(luò)（bayesian?network，BN）的疲勞評估系統(tǒng)需要多種駕駛狀態(tài)[19]，在車上進(jìn)行實(shí)時(shí)計(jì)算收集數(shù)據(jù)，成本高，效率低，不易采用;基于主動(dòng)外觀模型的檢測方法只考慮眼睛睜閉合狀態(tài)，缺少嘴部疲勞特征[20]。本文提出了融合眼部與嘴部特征的PERCLOS疲勞檢測方法，PERCLOS方法能夠反映人們在困倦時(shí)眼瞼的狀態(tài)和疲勞程度，即眼睛在一段時(shí)間內(nèi)閉合狀態(tài)占總時(shí)間的比值，其有3種測量標(biāo)準(zhǔn)：P70，P80，EM，當(dāng)眼瞼遮住瞳孔70%，80%，50%時(shí)，判定閉眼。

在實(shí)際應(yīng)用中，采用P80標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)經(jīng)實(shí)驗(yàn)證明，能準(zhǔn)確的表示疲勞狀態(tài)。為方便使用PERCLOS指數(shù)，本文改進(jìn)了PERCLOS指數(shù)計(jì)算方法，即

PERCLOS=framewinkframesum×100%（9）

式中，framewink為閉眼幀數(shù);framesum為總時(shí)間幀數(shù)。本方法取30?min為一個(gè)時(shí)間區(qū)段，計(jì)算該時(shí)間段內(nèi)有效幀的PERCLOS值與嘴部的狀態(tài)，若嘴部張開持續(xù)達(dá)1.5?s，則記為1次哈欠，統(tǒng)計(jì)該時(shí)間段內(nèi)的哈欠次數(shù)，超過60次，PEICLOS值+10%。融合哈欠后的PERCLOSmouth值為

PERCLOS=EYEperclos+10%×MOUTHyawnMOUTHyawn=0yawn>60MOUTHyawn=1yawn<60（10）

式中，EYEperclos為左、右眼PERCLOS值的均值;yawn為一個(gè)計(jì)時(shí)區(qū)間內(nèi)的哈欠次數(shù)，若在該時(shí)間段內(nèi)PERCLOS值>40%，則認(rèn)為達(dá)到疲勞階段，進(jìn)行疲勞預(yù)警，為了防止出現(xiàn)司機(jī)瞌睡的情況，當(dāng)司機(jī)持續(xù)閉眼達(dá)3?s后，也發(fā)出相應(yīng)的疲勞預(yù)警。

采用UPBoard開發(fā)板，該開發(fā)板處理器為英特爾凌動(dòng)X5?Z8350，最高頻率1.92?GHz，并采用內(nèi)存為1?GB版本在車上實(shí)時(shí)測試，在佩戴眼鏡的情況下，分別測試各方法（PERCLOS、PERCLOSmouth、PERCLOSmouth+GLASSESdetect）的準(zhǔn)確率。各方法檢測到的眼部狀態(tài)準(zhǔn)確率如表1所示。

邀請兩名清醒狀態(tài)（睡眠充足）和兩名疲勞狀態(tài)（睡眠不足）共4位同學(xué)進(jìn)行30?min的模擬駕駛實(shí)驗(yàn)，各狀態(tài)下疲勞檢測情況如表2所示。

實(shí)驗(yàn)結(jié)果表明，融合嘴部狀態(tài)、眼部狀態(tài)與戴眼鏡檢測的疲勞檢測，能準(zhǔn)確的判斷出佩戴眼鏡和不佩戴眼鏡下的疲勞狀態(tài)，對環(huán)境光線的抗干擾能力較強(qiáng)，具有較好的魯棒性。

4?結(jié)束語

本文提出的基于深度相機(jī)的疲勞駕駛預(yù)警算法，使用人臉特征點(diǎn)的標(biāo)定，并且識別駕駛員是否佩戴眼鏡，可以在多種環(huán)境下進(jìn)行歸一化處理，并計(jì)算縱橫比值來確定睜閉合狀態(tài)，同時(shí)結(jié)合融合眼部狀態(tài)和嘴部狀態(tài)的PERCLOS方法，確定駕駛員的疲勞狀態(tài)。實(shí)驗(yàn)結(jié)果表明，本算法穩(wěn)定性好，對系統(tǒng)要求較低，可移植到嵌入式系統(tǒng)上使用，魯邦性強(qiáng)，可適用于復(fù)雜光線變化的場景。該研究為復(fù)雜環(huán)境下的疲勞預(yù)警提供了新方法，具有較高的實(shí)用價(jià)值。

參考文獻(xiàn)：

[1]?汪前進(jìn)，?鄭占杰.?基于計(jì)算機(jī)視覺的危險(xiǎn)駕駛預(yù)警系統(tǒng)研究與設(shè)計(jì)[J].?長沙大學(xué)學(xué)報(bào)，?2018，?32（5）：?37-40.

[2]?Yin?J，?Hu?J，?Mu?Z.?Developing?and?evaluating?a?mobile?driver?fatigue?detection?network?based?on?electroencephalograph?signals[J].?Healthcare?Technology?Letters，?2017，?4（1）：?34-38.

[3]?Hu?J?F，?Min?J?L.?Automated?detection?of?driver?fatigue?based?on?EEG?signals?using?gradient?boosting?decision?tree?model[J].?Cognitive?Neurodynamics，?2018，?12（4）：?431-440.

[4]?程如中，?趙勇，?戴勇，?等.?基于Adaboost方法的車載嵌入式疲勞駕駛預(yù)警系統(tǒng)[J].?北京大學(xué)學(xué)報(bào)：?自然科學(xué)版，?2012，?48（5）：?719-726.

[5]?Chang?T?H，?Chen?Y?R.?Driver?fatigue?surveillance?via?eye?detection[C]∥17th?International?IEEE?Conference?on?Intelligent?Transportation?Systems?（ITSC）.?Qingdao，?China：?IEEE，?2014：?366-371.

[6]?Chakraborty?M，?Aoyon?A?N?H.?Implementation?of?computer?vision?to?detect?driver?fatigue?or?drowsiness?to?reduce?the?chances?of?vehicle?accident[C]∥2014?International?Conference?on?Electrical?Engineering?and?Information?&?Communication?Technology.?Dhaka，?Bangladesh：?IEEE，?2014.

[7]?Hu?J?F.?Comparison?of?different?features?and?classifiers?for?driver?fatigue?detection?based?on?a?single?EEG?channel[J].?Computational?and?Mathematical?Methods?in?Medicine，?2017（3）：?1-9.

[8]?Zhang?F，?Su?J，?Geng?L，?et?al.?Driver?fatigue?detection?based?on?eye?state?recognition[C]∥?2017?International?Conference?on?Machine?Vision?and?Information?Technology?（CMVIT）.?Singapore，?Singapore：?IEEE，?2017.

[9]?游峰，?梁昭德.?基于深度學(xué)習(xí)的駕駛?cè)似跈z測算法研究[J].?武漢理工大學(xué)學(xué)報(bào)：?交通科學(xué)與工程版，?2018，?42（3）：?417-421.

[10]?Zhao?X?P，?Meng?C?N，?Feng?M?K，?et?al.?Fatigue?detection?based?on?cascade?convolutional?neural?network[J].?Journal?of?Optoelectronics?Laser，?2017，?28（5）：?497-502.

[11]?Tereza?Soukupová.?Eyeblink?detection?using?facial?landmarks[D].?Prague，?Czech?Republic：?Faculty?of?Electrical?Engineering，?Czech?Technical?University，?2016.

[12]?Ojala?T，?Pietikainen?M，?Harwood?D.?A?comparative?study?of?texture?measures?with?classification?based?on?feature?distributions[J].?Pattern?Recognition，?1996，?29（1）：?51-59.

[13]?蓋健，?劉小華，?李銳杰，?等.?基于LBP的圖像集人臉識別算法[J].?東北師大學(xué)報(bào)：?自然科學(xué)版，?2015，?47（4）：?84-87.

[14]?朱峰.?一種基于多尺度LBPH特征的快速人臉識別算法[J].?計(jì)算機(jī)應(yīng)用與軟件，?2015，?32（8）：?315-319.

[15]?Ren?S?Q，?Cao?X?D，?Wei?Y?C，?et?al.?Face?alignment?at?3000?FPS?via?regressing?local?binary?features[C]∥IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition.?Columbus，?OH，?USA：?IEEE，?2014：?1685-1692.

[16]?Jiao?Y，?Peng?Y，?Lu?B?L，?et?al.?Recognizing?slow?eye?movement?for?driver?fatigue?detection?with?machine?learning?approach[C]∥2014?International?Joint?Conference?on?Neural?Networks?（IJCNN）.?Beijing，?China：?IEEE，?2014：?4035-4041.

[17]?馬召賓.?融合眼部特征及頭部姿態(tài)的實(shí)時(shí)疲勞駕駛檢測技術(shù)研究[D].?濟(jì)南：?山東大學(xué)，?2016.

[18]?Ahmed?R，?Emon?K?E?K，?Hossain?M?F.?Robust?driver?fatigue?recognition?using?image?processing[C]∥2014?International?Conference?on?Informatics，?Electronics?&?Vision?（ICIEV）.?Nanjing，?China：?IEEE，?2014：?1-6.

[19]?Guo?W?Q，?Xiao?Q?K，?Hou?Y?Y，?et?al.?A?novel?driver?fatigue?assessment?in?uncertain?traffic?condition[C]∥Proceedings?of?the?33rd?Chinese?Control?Conference.?Dhaka，?Bangladesh：?IEEE，?2014：?4777-4781.

[20]?Xie?J?F，?Xie?M，?Zhu?W.?Driver?fatigue?detection?based?on?head?gesture?and?PERCLOS[C]∥2012?International?Conference?on?Wavelet?Active?Media?Technology?and?Information?Processing?（ICWAMTIP）.?Chengdu，?China：?IEEE，?2012：?128-131.

Fatigue?Warning?Detection?Algorithm?Based?on?Depth?Camera

LI?Jinbao，?ZHANG?Weizhong

（College?of?Computer?Science?&?Technology，?Qingdao?University，?Qingdao?266071，?China）

Abstract：??In?order?to?solve?the?difficulty?that?traditional?color?images?cant?correctly?identify?dangerous?driving?behaviors?in?complex?environments，?a?fatigue?warning?method?based?on?depth?camera?is?proposed?in?this?paper.?Firstly，?the?infrared?image?and?the?depth?image?of?the?driver?are?obtained?by?the?depth?camera，?and?the?local?binary?region?mode?feature?operator?is?used?to?detect?the?localized?face?region?for?the?acquired?infrared?image;?the?random?face?forest?is?combined?with?the?global?linear?regression?method?for?training?in?the?face?region.?The?model?is?detected，?and?68?feature?points?of?the?face?are?detected?to?determine?the?closed?state?of?the?eyes?and?mouth;?in?order?to?enhance?the?accuracy?of?the?fatigue?detection，?and?whether?or?not?the?driver?wears?the?glasses，?the?fatigue?state?of?the?driver?is?determined?by?the?improved?fatigue?detection?algorithm.?At?the?same?time，?the?image?processing?method?is?used?to?perform?fatigue?detection?on?the?eye?state?and?the?mouth?state.?The?test?results?show?that?the?algorithm?can?effectively?identify?the?fatigue?state?of?the?eyes?and?mouth?during?the?day?and?night，?and?has?strong?practicability.

Key?words：??OpenCV;?fatigue?detection;?face?key?points;?infrared?image;?dangerous?driving