一種基于機器視覺的眼睛閉合度計算方法

長治學(xué)院 韓尚儒

汽車駕駛?cè)藛T會受到噪聲，光照不均勻等因素影響，這些問題均會引發(fā)駕駛?cè)藛T出現(xiàn)駕駛疲勞。本研究針對駕駛?cè)藛T臉部識別，對眼部進行識別，應(yīng)用perclos原理基礎(chǔ)上使用眨眼頻率輔助檢測方法以評判駕駛?cè)藛T疲勞度。首先提取和檢測駕駛?cè)藛T臉部特征，利用Gabor濾波法針對光照不均勻，YCbCr顏色空間實現(xiàn)人臉膚色分割，提取人臉特征后利用垂直、水平積分投影定位在人臉區(qū)域，在人臉定位前提下利用人眼位置特征，初定位人眼區(qū)域，計算各連通區(qū)域大小，以去除人眼圖像噪聲，最后定位于人眼區(qū)域，使用人眼高寬比來確定最終人眼閉合度，基于erclos的P80原理評判駕駛?cè)藛T疲勞度。由于疲勞駕駛很難檢測，因此規(guī)定執(zhí)行過程中難度較高。本研究包含模式識別，圖像處理，數(shù)據(jù)分析等多種知識融合，構(gòu)建可用于檢測駕駛?cè)藛T疲勞度的系統(tǒng)。

1 駕駛?cè)藛T臉部特征提取及檢測

第一，光照預(yù)處理檢測法。由于駕駛?cè)藛T常年在野外駕駛工作，因此光照預(yù)處理需要重點考慮。針對光照變化不敏感圖像的表示法可參考Gabort函數(shù)濾波法。圖像邊緣圖可利用人臉器官橫紋特征，進而對光照不敏感特性等圖像二維Gabor函數(shù)濾波，其類似加強圖像邊緣輪廓，灰度圖像一階及二階導(dǎo)數(shù)，對于周邊光照變化不敏感，在圖像增強中非線性變化也經(jīng)常使用上述方法，對光照變化有一定的補償，但會存在局限性。

第二，Haar-Like特征提取，國外研究學(xué)者提出Haar-Like特征，研究學(xué)者采用不同類別特征應(yīng)用該算法進行實物檢測，可通過該策略獲取像素點灰度值，之后計算該圖像可獲得特征值。

第三，顏色空間選擇。RGB是人們所熟悉的顏色空間，主要面向彩色顯示器等硬件設(shè)備，在自然界中全部色彩可用紅綠藍組合描繪，人眼視覺細胞對紅綠藍靈敏度較高，所有RGB顏色均能夠表現(xiàn)出色彩，對于彩色照片RGB顏色空間不僅能夠代表顏色，同時還能夠代表圖像亮度，因此三種顏色具有一定的相關(guān)性。但該方法在創(chuàng)建膚色模型時也適用性不強，為能夠使人膚色部分與非膚色部分進行有效區(qū)分，需要在RGB空間中使用不同膚色模型進行數(shù)據(jù)分析。

2 駕駛?cè)藛T眼部特征提取及檢測

對于駕駛?cè)藛T疲勞度可通過多種方法進行檢測，比如借助計算機視覺進行分析人眼部位可獲得結(jié)果，因此如何評估駕駛員疲勞狀態(tài)通常需要多種方法參與。本研究使用計算機算法進行眼睛狀態(tài)，之后根據(jù)駕駛?cè)藛T疲勞度，判斷其是否真實處于疲勞駕駛狀態(tài)中。計算眼瞼率的方法可用于獲取目標(biāo)圖像邊緣，因此眼瞼作為人眼上部區(qū)域，可使用擬合算法擬合與上眼瞼最接近曲線，具體算法如下所示：

在上述公式中眼瞼曲線變化率用Δθ表示，補償用ΔL表示，眼睛的高度和寬度，用eyehigh以及eyewidth表示，因此眼瞼曲率近似公式如下所示：

如果所計算眼瞼曲率大于0表明眼睛處于睜開狀態(tài)，反之則為閉合狀態(tài)。該方法對于眼角定位需求較高，同時對眼瞼曲線擬合也會形成無法遇到預(yù)料的誤差。虹膜面積計算法，主要通過虹膜面積測量眼睛實時狀態(tài)及檢測眼睛閉合程度，該方法能夠?qū)崿F(xiàn)對眼臉準(zhǔn)確定位，然而在光照變化度較高的基礎(chǔ)上很難確定眼瞼位置，而在眼睛閉合狀態(tài)下，眼瞼與紅膜無較大差別，因此檢測虹膜面積難度較高。SVM法，是復(fù)雜數(shù)據(jù)集數(shù)據(jù)處理方法，能夠使數(shù)據(jù)集不同種類合理區(qū)分，利用這種分類器進行人眼分類可獲得超平面，之后使用分類法獲得睜眼圖像和閉眼圖像，在這種訓(xùn)練過程中計算量較大，因此很難準(zhǔn)確判斷眼睛實時狀態(tài)。

2.1 基于投影法人眼區(qū)域特征提取

投影法能夠提取人眼部重要信息，根據(jù)投影策略可獲得有效信息。整體來看，該檢測策略具有實時性效果，本研究使用投影算法進行人眼判別，通常人雙眼輪廓和長寬比基本一致，在駕駛員開車過程中兩只眼睛的眨眼頻率基本一致，因此可選擇一個眼睛數(shù)據(jù)來判斷兩只眼睛實時狀態(tài)。結(jié)合前人研究，可利用投影計算法，獲取人眼坐標(biāo)之后提取對應(yīng)的眼部信息，測試人眼狀態(tài)，在圖像觀察時可發(fā)現(xiàn)該區(qū)域圖像精確度和復(fù)雜度是與之前圖像存在的差別，不僅包含眼睛，膚色，同時眼睛中還包含眼白，虹膜等細微特征，如果設(shè)置圖像灰度值為0到K，則K為灰度值高峰值，可將像素分為S0和S1，各灰度值為像素點個數(shù)比像素綜述。

S0的出現(xiàn)概率如下公式所示：

S1的出現(xiàn)概率如下公式所示：

兩組方差如下公式所示：

在處于0到K之間，當(dāng)方差取最大值時t值為最理想閾值T，將所獲得的閾值T對人眼區(qū)域圖像進行二值化處理。

2.2 數(shù)學(xué)形態(tài)學(xué)運算

使用圖像處理策略能夠獲得較好信噪比圖像信息，結(jié)合上述圖像可判斷該圖像中包含部分干擾因素，比如睫毛等均會對圖像處理產(chǎn)生干擾，這些干擾也會影響眼部信息分析，因此在圖像處理過程中可使用開運算和閉運算進行圖片分析，以提高圖片信噪比。形態(tài)學(xué)是模式識別中的重要理論，該理論目前已獲得一定發(fā)展，相比傳統(tǒng)圖像處理算法來說，數(shù)字形態(tài)學(xué)采用結(jié)構(gòu)性算法進行圖像處理，在圖像處理中數(shù)學(xué)形態(tài)學(xué)包含開運算和閉運算等。

開運算能夠起到先腐蝕再膨脹的效果，腐蝕時將邊界無意義點去除之后，開展膨脹操作，能夠使圖像邊界逐漸恢復(fù)原有形狀，經(jīng)過腐蝕圖像基本無意義邊緣點存在，因此開運算能夠起到平滑圖像邊緣的功能，可用于去除小像素點且不會改變原有圖像形狀。

針對上述結(jié)果發(fā)現(xiàn)，無論采用開運算或閉運算均能夠?qū)崿F(xiàn)圖像邊緣平滑，但開運算同時能夠去除圖像邊緣毛刺，進而去除噪音點產(chǎn)生的干擾，因此對于眼部處理時使用開運算進行操作時獲得。

根據(jù)上述研究發(fā)現(xiàn)，經(jīng)過開運算之后人眼區(qū)域相對明顯，小區(qū)域干擾因素能夠被完全去除而保留眼瞼部位，因此采用開運算用于眼部圖像處理是比較合適的。

3 人眼狀態(tài)特征提取

經(jīng)上述研究可找到人眼邊緣數(shù)據(jù)，為能夠檢測駕駛?cè)藛T實時位置同時利用該方法還能夠?qū)嵤z測人員狀態(tài)，判斷其是否處于駕駛狀態(tài)中。眼睛閉合程度是利用計算機對應(yīng)算法獲取人眼閉合程度，同時借助積分投影確定人眼輪廓觀察，即可獲得人眼實時狀態(tài)。采用遍歷法對人眼各個部位檢測進而獲得人眼長度，寬度的相關(guān)信息。

利用該方法能夠獲取在完全張開時人眼λmax值和完全閉合時的λmin值，包含其他狀態(tài)人睜眼參數(shù)。針對眼睛圖片進行大量訓(xùn)練并獲取λmax值為0.43，λmin值為0.16，利用這些信息能夠測試眼睛困倦度。眨眼頻率，一個完整眨眼，包含睜開、閉合這兩個過程，眨眼頻率是指在單位時間內(nèi)完成眨眼的次數(shù)，眨眼頻率通?？煞从绸{駛?cè)藛T疲勞狀態(tài)，如果其處于十分疲勞則眨眼頻率則為異常狀態(tài)。

在特定視頻中可對10s內(nèi)眼睛閉合度進行實時監(jiān)測可以發(fā)現(xiàn)，每個波谷代表駕駛?cè)藛T眨眼動作，在本次實驗中將0.2設(shè)置為判斷眨眼的閾值。

4 駕駛?cè)藛T疲勞狀態(tài)判定

本研究可借助perclos原理，該原理是在單位時間內(nèi)檢測人眼睛閉合所占時間比例，通常該原理包含三大標(biāo)準(zhǔn)，可用于判別駕駛?cè)藛T眼睛閉合所占時間包括P70，P80以及EM標(biāo)準(zhǔn)。P70以及P80是判斷人眼閉合度高于70%和80%，這種情況下可判定駕駛?cè)藛T的眼睛處于閉合狀態(tài)，EM的判定標(biāo)準(zhǔn)是根據(jù)人眼閉合速率均方差，進一步判斷駕駛?cè)藛T的疲勞度。但綜合實驗來看，采用P80的標(biāo)準(zhǔn)可獲得理想實驗結(jié)果，利用該原理判斷駕駛?cè)藛T疲倦在于其原理要求首先識別人臉方位，進而識別人眼方位，能夠獲得人眼具體信息，根據(jù)P80標(biāo)準(zhǔn)判斷人眼狀態(tài)，即可設(shè)置閾值f，當(dāng)人體出現(xiàn)應(yīng)激反應(yīng)時f值會快速升高并高于閾值。比如駕駛?cè)藛T眼睛進沙或受到強烈光照，如果其處于疲勞狀態(tài)系統(tǒng)所測量的f值會高于閾值，這時系統(tǒng)會給駕駛?cè)藛T提出警告指令，如果駕駛?cè)藛T處于精神精神狀態(tài)則不會發(fā)出警告信息。結(jié)合研究發(fā)現(xiàn)，人眼受到眼睛刺激之后會形成眨眼條件反射，根據(jù)perclos標(biāo)準(zhǔn)可判斷其眨眼為疲勞導(dǎo)致反射，這種情況下應(yīng)當(dāng)引入眨眼頻率的判定公式，本研究設(shè)置眨眼頻率高于30次每分鐘則代表是應(yīng)激反應(yīng)，而不是駕駛?cè)藛T的疲勞狀態(tài)。

總結(jié)：總而言之，本研究針對駕駛員的臉部特征進行提取檢測，利用Gabor濾波法進行光照不均勻圖像光線預(yù)處理，同時采用Haar特征法進行人臉特征提取，利用垂直，水平投影積分定位于人眼區(qū)域。基于人臉定位前提下利用人臉位置特征粗定位人眼區(qū)域，去除人眼圖像噪聲，采用形態(tài)學(xué)開運算和閉運算提高眼睛定位準(zhǔn)確度，最后利用積分投影定位在人眼中，借助perclos原理中P80標(biāo)準(zhǔn)進行駕駛?cè)藛T疲勞狀態(tài)的判斷。由于駕駛?cè)藛T開車時會受到應(yīng)激刺激而出現(xiàn)眨眼，這種情況下判定疲勞程度的f值會快速提高，導(dǎo)致系統(tǒng)出現(xiàn)誤判，因此需使用眨眼頻率聯(lián)合P80標(biāo)準(zhǔn)進行疲勞程度的判定，能夠提高系統(tǒng)檢測準(zhǔn)確度，最終將閾值f定為0.16，這種情況下駕駛?cè)藛T可被判定為處于疲勞狀態(tài)。