基于Kinect 的人臉眼部狀態(tài)實(shí)時(shí)檢測(cè)

朱真真，王 偉，段曉東，王存睿

(1.大連民族學(xué)院 大連市民族文化數(shù)字技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連116605;2.北方民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，寧夏 銀川750021)

眼部狀態(tài)檢測(cè)技術(shù)可應(yīng)用于人類面部表情分析、心理分析、人機(jī)交互等社會(huì)生活的各個(gè)方面。例如，通過檢測(cè)人眼開合程度、眨眼次數(shù)等眼部狀態(tài)信息，可以反映出駕駛員的疲勞狀況［1-6］，防止意外交通事故的發(fā)生。在活體檢測(cè)中，也可將檢測(cè)出的眼睛狀態(tài)變化情況作為判別依據(jù)。

眼睛狀態(tài)檢測(cè)方法主要可分為基于眼睛模板、外形和特征三種方法。基于模板的眼睛狀態(tài)檢測(cè)方法，采用動(dòng)態(tài)或通用眼睛模板匹配搜索眼睛位置的感興趣區(qū)域(ROI)，進(jìn)而對(duì)人眼狀態(tài)進(jìn)行判別;基于外形的眼睛狀態(tài)檢測(cè)方法［7］利用眼睛的幾何形狀對(duì)眼睛狀態(tài)進(jìn)行檢測(cè);基于特征的眼睛狀態(tài)檢測(cè)方法［8-9］通過提取眼睛的圖像特征如眼睛顏色特征、眼瞼形狀、瞳孔密度、灰度分布特征、虹膜邊緣等特征作為識(shí)別依據(jù)，對(duì)眼部狀態(tài)進(jìn)行檢測(cè)。劉志波等提出了用多種方法組合對(duì)眼睛狀態(tài)進(jìn)行檢測(cè)［10］，李英［11］等人也提出將灰度模板方法、Fisher 方法、投影法、識(shí)別上眼瞼的方法以及Hough 變換［12-13］的方法相結(jié)合，用來檢測(cè)眼睛狀態(tài)。上述方法雖然提高了抗光照影響力和檢測(cè)的準(zhǔn)確率，但由于計(jì)算的復(fù)雜度較高，很難達(dá)到實(shí)時(shí)性檢測(cè)的要求。

可見光采集眼部圖像時(shí)易受外界光線變化影響，因此圖片需要進(jìn)行預(yù)處理。光照預(yù)處理算法雖然能在一定程度上消除光照的影響，但也會(huì)損失部分圖像信息。使用紅外攝像頭采集的人眼近紅外圖像受光照的影響較小，可使用微軟公司Kinect 傳感器的紅外攝像頭采集人臉區(qū)域中的眼部圖片。文章提出了一種基于Kinect 的人眼實(shí)時(shí)狀態(tài)檢測(cè)方法。利用Kinect 采集人臉紅外圖像，通過對(duì)眼部區(qū)域的定位，提取該區(qū)域的Haar - like特征作為特征向量，利用機(jī)器學(xué)習(xí)算法對(duì)手工標(biāo)定的大量人眼狀態(tài)數(shù)據(jù)集進(jìn)行學(xué)習(xí)，進(jìn)而構(gòu)建人眼狀態(tài)的實(shí)時(shí)檢測(cè)系統(tǒng)。

1 人眼狀態(tài)數(shù)據(jù)集構(gòu)建

利用Kinect 設(shè)備采集了39 名測(cè)試者的375段彩色圖像流、紅外視頻流和人臉網(wǎng)格數(shù)據(jù)作為研究人眼狀態(tài)的數(shù)據(jù)集。為了加強(qiáng)對(duì)戴眼鏡眼睛狀態(tài)的識(shí)別，在數(shù)據(jù)集中采集了大量戴眼鏡樣本。數(shù)據(jù)樣本包含正常睜眼、閉眼、仰視、俯視、斜視、瞇眼等不同眼睛狀態(tài)。由于民族、性別和個(gè)體之間的差異使得眼部特征也存在差異性，所以實(shí)驗(yàn)中還采集了不同民族、不同性別和不同眼部區(qū)域大小的樣本，用來完善數(shù)據(jù)集。通過對(duì)眼部區(qū)域進(jìn)行人工標(biāo)定構(gòu)建形成人眼狀態(tài)數(shù)據(jù)集，樣本采集中的部分圖片數(shù)據(jù)如圖1。

1.1 眼部區(qū)域定位技術(shù)

利用人臉網(wǎng)格對(duì)眼睛區(qū)域進(jìn)行定位。Kinect可通過主動(dòng)紅外對(duì)人臉進(jìn)行快速檢測(cè)和特征點(diǎn)定位［14］如圖2，Kinect 通過追蹤技術(shù)自動(dòng)檢測(cè)出人臉位置，采用區(qū)域生長(zhǎng)法從具有彩色信息的深度圖像中自動(dòng)分割出完整的人臉區(qū)域，然后利用移動(dòng)最小二乘法對(duì)人臉圖像進(jìn)行濾波，并采用最近點(diǎn)迭代算法對(duì)人臉進(jìn)行特征點(diǎn)定位，獲得三維人臉網(wǎng)格確定眼睛位置，具體流程如圖2。

眼部區(qū)域定位是判斷眼睛狀態(tài)的關(guān)鍵。三維人臉網(wǎng)格特征點(diǎn)定位可以確定上下眼瞼和內(nèi)外眼角的位置信息，實(shí)驗(yàn)中利用這4 個(gè)坐標(biāo)位置確定眼部區(qū)域，并獲取紅外圖像、彩色圖像和深度圖像等區(qū)域的信息。實(shí)驗(yàn)中區(qū)域選取的誤差將導(dǎo)致狀態(tài)識(shí)別出現(xiàn)誤差，由于人臉網(wǎng)格會(huì)隨人臉運(yùn)動(dòng)的變化而變化，所以頭部姿態(tài)變換也是影響人眼區(qū)域選取的一個(gè)重要因素。因此將人臉頭部姿態(tài)也作為人眼區(qū)域的特征向量，進(jìn)而提高眼睛狀態(tài)識(shí)別的準(zhǔn)確率。

圖1 部分人臉數(shù)據(jù)庫的樣本圖片

圖2 眼部區(qū)域定位流程圖

1.2 人眼狀態(tài)檢測(cè)算法

Haar-like 特征由于執(zhí)行效率高且模板豐富通常被用于人臉檢測(cè)等領(lǐng)域［15-16］。根據(jù)眼部結(jié)構(gòu)特征，利用圖3 的6 個(gè)Haar -like 矩形特征作為眼部區(qū)域的特征模板，通過構(gòu)建特征向量描述9 種眼部基本形態(tài)。其中，模板A、B 可描述眼球在左、右和上、下位置時(shí)的灰度值變化;C、E 可描述眼球在水平方向和垂直方向上灰度值的變化情況;D、F 可描述眼球左下、右上、左上、右下和正中時(shí)的眼睛狀態(tài)。

圖3 Haar-like 的六種矩形特征模板

利用Kinect 采集的眼部區(qū)域紅外視頻流和頭部姿態(tài)角度特征構(gòu)建了人眼狀態(tài)檢測(cè)數(shù)據(jù)集。訓(xùn)練集涵蓋9 種眼部狀態(tài)共3800 幀人眼狀態(tài)數(shù)據(jù)。實(shí)驗(yàn)中，根據(jù)每個(gè)模板各自的特點(diǎn)依次計(jì)算出相應(yīng)模板的Haar-like 特征值，得出每個(gè)Haar -like 特征對(duì)人眼狀態(tài)的敏感程度。選取其中敏感程度較高的特征模板作為弱分類器，并將它們組合為強(qiáng)分類器，利用決策樹C5.0 對(duì)數(shù)據(jù)集進(jìn)行機(jī)器學(xué)習(xí)。

2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)的硬件環(huán)境為Intel(R)core(TM)i3 -3240 CPU@ 3. 40GHZ6G 內(nèi)存，軟件環(huán)境為windows7、vs2010。實(shí)驗(yàn)時(shí)從人眼特征數(shù)據(jù)庫中選取3800 幀圖像數(shù)據(jù)作為實(shí)驗(yàn)樣本，其中3400 幀作為訓(xùn)練集，400 幀作為測(cè)試集。首先利用單個(gè)Haar-like 特征模板分析Haar-like 特征的識(shí)別效果，然后將所有Haar-like 特征作為特征向量進(jìn)行機(jī)器學(xué)習(xí)，最終得出眼睛狀態(tài)的識(shí)別結(jié)果。經(jīng)測(cè)試得，該算法可滿足實(shí)時(shí)檢測(cè)眼睛狀態(tài)的要求，判斷的準(zhǔn)確率見表1。

表1 測(cè)試結(jié)果

使用單一模板C、E、F 時(shí)，系統(tǒng)識(shí)別的準(zhǔn)確率已達(dá)到或接近90 %;使用模板A、B、D 雖然識(shí)別的準(zhǔn)確率較低，但對(duì)于仰視、側(cè)視、瞇眼等狀態(tài)識(shí)別較好。使用多個(gè)Haar-like 模板作為人眼特征向量進(jìn)行機(jī)器學(xué)習(xí)時(shí)預(yù)測(cè)的準(zhǔn)確率達(dá)到97 %，高于其他任何單一模板的準(zhǔn)確率，并且能夠?qū)崟r(shí)檢測(cè)人眼平視、側(cè)視、仰視、瞇眼等眼部狀態(tài)。

同時(shí)系統(tǒng)本身也存在著一定的局限性，如測(cè)試者大幅度歪頭、側(cè)臉、低頭時(shí)將導(dǎo)致眼睛區(qū)域定位錯(cuò)誤，進(jìn)而降低識(shí)別率。區(qū)域定位錯(cuò)誤而導(dǎo)致誤判的典型情況如圖4。此外，當(dāng)測(cè)試者所戴鏡框的顏色較深時(shí)也會(huì)導(dǎo)致圈定的眼部范圍過大或過小，從而導(dǎo)致識(shí)別錯(cuò)誤。經(jīng)測(cè)試得，系統(tǒng)以每秒30 幀的速度對(duì)人眼狀態(tài)進(jìn)行檢測(cè)，其中單個(gè)狀態(tài)識(shí)別的平均速度為4 ms，滿足實(shí)時(shí)性檢測(cè)的要求。

圖4 特殊情況下的測(cè)試者眼睛定位樣本圖片

3 結(jié) 論

文章提出一種基于Kinect 的人眼狀態(tài)實(shí)時(shí)檢測(cè)的方法。實(shí)驗(yàn)中通過Kinect 采集紅外圖像和人臉網(wǎng)格數(shù)據(jù)，利用人眼區(qū)域的Haar -like 特征和頭部姿態(tài)數(shù)據(jù)，構(gòu)建數(shù)據(jù)集并進(jìn)行機(jī)器學(xué)習(xí)，通過分類器得出分類規(guī)則，研究了利用單一模板時(shí)，Haar-like 特征的識(shí)別效果和每個(gè)特征模板適于識(shí)別的狀態(tài)，最終將多個(gè)特征結(jié)合起來，使人眼狀態(tài)識(shí)別的準(zhǔn)確率達(dá)到97 %。文章在最后論述了系統(tǒng)的使用條件和范圍，研究并列舉了出現(xiàn)錯(cuò)誤識(shí)別的原因，最終構(gòu)建了一個(gè)基于Kinect 的人眼狀態(tài)實(shí)時(shí)檢測(cè)系統(tǒng)。

［1］成波，張廣淵，馮睿嘉，等. 基于眼睛狀態(tài)識(shí)別的駕駛員疲勞實(shí)時(shí)監(jiān)測(cè)［J］. 汽車工程，2008 (11):1001 -1005.

［2］余丹炯. 駕駛困倦預(yù)警系統(tǒng)中眼部狀態(tài)識(shí)別技術(shù)的研究［D］.南京:河海大學(xué)，2007.

［3］曹永. 駕駛員眼睛開閉狀態(tài)計(jì)算機(jī)圖像識(shí)別技術(shù)開發(fā)［D］.青島:青島大學(xué)，2011.

［4］吳文嫻. 基于被動(dòng)視覺的機(jī)車駕駛疲勞實(shí)時(shí)檢測(cè)系統(tǒng)的研究［J］. 鐵路計(jì)算機(jī)應(yīng)用，2011(02):5 -9.

［5］TIAN Z C，QIN H B. Real -time driver eye status detection［C］∥Proceedings of International Conference on Vehicular Electronics and Safety. Xian China :IEEE Press，2005(10):285 -289.

［6］HONG T Y，QIN H B，SUN Q S. An improved real time eye status identification system in driver drowsiness detection［C］∥Proceedings of International Conference on Control and Automation. Guangzhou China:IEEE Press，2007(5):1449 -1453.

［7］張建明，汪大慶. 基于AdaBoost 算法的多姿態(tài)人臉實(shí)時(shí)視頻檢測(cè)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2010.

［8］曹倩霞，羅大庸，李順. 基于眼睛特征跟蹤的眼睛狀態(tài)跟蹤［J］. 計(jì)算機(jī)測(cè)量與控制，2007(12):1794 -1797.

［9］張文聰，鄧宏平，李斌，等. 基于徑向?qū)ΨQ變換的眼睛睜閉狀態(tài)檢測(cè)［J］. 中國科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2010(05):460 -465.

［10］劉志波，周石琳，張官亮，等. 一種眼睛狀態(tài)檢測(cè)的組合方法［J］. 現(xiàn)代電子技術(shù)，2013(08):101 -108.

［11］李英，賴劍煌，阮邦志. 眼睛狀態(tài)檢測(cè)的組合方法［J］. 中國圖象圖形學(xué)報(bào)，2003(10):39 -44.

［12］曹菊英，趙躍龍. 基于水平投影和Hough 查找圓法的人眼狀態(tài)識(shí)別研究［J］. 科學(xué)技術(shù)與工程，2007(9):1969 -1971.

［13］向淑蘭，猶軼. 徑向?qū)ΨQ和圓形霍夫相結(jié)合的眼睛狀態(tài)識(shí)別［J］. 光電工程，2011(05):133 -138.

［14］孟春寧. 人眼檢測(cè)與跟蹤的方法及應(yīng)用研究［D］.天津:南開大學(xué)，2013.

［15］劉曉克，孫爓華，周永霞.基于新haar-like 特征的多角度人臉檢測(cè)［J］.計(jì)算機(jī)工程，2009，35(19):195 -197.

［16］陳勇飛，劉新明.基于膚色和類haar 特征的人臉圖像的人眼檢測(cè)［J］.計(jì)算機(jī)工程與應(yīng)用，2008，33:174 -176.