基于局部二值特征的人臉姿態(tài)估計(jì)系統(tǒng)的研究與實(shí)現(xiàn)

◆鐘小華 張永清 肖成軍

（1.廣東白云學(xué)院機(jī)電工程學(xué)院 廣東 510450；2.廣東非思智能科技股份有限公司 廣東510507）

基于局部二值特征的人臉姿態(tài)估計(jì)系統(tǒng)的研究與實(shí)現(xiàn)

◆鐘小華1張永清2肖成軍1

（1.廣東白云學(xué)院機(jī)電工程學(xué)院 廣東 510450；2.廣東非思智能科技股份有限公司 廣東510507）

本系統(tǒng)利用VS2010開發(fā)平臺(tái)結(jié)合OpenCV圖像處理軟件實(shí)現(xiàn)人臉姿態(tài)的計(jì)算。首先采用Adaboost算法和Haar特征檢測(cè)出待檢測(cè)圖像中的人臉，接著采用局部二值特征算法估算人臉的68個(gè)特征點(diǎn)，并利用比例正交投影迭代變換算法結(jié)合估算的68個(gè)人臉特征點(diǎn)實(shí)現(xiàn)了人臉人臉的姿態(tài)估計(jì)。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)對(duì)有遮擋或轉(zhuǎn)角過大的人臉也具有較高的準(zhǔn)確度。

人臉姿態(tài)估計(jì)；人臉位置檢測(cè)；局部二值特征

0 引言

人臉姿態(tài)估計(jì)在虛擬現(xiàn)實(shí)與增強(qiáng)、3D應(yīng)用、表情識(shí)別等領(lǐng)域有廣泛的應(yīng)用。由于背景復(fù)雜、光照、距離、姿態(tài)等原因，人臉字姿態(tài)估計(jì)一直是國內(nèi)外學(xué)者關(guān)注的重要課題之一，目前人臉姿態(tài)估計(jì)的方法主要有：基于幾何模型的姿態(tài)估計(jì)法、基于三維模型的姿態(tài)估計(jì)法、基于人臉特征的姿態(tài)估計(jì)法?；趲缀文Ｐ偷淖藨B(tài)估計(jì)法是通過把人臉的關(guān)鍵點(diǎn)與常見的幾何模型進(jìn)行匹配從而估計(jì)人臉的姿態(tài)[1-2]，該方法簡單容易實(shí)現(xiàn)，但若人臉姿態(tài)的變化角度過大(>45°)會(huì)造成姿態(tài)估算結(jié)果偏差較大?；谌S模型的姿態(tài)估計(jì)法首先需要建立人臉三維模型庫，將待檢測(cè)的二維人臉與三維模型庫的旋轉(zhuǎn)一定角度對(duì)應(yīng)人臉模型投影到二維圖像進(jìn)行匹配，完成人臉姿態(tài)的識(shí)別[3-4]，但構(gòu)建三維人臉數(shù)據(jù)庫需要的數(shù)據(jù)量巨大，對(duì)計(jì)算機(jī) CPU和存儲(chǔ)空間要求較高，耗時(shí)長，同時(shí)對(duì)樣本的姿態(tài)和光照要求高，實(shí)際中難以應(yīng)用。基于人臉特征的方法利用算法檢測(cè)人臉特定部位的特征點(diǎn)，一般為眼睛、鼻子、嘴等，這些特征點(diǎn)在姿態(tài)、視角和光照等條件發(fā)生改變時(shí)依然存在，從而利用二維特征點(diǎn)進(jìn)行三維匹配確定人臉的空間姿態(tài)。尺度不變特征變換（SIFT）[5-6]對(duì)圖像尺寸、旋轉(zhuǎn)、仿射變換的能夠保持不變性，對(duì)圖像中人臉的尺寸大小和姿態(tài)轉(zhuǎn)換具有一定的適應(yīng)能力，但 SIFT算子維度高，計(jì)算量大。稀疏表示分類（SRC）[7-8]在有噪聲影響和遮擋的人臉識(shí)別問題上表現(xiàn)出了獨(dú)特的優(yōu)勢(shì)，但沒有針對(duì)多姿態(tài)問題加以解決。本研究結(jié)合人臉特征的方法，采用人臉局部二值特征算法求得人臉關(guān)鍵點(diǎn)位置，再用比例正交投影迭代變換算法估算人臉的姿態(tài)。

1 基于局部二值特征的人臉姿態(tài)估計(jì)的核心算法

基于局部二值特征的人臉姿態(tài)估計(jì)實(shí)現(xiàn)過程可以分為三個(gè)步驟：1)人臉檢測(cè)；2）局部二值特征計(jì)算；3）人臉姿態(tài)估計(jì)。

圖1 人臉姿態(tài)估計(jì)流程圖

1.1 人臉檢測(cè)算法

人臉檢測(cè)是判斷人臉在一幅待檢測(cè)圖像是否存。首先需要對(duì)訓(xùn)練集圖像中的人臉進(jìn)行 Harr-like特征提取，再利用 Adaboost算法進(jìn)行判斷。Adaboost算法通過不斷的迭代從大量的Harr-like特征中找到小部分人臉關(guān)鍵的特征，利用這些關(guān)鍵特征產(chǎn)生一些有效的分類器，然后將大量的分類能力一般的弱分類器以一定的方法級(jí)聯(lián)疊加起來構(gòu)成一個(gè)強(qiáng)分類器[9]，該方法能夠有效地識(shí)別人臉和非人臉。流程示意圖如圖2所示。

圖2 Adaboost算法示意圖

1.2 局部二值特征算法

采用局部二值特征算法來標(biāo)記人臉的68個(gè)特征點(diǎn)，例如眼睛、嘴、鼻子、眉毛以及人臉輪廓點(diǎn)等。人臉的 68個(gè)特征點(diǎn) S的實(shí)際位置如圖3所示。

圖3 68個(gè)人臉特征點(diǎn)

對(duì)于圖像I，輸入人臉標(biāo)準(zhǔn)初始形狀S0，通過級(jí)聯(lián)的方式估算一個(gè)形狀增量 △S來逐步修正S，估算第t次迭代的形狀增量△St的過程為：

其中 I為輸入圖像，St-1為前一個(gè)層級(jí)得到的形狀，Φt為特征映射函數(shù)，Wt為線性回歸矩陣。

（1） 局部二值特征的生成

公式（2）的特征映射函數(shù)Φt由一系列的局部特征函數(shù)組成，如每一個(gè)局部特征函數(shù)都可以通過獨(dú)立學(xué)習(xí)得到。采用一種標(biāo)準(zhǔn)的隨機(jī)回歸森林來學(xué)習(xí)每個(gè)隨機(jī)森林樹的分割點(diǎn)用像素差特征訓(xùn)練得到。假設(shè)葉子節(jié)點(diǎn)數(shù)的總數(shù)為D，輸出為：

（2） 全局線性回歸特征模型

其中第一項(xiàng)為回歸目標(biāo)，第二項(xiàng)為 Wt的L2正則化項(xiàng)。因?yàn)樘卣骶S度高，正則化必不可少。

1.3 比例正交投影迭代變換算法

如圖4所示，人臉姿態(tài)的構(gòu)成由三種角度組成，分別為左右翻轉(zhuǎn)（偏航角 roll），平面內(nèi)旋轉(zhuǎn)（翻轉(zhuǎn)角 yaw），上下翻轉(zhuǎn)（俯仰角pitch）。

圖4 人臉姿態(tài)示意圖

本研究的姿態(tài)估計(jì)采用非線性最小二乘方法模型來估算：

其中(α,β ,γ) 代表人臉姿態(tài)的三個(gè)旋轉(zhuǎn)角度，N代表一張人臉上標(biāo)定特征點(diǎn)的個(gè)數(shù)，qi代表檢測(cè)的人臉特征點(diǎn)，pi代表對(duì)應(yīng)的三維通用標(biāo)準(zhǔn)模型特征點(diǎn)，R為旋轉(zhuǎn)矩陣，T為空間平移向量。其中旋轉(zhuǎn)矩陣R和空間平移向量T采用比例正交投影迭代變換（POSIT）算法[10]求出，該算法能夠根據(jù)2D圖像中的若干特征點(diǎn)位置，估計(jì)出物體在3D上角度，主要過程為：通過比例正交投影迭代變換（POSIT）算法求人臉特征點(diǎn)的旋轉(zhuǎn)矩陣R和空間平移向量 T估計(jì)值；將其作為初始值進(jìn)行弱透視投影，再通過POSIT算法迭代不斷修正前一次的估計(jì)值，直到結(jié)果滿意為止。

假設(shè)旋轉(zhuǎn)矩陣R和空間平移向量T如式（6）所示：

在本文中，采用局部二值特征線性回歸的方法求得人臉的68個(gè)特征點(diǎn)位置，結(jié)合標(biāo)準(zhǔn)3D模型中的相應(yīng)位置的對(duì)應(yīng)點(diǎn)，采用POSIT算法估算出旋轉(zhuǎn)矩陣與平移矩陣，最終估算出人臉的偏轉(zhuǎn)角度。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)數(shù)據(jù)庫及人臉數(shù)據(jù)預(yù)處理

采用LPFW人臉數(shù)據(jù)庫[11]進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)庫中包含25000個(gè)規(guī)格不同膚色不同的人臉圖像。從該人臉庫中隨機(jī)選取12500個(gè)人的人臉圖像作為訓(xùn)練樣本集，剩下的一半作為測(cè)試集。

2.2 人臉姿態(tài)估計(jì)總體結(jié)構(gòu)設(shè)計(jì)

人臉姿態(tài)估計(jì)的開發(fā)工具是微軟公司推出的開發(fā)環(huán)境Visual Studio 2010，利用了一個(gè)主流計(jì)算機(jī)視覺開發(fā)庫OpenCV，OpenCV版本為OpenCV2.4.9。系統(tǒng)的流程圖如圖5所示，人臉姿態(tài)估計(jì)系統(tǒng)主要包括人臉檢測(cè)模塊、局部二值特征預(yù)測(cè)模塊、人臉姿態(tài)估計(jì)模塊。

圖5 人臉姿態(tài)估計(jì)流程圖

（1） 人臉檢測(cè)模塊

如同前面的 1.1所述，人臉檢測(cè)的方法采用的是基于Haar-like特征的Adaboost人臉檢測(cè)方法，該方法可以很好的將人臉圖像中的人臉位置進(jìn)行定位。在LPFW數(shù)據(jù)庫中，我們挑選了部分樣本作為人臉檢測(cè)算法的輸入，得到的結(jié)果如圖6所示：

圖6 人臉檢測(cè)結(jié)果

（2） 局部二值特征回歸模塊

局部二值特征回歸模塊在在人臉檢測(cè)的基礎(chǔ)上，進(jìn)行局部二值特征的提取，訓(xùn)練以及預(yù)測(cè)，其中訓(xùn)練的過程如圖7所示：

圖7 局部二值特征模型的訓(xùn)練過程

得到模型后，通過級(jí)聯(lián)回歸的增量修正，最終得到人臉中的68個(gè)實(shí)際坐標(biāo)點(diǎn)，圖8中為最終的結(jié)果。由圖中可以看出，局部二值特征算法對(duì)角度偏轉(zhuǎn)較大的圖像也同樣具有很好的魯棒性。

圖8 人臉特征點(diǎn)

（3）人臉姿態(tài)估計(jì)模塊

人臉姿態(tài)估計(jì)實(shí)現(xiàn)的條件之一是求得人臉特征點(diǎn)（眼鏡，嘴巴，鼻子等處的像素位置），其次是根據(jù)人臉特征點(diǎn)在圖像上的坐標(biāo)，通過比例正交投影迭代的方法，最終得到人臉的翻轉(zhuǎn)角，偏航角以及俯仰角。圖9為人臉的姿態(tài)估計(jì)結(jié)果，人臉姿態(tài)的三個(gè)角度組成，分別為左右翻轉(zhuǎn)（roll），平面內(nèi)旋轉(zhuǎn)（yaw），上下翻轉(zhuǎn)（pitch）已在圖像上標(biāo)出。

圖9 人臉姿態(tài)估計(jì)結(jié)果

3 結(jié)論

該系統(tǒng)在VS2010開發(fā)環(huán)境下進(jìn)行開發(fā)，對(duì)人臉對(duì)齊及人臉姿態(tài)識(shí)別具有很強(qiáng)的魯棒性，能識(shí)別各類人群，即使戴眼鏡或者眼鏡反光，系統(tǒng)識(shí)別仍然具有很高的準(zhǔn)確率，同時(shí)有一定的抗臉側(cè)向的能力和抗臉傾斜識(shí)別能力，有較強(qiáng)的應(yīng)用價(jià)值。

[1]X.P.Chen,Q.QYang,H.H,Liaoetal.Real-Time Face P-ose Estimate in Video Sequence[C].IEEE,Second International Workshop on Education Technology and Computer Science，2010.

[2]A.Narayanan,R.M.Kaimal,K.Bijlani. Yaw Estimation using Cylindrical and Ellipsoidal Face Models[J].IEEE,Transactions on Intelligent Transportation System，2014.

[3]FransensR,StrechaC,VanGoolL,Parametric Stereofor Multi-poseFaceRecognition and 3D-FaceModelling. Beijing,China，2005.

[4]尹寶才，張壯，孫艷豐等.基于三維形變模型的多姿態(tài)人臉識(shí)別.北京工業(yè)大學(xué)學(xué)報(bào)，2007.

[5]毋立芳，侯亞希等.基于緊致全姿態(tài)二值SIFT的人臉識(shí)別[J].儀器儀表學(xué)報(bào)，2015.

[6]周玲麗，賴劍煌.人臉特征的SIFT保護(hù)算法[J].中國圖象圖形學(xué)報(bào)，2011.

[7]張疆勤，廖海斌，李原.基于因子分析與稀疏表示的多姿態(tài)人臉識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2013.

[8]平強(qiáng)，莊連生，俞能海.姿態(tài)魯棒的分塊稀疏表示人臉識(shí)別算法[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2011.

[9]江偉堅(jiān)，郭躬德，賴智銘. 基于新 Haar-like特征的Adaboost人臉檢測(cè)算法[J].山東大學(xué)學(xué)報(bào)(工學(xué)版)，2014.

[10]程科文.基于自適應(yīng)三維人臉模型的實(shí)時(shí)頭部姿態(tài)估計(jì)[D].合肥市：合肥工業(yè)大學(xué)，2016.

[11]BELHUMEUR P,JACOBS D,KRIEGMAND,etal.Localization parts of faces using a consensus of exemplars[C]//Proceedings of the IEEE Conference on computer Vision and Pattern Recognition. Washington DC:IEEE，2011.

廣東省智能制造應(yīng)用型人才協(xié)調(diào)育人基地（粵高教函[2016]31號(hào)）。