基于三維模型的人臉姿態(tài)估計?

牛曉霞

（燕山大學信息科學與工程學院，秦皇島066004）

基于三維模型的人臉姿態(tài)估計?

牛曉霞

（燕山大學信息科學與工程學院，秦皇島066004）

提出了一種基于三維模型的人臉姿態(tài)估計方法。首先根據(jù)人臉特征點重建出稀疏的三維人臉模型，然后基于三維模型采用線性回歸的方法對人臉姿態(tài)進行初步估計，確定姿態(tài)范圍，再對估計結果進行修正，從而對人臉姿態(tài)進行精確估計。實驗表明，該方法具有較好的估計效果，提高了姿態(tài)估計精度。

三維模型；線性回歸；人臉姿態(tài)估計；稀疏模型

1 引 言

人臉姿態(tài)估計是指通過輸入單幅或多幅圖像以確定人臉在三維空間中姿態(tài)的過程。在人臉識別、虛擬現(xiàn)實、智能人機界面、司機疲勞檢測等領域，人臉姿態(tài)估計都有著廣泛的應用。

現(xiàn)有的國內外人臉姿態(tài)估計的方法大體可分為基于人臉特征的方法和基于模型的方法［1］?；谔卣鞯姆椒ǎ?］假設人臉的三維姿態(tài)與人臉圖像的某些特征（如灰度、色彩、圖像梯度等）之間存在著特定的對應關系，將輸入圖像與姿態(tài)樣本進行匹配得到姿態(tài)結果。Chen等人提出把人頭部看成人臉膚色和發(fā)色區(qū)域的組合，根據(jù)大量樣本數(shù)據(jù)建立起區(qū)域特性與人臉姿態(tài)之間的對應關系［3］。這類方法在樣本不充分的情況下難以獲得滿意的結果?；谀Ｐ偷姆椒ㄊ侵咐脦缀文Ｐ徒Y構來表示人臉形狀，并建立模型與圖像之間的對應關系，然后基于此對應求解姿態(tài)參數(shù)?；谀Ｐ偷姆椒ǖ淖畲髢?yōu)點就是方法簡單易行，且具有較高的精度［4－6］。Shimizu等人由統(tǒng)計方法定義了一個通用人臉模型，通過三維模型與人臉圖像上某些特定曲線的對應進行迭代優(yōu)化匹配得到人臉姿態(tài)參數(shù)估計［7］。

近年來，隨著三維人臉建模技術的發(fā)展，可以得到個性化稀疏的人臉模型［8－9］，并將個性化模型與人臉圖像之間對應起來，基于此，提出一種個性化稀疏模型和優(yōu)化算法相結合的人臉姿態(tài)估計方法。對于重建的稀疏三維人臉，設計了兩步估計步驟：首先利用線性回歸的思想來對人臉姿態(tài)進行初步估計［10］，然后將姿態(tài)估計結果作為初值，確定搜索范圍，再對估計角度參數(shù)進行修正，最后得到人臉姿態(tài)的精確估計結果。

2 人臉模型重建

利用CVL Face Database人臉庫建立稀疏的三維人臉數(shù)據(jù)庫以及對應的稀疏的二維人臉數(shù)據(jù)庫，根據(jù)主成分分析原理，可以將三維人臉以及二維人臉分別用以下公式表示：

主成分回歸算法就是利用相關模型的獨立與非獨立數(shù)據(jù)的關系來完成建模。最基本的要點就是將二維模型與三維模型分解到一個低維空間里，用主成分分析系數(shù)bs2D，i和bs3D，i來表示真實模型xi與Xi，然后用標準的線性回歸來聯(lián)系xi與Xi。

輸入提取的人臉特征點xinp，關于尺度因子與位移因子，可在對數(shù)據(jù)的預處理中求得S3D，這里輸入的人臉特征點即為與人臉庫對應尺度的數(shù)據(jù)。對稀疏三維人臉數(shù)據(jù)庫進行主成分分析得到。對相應的二維人臉數(shù)據(jù)庫進行主成分分析得到S2D，分別用各自的系數(shù)表示三維形狀樣本（X1，X2，...，Xn）和二維形狀樣本（x1，x2，...，xn），如式（3）和式（4）：

式中bs3D，i和bs2D，i分別為三維和二維人臉庫中能表示第i個人臉的形狀合成系數(shù)。然后令：

T＝［bs2D，1，bs2D，2，...，bs2D，m－1］，U＝［bs3D，1，bs3D，2，...，bs3D，m－1］，根據(jù)主成分回歸模型可得：

將人臉特征點xinp輸入，通過式（6）和式（7）求得形狀系數(shù)：

式中bs2D，inp為根據(jù)輸入特征點求取的二維形狀合成系數(shù)，然后通過式（7）求得三維形狀合成系數(shù)。

最后利用得到的三維形狀合乘系數(shù)通過式（8）得到三維稀疏人臉模型。

式中xr為恢復的稀疏人臉模型的形狀向量。

3 人臉姿態(tài)估計

3.1 基于線性回歸的初步估計

對于給定的任意姿態(tài)的人臉，首先選取7個特征點，分別為兩眼的內外眼角、鼻下點和左右嘴角點。然后在建立的稀疏三維人臉模型上對這7個點進行標定，分別得到二維、三維坐標為pi（xi，yi）和qi，（xi，yi，zi），其中i＝1，2，...，7。將人臉模型進行姿態(tài)旋轉到特定角度，得到：

式中R（α），R（β），R（γ）為對應的旋轉矩陣。將經(jīng)過旋轉后的特征點平行投影到二維平面即為pi（xi， yi）。將上式展開，把與相關的坐標變換信息舍去，將xi，yi，zi視為自變量，視為因變量，則式（10）滿足多元線性回歸模型。

式中a1＝cosγcosβ；

a2＝sinγcosβ；

a3＝cosγsinβsinα－sinγcosα；

a4＝sinγsinβsinα＋cosγcosα；

a5＝cosγsinβcosα＋sinγsinα；

a6＝sinγsinβcosα－cosγsinα；

上次展開后的方程組為超定線性系統(tǒng)，可以用最小二乘法求解。令A＝（a1，a2，a3，a4，a5，a6）T表示回歸系數(shù)，Y＝（y1，y2，...，y14）T，矩陣B為：

則A＝B⊥Y。其中B⊥＝（B′B）－1，B′是B的偽逆轉置矩陣。

利用相關特征點以及回歸系數(shù)進行姿態(tài)的初步估計：

（1）人臉繞z軸的旋轉角度γ可以通過內外眼角點和左右嘴角點的坐標計算得到。

（2）人臉繞y軸的旋轉角度β可先根據(jù)回歸系數(shù)a1，a2分別求得旋轉角度β1和β2，然后求取β1和β2的均值即得。

（3）人臉繞x軸的旋轉角度α與求β的方法相似，根據(jù)回歸系數(shù)a3，a4，a5，a6分別求出α1，α2，α3，α4，然后通過求取四者的平均值得到。

3.2 姿態(tài)角度修正

為了避免線性回歸算法得到結果誤差過大的現(xiàn)象，針對三維模型中所使用的七個點，將其做空間旋轉并進行投影，得到相應二維坐標。由于人臉繞x軸的旋轉角度γ可以通過圖像直接進行確定，而且精度較高，所以這里只針對繞x軸的旋轉角度α和繞y軸的旋轉角度β進行校正約束。首先定義函數(shù)：

其中，xin為輸入的帶有姿態(tài)的特征點，xr為重構的稀疏三維模型，LR代表將三維模型做旋轉投影變換。針對式（12），發(fā)現(xiàn)當輸入的角度接近真實角度時，Θ（α，β）可以得到最小值，因此可以以此為判斷依據(jù)，將使用線性回歸算法得到的姿態(tài)估計角度作為參考，確定一個合理的角度范圍，然后對不同角度組合作為參數(shù)進行輸入，對式（12）進行求解，就可以得到相應的Θ（α，β）。將所有Θ（α，β）的計算結果進行搜索可以得到相應的最小Θ（α，β），其對應的α與β即為所求，也就意味著經(jīng)旋轉投影變換的三維特征點與給定的帶有姿態(tài)的特征點距離最為接近。

將人臉庫中三維人臉模型進行旋轉投影之后得到的二維向量作為輸入進行算法驗證時發(fā)現(xiàn)：求解α時，當α＜10°時線性回歸算法計算結果誤差較大，此時采用修正算法結果作為估計結果；當α＞10°時線性回歸算法與修正方法得到的結果都接近真實值，這時為了使誤差穩(wěn)定，將兩個結果進行加權平均處理得到估計結果，如式（13）。

其中α1為線性回歸估計結果，α2為調整后的結果，α為最終估計結果。求解β時，將線性回歸估計結果與修正結果進行平均計算得到最終結果。

整個的姿態(tài)角度求解過程如下：

（1）輸入給定的人臉正面照片，進行特征點提取，根據(jù)特征點進行稀疏三維模型重建，得到相應的3D人臉形狀模型；

（2）輸入相應的帶有姿態(tài)的人臉圖片，標定左右嘴角點、鼻下點和兩眼的內外眼角7個特征點；

（3）建立線性回歸方程，進行求解，并進一步解出姿態(tài)角度的估計結果；

（4）以估計結果為參考確定搜索范圍，利用定義的函數(shù)Θ（α，β），對線性回歸算法得到的結果進行修正約束，得到最終估計結果。

4 實驗結果

實驗在3.11GHz AMD Athlon（tm）IIX2，1.75 GB內存，MATLABR2010a環(huán)境下編程所得。為了驗證實驗結果，采用人臉庫中三維人臉模型經(jīng)過旋轉投影得到的二維坐標作為輸入?yún)?shù)，進行姿態(tài)計算。圖1為真實的人臉圖片，圖2為建立的稀疏三維人臉形狀模型，圖3為建立個性化稀疏的三維人臉模型與真實特征點的坐標圖，其中紅色星號為人臉庫中人臉模型的真實坐標，藍色點為重建的三維坐標?？梢娭亟ńY果令人滿意。

圖1 真實人臉圖片

圖2 建立的三維形狀模型

表1中分別給出了使用線性回歸算法和使用文中算法的姿態(tài)估計結果。可見，文中算法的估計結果比較精確，與單獨使用線性回歸算法相比，文中算法在估計精度上也有提高。

為了進一步驗證算法的有效性，在人臉庫中隨機抽取10個人臉樣本，分別使用角度α＝20°，β＝19°進行測試。其中x軸方向的絕對平均誤差Δα＝0.5336°，y軸的絕對平均誤差Δβ＝0.3197°，從人臉形狀模型重建到兩步姿態(tài)估計結束平均用時1.6482s。

圖3 重建特征點與提取特征點

表1 姿態(tài)估計結果

5 結束語

提出一種基于三維模型的人臉姿態(tài)估計方法。首先對建立的人臉庫分別進行主成分分析，建立稀疏的個性化人臉模型，然后采用兩步估計的方法對人臉姿態(tài)進行估計。其中第一步采用線性回歸的方法進行初步估計，確定姿態(tài)范圍，第二步對估計結果進行修正，得到最終的姿態(tài)解。算法提取可見特征點，不依賴于人臉的紋理信息，所以對人臉圖像的光照條件無特殊要求，建模效果良好，姿態(tài)估計結果令人滿意，從建模到姿態(tài)估計結束用時較短，具有一定的實際應用價值。

［1］Eric M C，Mohan M T.Head pose estimation in computer：A Survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（4）：607－626.

［2］葉航軍，白雪生，徐光.基于支持向量機的人臉姿態(tài)判定［J］.清華大學學報，2003，43（1）：67－70.

［3］Q Chen，H Wu，T Shioyama，T Shimada.3D Head Pose Estimation using Color Information［C］.In Proceedings of IEEE International Conference on Multimedia Computing and Systems，1999：697－702.

［4］Shafi M，Chung PW H.Face pose estimation from eyes and mouth［J］.Advanced Mechatronics Systems，2010，11（2）：132－138.

［5］梁國遠，查紅彬，劉宏.基于三維模型和仿射對應原理的人臉姿態(tài)估計方法［J］.計算機學報，2005，28（5）：792－800.

［6］曾慧，穆志純，袁立.基于三維模型的人臉姿態(tài)估計方法［J］.計算機工程，2011，37（9）：1－3.

［7］Shimizu I，Zhang Z，Akamatsu S，Deguchi K.Head pose determination from one image using a generic model［J］.Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition，Nara，1998，100－105.

［8］Rara H M，F(xiàn)arag A A，Davis T.Model－based 3D shape recovery from single images of unknown pose and illumination using a small number of feature points［C］.IEEE International Joint Conference on Biometrics Compendium，2011：1－7.

［9］王國胤，龔勛，等.基于認知機理的三維人臉建模及應用［J］.重慶郵電大學學報，2009，21（4）：555－560.

［10］熊黎麗，王國胤，龔勛，等.基于三維重建的人臉姿態(tài)估計［J］.重慶郵電大學學報，2010，22（3）：375－380

Face Pose Estimation Based on 3D Model

NIU Xiao－xia
（College of Information Science and Engineering，Yanshan University，Qinhuangdao 066004，China）

The face pose estimation method based on 3D model is proposed.First，the spare face model is built according to the feature points of the face.Then，based on the 3D face model，linear regression is used to estimate the face pose preliminarily and the 3D face pose is revised to acquire the accurate pose value.Finally，the face pose is estimated accurately.The experiment results show that the estimation method can obtain satisfying result and achieve better accuracy.

3D models；Linear regression；Face pose estimation；Sparsemodel

10.3969／j.issn.1002－2279.2014.06.018

TP391.4

：A

：1002－2279（2014）06－0062－04

秦皇島市科學技術研究與發(fā)展指導計劃資助項目（2012021A048）

牛曉霞（1981－），女，河北保定人，實驗師，碩士，主研方向：計算機圖形圖像處理。

2014－09－15