基于Candide－3模型的姿態(tài)表情人臉識(shí)別研究

杜杏菁，白廷柱，何玉青

（1.北京理工大學(xué) 光電學(xué)院光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京100081；2.華北科技學(xué)院 計(jì)算機(jī)系，河北 三河065201）

0 引 言

人臉識(shí)別技術(shù)目前使用的較多的是二維 （2D）人臉識(shí)別，但2D人臉識(shí)別受到光照、姿態(tài)、表情的影響較大，很難達(dá)到滿意的效果，因此最近幾年人們又轉(zhuǎn)向研究三維（3D）人臉識(shí)別。3D人臉建模領(lǐng)域的研究進(jìn)展和3D數(shù)據(jù)獲取技術(shù)的發(fā)展為3D人臉識(shí)別奠定了基礎(chǔ)［1］。3D人臉識(shí)別加入了人臉的深度信息，彌補(bǔ)了2D人臉識(shí)別的很多缺陷［2－3］，三維人臉識(shí)別的方法可以分為基于曲率的方法［4］、基于形狀表征的方法［5－6］、基于空域信息的方法［7］和三維可變形模型的方法［8－9］。最近，一種利用三維人臉模型投影進(jìn)行2D測(cè)試圖像與3D模板圖像結(jié)合的識(shí)別模式被提出，并取得一定的效果［10］，但該模式需要對(duì)每個(gè)2D測(cè)試圖像和模板庫(kù)中的每個(gè)模型做比較，時(shí)間效率不高。胡峰松等使用的Candide－3模型與正面人臉配準(zhǔn)重建3D模型，對(duì)重建3D模型進(jìn)行各種角度旋轉(zhuǎn)得到姿態(tài)不同的數(shù)字人臉。本文以Candide－3模型為基礎(chǔ)，對(duì)該模型進(jìn)行簡(jiǎn)化，提取其中的形狀和表情關(guān)鍵點(diǎn)與單幅人臉關(guān)鍵點(diǎn)配準(zhǔn)，重建人臉幾何結(jié)構(gòu)，以重建的幾何模型為基礎(chǔ)，對(duì)各三角網(wǎng)格進(jìn)行紋理映射，得到較為逼真的特定人臉3D模型。根據(jù)文中確定的輸入圖像的姿態(tài)對(duì)3D人臉進(jìn)行旋轉(zhuǎn)后實(shí)現(xiàn)人臉識(shí)別。實(shí)驗(yàn)表明，文中對(duì)Candide－3模型的進(jìn)一步簡(jiǎn)化實(shí)現(xiàn)特定人臉重建提高了重建速度，減弱姿態(tài)表情對(duì)人臉識(shí)別的影響，通過(guò)三角網(wǎng)格的紋理映射，得到了更為逼真的人臉模型。

1 Candide－3模型

Candide模型是一種參數(shù)化的人臉網(wǎng)格模型，它包含了少量的網(wǎng)格結(jié)點(diǎn)和三角面片。Candide－3是由原始的Candide變化來(lái)，它由113個(gè)頂點(diǎn)、184個(gè)三角面片、65個(gè)運(yùn)動(dòng)單元，如圖1所示。每個(gè)頂點(diǎn)由三維坐標(biāo)表示，即Pi＝（xi，yi，zi）T，i∈ ［1，113］，所有113個(gè)點(diǎn)的坐標(biāo)構(gòu)成標(biāo)準(zhǔn)人臉模型，結(jié)合輸入圖像產(chǎn)生特定人臉的3D模型V。

圖1 Candide－3模型

式中：——標(biāo)準(zhǔn)模型；S——形狀單元；A——?jiǎng)幼鲉卧?；R，s、t——姿態(tài)變換參數(shù)；σ、 ——靜態(tài)控制參數(shù)、動(dòng)態(tài)控制參數(shù)。任何輸入圖像都可以通過(guò)調(diào)整這5個(gè)參數(shù)由珚V變換得到輸入圖像姿態(tài)下的模型V。

2 Candide－3模型的改進(jìn)

針對(duì)關(guān)鍵點(diǎn)的數(shù)量和類別，去除與重建結(jié)果關(guān)系小的頂點(diǎn)，如面部不易提取的特征點(diǎn)等，從而減少了標(biāo)準(zhǔn)模型的頂點(diǎn)個(gè)數(shù)，在不影響重建人臉的效果下提高重建速度。

2.1 特征點(diǎn)標(biāo)注

輸入圖像首先要提取特征點(diǎn)才能與標(biāo)準(zhǔn)模型進(jìn)行擬合，形成特定人臉模型，然后進(jìn)行插值及紋理合成，最終得到重建人臉3D圖像。本文選擇了表示人臉形狀和姿態(tài)表情的正面關(guān)鍵點(diǎn)，替代Candide－3模型的113個(gè)點(diǎn)。所選擇的關(guān)鍵點(diǎn)如表1所示，標(biāo)注在人臉上如圖2所示。

表1 關(guān)鍵點(diǎn)數(shù)據(jù)

圖2 特征點(diǎn)標(biāo)注

2.2 姿態(tài)確定的方法

人臉姿態(tài)就是指人臉相對(duì)于3個(gè)坐標(biāo)軸的旋轉(zhuǎn)角度。人臉自由度是指人臉姿態(tài)的變化范圍。人臉的姿態(tài)變化由6個(gè)自由度決定，分別是X、Y、Z軸的平移和旋轉(zhuǎn)。當(dāng)人臉對(duì)應(yīng)的3個(gè)自由度都確定時(shí)，就得到了人臉的姿態(tài)數(shù)據(jù)。假設(shè)α、β、γ是人臉?lè)謩e繞X、Y、Z軸旋轉(zhuǎn)形成的角度，即人臉的3個(gè)自由度：

（1）γ角的確定：人臉繞Z軸的平面旋轉(zhuǎn)形成γ角，可以直接使用兩眼連線與水平方向的夾角計(jì)算出來(lái)，幾何關(guān)系如圖3（a）所示。假設(shè)兩眼中心坐標(biāo)分別為 （xl，yl，zl），（xr，yr，zr），那么，γ的計(jì)算公式為

（2）β角的確定：人臉沿Y軸左右旋轉(zhuǎn)形成β角。表現(xiàn)在人臉幾何特征關(guān)系之間是嘴巴中心點(diǎn)到兩眼連線的垂直線的交點(diǎn)發(fā)生了變化，如圖3（b）所示。通過(guò)分析w1、w2可以大體推斷出人臉繞Y軸旋轉(zhuǎn)的方向，也就是判斷出人臉是左轉(zhuǎn)還是右轉(zhuǎn)。當(dāng)w1＝w2時(shí)為正面人臉，當(dāng)w1＞w2時(shí)為左轉(zhuǎn)，相反為右轉(zhuǎn)。一般正面人臉的w1，w2的值約為65°，人臉右轉(zhuǎn)時(shí)w1變小，人臉左轉(zhuǎn)時(shí)w1變大。

（3）α角的確定：抬頭和低頭時(shí)人臉沿X軸旋轉(zhuǎn)形成α角。此時(shí)變化比較大的是嘴巴中心點(diǎn)到兩眼連線中心點(diǎn)的距離。當(dāng)抬頭時(shí)距離變小，當(dāng)?shù)皖^時(shí)距離變大，如圖3（c）所示，距離變化的本質(zhì)是鼻尖點(diǎn)到嘴巴中心點(diǎn)距離的變化所致。假設(shè)兩眼連線中心與鼻尖點(diǎn)的距離為m，鼻尖點(diǎn)與嘴巴中心距離為n，一般情況下m，n的比例為3∶2。

圖3 人臉各姿態(tài)

2.3 人臉形狀重建

在Candide－3中，AUs （Action Units）、AUV （action unit vector）是兩個(gè)不同但又有聯(lián)系的概念。AUs是面部的一個(gè)肌肉的基本行為單元，而AUV對(duì)應(yīng)的是一個(gè)完整行為，一個(gè)AUV對(duì)應(yīng)一個(gè)或多個(gè)AUs，如：AUV6表示一個(gè)眨眼動(dòng)作，它由 AUs42 （Slit）、43 （Eyes Closed）、44（Squint）、45（Blink）共同作用組成，而不同的系數(shù)變化過(guò)程可以表示不同的動(dòng)作，睜眼、閉眼也是由AUV6完成的。對(duì)于輸入圖像與3D模型進(jìn)行配準(zhǔn)時(shí)，首先選擇表示臉部靜態(tài)特征的關(guān)鍵點(diǎn)，在Candide－3中選擇少量的關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)分別確定了臉部高度參數(shù)、眉毛垂直位置、眼睛垂直位置、眼睛寬度、兩眼距離、鼻子z軸擴(kuò)展及垂直位置、嘴巴的垂直位置、嘴寬、眼睛的高度、鼻尖高度，經(jīng)這些關(guān)鍵點(diǎn)配準(zhǔn)后相關(guān)的姿態(tài)參數(shù)R、s、t就可以確定。

輸入圖像與Candide－3模型各頂點(diǎn)之間的配準(zhǔn)是特定人臉三維重建的關(guān)鍵，即參數(shù)調(diào)整和優(yōu)化的過(guò)程。輸入圖像I0可以近似表示為訓(xùn)練集中所有圖像的線性組合

式中：I——訓(xùn)練集中圖像，m——訓(xùn)練集圖像總數(shù)，ω——線性組合系數(shù)，ω＊——使輸入圖像偏差最小的系數(shù)，則輸入圖像自動(dòng)配準(zhǔn)的模型V為

所以R，s，σ，t可按下式計(jì)算

ω＊可以按如下計(jì)算求得

式中：A——訓(xùn)練圖像矩陣，B——輸入圖像I0的像素點(diǎn)矢量，求得ω＊后，即可用式 （5）結(jié)合訓(xùn)練集中手工標(biāo)定的配準(zhǔn)模型的參數(shù)，計(jì)算輸入圖像的參數(shù)，實(shí)現(xiàn)了輸入圖像與模型之間的自動(dòng)配準(zhǔn)，然后，進(jìn)行紋理合成即可得到特定人臉的三維模型。最后對(duì)模型進(jìn)行旋轉(zhuǎn)變換得到各種姿態(tài)的模型。

2.4 三角形紋理合成

2.4.1 平滑插值

由于人臉具有較多的不規(guī)則的凹凸，直接插值效果不理想［12－14］，棱角分明，特別是鼻子、眼睛、嘴部輪廓的插值效果不夠理想，為此，將二維薄平面樣條函數(shù)推廣到三維空間，采用薄平面樣條函數(shù)作為式 （7）的基函數(shù)

式中：s——徑向基函數(shù)，x對(duì)應(yīng)網(wǎng)格頂點(diǎn)的三維坐標(biāo)，p——低階多項(xiàng)式，λ——徑向基系數(shù)，Φ——基函數(shù)。使s不僅能滿足插值條件，還能最小化其二階導(dǎo)數(shù)平方的積分。

2.4.2 網(wǎng)格分塊的紋理映射

基于圖像的視角相關(guān)紋理映射，在正面、左側(cè)90°、右側(cè)90°分別對(duì)模型作一次紋理映射，每個(gè)網(wǎng)格點(diǎn)在不同視角下，有紋理重合。正面紋理映射與側(cè)面紋理映射的分界線可以確定清晰有用的紋理和冗余紋理，消除冗余紋理，平滑分界線附近的顏色。對(duì)與分界面相交的三角形，紋理映射時(shí)將原來(lái)的三角形細(xì)分成兩個(gè)，對(duì)新三角形分別進(jìn)行紋理映射。設(shè)分界面為z＝zdepth，三角形一邊的兩個(gè)頂點(diǎn)坐標(biāo)分別為 （x0，y0，z0）（x1，y1，z1），則經(jīng)過(guò)這兩個(gè)頂點(diǎn)的直線為

此直線和分界面的交點(diǎn)為

得到了新三角形的頂點(diǎn)坐標(biāo)，進(jìn)而計(jì)算頂點(diǎn)法線，這樣就可以用分界面右側(cè)對(duì)應(yīng)的紋理對(duì)右側(cè)三角形進(jìn)行映射，分界面左側(cè)的三角形則用左側(cè)對(duì)應(yīng)的紋理進(jìn)行映射。

2.4.3 頂點(diǎn)紋理坐標(biāo)

本文把網(wǎng)格模型和紋理圖像結(jié)合起來(lái)，分別按照網(wǎng)格中的三角片進(jìn)行紋理映射，對(duì)每一個(gè)三角片的紋理映射，采用簡(jiǎn)單的正交映射，其紋理坐標(biāo)計(jì)算如下［15］

式中：（x，y，z）——模型所有頂點(diǎn)平移到第一象限后的坐標(biāo)， （u，v）的3種形式分別對(duì)應(yīng)了網(wǎng)格模型正面紋理坐標(biāo)。

2.5 表情處理

人臉表情主要通過(guò)人臉局部區(qū)域肌肉的變化而產(chǎn)生，3D臉部模型根據(jù)網(wǎng)格相關(guān)節(jié)點(diǎn)的位移實(shí)現(xiàn)人臉的表情變換，局部節(jié)點(diǎn)的位置變化會(huì)引起網(wǎng)格三角片的變化。線形肌肉模型是控制節(jié)點(diǎn)相關(guān)的有效方法，需要給節(jié)點(diǎn)的位移以必要的一種約束。

2.5.1 彈性約束

三維網(wǎng)格人臉表面要保持網(wǎng)格的整體結(jié)構(gòu)，要求三角片自身對(duì)外力有反作用，可以采用Y.Zhang定義的非線性函數(shù)來(lái)模擬作用力和反作用力之間的關(guān)系，這種關(guān)系用點(diǎn)約束和邊約束來(lái)描述［16］。

假設(shè)模型任意一點(diǎn)xi與相鄰點(diǎn)xj采用結(jié)構(gòu)彈性相連，dij為這兩點(diǎn)間初始狀態(tài)的距離，彈性抵抗力可用式 （11）計(jì)算

臉部皮膚點(diǎn)C在肌肉收縮力F作用下，當(dāng)反作用力不能約束C點(diǎn)的運(yùn)動(dòng)時(shí)，使臉部網(wǎng)格結(jié)構(gòu)遭到破壞，為了避免這種破壞，使用邊約束模型。

結(jié)合線性肌肉模型、點(diǎn)約束、邊約束，可以得到任意點(diǎn)的受力函數(shù)

2.6 識(shí)別過(guò)程

將特定人臉模型根據(jù)姿態(tài)角進(jìn)行旋轉(zhuǎn)，進(jìn)行二維投影，使用PCA算法進(jìn)行主成分提取，然后與二維健側(cè)人臉圖像進(jìn)行識(shí)別。

3 實(shí)現(xiàn)過(guò)程及結(jié)果分析

3.1 人臉三角網(wǎng)格

平面圖像經(jīng)過(guò)關(guān)鍵特征眼睛、眉毛、鼻子、嘴巴等的特征點(diǎn)提取，與模型配準(zhǔn)，調(diào)整參數(shù)，得到特定人臉三角網(wǎng)格結(jié)構(gòu)，如圖4所示。

圖4 人臉網(wǎng)格

由圖4可以看出，特定人臉網(wǎng)格比較稀疏，但能夠表示人臉的幾何結(jié)構(gòu)。

3.2 紋理合成結(jié)果

本文選取了基本正面人臉圖像做紋理合成，網(wǎng)格模型使用的是簡(jiǎn)化后的candide－3模型。得到較為逼真的三維特定人臉，如圖5所示，根據(jù)前面得到的輸入圖像的姿態(tài)角，對(duì)三維人臉進(jìn)行旋轉(zhuǎn)后，再進(jìn)行識(shí)別。

3.3 識(shí)別結(jié)果

識(shí)別圖像采用JAFFE圖像庫(kù)中的15個(gè)人的214個(gè)不姿態(tài)、表情的圖像進(jìn)行，采用PCA識(shí)別算法，計(jì)算機(jī)環(huán)境為Pentium 4CPU 2.00GHz、512MB內(nèi)存，Windows XP系統(tǒng)，對(duì)圖像進(jìn)行Candide－3模型識(shí)別與簡(jiǎn)化的Candide－3模型識(shí)別準(zhǔn)確率比較，得到如表2所示數(shù)據(jù)。

表2 直接識(shí)別與姿態(tài)校正后識(shí)別效果

圖5 特定三維人臉

4 結(jié)束語(yǔ)

本文分析了Candide－3模型，對(duì)該模型進(jìn)行關(guān)鍵特征點(diǎn)的簡(jiǎn)化，提出了基于網(wǎng)格模型的三角紋理合成的紋理映射。首先給出了姿態(tài)角的幾何結(jié)構(gòu)確定方法，然后提取特征關(guān)鍵點(diǎn)并進(jìn)行標(biāo)注，與一般的模型進(jìn)行配準(zhǔn)，最后給出結(jié)構(gòu)信息的重建參數(shù)模型和紋理的融合算法。通過(guò)實(shí)驗(yàn)比較，經(jīng)過(guò)姿態(tài)表情關(guān)鍵點(diǎn)的重建與Candide－3模型重建明顯提高了重建速度，經(jīng)過(guò)姿態(tài)表情處理，提高了識(shí)別準(zhǔn)確率。

［1］Boehnen C，F(xiàn)lynn P J.Accuracy of 3Dscanning technologies in a face scanning context［C］.Washington，DC，USA：Proceedings of the Fifth International Conference on 3－D Digital Imaging and Modeling，2005：310－317.

［2］HU Yiding，ZHU Bin，GAN Junying.Face recognition with multiple pose based on 3－D face model ［J］.Computer Engineering and Design，2009，30 （7）：1728－1731 （in Chinese）.［胡異丁，朱斌，甘俊英.基于三維人臉建模的多姿態(tài)人臉識(shí)別 ［J］.計(jì)算機(jī)工程與應(yīng)用，2009，30 （7）：1728－1731.］

［3］Bowyer K W，Chang K，F(xiàn)lynn P J.A survey of approaches and challenges in 3Dand multi－modal 2D ＋3Dface recognition［J］.Computer Vision and Image Understanding，2006，101（1）：1－15.

［4］CHAI Xiujuan，SHAN Shiguang.Pose and illumination invariant face recognition based on 3Dface reconstruction ［J］.Journal of Software，2006，17 （3）：525－534 （in Chinese）.［柴秀娟，山世光.基于3D人臉重建的光照姿態(tài)不變?nèi)四樧R(shí)別 ［J］.軟件學(xué)報(bào)，2006，17 （3）：525－534.］

［5］HU Fengsong，LIN Yaping.Individual 3Dface generationbased on candide－3for face recognition ［J］.Journal of Hunan University（Natural Sciences），2008，35 （1）：69－73 （in Chinese）. ［胡峰松，林亞平.應(yīng)用于人臉識(shí)別的基于Candide－3特定人臉三維重建 ［J］.湖南大學(xué)學(xué)報(bào)，2008，35 （1）：69－73.］

［6］HU Fengsong，ZHANG Maojun.Pose and illumination invariant face recognition based on HMM with one sample per person ［J］.Chinese Journal of Computers，2009，32 （7）：1424－1431 （in Chinese）.［胡峰松，張茂軍.基于HMM的單樣本可變光照姿態(tài)人臉識(shí)別 ［J］.計(jì)算機(jī)學(xué)報(bào)，2009，32 （7）：1424－1431.］

［7］YANG Jun，LIU Zhifang.Pose invariant face recognition based on 3Dmodel［J］.Opto－Electronic Engineering，2009，36 （1）：140－145（in Chinese）.［楊軍，劉直芳.基于三維模型的多姿態(tài)人臉識(shí)別 ［J］.光電工程，2009，36 （1）：140－145.］

［8］CHANG K，Bowyer K，F(xiàn)lynn P.Effects on facial expression in 3Dface recognition ［C］.Proc of the SPIE，2005：132－143.

［9］ZHAO Minghua，YOU Zhisheng.Novel face recognition method based on 3Dmodel projection ［J］.Opto－Electronic Engineering，2007，34 （12）：77－80 （in Chinese）.［趙明華，游志勝.一種基于三維模型投影的人臉識(shí)別新方法 ［J］.光電工程，2007，34 （12）：77－80.］

［10］WANG Chengzhang，YIN Baocai.An improved 3Dface modeling method based on morphable model［J］.Acta Automatica Sinica，2007，33 （3）：232－238 （in Chinese）.［王成章，尹寶才.改進(jìn)的基于變形模型的三維人臉建摸方法 ［J］.自動(dòng)化學(xué)報(bào)，2007，33 （3）：232－238.］

［11］ZHAO Minghua，YOU Zhisheng，LIU Zhifang，et al.Novel face recognition method based on 3Dmodel projection ［J］.Opto－Electronic Engineering，2007，34 （12）：77－81.

［12］TAN X，CHEN S，ZHOU Z H，et al.Face recognition from a single image per person ［J］.Pattern Recognition，2006，39 （9）：1725－1745.

［13］DU Bo，SHAN Shiguang，QING Laiyun，et al.Empirical com－parisons of several preprocessing methods for illuminationin－sensitive face recognition ［C］.Proceedings of the ICASSP，2005：981－984.

［14］O’Toole AJ，Phillips PJ，Jiang Fang，et al.Face recognition algorithms surpass humans matchingfaces over changesinil－lumination ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29 （8）：532－541.

［15］ZHAO Xiangyang，DU Limin.An automatic and robust image mosaic algorithm ［J］.Journal of Image and Graphics，2004，9 （4）：417－422.

［16］ZHU Yunfeng.Image－based 3Dmodel adaptation for face reconstruction and expression animation ［J］.Journal of System Simulation，2006，18 （8）：409－413 （in Chinese）.［朱云峰.基于圖像的臉部模型調(diào)整及表情動(dòng)畫技術(shù)研究 ［J］.系統(tǒng)仿真學(xué)報(bào)，2006，18 （8）：409－413.］