基于單張照片的三維人臉表情合成

趙　歡，趙　暉（新疆大學(xué)信息科學(xué)與工程學(xué)院，烏魯木齊830046）

基于單張照片的三維人臉表情合成

趙歡，趙暉
（新疆大學(xué)信息科學(xué)與工程學(xué)院，烏魯木齊830046）

提出一種基于單張照片的真實(shí)感三維人臉表情合成方法，首先自動(dòng)檢測人臉和定位關(guān)鍵點(diǎn)；然后結(jié)合三維人臉模型實(shí)現(xiàn)人臉的重構(gòu)；再根據(jù)肌肉模型的思想合成表情；最后合成模型的眼睛，增加表情真實(shí)感。該方法能夠合成出逼真、自然的表情。

表情合成；三維人臉模型；紋理貼圖

0　引言

隨著科學(xué)技術(shù)的發(fā)展，三維人臉表情合成技術(shù)得到了長足發(fā)展，在國內(nèi)外都取得了許多優(yōu)秀的研究成果。根據(jù)數(shù)據(jù)形式的不同，人臉表情合成可分為二維表情合成[1]與三維表情合成[2～3]。在三維虛擬人臉建模中，根據(jù)建模方法的不同，又分為基于圖像的建模方法[4]、基于三維掃描儀的建模方法[5]和基于建模軟件的方法（3dsMax、Maya等）。再根據(jù)所采用的技術(shù)進(jìn)行分類，人臉表情合成又可分為混合樣本人臉表情合成、直接表情遷移方法和基于機(jī)器學(xué)習(xí)的真實(shí)感人臉表情合成等[6]。近年來，人臉表情合成技術(shù)已經(jīng)廣泛地應(yīng)用到了電影特效、虛擬主持、網(wǎng)絡(luò)會(huì)議等方面。本文提出一種基于單張人臉照片的簡單三維表情合成系統(tǒng)，如今拍攝一張高質(zhì)量的照片非常方便，因此它比多張照片的合成方法更具實(shí)用性。

1　三維人臉建模

人臉的結(jié)構(gòu)很復(fù)雜，為了實(shí)現(xiàn)控制的動(dòng)畫，必須設(shè)計(jì)一個(gè)計(jì)算模型，把人臉的幾何表示和它的變形聯(lián)系起來。本文綜合分析以上方法的優(yōu)缺點(diǎn)及適用領(lǐng)域，結(jié)合自身項(xiàng)目的特點(diǎn)，采用基于圖像的方法建立三維人臉模型。

對(duì)真實(shí)感人臉建模的要求包括以下4個(gè)方面：逼真性、實(shí)時(shí)性，盡可能多地自動(dòng)完成建模過程以及對(duì)特定人臉的自適應(yīng)性?；趫D像的建模方法就是想把人臉建模過程以盡可能少的步驟完成，從而滿足人臉的建模要求。

1.1一般人臉模型

本文選擇由113個(gè)頂點(diǎn)和168個(gè)面片組成的Candide-3模型作為本文的參數(shù)化模型，其原因有兩個(gè)：一是該模型容易控制，能夠生成因肌肉伸縮引起的細(xì)微表情變化；二是該模型容易擴(kuò)展。我們刪除了一些不必要的頂點(diǎn)又增加了嘴部細(xì)節(jié)需要的頂點(diǎn)后，現(xiàn)在有110個(gè)頂點(diǎn)，如圖1所示。

圖1　 Candide-3模型

1.2模型重構(gòu)

我們首先用主動(dòng)形狀模型（Active Shape Model, ASM）[7]提取人臉照片上的關(guān)鍵特征點(diǎn)。得到的特征點(diǎn)二維坐標(biāo)后，我們選取了Candide-3模型上的30個(gè)頂點(diǎn)作為關(guān)鍵點(diǎn)，對(duì)模型進(jìn)行調(diào)整。為了盡量用最少的點(diǎn)表示人臉的特征，我們選取的關(guān)鍵點(diǎn)包括臉部輪廓、眼睛區(qū)域、嘴巴區(qū)域、鼻子等特征點(diǎn)。如上圖紅色原點(diǎn)標(biāo)注所示。然后進(jìn)行全局變換，也就是修改模型整體輪廓，使其與圖像中人臉的臉型與五官的位置一致。本文在人臉圖像上選取了四個(gè)基準(zhǔn)點(diǎn)，分別位于兩個(gè)外眼角、鼻根和下巴，如圖2所示。

圖2　臉部基準(zhǔn)點(diǎn)

設(shè)圖像中四個(gè)點(diǎn)的二維坐標(biāo)分別為Dl（xl，yl），Dr（xr，yr），Dn（xn，yn），Dj（xj，yj），對(duì)應(yīng)的三維人臉模型上的二維坐標(biāo)分別DL（xL，yL），DR（xR，yR），DN（xN，yN），DJ（xJ，yJ），則人臉模型的縮放參數(shù)s的計(jì)算方法為：

模型的位移參數(shù)t的計(jì)算方法為：

接下來進(jìn)行局部變換。由于模型的頂點(diǎn)編號(hào)是有規(guī)定順序的，所以對(duì)于關(guān)鍵點(diǎn)的調(diào)整非常簡單，將模型上對(duì)應(yīng)點(diǎn)的位置變換到圖像上對(duì)應(yīng)特征點(diǎn)的坐標(biāo)位置即可。

1.3建立三維人臉模型

得到重建后的三維人臉幾何模型后，這時(shí)的人臉模型是由三角面片構(gòu)成的網(wǎng)格模型，缺乏真實(shí)感，需要用紋理映射技術(shù)恢復(fù)出面部的紋理信息。OpenGL為我們提供了強(qiáng)大的紋理貼圖方法，下面主要介紹OpenGL中紋理貼圖的原理與方法。OpenGL要求紋理圖像必須滿足的條件是：圖片的高度和寬度必須是2的n次方大小，否則紋理圖片無效。實(shí)現(xiàn)貼圖的主要函數(shù)有如下幾個(gè)：

（1）glGenTextures（1，&texture）;//創(chuàng)建紋理

（2）glBindTexture（GLTEXTURE2D，texture）;//綁定紋理

（3）glTexImage2D（GLTEXTURE2D，0，3，TexImage-＞sizeX，TexImage-＞sizeY，0，GLRGB，GLUNSIGNEDBYTE，TexImage-＞data）;//生成紋理

（4）glTexEnvi（GLTEXTUREENV，GLTEXTUREENVMODE，TextureMode）;//確貼圖方式

（5）glTexParameteri（GLTEXTURE2D，GLTEXTUREMAGFILETER，MagFilter）;//設(shè)置參數(shù)

（6）glTexCoord2f（0.0f，0.0f）;//確定紋理坐標(biāo)

本文中以人臉照片作為紋理，創(chuàng)建的投影矩陣為平行投影，當(dāng)模型上的特征點(diǎn)與圖像中的特征點(diǎn)匹配后，按上述方法對(duì)模型進(jìn)行紋理映射即生成真實(shí)感人臉模型。

2　表情合成

人臉表情的合成方法主要有參數(shù)化方法、肌肉模型和表情映射。

MPEG-4標(biāo)準(zhǔn)的制定為參數(shù)化人臉模型提供了一個(gè)通用的平臺(tái)，推動(dòng)了真實(shí)感人臉表情合成技術(shù)的發(fā)展。MPEG-4人臉動(dòng)畫框架下的人臉定義參數(shù)FDP定義人臉的形狀和紋理等特征，人臉動(dòng)畫參數(shù)FAP則用來描述人臉的各種基本動(dòng)作以驅(qū)動(dòng)模型生成人臉表情動(dòng)畫。在該標(biāo)準(zhǔn)里，通過84個(gè)特征點(diǎn)來控制模型，不論對(duì)于通用人臉動(dòng)畫還是特定人臉動(dòng)畫，都可以很好地描述。

為了提高逼真度，Waters[8]提出了一種基于肌肉物理特性的模型，可以根據(jù)臉部肌肉的動(dòng)作來合成許多臉部組織的細(xì)微變形。該模型包含兩類肌肉：一類是一端固定在骨骼上，另一端連接在肌肉上，可以拉伸的線性肌肉；另一類是繞著中心點(diǎn)放大或者縮小的括約肌。模型采用彈簧模型來模擬皮膚和肌肉的運(yùn)動(dòng)。這種模型要求掌握臉部肌肉的解剖結(jié)構(gòu)、組織學(xué)、動(dòng)力學(xué)等方面知識(shí)，該模型可以實(shí)現(xiàn)逼真的臉部變形。

表情映射方法的基本思路是：給定某個(gè)人的中性臉和帶表情臉圖像，標(biāo)定對(duì)應(yīng)的特征點(diǎn)構(gòu)成形狀向量，由表情臉的形狀向量，減去中性臉形狀向量，得差向量，并將它作用到另一個(gè)人的中性臉特征點(diǎn)上，再M(fèi)or-phing該中性臉得到新表情。這種方法可以基于任意一張中性臉，合成出樣本表情。

2.1基于FACS的人臉表情合成

人臉表情編碼系統(tǒng)FACS（Facial Action Coding System）是Ekman等人[9]于1978年提出的。他們對(duì)臉部肌肉運(yùn)動(dòng)及其對(duì)表情的控制做了深入研究，制定出了這個(gè)盡最大可能區(qū)分面部運(yùn)動(dòng)的綜合系統(tǒng)，是迄今為止最詳盡、最精細(xì)的面部動(dòng)作測量技術(shù)。本文主要基于FACS的肌肉運(yùn)動(dòng)思想合成臉部表情。FACS通過分析人臉的生理結(jié)構(gòu)定義了一組AU，不同的AU組合在一起可以產(chǎn)生不同的面部表情。例如：一個(gè)生氣的表情，是由AU4皺眉，AU5上眼臉上升，AU7眼輪匝肌內(nèi)圈收緊，和AU23嘴唇收緊組成的。表1中給出了六種基本表情涉及的AU。

表1　表情對(duì)應(yīng)的AUs

2.2眼睛處理

在做出某些表情的時(shí)候，人們對(duì)眼睛部位的變化尤其敏感。使用原圖像作為紋理時(shí)，眼睛睜大或者收縮時(shí)，都會(huì)引起變形扭曲，極不真實(shí)。所以本文單獨(dú)合成了模型的眼睛，如圖3（左）所示為合成的眼睛紋理圖，圖3（右）是合成新的眼球。該方法的特點(diǎn)是，生成簡單，控制難。

3　實(shí)驗(yàn)分析

3.1三維人臉建模結(jié)果

采用ASM方法定位人臉關(guān)鍵特征點(diǎn)的結(jié)果如圖4所示。在建立三維人臉模型時(shí)，我們先進(jìn)行幾何模型變換，再進(jìn)行紋理貼圖。為了合成像照片一樣真實(shí)的三維人臉，我們?yōu)樵心Ｐ驮黾恿吮尘熬W(wǎng)格，貼圖后從正面看，幾乎與照片沒有差異，如圖5所示。

圖3　眼睛紋理（左）、合成眼球（右）

圖4　定位關(guān)鍵點(diǎn)結(jié)果

圖5　三維人臉建模結(jié)果

圖6　表情合成效果

32表情合成結(jié)果

本文在Visual C++和OpenGL平臺(tái)上實(shí)現(xiàn)真實(shí)感人臉表情動(dòng)畫。我們分別合成了基本六種表情和一些獨(dú)立的AU動(dòng)作，如圖6所示，從左至右分別為高興、生氣、厭惡、悲傷、害怕、驚訝的表情。

4　結(jié)語

實(shí)驗(yàn)結(jié)果可以看出，本文提出的基于單張照片的三維表情合成方法，基于FACS肌肉模型的思想，合成出的表情真實(shí)、自然，效果還是比較令人滿意的。我們今后工作的重點(diǎn)是考慮加入更多的表情動(dòng)作和提高方法的自動(dòng)化程度，致力于合成出更加豐富的三維人臉表情動(dòng)畫。

[1]Zhang Qing-shan，Zi-cheng Liu，et al.Geometry-Driven Photorealistic Facial Expression Synthesis[J].IEEE Transactions on Visualization and Computer Graphics，2006，12（1）：48～60

[2]黃曉欽，林裕旭等.非線性聯(lián)合學(xué)習(xí)的三維人臉表情合成方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào).2011，23（2）:363-370

[3]Xianmei Wan，Xiaogang Jin.Data-Driven Facial Expression Synthesis Via Laplacian Deformation.Multimedia Tools and Applications [J]，2012，58（1）:109～123

[4]Narendra Patel，Mukesh Zaveri.3D Facial Model Reconstruction，Expressions Synthesis and Animation Using Single Frontal Face Image[J].Signal，Image and Video Processing，2013，7（5）:889～897

[5]萬賢美.真實(shí)感人臉表情合成的關(guān)鍵技術(shù)研究[D].浙江：浙江大學(xué)，2012

[6]萬賢美.真實(shí)感3D人臉表情合成技術(shù)研究進(jìn)展[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào).2014，26（2）:167～178

[7]李皓，謝琛，唐朝京.改進(jìn)的多模版ASM人臉面部特征定位算法[J].計(jì)算機(jī)應(yīng)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（10）:1762～1768

[8]WATERS K.A Muscle Model for Animating Three-Dimensional Facial Expressions[J].Computer Graphics，1987，21（4）：17～22

[9]P.Ekman，W.V.Friesen.Facial Action Coding System[M].Consulting Psychologists Press，PaloAlto，CA，1978

Facial Expression;3D Face Model;Texture Mapping

Three Dimensional Facial Expression Synthesis Based on a Single Photo

ZHAO Huan，ZHAO Hui
（School of Information Science and Engineering，Xinjiang University，Urumqi 830046）

Presents a 3D facial expression synthesis method based on a single photo,first by automatic face detection and positioning key point,then by reconstruction and combined the face with the 3D face model,then according the idea of muscle model synthesis the expression,finally,synthetic model eyes,increased expression of sense of reality.The method can synthesize realistic and natural expression.

1007-1423（2015）14-0066-04

10.3969/j.issn.1007-1423.2015.14.016

趙歡（1991-），女，新疆昌吉人，碩士研究生，研究方向?yàn)閳D像處理

趙暉（1972-），女，新疆烏魯木齊人，博士，教授，研究方向?yàn)槿斯ぶ悄堋⑶楦杏?jì)算、語音及數(shù)字圖像處理

2015-04-07

2015-04-29