改進(jìn)的拉普拉斯算法在動(dòng)畫表情控制中的應(yīng)用

羅江林 王青青 朱妹麗

摘 要：為了實(shí)時(shí)得到真實(shí)感強(qiáng)的動(dòng)畫角色表情，對(duì)均一權(quán)值進(jìn)行改進(jìn)，并將其應(yīng)用于拉普拉斯算法表情遷移中，更加精確地保留了目標(biāo)模型的局部信息，克服了傳統(tǒng)的拉普拉斯算法在表情控制中穩(wěn)定性差、實(shí)時(shí)性不強(qiáng)的不足，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。仿真實(shí)驗(yàn)結(jié)果表明：改進(jìn)的算法能夠真實(shí)的、高效的實(shí)現(xiàn)表情的遷移，并且實(shí)時(shí)性到達(dá)了30fps。

關(guān)鍵詞：拉普拉斯算法 表情遷移 表情控制 網(wǎng)格約束

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2018）03（c）-0021-03

在計(jì)算機(jī)技術(shù)、數(shù)字動(dòng)畫技術(shù)和計(jì)算機(jī)圖形學(xué)發(fā)展的推動(dòng)下，人臉表情動(dòng)畫已經(jīng)向著數(shù)字化、網(wǎng)絡(luò)化、智能化方向發(fā)展。人臉表情動(dòng)畫是通過一定的方法控制人臉模型發(fā)生形變，使得動(dòng)畫角色能夠模擬真實(shí)人臉的各種表情動(dòng)作，從而高效實(shí)現(xiàn)動(dòng)畫生產(chǎn)中角色面部動(dòng)作的真實(shí)采集和制作。從目前的技術(shù)發(fā)展來看，人臉表情遷移技術(shù)已經(jīng)被廣泛的應(yīng)用于影視特效、虛擬教學(xué)、增強(qiáng)現(xiàn)實(shí)聊天等方面。

傳統(tǒng)的表情控制技術(shù)是在演員面部設(shè)計(jì)拓?fù)浣Y(jié)構(gòu)，設(shè)置標(biāo)記點(diǎn)，使用多臺(tái)攝像機(jī)對(duì)標(biāo)記點(diǎn)進(jìn)行二維數(shù)據(jù)采集，通過系統(tǒng)解算，實(shí)現(xiàn)表情的控制。這種技術(shù)造成了系統(tǒng)成本昂貴；每次進(jìn)行數(shù)據(jù)采集時(shí)都要對(duì)演員的面部拓?fù)浣Y(jié)構(gòu)重新進(jìn)行標(biāo)記和對(duì)位，操作比較繁瑣；捕捉和采集的數(shù)據(jù)要耗費(fèi)大量的時(shí)間進(jìn)行反向運(yùn)動(dòng)和深度信息解算后，才能對(duì)角色模型進(jìn)行表情控制，并且不能做到實(shí)時(shí)控制。

20世紀(jì)70年代，Parke[1]將面部幾何參數(shù)和表情參數(shù)結(jié)合起來實(shí)現(xiàn)動(dòng)畫角色的面部表情變化，僅僅能夠模擬簡單的人臉表情變化，但是真實(shí)感和實(shí)時(shí)性還是比較差。之后國內(nèi)外的學(xué)者在表情控制方面進(jìn)行了大量的研究，2001年，浙江大學(xué)的梅麗等人[2]通過特定人臉的肌肉向量的變化來驅(qū)動(dòng)人臉三維多邊形網(wǎng)絡(luò)模型的變形，從而得到各種表情，由于此方法沒有考慮皺眉等細(xì)節(jié)信息，因此，在進(jìn)行表情遷移時(shí)真實(shí)感不強(qiáng)。2006年，Zhang Q等人[3]首先建立樣本圖像數(shù)據(jù)庫，然后通過表情映射算法生成新的表情序列，這種方法合成的人臉表情逼真、自然，但是在訓(xùn)練階段需要大量的數(shù)據(jù)，并且數(shù)據(jù)僅僅是針對(duì)特定人，移植性差。

為了解決表情樣本庫的約束和得到逼真的動(dòng)畫表情，研究人員提出了更多的解決方法。Deng Z等人[4]分析了捕獲到的演員的面部數(shù)據(jù)和人臉樣本之間的關(guān)系，利用徑向基回歸算法將演員的面熟數(shù)據(jù)映射到目標(biāo)角色上，從而實(shí)現(xiàn)表情的合成，這種方法有效地降低了樣本之間的影響。為了解決表情的真實(shí)感，Zhao 等人[5]利用Lucas-Kanade光流跟蹤算法對(duì)特征點(diǎn)進(jìn)行跟蹤，得到表情變化過程中特地點(diǎn)的運(yùn)動(dòng)軌跡，這樣會(huì)得到表情變化值，然后利用對(duì)偶拉普拉斯變換將此表情變化值遷移到角色模型中，從而實(shí)現(xiàn)表情的遷移，這種算法雖然真實(shí)感強(qiáng)，但是在捕獲視頻流時(shí)容易受到光照得外界環(huán)境的干擾。

為了解決樣本量大、真實(shí)感差等問題，本文利用改進(jìn)的拉普拉斯遷移算法來實(shí)現(xiàn)表情的控制，此方法能夠補(bǔ)償姿態(tài)、光照等條件的變化，并且對(duì)表情變化的細(xì)節(jié)也能很好的表達(dá)，從而增強(qiáng)了表情遷移的真實(shí)感.

1 基于拉普拉斯算子的表情遷移算法

拉普拉斯網(wǎng)格變形技術(shù)是在微分坐標(biāo)基礎(chǔ)發(fā)展起來的一種表面變形技術(shù)。此技術(shù)的特點(diǎn)是能夠最大程度地保留網(wǎng)絡(luò)的局部信息，具有平移不變的特性。拉普拉斯算子可以定義為：

對(duì)于給定的動(dòng)畫角色人臉模型MF，可以看成是網(wǎng)格模型中所有邊E和所有頂點(diǎn)（n是頂點(diǎn)的個(gè)數(shù)）的集合，其中。將頂點(diǎn)vp與其鄰接點(diǎn)的坐標(biāo)的加權(quán)和的均值差定義為頂點(diǎn)vp的拉普拉斯坐標(biāo)α（vp）[6]：

通過對(duì)拉普拉斯坐標(biāo)進(jìn)行處理，得到角色表情的最終變形。通常情況下，利用拉普拉斯遷移算法會(huì)涉及到3個(gè)部分的技術(shù)，即為模型的坐標(biāo)轉(zhuǎn)換位拉普拉斯坐標(biāo)、網(wǎng)格變形控制以及網(wǎng)格重構(gòu)，但是本文對(duì)拉普拉斯坐標(biāo)進(jìn)行隱式轉(zhuǎn)換，在進(jìn)行變形的同時(shí)實(shí)現(xiàn)了網(wǎng)格的重構(gòu)和變形。

根據(jù)參考文獻(xiàn)[7]可知，拉普拉斯算子L是奇異的，即為解具有非唯一性。為了得到唯一的全局最優(yōu)解，需要對(duì)滿秩的線性系統(tǒng)進(jìn)行求解。

同理可得在y和z軸上的線性表示。利用最小二乘法處理式（4）中的約束點(diǎn)，將約束點(diǎn)加載在線性系統(tǒng)中，這種處理方式并沒有對(duì)原有的線性系統(tǒng)進(jìn)行刪行處理，這樣勢必會(huì)造成未知數(shù)的個(gè)數(shù)小于方程的個(gè)數(shù)，造成線性系統(tǒng)無解，但是這是一個(gè)滿秩的線性系統(tǒng)，因?yàn)橥ㄟ^最小二乘法得到其唯一解為：

由此得到了網(wǎng)格變形后表情的遷移數(shù)據(jù)，完成了基于拉普拉斯的算子的變形。

2 表情遷移算法的改進(jìn)

傳統(tǒng)的拉普拉斯變形技術(shù)是通過拉普拉斯坐標(biāo)僅是對(duì)網(wǎng)格曲面法向量的近似，而本文通過頂點(diǎn)與相鄰接頂點(diǎn)對(duì)拉普拉斯坐標(biāo)的貢獻(xiàn)因子w進(jìn)一步精確的逼近網(wǎng)格曲面，更好地保留了網(wǎng)格的局部信息。對(duì)于w的取值，學(xué)者們也給出了不同的計(jì)算方法，如Meyer等人[7]在式（1）的基礎(chǔ)上利用余切權(quán)值得到表情變化的計(jì)算方法，其表示如下。

通過式（7）和圖1可知，的變化是隨著網(wǎng)格的幾何形狀發(fā)生改變的，而是與網(wǎng)格的拓?fù)浣Y(jié)構(gòu)相關(guān)的。但是這種計(jì)算方法存在的問題是余切值會(huì)出現(xiàn)負(fù)值，并且當(dāng)φpq或者接近180（±π）時(shí)，余切值是接近無窮大的，這樣會(huì)造成系統(tǒng)的不穩(wěn)定性。因此，本文在余切權(quán)值的理論基礎(chǔ)上利用均值法來計(jì)算每個(gè)頂點(diǎn)的權(quán)重因子，如式（11）所示。

通過上述描述與分析，本文改進(jìn)的拉普拉斯表情遷移算法主要包括如下幾個(gè)步驟。

（1）對(duì)于給定的動(dòng)畫目標(biāo)角色人臉模型MF，獲取每個(gè)頂點(diǎn)的拉普拉斯坐標(biāo)。

（2）在含有約束點(diǎn)的情況下，利用最小二乘法求解拉普拉斯算子的唯一解。

（3）通過頂點(diǎn)的權(quán)重因子，求出變形后頂點(diǎn)的位置，從而將表演者的表情遷移到動(dòng)畫角色上。

3 仿真結(jié)果分析

本文在實(shí)際的應(yīng)用中，針對(duì)目前影視作品生產(chǎn)工藝中表情制作依賴Key frame和Interpolated morphing等手工技術(shù)作業(yè)方式帶來的低效率、動(dòng)作不自然和質(zhì)量粗糙等問題，本文采用一臺(tái)Kinect深度攝像頭進(jìn)行數(shù)據(jù)采集，對(duì)采集到的面部三維數(shù)據(jù)和標(biāo)準(zhǔn)表情數(shù)據(jù)進(jìn)行模式匹配，最后通過改進(jìn)的拉普拉斯算法實(shí)現(xiàn)表情的遷移。

算法仿真環(huán)境處理器Intel（R） Core（TM） i5-3550CPU @3.30GHz 3.30GHz，內(nèi)存4GB，為了說明算法的有效性，

本文首先通過設(shè)備采集到帶深度值的圖形數(shù)據(jù)，然后對(duì)圖像進(jìn)行第一次識(shí)別，找到面部的區(qū)域。在正式識(shí)別之前，進(jìn)行數(shù)據(jù)的訓(xùn)練，將標(biāo)準(zhǔn)的表情數(shù)據(jù)和采集到的圖形數(shù)據(jù)進(jìn)行一次映射，此步驟根據(jù)標(biāo)準(zhǔn)表情的數(shù)量進(jìn)行迭代。訓(xùn)練完畢之后，通過動(dòng)態(tài)的圖像數(shù)據(jù)和角色表情映射數(shù)據(jù)進(jìn)行比較，得到表情的權(quán)重值，利用改進(jìn)的拉普拉斯算法對(duì)角色表情進(jìn)行控制。其實(shí)驗(yàn)結(jié)果見圖1、圖2。

通過圖2仿真結(jié)果可以看出，本文算法不需要在表演者面部粘貼任何特征點(diǎn)，避免了被動(dòng)式數(shù)據(jù)采集方法特征點(diǎn)少、準(zhǔn)備復(fù)雜等問題，遷移效果逼真，表情生成效率高，實(shí)時(shí)性達(dá)到了30fps。

4 結(jié)語

本文為了解決動(dòng)畫中角色表情的真實(shí)感，利用改進(jìn)的拉普拉斯算法進(jìn)行表情控制。在實(shí)現(xiàn)的過程中首先對(duì)網(wǎng)格中的頂點(diǎn)求出拉普拉斯頂點(diǎn)，然后通過頂點(diǎn)的影響權(quán)重和額外添加的約束條件來盡可能地保留網(wǎng)格的局部信息，以此來提高計(jì)算的穩(wěn)定性和實(shí)時(shí)性。

參考文獻(xiàn)

[1] Parke FI. Computer generated animation of faces[A].ACM Conference. ACM[C].1972：451-457.

[2] 梅麗，鮑虎軍，彭群生.特定人臉的快速定制和肌肉驅(qū)動(dòng)的表情動(dòng)畫[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2001，13（12）：1077-1082.

[3] Zhang Q，Liu Z，Guo B，et al. Geometry-Driven Photorealistic Facial Expression Synthesis[J].IEEE Trans Vis Comput Graph，2006，12（1）：48-60.

[4] Deng Z，Chiang PY，F(xiàn)ox P，et al. Animating blendshape faces by cross-mapping motion capture data[A] Symposium on Interactive 3d Graphics[C]. 2006：43-48.

[5] Zhao H，Tai CL. Subtle Facial Animation Transfer from 2D Videos to 3D Faces with Laplacian Deformation[Z]. 2007.

[6] Sorkine O. Laplacian mesh processing. In Eurographics State-of-the-Art Report[R].2005.

[7] Meyer M，Desbrun M，Schroder P，et al. Discrete Dierential-Geome try Operators for Triangulated 2-Manifolds[J]. Visualization & Mathematics III，2002， 6（8-9）：35-57.