基于三維動(dòng)畫(huà)的虛擬人物表情動(dòng)作系統(tǒng)設(shè)計(jì)

熊偉

摘? 要： 為使動(dòng)畫(huà)虛擬人物表情動(dòng)作更逼真，設(shè)計(jì)基于三維動(dòng)畫(huà)的虛擬人物表情動(dòng)作系統(tǒng)。利用系統(tǒng)硬件模塊完成圖像數(shù)據(jù)及人體骨骼數(shù)據(jù)的采集、處理，以及人體骨骼點(diǎn)定位、關(guān)節(jié)點(diǎn)與Kinect骨骼點(diǎn)映射關(guān)系構(gòu)建、虛擬人物模型的搭建。在此基礎(chǔ)上，通過(guò)面部特征點(diǎn)映射完成特征點(diǎn)的對(duì)應(yīng)，并通過(guò)對(duì)齊視頻人臉與三維動(dòng)畫(huà)虛擬人臉，完成人臉模型對(duì)齊;采用拉普拉斯坐標(biāo)恢復(fù)模型重建人臉表情動(dòng)作，完成三維動(dòng)畫(huà)虛擬人物表情動(dòng)作的模擬，實(shí)現(xiàn)基于三維動(dòng)畫(huà)的虛擬人物表情動(dòng)作系統(tǒng)設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的系統(tǒng)可有效模擬人物圖像中人臉的表情動(dòng)作，并將其融入三維動(dòng)畫(huà)中，使虛擬人物更為生動(dòng)形象;經(jīng)系統(tǒng)Unity3D平臺(tái)的渲染和皮膚紋理處理后，增強(qiáng)虛擬人物真實(shí)性。

關(guān)鍵詞： 虛擬人物; 表情動(dòng)作模擬; 系統(tǒng)設(shè)計(jì); 三維動(dòng)畫(huà); 特征點(diǎn)對(duì)齊; 數(shù)據(jù)采集

中圖分類(lèi)號(hào)： TN911.73?34; TP212.14? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）20?0097?05

Design of 3D animation based expression and action system for virtual character

XIONG Wei

（College of Information Technology， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： A 3D animation based expression and action system for virtual character is designed to make the expression and action of animated virtual character more reality. The system hardware module is used to complete the collection and processing of image data and human bone data， as well as the positioning of human bone points， the establishment of the mapping relationship between joint points and Kinect bone points， and the construction of virtual character model. On this basis， the correspondence of feature points is completed by the mapping of facial feature points， and the alignment of face model is completed by aligning the face in video with the virtual face in 3D animation. The Lapras coordinate recovery model is used to reconstruct the facial expression and action， and complete the simulation of the expression and action of the virtual character in 3D animation， so as to realize the design of the 3D animation based expression and action system for virtual character. The experimental results show that the designed system can effectively simulate the facial expression and action in the person image， and integrate them into the 3D animation to make the virtual character more vivid. After rendering and skin texture processing of the system′s Unity3D platform， the authenticity of the virtual character is enhanced.

Keywords： virtual character; expression and action simulation; system design; 3D animation; feature point alignment; data acquisition

隨著時(shí)代進(jìn)步，我國(guó)計(jì)算機(jī)技術(shù)的不斷發(fā)展，虛擬現(xiàn)實(shí)技術(shù)得到廣泛的應(yīng)用。虛擬現(xiàn)實(shí)技術(shù)的表達(dá)方式主要通過(guò)視覺(jué)、聽(tīng)覺(jué)等途徑展現(xiàn)立體、逼真的畫(huà)面，且虛擬現(xiàn)實(shí)技術(shù)具有交互性、自主性等優(yōu)勢(shì)，被廣泛應(yīng)用于室內(nèi)設(shè)計(jì)和三維動(dòng)畫(huà)設(shè)計(jì)等領(lǐng)域[1?3]。隨著日本動(dòng)漫的引入，在國(guó)內(nèi)三維動(dòng)畫(huà)方面引起了新浪潮，我國(guó)三維動(dòng)畫(huà)業(yè)也隨之發(fā)展壯大，為了滿足觀眾對(duì)三維動(dòng)畫(huà)虛擬人物視覺(jué)感官的高要求，三維動(dòng)畫(huà)業(yè)也在不斷提高動(dòng)畫(huà)虛擬人物的逼真度。人臉是人們表達(dá)感情的關(guān)鍵部位，在人類(lèi)交流中，都要通過(guò)人的臉部表情動(dòng)作觀察人的喜怒哀樂(lè)。近年來(lái)人臉表情成為三維動(dòng)畫(huà)虛擬人物研究的重點(diǎn)問(wèn)題[4]。

三維動(dòng)畫(huà)虛擬人臉模型五官及臉部輪廓需要通過(guò)變形實(shí)現(xiàn)，但關(guān)于初始幀人臉表情動(dòng)作的恢復(fù)，就需要通過(guò)人臉表情動(dòng)作重建完成[15]。這里采用拉普拉斯坐標(biāo)恢復(fù)模型完成人臉表情動(dòng)作重建，但微分坐標(biāo)平移不變性會(huì)導(dǎo)致拉普拉斯坐標(biāo)幾何無(wú)法通過(guò)反向計(jì)算獲取笛卡爾坐標(biāo)，因此需將矩陣坐標(biāo)變換矩陣[M]和[M′]看成是奇異矩陣，并通過(guò)權(quán)重[pij]表示拉普拉斯算子，并獲取新頂點(diǎn)[v'ij]，促使向量k變換網(wǎng)格，從新頂點(diǎn)的拉普拉斯算子中獲取[M]矩陣的秩為[rankM=n-u]，[u]代表網(wǎng)格數(shù)量。則笛卡爾坐標(biāo)公式可表達(dá)為：[R′Mv′i=jeNipijv′i-v′j? ? ? ? ? ? ? ? ? ?=jeNipijvi+k-vj+k? ? ? ? ? ? ? ? ? ?=jeNipijvi-vj? ? ? ? ? ? ? ? ? ?=Mvi] （4）

但三維動(dòng)畫(huà)虛擬人臉模型具有一定的復(fù)雜性，需設(shè)置多個(gè)頂點(diǎn)坐標(biāo)使人臉模型更為逼真，為了得到人臉模型笛卡爾坐標(biāo)的唯一解，設(shè)置一個(gè)具有連通性能的三維動(dòng)畫(huà)虛擬人臉模型O，且設(shè)置網(wǎng)格頂點(diǎn)編號(hào)以及索引值約束幾何[F1，2，…，u]，且[vj∈fj，j∈F]，則笛卡爾坐標(biāo)唯一解約束條件可用線性方程表達(dá)為：

[MpIu×u0x=αxpc1u] （5）

式中，[I]代表單位矩陣。位置約束點(diǎn)通常通過(guò)最小二乘法完成，假設(shè)[M=MpIu×u0x]時(shí)，可求得未知數(shù)公式為：

[x=argminxMx-αx2+jeNiv2xi-cj2] （6）

假設(shè)權(quán)重P為1，因此每個(gè)頂點(diǎn)的約束因子一致，權(quán)重的改變不會(huì)造成動(dòng)畫(huà)效果改變，通過(guò)最小二乘法獲取線性方程的唯一解。最小二乘法假設(shè)[S]矩陣為[（n+u）×u]，用公式描述該矩陣：

[x=MTM-1MTg] （7）

式中，[g=β，ωc1，…，ωcmT]。則將式（7）經(jīng)過(guò)整合可得線性方程為：

[MTMx=MTβ] （8）

可將矩陣[M]看成稀缺矩陣，因?yàn)閇S=MTM]，因此對(duì)[S]矩陣完成分解后可得公式為：

[S=RTR] （9）

由此公式可知將[S]矩陣分解后可得到[R]矩陣，在分解過(guò)程中，得到網(wǎng)絡(luò)模型中未知分量[x]，[y]和[z]的值，因此其公式可表達(dá)為：

[RTδ=Mαx，Rx=δ] （10）

因此在整個(gè)人臉表情動(dòng)作重建過(guò)程中，將復(fù)雜的運(yùn)算簡(jiǎn)單化，采用最小二乘法將拉普拉斯坐標(biāo)分布在三維動(dòng)畫(huà)虛擬人臉模型中，避免局部失真問(wèn)題，且在笛卡爾坐標(biāo)計(jì)算時(shí)設(shè)置了多個(gè)約束條件，這些約束條件會(huì)增強(qiáng)三維動(dòng)畫(huà)虛擬人臉模型的真實(shí)度。

2? 實(shí)驗(yàn)分析

以某市科技有限公司提供的人物表情動(dòng)作圖像庫(kù)為實(shí)驗(yàn)對(duì)象，該圖像庫(kù)中的圖像為2 000人拍攝的10 000張人物表情動(dòng)作圖像，隨機(jī)在該圖像庫(kù)中選取多組臉部表情動(dòng)作圖像。

2.1? 三維動(dòng)畫(huà)虛擬人物表情動(dòng)作模擬分析

采用本文設(shè)計(jì)的系統(tǒng)，對(duì)該圖像完成三維動(dòng)畫(huà)虛擬人物表情動(dòng)作模擬，模擬結(jié)果如圖4所示。

由圖4可知，a），c），e）圖像均為選取的人物圖像;b），d），f）圖像均為表情動(dòng)作模擬圖像。通過(guò)本文系統(tǒng)可有效地模擬人物圖像中人臉的表情動(dòng)作，并將模擬的表情動(dòng)作融入三維動(dòng)畫(huà)中，完成虛擬人物的表情動(dòng)作添加，使虛擬人物更加生動(dòng)逼真。

2.2? 模擬性能對(duì)比

為了驗(yàn)證本文系統(tǒng)的實(shí)用性，采用實(shí)時(shí)動(dòng)作捕捉技術(shù)系統(tǒng)、2D動(dòng)畫(huà)表情動(dòng)作系統(tǒng)以及本文系統(tǒng)分別對(duì)圖像庫(kù)中相對(duì)應(yīng)的幾組圖像完成表情動(dòng)作模擬，將模擬結(jié)果相對(duì)比，如圖5～圖7所示。

由圖5可知，雖然針對(duì)于頭部的剛性運(yùn)動(dòng)，實(shí)時(shí)動(dòng)作捕捉技術(shù)系統(tǒng)可以很好的模擬，但是臉部表情沒(méi)有有效地模擬出來(lái)。由圖6可知，2D動(dòng)畫(huà)表情動(dòng)作系統(tǒng)基本完成了人臉表情動(dòng)作的模擬，但由于沒(méi)有在Unity3D平臺(tái)中完成紋理和背景的修飾，導(dǎo)致虛擬人物不夠逼真。由圖7可明顯看出，本文系統(tǒng)所模擬的三維動(dòng)畫(huà)虛擬人物表情動(dòng)作要比另外兩種系統(tǒng)模擬的效果好，不僅有效地將人臉部的表情變化表達(dá)出來(lái)，而且通過(guò)Unity3D平臺(tái)的渲染和皮膚紋理的處理，使虛擬人物更加具有真實(shí)感。

三種系統(tǒng)的表情動(dòng)作模擬度和皮膚紋理模擬逼真度結(jié)果如表1所示。

由表1可知，本文系統(tǒng)不僅在表情動(dòng)作方面模擬效果好，且通過(guò)本文系統(tǒng)對(duì)虛擬人物模型進(jìn)行皮膚紋理的處理，有助于三維動(dòng)畫(huà)虛擬人物表情動(dòng)作更好的表達(dá)，且更加逼真。

3? 結(jié)? 論

針對(duì)傳統(tǒng)的基于進(jìn)化計(jì)算的三維動(dòng)漫人物設(shè)計(jì)系統(tǒng)存在表情僵硬、行動(dòng)不靈活的缺點(diǎn)，本文設(shè)計(jì)基于三維動(dòng)畫(huà)的虛擬人物表情動(dòng)作系統(tǒng)。該系統(tǒng)不僅可利用Maya軟件進(jìn)行人物建模，而且在人物建模過(guò)程中運(yùn)用了軟件中的動(dòng)畫(huà)模塊、動(dòng)力學(xué)工具以及渲染工具等，對(duì)三維動(dòng)畫(huà)環(huán)境進(jìn)行渲染，使其更加逼真;同時(shí)還可模擬人臉圖像中的表情動(dòng)作，將模擬的人臉表情動(dòng)作在人臉模型中重建，使三維動(dòng)畫(huà)虛擬人物的表情動(dòng)作更為多樣化，且效果更為真實(shí)。

參考文獻(xiàn)

[1] 謝平，劉歡，王磊磊，等.基于腦肌電反饋的虛擬康復(fù)訓(xùn)練系統(tǒng)設(shè)計(jì)[J].儀器儀表學(xué)報(bào)，2018，39（1）：250?257.

[2] 葉鳳華，葉歡.基于FLASH和3D動(dòng)畫(huà)渲染技術(shù)的育苗機(jī)器人設(shè)計(jì)[J].農(nóng)機(jī)化研究，2018，40（3）：189?192.

[3] 王錢(qián)慶，張?bào)@雷.基于三維形變模型的人臉姿勢(shì)表情校正[J].計(jì)算機(jī)科學(xué)，2019，46（6）：263?269.

[4] 宰守香，王蕾，申俊.基于VC++與Open Inventor的工業(yè)機(jī)器人切割仿真系統(tǒng)設(shè)計(jì)[J].制造技術(shù)與機(jī)床，2017（10）：151?155.

[5] 姚世明，李維浩，李蔚清，等.面向虛擬化身的人臉表情模擬技術(shù)[J].圖學(xué)學(xué)報(bào)，2019，40（3）：525?531.

[6] 劉濤，周先春，嚴(yán)錫君.基于光流特征與高斯LDA的面部表情識(shí)別算法[J].計(jì)算機(jī)科學(xué)，2018，45（10）：286?290.

[7] 郭蓓，達(dá)飛鵬.基于局部特征的表情不變3維人臉識(shí)別算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（7）：1086?1094.

[8] 谷學(xué)靜，張凱峰，郭宇承，等.基于Unity3D的ASD兒童認(rèn)知教育系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2019，31（5）：893?900.

[9] 呂屏，楊鵬飛，李旭.基于VR技術(shù)的虛擬博物館交互設(shè)計(jì)[J].包裝工程，2017，38（24）：137?141.

[10] 高風(fēng)矚，李娟莉，謝嘉成.基于Unity3D的綜采工作面全景虛擬現(xiàn)實(shí)漫游系統(tǒng)設(shè)計(jì)[J].礦業(yè)研究與開(kāi)發(fā)，2017，37（12）：68?72.

[11] 胡珉，劉妼雯.基于VR的隧道火災(zāi)疏散指揮訓(xùn)練系統(tǒng)[J].中國(guó)安全科學(xué)學(xué)報(bào)，2018，28（5）：185?190.

[12] 李春蘭，高閣，張亞飛，等.基于局部均值分解（LMD）的單通道觸電信號(hào)盲源分離算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（12）：200?208.

[13] 桑高麗，閆超，朱蓉.基于多區(qū)域融合的表情魯棒三維人臉識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2019，39（6）：1685?1689.

[14] 鄭源，李麗，孟志偉.大中型泵站機(jī)組三維檢修仿真培訓(xùn)系統(tǒng)開(kāi)發(fā)[J].排灌機(jī)械工程學(xué)報(bào)，2018，36（7）：587?592.

[15] 李輝，羅敏，鄧國(guó)民.基于Web3D的畜牧獸醫(yī)專(zhuān)業(yè)虛擬實(shí)訓(xùn)教學(xué)平臺(tái)的建設(shè)[J].黑龍江畜牧獸醫(yī)，2017（6）：207?209.