基于UV位置圖的視頻三維人臉表情克隆

崔時雨，申 沖，齊 暢，劉 川，張滿囤,3

(1.河北工業(yè)大學(xué) 人工智能與數(shù)據(jù)科學(xué)學(xué)院 天津 300401；2.河北省數(shù)據(jù)驅(qū)動工業(yè)智能工程研究中心 天津 300401；3.天津市虛擬現(xiàn)實與可視計算國際聯(lián)合中心 天津 300401)

0 引言

人臉表情的變化可以表達(dá)信息、傳遞情緒，如何逼真地克隆出三維人臉面部表情一直是計算機(jī)圖形學(xué)及計算機(jī)視覺領(lǐng)域的研究熱點。從20世紀(jì)70年代Parke[1]制作出第一個參數(shù)化三維人臉模型開始，國內(nèi)外科研人員就逐漸對這項技術(shù)展開了深入的研究，三維人臉表情克隆技術(shù)也在不斷發(fā)展。目前，人臉表情克隆技術(shù)已逐漸應(yīng)用到影視制作、游戲互動、醫(yī)學(xué)研究等多個領(lǐng)域，人臉表情的實時克隆不僅能大量降低相關(guān)工作的復(fù)雜程度與設(shè)備要求、減少工作人員數(shù)量，還能應(yīng)用到許多常人無法完成的工作中。傳統(tǒng)的三維人臉表情克隆生成一般都需要特殊的表情數(shù)據(jù)捕捉設(shè)備，比如光學(xué)式運動捕捉設(shè)備、Kinect體感設(shè)備等。利用Kinect設(shè)備可以獲取低分辨率的RGB-D數(shù)據(jù)，從而得到人臉關(guān)鍵點的深度信息[2]。Nguyen等[3]使用Kinect體感設(shè)備，開發(fā)出針對面部損傷患者的實時頭部及面部動畫系統(tǒng)，用于模擬面部康復(fù)效果。但這種方法的缺點是相關(guān)數(shù)據(jù)捕捉設(shè)備價格昂貴，成本較高，而且使用場景受限，因此無法在平時生活中廣泛使用。

基于生理結(jié)構(gòu)模型的方法[4-5]不僅可以降低設(shè)備成本，還能通過模擬人臉的生理結(jié)構(gòu)生成人臉表情動畫，帶來很好的真實感。這種方法基于解剖學(xué)的原理，通過構(gòu)造面部肌肉模型、骨骼蒙皮模型等方式，模擬人臉骨骼的運動、肌肉的拉伸以及皮膚的彈性變化。但基于生理結(jié)構(gòu)模型的方法不僅需要一定的解剖學(xué)基礎(chǔ)，還需要大量的計算求解肌肉運動，不利于視頻中人臉表情克隆的實施。

隨著深度學(xué)習(xí)的不斷發(fā)展，越來越多的研究人員將深度學(xué)習(xí)與此前的方法相結(jié)合進(jìn)行人臉表情生成。Yi等[6]在三維形變模型(3D morphable model，3DMM)的基礎(chǔ)上提出了多度量回歸網(wǎng)絡(luò)來回歸模型參數(shù)。針對3DMM構(gòu)建的訓(xùn)練數(shù)據(jù)克隆出的結(jié)果不夠精細(xì)的問題，Zhu等[7]利用RGB-D圖像構(gòu)建大規(guī)模細(xì)粒度的3D數(shù)據(jù)，并構(gòu)建了一個包含20萬個樣本的數(shù)據(jù)集，還提出了一個新的網(wǎng)絡(luò)FGNet來進(jìn)行形狀修改，有效改善了面部重建的質(zhì)量。

雖然結(jié)合深度學(xué)習(xí)的方法進(jìn)行三維人臉表情克隆已經(jīng)取得了一些優(yōu)秀成果，但對于視頻中的三維人臉表情克隆，算法的準(zhǔn)確性、實時性仍需要提高。為解決以上問題，本文改進(jìn)了位置圖回歸網(wǎng)絡(luò)(position map regression network，PRNet)[8]的結(jié)構(gòu)。使用更加輕量級的網(wǎng)絡(luò)模塊代替原網(wǎng)絡(luò)中的殘差模塊，并在訓(xùn)練時使用Wing Loss損失函數(shù)代替常用的L2損失函數(shù)[9]，提高了模型的準(zhǔn)確率。參考面部表情編碼系統(tǒng)(facial action coding system，F(xiàn)ACS)，根據(jù)人臉面部肌肉的分布與產(chǎn)生表情時人臉皮膚的變化，將人臉劃分為四個區(qū)域，并設(shè)計了新的人臉分區(qū)權(quán)重。最后，本文以上述模型為基礎(chǔ)，提出了一種基于UV位置圖的視頻三維人臉表情克隆方法，該方法通過改進(jìn)的網(wǎng)絡(luò)估計視頻中每幀人臉圖像對應(yīng)的UV位置圖，再從UV位置圖中提取與三維模型頂點對應(yīng)的關(guān)鍵點三維坐標(biāo)，最后根據(jù)關(guān)鍵點三維坐標(biāo)控制三維人臉模型產(chǎn)生變形，實現(xiàn)視頻中的人臉表情克隆。

1 相關(guān)工作

數(shù)據(jù)驅(qū)動的三維人臉表情克隆一般都需要有一個基礎(chǔ)模型，通過估計人臉的形狀、表情、紋理參數(shù)來驅(qū)動三維模型變形，或通過融合一組不同的表情基來擬合表情。但由于人臉差異性明顯，表情豐富多樣，這種定義在三維空間的線性模型受到很多限制。若直接將三維人臉模型中的所有頂點連接成一個向量，再用網(wǎng)絡(luò)估計該向量，雖然可以獲得模型頂點的三維信息，但卻丟失了頂點之間的空間信息。

為了解決以上問題，F(xiàn)eng等[8]提出了用UV位置圖作為新的三維人臉表示方法。UV位置圖將人臉關(guān)鍵點的三維坐標(biāo)與UV空間中UV坐標(biāo)進(jìn)行對應(yīng)，并將三維坐標(biāo)存儲在二維圖像上，實現(xiàn)了三維到二維的映射。在左手笛卡爾坐標(biāo)系中定義三維人臉位置，利用弱透視投影，建立三維空間與二維圖像各個點之間的聯(lián)系。將三維空間的原點與輸入二維圖像的左上角重疊，指向圖像右側(cè)為X軸正方向，這時三維人臉模型在XOY平面上的投影與二維人臉圖像恰好重合。因此UV位置圖P(ui,vi)可以表示為

P(ui,vi)=(xi,yi,zi)，

(1)

其中：(ui,vi)表示三維人臉模型中第i個頂點的UV坐標(biāo)；(xi,yi,zi)表示該頂點對應(yīng)的三維空間坐標(biāo)；同時(xi,yi)表示在輸入的二維圖像上對應(yīng)的像素點位置，zi表示該點的深度。由于(ui,vi)和(xi,yi)對應(yīng)的是該人臉模型上的同一個點，因此這種表示方法可以保留對齊信息。

圖1 二維圖像與UV位置圖Figure 1 2D image and UV position map

將UV位置圖上的每一個點的坐標(biāo)(xi,yi,zi)用RGB值(范圍0～255)來表示，可以得到一個包含三個通道的二維圖像，該圖像的每個通道分別表示三維空間坐標(biāo)x、y、z，如圖1所示。

2 本文方法

2.1 基于Ghost瓶頸的UV位置圖回歸網(wǎng)絡(luò)

近年來，輕量級神經(jīng)網(wǎng)絡(luò)架構(gòu)的設(shè)計得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注[10]。對于卷積神經(jīng)網(wǎng)絡(luò)來說，除了準(zhǔn)確度，效率問題也是在設(shè)計網(wǎng)絡(luò)時需要考慮的重要指標(biāo)。如MobileNet系列[11]，使用深度可分離卷積(depthwise separable convolution)來減少運算量，ShuffleNet系列[12]提出了逐點群卷積(pointwise group convolutions)和通道混洗(channel shuffle)，在降低復(fù)雜度的同時提高了網(wǎng)絡(luò)的精度。目前經(jīng)過良好訓(xùn)練的網(wǎng)絡(luò)生成的特征圖可以包含豐富的信息，這些信息保證對輸入數(shù)據(jù)的全面理解，但網(wǎng)絡(luò)產(chǎn)生的很多特征圖都十分相似，Han等[13]將相似的特征圖稱為Ghost，并且提出了Ghost模塊，試圖通過更簡單的操作來得到這些相似的特征圖。

普通的卷積層是將輸入的二維圖像與卷積核進(jìn)行卷積，直接得到該層的特征圖。Ghost模塊是將輸入的二維圖像先進(jìn)行主卷積，得到內(nèi)在特征圖，再對這些內(nèi)在特征圖執(zhí)行多個線性操作，得到最終的特征圖。如圖2所示。

圖2 普通卷積層與Ghost模塊Figure 2 Convolutional layer and Ghost module

假設(shè)輸入圖像的尺寸為c*hin*win，c、hin、win分別表示輸入圖像的通道數(shù)、高度和寬度，普通卷積操作和主卷積操作的卷積核的尺寸均為k*k，線性操作的平均核尺寸為d*d，最終得到的特征圖尺寸為n*hout*wout，n、hout、wout分別表示輸出特征圖的通道數(shù)、高度和寬度。當(dāng)主卷積中卷積核的個數(shù)為m，線性操作的個數(shù)為s(s=n/m且s

FConv=n*hout*wout*c*k*k，

(2)

FOrdi=m*hout*wout*c*k*k，

(3)

FLine=(s-1)*hout*wout*d*d，

(4)

(5)

仿照殘差網(wǎng)絡(luò)，將兩個Ghost模塊進(jìn)行堆疊，可以得到步長為1和2兩種結(jié)構(gòu)，如圖3所示。本文算法就是使用了這兩種結(jié)構(gòu)層。在Ghost瓶頸層中，對每個Ghost模塊的輸出進(jìn)行一次批量歸一化處理(batch normalization，BN)，并在第一個Ghost模塊后增加一個ReLU激活函數(shù)，此外，在步長為2的瓶頸層中，還在兩個Ghost模塊之間添加了一個深度卷積層，將該層的輸出進(jìn)行批量歸一化處理后，再傳遞給第二個Ghost模塊。

圖3 瓶頸層Figure 3 Bottlencek layer

圖4 UV位置圖回歸網(wǎng)絡(luò)Figure 4 UV position map regression network

由于UV位置圖回歸網(wǎng)絡(luò)是將RGB圖像回歸成位置圖，因此PRNet使用了編碼器-解碼器結(jié)構(gòu)。本文仍保留了這種結(jié)構(gòu)，如圖4所示。在編碼器部分，先設(shè)置了兩個普通卷積層對圖像進(jìn)行初步的特征提取，將其映射為256*256*16的特征圖，再通過9個Ghost瓶頸層將該特征圖映射為8*8*512的特征圖。解碼器部分是14個轉(zhuǎn)置卷積層，最終將8*8*512的特征圖映射為256*256*3的UV位置圖。

2.2 人臉分區(qū)設(shè)計

根據(jù)FACS，人類面部有42塊肌肉，不同的臉部肌肉運動產(chǎn)生了不同表情。通過參考FACS中對人臉區(qū)域的劃分，并觀察人臉產(chǎn)生表情時的肌肉運動及皮膚變化，可以得到眼睛與嘴是人臉表情變化最豐富的區(qū)域。因此，本文對人臉進(jìn)行了新的區(qū)域劃分，并設(shè)計了新的人臉分區(qū)權(quán)重。

1) 將人臉的68個關(guān)鍵點作為一個區(qū)域，并設(shè)置最高權(quán)重。

2) 將眼睛(包含眉毛)與嘴劃分為一個區(qū)域，并設(shè)置次高權(quán)重。

3) 將眉毛以上的額頭部分(包含印堂)、鼻子、嘴巴周圍劃分為一個區(qū)域，并設(shè)置中等權(quán)重。

4) 將人臉上除去上述區(qū)域的部分劃分為一個區(qū)域，并設(shè)置一般權(quán)重。

此外，由于每幀圖像可能含有非人臉區(qū)域，比如脖子、衣服、背景等，該部分不需要表情克隆，所以將圖像上除去人臉區(qū)域的剩余區(qū)域劃分為一個區(qū)域，并設(shè)置權(quán)重為零。本方法最終的人臉區(qū)域劃分結(jié)果如圖5所示。

圖5 人臉分區(qū)與對應(yīng)人臉區(qū)域Figure 5 Face partition and corresponding face region

2.3 損失函數(shù)

通常的回歸任務(wù)會采用L2損失函數(shù)，但在進(jìn)行人臉關(guān)鍵點檢測時，經(jīng)常會處理一些極端姿態(tài)，這些姿態(tài)最初的檢測誤差可能非常大，而L2損失函數(shù)對這類異常值又很敏感，當(dāng)某個點的預(yù)測值與真實值誤差較大時，整個損失將由這個點所“主導(dǎo)”，不利于網(wǎng)絡(luò)的訓(xùn)練。Wing Loss損失函數(shù)結(jié)合了分段函數(shù)和對數(shù)函數(shù)。對數(shù)函數(shù)的梯度是1/x,優(yōu)化步長是x2，當(dāng)誤差接近0時，它的梯度逐漸增大，優(yōu)化步長的變化較小，而當(dāng)誤差較大時，它的梯度較小，優(yōu)化步長受誤差的影響則更為明顯。Wing Loss損失函數(shù)里具有正偏移的對數(shù)函數(shù)可以防止小誤差點的過度補償，避免在錯誤的方向上進(jìn)行大的更新，可以兼顧大、小誤差。因此，本文在網(wǎng)絡(luò)訓(xùn)練時選擇了Wing Loss損失函數(shù)，所用公式為

(6)

(7)

其中：x表示真實的UV位置圖與預(yù)測的UV位置圖之間的頂點三維坐標(biāo)誤差；wing(x)表示損失；ω是一個正數(shù)，將該損失函數(shù)的非線性部分限制在[-ω,ω]之間；ε為約束非線性區(qū)域的曲率；C用來連接分段函數(shù)的線性部分和非線性部分。

將Wing Loss損失函數(shù)與人臉分區(qū)權(quán)重結(jié)合，最終整個網(wǎng)絡(luò)的損失函數(shù)為

(8)

其中：Xm為真實的UV位置圖中的一個頂點；P(Xm)表示該頂點在真實的UV位置圖中的三維坐標(biāo)(x,y,z)；P*(Xm)表示該頂點在預(yù)測的UV位置圖中的三維坐標(biāo)(x*,y*,z*)；wing(P(Xm)-P*(Xm))表示W(wǎng)ing Loss損失；W(Xm)表示該頂點的權(quán)重；M是UV位置圖上的頂點數(shù)量。

2.4 整體網(wǎng)絡(luò)

結(jié)合以上各部分，本文的整體網(wǎng)絡(luò)如圖6所示。網(wǎng)絡(luò)的輸入為一段視頻，也可以由攝像頭直接捕獲。由于在進(jìn)行人臉表情克隆時，一般情況下演示視頻中人臉的區(qū)域比較小，而且表情克隆與人物背景基本無關(guān)，所以需要確定人臉在背景中的位置并提取出來。因此先對視頻的每一幀圖像進(jìn)行人臉檢測，將檢測器返回的第一張人臉作為表情克隆的目標(biāo)人臉。根據(jù)檢測結(jié)果確定圖像上人臉?biāo)谖恢?，設(shè)置裁剪出的新圖像大小為256*256，通過相似變換將原人臉圖像變換裁剪成網(wǎng)絡(luò)所需要的256*256*3大小的人臉圖像。將變換裁剪好的每幀人臉檢測結(jié)果輸入改進(jìn)后的輕量級位置圖回歸網(wǎng)絡(luò)，得到該幀圖像對應(yīng)的UV位置圖，并根據(jù)UV位置圖上每一個點的RGB值，得到圖像上每一個關(guān)鍵點的三維位置信息。最后，利用三維數(shù)據(jù)處理庫Open3D中的三角網(wǎng)格數(shù)據(jù)結(jié)構(gòu)TriangleMesh更新三維人臉模型上每一個頂點的三維坐標(biāo)，再利用Visualization控件將網(wǎng)格模型進(jìn)行可視化，完成人臉表情克隆。

圖6 整體網(wǎng)絡(luò)Figure 6 Overall network

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)與評價指標(biāo)

本文實驗使用300W-LP數(shù)據(jù)集進(jìn)行訓(xùn)練，使用AFLW2000-3D數(shù)據(jù)集和COFW-68數(shù)據(jù)集進(jìn)行測試。

300W-LP數(shù)據(jù)集包含了大量標(biāo)注了3DMM系數(shù)的大角度人臉圖像，AFLW2000-3D數(shù)據(jù)集包含了AFLW數(shù)據(jù)集中的前2 000張頭像及三維信息。COFW-68數(shù)據(jù)集是COFW數(shù)據(jù)集的重新標(biāo)注版本，測試集中共507張同時包含姿態(tài)和表情變化的人臉圖像。

在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時，由于300W-LP數(shù)據(jù)集不含真實的UV位置圖，因此，需要對數(shù)據(jù)集進(jìn)行處理。將每張圖像按標(biāo)注的人臉區(qū)域進(jìn)行裁剪，并縮放到256*256大小，然后利用標(biāo)注的3DMM參數(shù)生成相應(yīng)的三維位置，并將其渲染到UV空間，獲得尺寸也是256*256的真實UV位置圖。此外，還對訓(xùn)練數(shù)據(jù)進(jìn)行了數(shù)據(jù)增強處理，對每張圖像進(jìn)行了旋轉(zhuǎn)角度分別為±15°、±30°、±45°、±60°的旋轉(zhuǎn)，增加了網(wǎng)絡(luò)對于大角度人臉的適用性。

實驗采用的評價指標(biāo)是標(biāo)準(zhǔn)化平均誤差(normalized mean error，NME)，該指標(biāo)數(shù)值越小表示性能越優(yōu)，計算公式為

(9)

(10)

其中：dbbox表示人臉邊界框大??；wbbox和hbbox分別表示人臉邊界的寬和高。在用COFW-68數(shù)據(jù)集進(jìn)行測試時，標(biāo)準(zhǔn)化參數(shù)為兩眼外眼角間距離。

3.2 實驗設(shè)置

本實驗主要采用的硬件是NVIDIA GeForce GTX 1650 GPU和Intel(R)Core(TM)i7-9750H CPU@2.60 GHz。

網(wǎng)絡(luò)使用TensorFlow的深度學(xué)習(xí)框架，編程語言為Python3.6。訓(xùn)練時ω設(shè)置為10，ε設(shè)置為2。訓(xùn)練批次大小設(shè)置為4。采用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.000 3，每5個周期后衰減為原學(xué)習(xí)率的0.9倍。

人臉分區(qū)權(quán)重設(shè)置為：

68個關(guān)鍵點∶眼睛和嘴部區(qū)域∶額頭、鼻子及嘴部周圍區(qū)域∶臉部其他區(qū)域∶圖像其他區(qū)域=4∶3∶2∶1∶0。

3.3 實驗結(jié)果分析

3.3.1消融實驗 為了驗證本文提出的人臉分區(qū)的有效性，在公開的AFLW2000-3D數(shù)據(jù)集上對預(yù)測的68個稀疏人臉關(guān)鍵點準(zhǔn)確度進(jìn)行了消融實驗，測試結(jié)果見表1。表中的PRN+MSE模型為PRNet使用均方差損失函數(shù)訓(xùn)練的模型，PRN+Wing模型為PRNet使用Wing Loss損失函數(shù)訓(xùn)練的模型，GBN+Wing模型為本文提出的網(wǎng)絡(luò)使用Wing Loss損失函數(shù)訓(xùn)練的模型，這三種模型在訓(xùn)練時均采用了PRNet提出的人臉分區(qū)及權(quán)重，而最后一個GBN+Wing+New模型采用了本文提出的人臉分區(qū)及權(quán)重。表中第2～4列分別表示在小(0°～30°)、中(30°～60°)、大(60°～90°)偏航角下的NME，最佳結(jié)果加粗顯示，在后文表中也是如此。根據(jù)表1可以看出，在訓(xùn)練時使用Wing Loss損失函數(shù)和新的人臉分區(qū)及權(quán)重設(shè)計是有效的。

3.3.2人臉關(guān)鍵點檢測 為了驗證本文提出的算法在人臉表情克隆時的準(zhǔn)確性，首先在公開的AFLW2000-3D數(shù)據(jù)集上對預(yù)測的68個稀疏人臉關(guān)鍵點準(zhǔn)確度與其他幾種先進(jìn)的算法進(jìn)行了對比，表2表示二維關(guān)鍵點檢測的對比結(jié)果，表3表示三維關(guān)鍵點檢測的對比結(jié)果?？梢钥闯觯疚姆椒o論是在二維還是三維關(guān)鍵點檢測上，都表現(xiàn)優(yōu)異。具體來說，在二維關(guān)鍵點檢測上，本文方法在小、中、大偏航角下的NME值及平均NME結(jié)果較表中次佳方法分別提高了11.35%、9.65%、20.6%和11.44%，在三維關(guān)鍵點檢測上，本文方法在小、中、大偏航角下的NME值及平均NME結(jié)果較PRNet分別提高了34.5%、34.42%、32.53%和33.95%。

表1 不同模型在AFLW2000-3D 數(shù)據(jù)集上的對比結(jié)果Table 1 Comparison results of different models on AFLW2000-3D dataset

表2 不同方法在AFLW2000-3D數(shù)據(jù)集上的二維關(guān)鍵點檢測對比結(jié)果Table 2 Comparison of 2D landmarks detection results of different methods on AFLW2000-3D dataset

表3 不同方法在AFLW2000-3D數(shù)據(jù)集上的三維關(guān)鍵點檢測對比結(jié)果Table 3 Comparison of 3D landmarks detection results of different methods on AFLW2000-3D dataset

圖7表示不同方法在AFLW2000-3D數(shù)據(jù)集上68個人臉關(guān)鍵點的二維坐標(biāo)和三維坐標(biāo)的累計誤差分布，可以看出，本文方法在預(yù)測人臉關(guān)鍵點的二維和三維坐標(biāo)上，明顯優(yōu)于3DDFA[15]和PRNet[8]。

圖7 AFLW2000-3D數(shù)據(jù)集上的累計誤差分布Figure 7 Cumulative error distribution on AFLW2000-3D dataset

為了驗證本文提出的算法在人臉存在遮擋的情況下仍具有較高的檢測水平，在COFW-68數(shù)據(jù)集上與其他幾種算法對68個稀疏人臉關(guān)鍵點的二維坐標(biāo)檢測結(jié)果進(jìn)行了對比實驗，對比結(jié)果見表4。COFW-68數(shù)據(jù)集不僅包含大量由于頭部旋轉(zhuǎn)帶來的自遮擋人臉圖像，還包含由于墨鏡、帽子等物品帶來的人臉遮擋圖像，這兩種情況的存在導(dǎo)致圖像中的有效人臉區(qū)域更小，增大了人臉關(guān)鍵點檢測的難度，使基于圖像的人臉關(guān)鍵點檢測更具有挑戰(zhàn)性。圖8表示在COFW-68數(shù)據(jù)集上68個人臉關(guān)鍵點的二維坐標(biāo)累計誤差分布，可以看出，本文提出的算法盡管沒有重點關(guān)注由于物品遮擋人臉的情況，但仍有不錯的檢測結(jié)果。

3.3.3視頻人臉表情克隆 為了體現(xiàn)本文方法能夠很好地完成視頻人臉表情克隆任務(wù)，對不同算法的網(wǎng)絡(luò)進(jìn)行了模型運行時間的對比，并將最佳和次佳結(jié)果進(jìn)行加粗顯示，對比結(jié)果見表5，運行環(huán)境表示模型在運行時系統(tǒng)使用的GPU版本。由于部分運行時間來自文獻(xiàn)，所以模型運行的GPU版本不同，但對比結(jié)果仍具有重要意義?？梢钥闯觯疚奶岢龅哪Ｐ瓦\行時間為19.6 ms，一秒鐘可以處理51張圖像，滿足了實時性的要求。

表4 不同方法在COFW-68數(shù)據(jù)集上的對比結(jié)果Table 4 Comparison results of different methods on COFW-68 dataset

圖8 COFW-68數(shù)據(jù)集上的累計誤差分布Figure 8 Cumulative error distribution on COFW-68 dataset

表5 模型運行時間對比結(jié)果Table 5 Comparison results of model running time

圖9表示具體的視頻人臉表情克隆結(jié)果。圖中第一行表示實時視頻中的演示者頭部區(qū)域截圖，標(biāo)注的點及連線表示模型預(yù)測的68個人臉關(guān)鍵點的位置，第二行表示對應(yīng)的克隆出的人臉表情。根據(jù)克隆結(jié)果可以看出，本文方法克隆的表情具有較高的真實性，對于皺眉、眨眼等細(xì)節(jié)都能很好地生成?？傮w上看，本文方法不僅能夠完成人臉表情克隆的任務(wù)，還具有較高的實時性。

圖9 表情克隆結(jié)果Figure 9 Expression cloning results

4 結(jié)束語

針對視頻三維人臉表情克隆的實時性差與準(zhǔn)確率低的問題，本文提出了一種基于UV位置圖的視頻人臉表情克隆方法。該方法使用Ghost瓶頸層構(gòu)建輕量級網(wǎng)絡(luò)，將每幀人臉圖像回歸為對應(yīng)的UV位置圖，結(jié)合新的人臉分區(qū)與權(quán)重設(shè)計使網(wǎng)絡(luò)能夠更加關(guān)注人臉變化更豐富的區(qū)域。再根據(jù)位置圖提取人臉關(guān)鍵點三維坐標(biāo)，驅(qū)動三維人臉模型產(chǎn)生變形，完成人臉表情克隆。最后，在AFLW2000-3D數(shù)據(jù)集和COFW-68數(shù)據(jù)集上進(jìn)行了二維和三維的人臉關(guān)鍵點檢測精度對比實驗，還對不同的方法進(jìn)行了模型運行時間的對比，實驗結(jié)果充分體現(xiàn)了本文方法的優(yōu)越性和有效性。