• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    3DMM與GAN結(jié)合的實(shí)時人臉表情遷移方法

    2020-04-18 13:15:00黃法秀劉春平
    計算機(jī)應(yīng)用與軟件 2020年4期
    關(guān)鍵詞:關(guān)鍵點(diǎn)人臉紋理

    高 翔 黃法秀 劉春平 陳 虎*

    1(四川大學(xué)計算機(jī)(軟件)學(xué)院 四川 成都 610065)2(四川川大智勝軟件股份有限公司 四川 成都 610045)3(四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室 四川 成都 610064)

    0 引 言

    具有真實(shí)感的人臉表情生成方法目前已經(jīng)被廣泛應(yīng)用到各個行業(yè),在電影動畫、虛擬人物、商業(yè)服務(wù)、醫(yī)學(xué)美容等方面都有了具體的應(yīng)用場景。特別是在動畫電影方面,逼真的人臉和人體動畫、表情豐富的虛擬人物,能有效增強(qiáng)人物與場景的真實(shí)感和觀看人的沉浸感。此外,二維人臉識別受圖像中的光照條件、人臉姿態(tài)和表情等可變因素影響巨大,動態(tài)環(huán)境下局限性較大,且防偽性能不好[2]。三維人臉識別方案能夠解決現(xiàn)有的這些問題,例如Apple公司利用三維結(jié)構(gòu)光建模的人臉識別技術(shù)。從早期的利用手工構(gòu)建三維人臉參數(shù)模型,到現(xiàn)在主流的利用二維圖像生成三維人臉模型技術(shù),利用三維人臉建模技術(shù),生成動態(tài)逼真的人臉表情具有較高的實(shí)用價值。如何快速、健壯地生成自然逼真的人臉表情更加是急需解決的熱點(diǎn)問題。

    本文提出了一種基于二維單目攝像頭的實(shí)時真實(shí)感人臉表情遷移方法,可以在具有二維單目攝像頭的計算機(jī)設(shè)備上,實(shí)現(xiàn)人臉的自動捕捉、目標(biāo)人臉估算、三維人臉的重建和自動渲染,并達(dá)到實(shí)時效果。圖1為遷移算法的流程。

    圖1 人臉表情遷移算法流程

    1 相關(guān)工作

    人臉重建與表情遷移技術(shù),在計算機(jī)圖形學(xué)和計算機(jī)視覺領(lǐng)域有著悠久的歷史,本文主要關(guān)注基于外部設(shè)備的實(shí)時表情遷移方法。參考Rousselle等[3]針對人臉表情捕獲進(jìn)展和Zollh?fer等[4]關(guān)于單眼三維人臉重建、跟蹤和應(yīng)用的最新報告,對使用受控采集設(shè)備具有高質(zhì)量結(jié)果進(jìn)行了概述。由于面部表情的復(fù)雜多樣性,使得高真實(shí)感的人臉表情的合成具有較大難度,1987年Waters等[5]根據(jù)人臉表情的組成根本,提出肌肉驅(qū)動模型來模擬表情生成過程,在這基礎(chǔ)上和Lee等[6]合作提出生理模型,可以生成更為真實(shí)自然的面部表情。Koch等[7]則利用有限元的方法來模擬人臉的生理結(jié)構(gòu),提出的表情生成模型可以準(zhǔn)確地模擬表情產(chǎn)生過程中臉部機(jī)構(gòu)的受力情況。Williams等[8]采用行為驅(qū)動的方法從采集的視頻畫面中獲取人臉的紋理、形狀等信息,然后利用可變形的網(wǎng)格驅(qū)動人臉。Liu等[9]提出從視頻序列中恢復(fù)人臉紋理的方法,解決表情合成方法不能恢復(fù)人臉形變的缺點(diǎn)。Isola等[10]利用對抗生成網(wǎng)絡(luò)根據(jù)圖像特征從像素級直接生成對象的部分真實(shí)紋理,具有借鑒意義,也成為最近表情遷移的熱門技術(shù)。

    近年來國內(nèi)的研究人員也著手于人臉表情合成技術(shù)的研究,并取得了許多有效的成果。晏潔等[11]在模擬表情、紋理映射等領(lǐng)域有較為深入的研究,早期提出了基于人臉模型變形方法,在三維虛擬特定人臉生成方面做出探索。梅麗等[12]采用參數(shù)化驅(qū)動方式驅(qū)動三維人臉模型,忽略了人臉表情皺紋等紋理信息。姜大龍等[13]對人臉表情合成領(lǐng)域的相關(guān)技術(shù)問題展開相應(yīng)研究,通過使用局部表情比率圖(partial expression ratio image,PERI)與MPEG-4中人臉動畫參數(shù)相結(jié)合的方法實(shí)現(xiàn)人臉動畫中細(xì)微表情特征的參數(shù)化表示,并提出了具有參考意義的優(yōu)化措施。周坤等[14]通過使用變形導(dǎo)向的GAN,生成從二維人臉圖像直接驅(qū)動的目標(biāo)人臉表情,得到了較為優(yōu)秀的結(jié)果。搜狗實(shí)驗(yàn)室最近也發(fā)布了全球第一個虛擬主持人,相信在接下來的時間國內(nèi)外在人臉表情合成、遷移等領(lǐng)域會有更加優(yōu)秀的進(jìn)展。

    結(jié)合前人的工作經(jīng)驗(yàn)[15]可知,目前真實(shí)感人臉表情的研究還存在問題,例如:大多數(shù)技術(shù)只能應(yīng)用到虛擬動畫,并不能應(yīng)用到真實(shí)人臉,表情動態(tài)過度僵硬,不具有個性化;人物動作僵硬,對輸入的視頻有較大的依賴性,無法自動生成目標(biāo)人臉個性表情;無法應(yīng)對頭部的動作變化,只能應(yīng)對人臉表情的修改。因此,本文提出一種基于3DMM與GAN結(jié)合的實(shí)時人臉表情遷移方法來解決上述問題。

    2 方法設(shè)計

    本文方法是多個組件的協(xié)作。圖1描述了該方法的基本流程,將表演者與目標(biāo)人臉作出區(qū)分,目標(biāo)人物必須按照表演者的表演動作做出一系列的模仿。參與人員通過人臉跟蹤檢測,獲取其人臉關(guān)鍵點(diǎn),本文使用的是人臉的hog特征和級聯(lián)分類器作為分類方法。為了將表演者與目標(biāo)人臉做出映射,使用pix2pix[16]的對抗生成網(wǎng)絡(luò),通過表演者的表情自動生成目標(biāo)人臉的表情關(guān)鍵點(diǎn)。使用Ruiz等[17]深度學(xué)習(xí)的方法,對二維人臉坐標(biāo)點(diǎn)進(jìn)行三維姿態(tài)的估計,渲染出不同姿態(tài)的可視化二維人臉。利用3DMM[18]三維人臉重建方法,用生成的目標(biāo)人臉二維坐標(biāo)點(diǎn)結(jié)合目標(biāo)人臉紋理,實(shí)時擬合出三維人臉模型。使用泊松圖像融合[19]的方法將當(dāng)前表演者的人臉與目標(biāo)人臉融合,生成最終的表情遷移人臉。在此過程中為了達(dá)到實(shí)時渲染的要求,同時利用多線程編程對整個人臉坐標(biāo)采集、三維人臉生成、實(shí)時渲染、面部表情融合等過程進(jìn)行了加速。

    本文方法最關(guān)鍵的一部分就是目標(biāo)人臉關(guān)鍵點(diǎn)的生成,在這個過程中,通過使用二維單目攝像頭采集表演人臉和目標(biāo)人臉的一系列不同表情視頻,然后利用pix2pix對抗生成網(wǎng)絡(luò)成對訓(xùn)練表演人臉和目標(biāo)人臉的映射關(guān)系,最終達(dá)到了生成目標(biāo)人臉關(guān)鍵點(diǎn)的需求。另外使用紋理融合算法對表演人臉和目標(biāo)人臉的部分紋理進(jìn)行部分融合。

    2.1 數(shù)據(jù)采集

    在構(gòu)建目標(biāo)用戶的面部模型之前,首先需要捕捉一組預(yù)先定義的圖像序列,這些圖像由用戶一組不同的表情面部圖像組成,借鑒Cao等[20]的方法將人體頭部運(yùn)動分為剛性運(yùn)動和非剛性運(yùn)動兩個部分。如圖2所示,第一部分為剛性運(yùn)動,要求捕獲人臉15個不同的姿態(tài),這些姿態(tài)由頭部的不同的角度組成并且人臉帶有中性表情。這些轉(zhuǎn)動使用歐拉角(yaw,pitch,roll)來表示,其中:yaw從-90°到90°,每隔30°為旋轉(zhuǎn)尺度共6個姿態(tài);pitch從-30°到30°每隔15°為旋轉(zhuǎn)尺度共4個姿態(tài);roll和pitch的旋轉(zhuǎn)尺度保持同樣的分布,為4個姿態(tài)。圖2第一行為其中部分姿態(tài):從左至右為0°、yaw30°、pitch30°、roll60°、yaw-60°、yaw-90°。用戶只需要近似匹配上述標(biāo)準(zhǔn),無需精準(zhǔn)測量上述尺度。第二部分是旋轉(zhuǎn)尺度保持在-30°到30°之間的15個不同人臉表情的非剛性人臉集合。包括:微笑,皺眉,厭惡,擠左眼,擠右眼,憤怒,張嘴,咧嘴,抬下巴,撅嘴巴,漏斗形嘴,鼓臉,閉眼睛,左撇嘴,右撇嘴。圖2第2行所示分別為:微笑,張嘴,厭惡,咧嘴,閉眼,皺眉。

    圖2 人臉剛性運(yùn)動和非剛性運(yùn)動采集示意圖

    最終,為表演人臉和目標(biāo)人臉分別捕獲并挑選了825幅圖片,每個不同的姿態(tài)和不同的表情分別25幅。使用的設(shè)備為普通的二維單目攝像頭,采集目標(biāo)距離設(shè)備1米。為了達(dá)到較高的對齊效果以完成下面的任務(wù),要求測試人員盡量保持亮度一致,以達(dá)到較高的對齊效果。

    2.2 人臉關(guān)鍵點(diǎn)定位

    基于二維圖像的三維人臉建模需要從圖像中提取出相關(guān)的人臉特征信息,其中包含人臉位置、人臉的關(guān)鍵點(diǎn)以及人臉的顏色信息提取,提取上述信息需要對人臉進(jìn)行檢測、人臉對齊等操作。針對前面所獲取的人臉數(shù)據(jù)集,采用人臉對齊的方法為它們自動標(biāo)定68個關(guān)鍵點(diǎn),分別位于人臉的眉毛、眼睛、鼻子、嘴唇和臉部邊緣位置,其中0~16位于人臉邊緣,17~21為左眉毛,22~26為右眉毛,27~35為鼻子,36~41,42~47分別為左右眼睛,48~67為嘴巴,標(biāo)注如圖3所示。現(xiàn)在二維人臉對齊技術(shù)[21-22]已經(jīng)很成熟,可以任意完成上述對齊,這里使用的為開源人臉對齊基于ERT(Ensemble of Regression Tress)算法[21]。ERT展示了如何使用回歸樹集合直接從像素強(qiáng)度稀疏子集估計面部的關(guān)鍵點(diǎn)位置,通過高質(zhì)量的預(yù)測展示了實(shí)時性能。

    圖3 人臉關(guān)鍵點(diǎn)標(biāo)注示意圖

    使用上述方法對數(shù)據(jù)集中825對圖像進(jìn)行人臉關(guān)鍵點(diǎn)的對齊,并且將關(guān)鍵點(diǎn)畫至黑色背景圖形,歸一化人臉大小后形成對抗生成網(wǎng)絡(luò)的數(shù)據(jù)集。

    2.3 對抗生成網(wǎng)絡(luò)生成目標(biāo)關(guān)鍵點(diǎn)

    2.3.1準(zhǔn)備訓(xùn)練數(shù)據(jù)集

    根據(jù)表演和目標(biāo)人臉數(shù)據(jù)集的人臉關(guān)鍵點(diǎn)的標(biāo)定結(jié)果,形成成對包含825組的人臉關(guān)鍵點(diǎn)數(shù)據(jù)集,數(shù)據(jù)點(diǎn)描繪在黑色背景上,如圖4所示,A為目標(biāo)人臉畫出的對應(yīng)人臉的關(guān)鍵點(diǎn)示意圖,B為表演人臉數(shù)據(jù),均歸一化為512×256大小的成對人臉關(guān)鍵點(diǎn)數(shù)據(jù)集作為網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)。將數(shù)據(jù)集的75%作為訓(xùn)練集,25%作為測試集,使用pix2pix的對抗生成網(wǎng)絡(luò)[10],自動生成目標(biāo)人臉的68個關(guān)鍵點(diǎn)。

    圖4 目標(biāo)人臉和表演人臉對應(yīng)人臉關(guān)鍵點(diǎn)圖片

    2.3.2目標(biāo)函數(shù)

    GAN[23]是一種生成模型,用來學(xué)習(xí)一組z(隨機(jī)噪聲)向量到y(tǒng)(目標(biāo)圖片)的映射:y:G:z→y。相比之下,條件GAN學(xué)習(xí)觀測圖像x和隨機(jī)噪聲z到y(tǒng)的映射關(guān)系,y:G:{x,z}→y。

    在此pix2pix的訓(xùn)練模型為GAN網(wǎng)絡(luò)的變形,損失函數(shù)為:

    LCGAN(G,D)=Ex,y[logD(x,y)]+Ex,z[log(1-

    D(x,G(x,z)))]

    (1)

    式中:G目的是最小化該函數(shù)值,D目的為最大化該函數(shù)值,即G*=arg minGmaxDLCGAN(G,D)。

    為了對比效果,同時訓(xùn)練一個普通GAN,只讓D(判別網(wǎng)絡(luò))判斷是否為真實(shí)圖像。

    LGAN(G,D)=Ey[logD(y)]+Ex,z[log(1-

    D(G(x,z)))]

    (2)

    對于圖像生成任務(wù)而講,G(生成網(wǎng)絡(luò))的輸入和輸出之間共享信息,比如上色任務(wù)。因而為了保證輸入和輸出圖像之間的相似度,加入L1 loss:

    (3)

    匯總的損失函數(shù)為:

    G*=arg minGmaxDLCGAN(G,D)+λLL1(G)

    (4)

    (1) 生成網(wǎng)絡(luò)G。常見的編解碼網(wǎng)絡(luò)(Encoder-decoder)輸入和輸出之間會共享很多信息,如果使用普通的卷積神經(jīng)網(wǎng)絡(luò)會導(dǎo)致每一層都承載保存者所有信息,這樣的神經(jīng)網(wǎng)絡(luò)容易出錯,所以使用U-Net[24]網(wǎng)絡(luò)來進(jìn)行減負(fù),結(jié)構(gòu)如圖5(b)所示。U-Net的區(qū)別是加入跳線鏈接,對應(yīng)的feature maps和decode之后的同樣大小的feature maps按通道拼(concatenate)一起,用來保留不同分辨率下像素級的細(xì)節(jié)信息。

    圖5 Encoder-decoder和U-Net網(wǎng)絡(luò)結(jié)構(gòu)對比

    (2) 判別網(wǎng)絡(luò)D。用來保證局部圖形的精準(zhǔn)性,通過Patch-D[10]實(shí)現(xiàn),將生成圖像切分為固定大小的Patch輸入進(jìn)入判別網(wǎng)絡(luò)進(jìn)行判斷。

    將歸一化后的訓(xùn)練數(shù)據(jù)送進(jìn)網(wǎng)絡(luò)中,在訓(xùn)練過程中,G(生成網(wǎng)絡(luò))、D(判別網(wǎng)絡(luò))交替進(jìn)行訓(xùn)練,可有效地生成目標(biāo)人臉的人臉關(guān)鍵點(diǎn)位置,如圖6所示。將關(guān)鍵點(diǎn)的位置提取出來,作為生成三維人臉模型的輸入。從圖6中可以看出,生成的目標(biāo)人臉的關(guān)鍵點(diǎn)位置,比表演人臉臉型更為纖細(xì)(目標(biāo)人臉為圖1流程圖對應(yīng)人臉),帶有目標(biāo)人臉的特征表現(xiàn),可以作為驅(qū)動目標(biāo)人臉三維模型生成的輸入數(shù)據(jù)。

    圖6 使用GAN生成目標(biāo)人臉的關(guān)鍵點(diǎn)位置

    2.4 3DMM生成三維人臉模型

    為了通過二維人臉關(guān)鍵點(diǎn)得到和目標(biāo)人臉相似的三維人臉模型,本文使用了基于3DMM的人臉三維模型擬合框架。薩利人臉模型是3D形變模型包含了PCA形狀模型和PCA顏色模型,而且每個模型擁有不同分辨率級別以及對應(yīng)的元數(shù)據(jù),例如二維的紋理信息和對應(yīng)的人臉坐標(biāo)信息。

    3DMM主要是在獲得薩利掃描模型的基礎(chǔ)上,利用單幅人臉圖片的二維坐標(biāo)點(diǎn),通過IMDR算法[25]多次逼近求得二維坐標(biāo)到多分辨率三維人臉模型的稠密對應(yīng)關(guān)系,達(dá)到二維到三維重建的效果。該方法使得人臉的三維重建模型實(shí)時性顯著提高。

    首先通過對數(shù)據(jù)庫中的掃描三維人臉點(diǎn)云模型進(jìn)行PCA主成分的提取。這里將形狀模型表示為點(diǎn)坐標(biāo)(x,y,z)的向量集合S∈R3N和顏色模型表示為(RGB)顏色信息的向量集合T∈R3N,N表示模型中點(diǎn)的數(shù)量。每個PCA模型表示為:

    (5)

    式中:v∈R3N為樣本的均值;V為樣本的主成分的集合V=[v1,v2,…,vn-1]∈R3N×(n-1);σ∈Rn-1為樣本集合的標(biāo)準(zhǔn)差;n為用來構(gòu)建模型的掃描次數(shù)。

    通過計算得出新的面部模型:

    (6)

    式中:m≤n-1是主成分的數(shù)量;a∈RM是PCA形狀空間中的實(shí)際坐標(biāo),為式(5)計算得出標(biāo)準(zhǔn)差集合。PCA顏色模型也服從于上述坐標(biāo)向量的分布,可通過類似計算方式得出。

    通過上述的方法得到了一個三維人臉的平均模型,在三維人臉模型擬合的過程中,首先對二維人臉圖片進(jìn)行人臉關(guān)鍵點(diǎn)的檢測,然后通過采用仿射攝像機(jī)模型,實(shí)現(xiàn)了黃金標(biāo)準(zhǔn)算法[26],找到給定的一定數(shù)量的二維-三維點(diǎn)對的攝像機(jī)矩陣的最小二乘近似。

    得到人臉關(guān)鍵點(diǎn)的二維坐標(biāo)后,通過使用二維到三維坐標(biāo)的形狀稠密對應(yīng)算法[25],找到和二維坐標(biāo)最為接近的PCA坐標(biāo)向量,代價函數(shù)為:

    (7)

    圖7 人臉可變模型框架生成三維人臉模型

    2.5 面部表情融合

    根據(jù)目標(biāo)人臉的關(guān)鍵點(diǎn)坐標(biāo)生成對應(yīng)的三維人臉模型,根據(jù)二維人臉關(guān)鍵點(diǎn)位置估計出三維空間內(nèi)的攝像機(jī)矩陣,調(diào)整三維目標(biāo)人臉的視角,渲染出對應(yīng)姿態(tài)的目標(biāo)人臉。通過薩利模型擬合出的三維人臉不包含口腔模型,因此渲染出的人臉無法構(gòu)建目標(biāo)人臉說話過程,不存在舌頭以及牙齒的變化,針對眼睛的動態(tài)也無法根據(jù)單張二維人臉進(jìn)行合成。由于系統(tǒng)是根據(jù)檢測表演人臉動作姿態(tài)和表情去生成目標(biāo)人臉,目標(biāo)人臉和表演人臉在動作過程中,頭部姿態(tài)和臉部表情基本處于同步狀態(tài)。本文使用人臉關(guān)鍵點(diǎn)定位算法定位到表演人臉和生成人臉圖像的嘴巴和眼睛位置,將當(dāng)前表演人臉的眼睛和嘴巴紋理圖像,根據(jù)目標(biāo)人臉的特點(diǎn)進(jìn)行變形,使用泊松紋理融合[19]方法復(fù)制到目標(biāo)人臉對應(yīng)的眼睛和嘴巴的位置,填充眼睛和嘴巴的動態(tài)紋理,彌補(bǔ)光照和顏色的差異。

    首先通過對目標(biāo)人臉進(jìn)行臉部關(guān)鍵點(diǎn)的對齊,找到對應(yīng)的眼睛和嘴巴的位置,在人臉關(guān)鍵點(diǎn)分布在如圖8中對應(yīng)的眼睛鼻子所對應(yīng)的位置,創(chuàng)建一個黑色蒙版用于找到需要融合位置的區(qū)域。然后對表演人臉圖片蒙版圖片和目標(biāo)人臉圖片進(jìn)行歸一化,將待融合位置進(jìn)行對應(yīng),通過泊松融合得到最終的目標(biāo)人臉。圖9為紋理融合過程。

    圖8 紋理融合位置

    圖9 渲染后的人臉圖像和表演人臉的融合過程

    3 實(shí)驗(yàn)結(jié)果與分析

    本文實(shí)現(xiàn)了基于3DMM的三維人臉表情遷移:輸入目標(biāo)人臉和表演人臉的特定視頻,對視頻進(jìn)行分幀提取臉部關(guān)鍵點(diǎn)信息,利用生成對抗網(wǎng)絡(luò)進(jìn)行表演人臉和目標(biāo)人臉關(guān)鍵點(diǎn)進(jìn)行映射,自動生成目標(biāo)人臉的臉部關(guān)鍵點(diǎn);利用生成的人臉關(guān)鍵點(diǎn)進(jìn)行三維人臉的擬合,生成目標(biāo)人臉三維模型同時做紋理映射,在此基礎(chǔ)上融合表演人臉的五官特點(diǎn),最終生成人臉遷移結(jié)果,如圖10所示??梢钥闯觯疚慕Y(jié)果對比單純的三維人臉建模的結(jié)果更具有真實(shí)性,可以較為真實(shí)地遷移表演人臉表情至目標(biāo)人臉,能夠展示眼睛,嘴巴的動態(tài)效果。如圖11所示,生成人臉能較為生動地模仿目標(biāo)人臉的表情動態(tài)和部分神情,對嘴部和眼睛的表情融合有較好的效果,從感官上能夠達(dá)到分辨出不同表情的區(qū)別。

    圖10 生成各種姿態(tài)表情表演人臉對比

    圖11 目標(biāo)人臉和生成人臉表情對比

    人臉表情仿真和遷移領(lǐng)域并無統(tǒng)一的質(zhì)量評價測試方法,無法模式化量化最后的結(jié)果,故參考文獻(xiàn)[28],設(shè)計了一套比對方法。通過對The Extended Cohn-Kanade Dataset(CK+)數(shù)據(jù)庫[29]中不同人臉表情和生成的對應(yīng)人臉表情兩組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行挑選,并結(jié)合本實(shí)驗(yàn)的實(shí)現(xiàn)條件,使用Tuputech[30]網(wǎng)站提供的在線人臉表情打分功能分別對兩組數(shù)據(jù)進(jìn)行打分比對,驗(yàn)證本文方法的遷移效果。

    本文設(shè)計了對比驗(yàn)證實(shí)驗(yàn)共涉及10個不同人臉對象的圖片,共80幅人臉圖片包含來自于(CK+)數(shù)據(jù)庫女性8種不同人臉表情:中性、憤怒、蔑視、厭惡、恐懼、高興、悲傷、驚訝。通過Tuputech網(wǎng)站系統(tǒng)[30]對(CK+)數(shù)據(jù)庫中不同表情人臉進(jìn)行預(yù)測試,發(fā)現(xiàn)并不能準(zhǔn)確對部分表情打分,部分打分效果如圖12所示。從中選擇打分在70分以上的圖12(b)、(f)以及一幅中性表情圖片作為對比標(biāo)準(zhǔn),來統(tǒng)計兩組數(shù)據(jù)的分?jǐn)?shù)分布。對10個不同對象人臉的自然表情和生成表情,包括喜悅、驚訝、中性進(jìn)行打分比對。部分結(jié)果如圖13所示。

    圖12 數(shù)據(jù)集中7種不同表情打分情況

    圖13 部分自然人臉表情和生成人臉表情對比打分情況

    通過對比實(shí)驗(yàn),最終得到10個人臉對象,自然人臉表情和生成人臉表情的三種不同表情的打分分布如表1所示。

    表1 Tuputech系統(tǒng)對自然表情和生成表情打分情況

    通過對結(jié)果樣本進(jìn)行表情識別,系統(tǒng)可以識別喜悅和驚恐表情種類并進(jìn)行打分,并有效模仿出每個對象的表情,但由于無法準(zhǔn)確識別出中性表情,故本文選擇喜悅和驚恐表情作為對比參數(shù)。通過本文方法遷移生成表情能夠達(dá)到模仿人臉自然表情的效果,基本接近自然表情的打分結(jié)果。但光照問題會造成臉部有明顯合成痕跡以及五官的模糊情況,臉部細(xì)節(jié)處理不到位,說明本文算法需要在光照一致性上進(jìn)一步改進(jìn)。

    在一臺CPU為Core(TM)i7-8700,主頻3.70 GHz,內(nèi)存16 GB的電腦中,系統(tǒng)通過CPU多線程完成人臉采集、三維模型擬合、人臉表情融合和渲染過程生成連續(xù)的人臉表情畫面,最快可以達(dá)到15.2幀/s,達(dá)到實(shí)時視頻的標(biāo)準(zhǔn),使用GPU對渲染部分進(jìn)行加速可以得到更好的效果。

    4 結(jié) 語

    本文通過對同一個人的部分視頻進(jìn)行訓(xùn)練,并設(shè)計以逼真演化目標(biāo)的算法,將表演人臉表情遷移到目標(biāo)人臉表情。本文方法可以實(shí)現(xiàn)實(shí)時人臉表情遷移,對于需要用到虛擬人物化身,人臉識別數(shù)據(jù)的拓展有一定作用。嘗試使用GAN和三維建模技術(shù)結(jié)合,生成更為逼真的三維人臉表情,但在進(jìn)行最終的人臉表情融合過程中,細(xì)節(jié)處理不夠完美。由于需要進(jìn)行人臉紋理信息的采集,表演人員需要在特定環(huán)境下(光照穩(wěn)定充足)進(jìn)行演示,無法應(yīng)對復(fù)雜環(huán)境光的問題,而且紋理受采集設(shè)備的影響會出現(xiàn)部分模糊。系統(tǒng)正常使用前,需要對表演和目標(biāo)人臉進(jìn)行一段時間的視頻采集,這也需要進(jìn)一步改進(jìn)。整個程序使用多線程編程,存在計算機(jī)資源搶占過程,容易產(chǎn)生渲染畫面的跳幀卡頓。下一步,會針對以上已知問題進(jìn)行進(jìn)一步的研究,如pix2pixHD自動生成目標(biāo)人臉紋理,使用聲紋驅(qū)動目標(biāo)人臉,優(yōu)化人臉容融合算法,使用更高精度的人臉采集設(shè)備,提升紋理融合的精度等。

    猜你喜歡
    關(guān)鍵點(diǎn)人臉紋理
    聚焦金屬關(guān)鍵點(diǎn)
    肉兔育肥抓好七個關(guān)鍵點(diǎn)
    有特點(diǎn)的人臉
    基于BM3D的復(fù)雜紋理區(qū)域圖像去噪
    軟件(2020年3期)2020-04-20 01:45:18
    使用紋理疊加添加藝術(shù)畫特效
    三國漫——人臉解鎖
    動漫星空(2018年9期)2018-10-26 01:17:14
    TEXTURE ON TEXTURE質(zhì)地上的紋理
    Coco薇(2017年8期)2017-08-03 15:23:38
    消除凹凸紋理有妙招!
    Coco薇(2015年5期)2016-03-29 23:22:15
    馬面部與人臉相似度驚人
    醫(yī)聯(lián)體要把握三個關(guān)鍵點(diǎn)
    亚洲美女搞黄在线观看| 午夜日本视频在线| 亚洲美女黄色视频免费看| 少妇丰满av| 91久久精品国产一区二区三区| 亚洲欧美日韩卡通动漫| 曰老女人黄片| 国产一级毛片在线| 99re6热这里在线精品视频| 大香蕉久久网| 国产极品天堂在线| 伦理电影免费视频| 欧美xxxx性猛交bbbb| 狠狠精品人妻久久久久久综合| 久久久国产欧美日韩av| 欧美xxxx性猛交bbbb| 五月玫瑰六月丁香| 欧美国产精品一级二级三级| 国产一区亚洲一区在线观看| 成人18禁高潮啪啪吃奶动态图 | 最黄视频免费看| 亚洲色图 男人天堂 中文字幕 | 纵有疾风起免费观看全集完整版| 97超视频在线观看视频| 国产亚洲精品久久久com| 97在线人人人人妻| 久久久久久久久久久免费av| 国产精品秋霞免费鲁丝片| 人人澡人人妻人| 在线 av 中文字幕| 美女中出高潮动态图| 亚洲人成77777在线视频| av免费观看日本| 美女xxoo啪啪120秒动态图| 国产 精品1| 亚洲av成人精品一区久久| 欧美日韩一区二区视频在线观看视频在线| 一本色道久久久久久精品综合| 嫩草影院入口| 日日啪夜夜爽| 日本免费在线观看一区| 桃花免费在线播放| 久久国内精品自在自线图片| 成人综合一区亚洲| 寂寞人妻少妇视频99o| 97超视频在线观看视频| 精品一区二区三区视频在线| 日韩一区二区视频免费看| 亚洲av日韩在线播放| 亚洲一级一片aⅴ在线观看| 一区二区三区免费毛片| 久久久国产欧美日韩av| 久久人妻熟女aⅴ| 成人国语在线视频| 大香蕉97超碰在线| 夜夜爽夜夜爽视频| 精品人妻偷拍中文字幕| 成人漫画全彩无遮挡| 国产精品国产三级国产专区5o| 80岁老熟妇乱子伦牲交| 国产黄频视频在线观看| 色视频在线一区二区三区| 麻豆乱淫一区二区| 国产成人午夜福利电影在线观看| 大香蕉久久成人网| 高清av免费在线| 免费观看性生交大片5| 亚洲精品第二区| 亚洲国产成人一精品久久久| 亚洲熟女精品中文字幕| 国产高清有码在线观看视频| 丝瓜视频免费看黄片| 黄色一级大片看看| 色婷婷av一区二区三区视频| 99久国产av精品国产电影| 午夜影院在线不卡| 人妻夜夜爽99麻豆av| 国产精品人妻久久久影院| av不卡在线播放| 日本欧美视频一区| 男女啪啪激烈高潮av片| 国产综合精华液| 飞空精品影院首页| 精品酒店卫生间| 日韩伦理黄色片| 美女福利国产在线| 丝瓜视频免费看黄片| 亚洲成人av在线免费| 亚洲av.av天堂| 精品久久久精品久久久| 免费人成在线观看视频色| 国产女主播在线喷水免费视频网站| 亚洲综合色网址| 色婷婷久久久亚洲欧美| 精品一品国产午夜福利视频| 免费高清在线观看视频在线观看| 视频中文字幕在线观看| 国产深夜福利视频在线观看| 久久99一区二区三区| 2018国产大陆天天弄谢| 国产成人aa在线观看| av视频免费观看在线观看| 天天躁夜夜躁狠狠久久av| 精品一区在线观看国产| 99热这里只有是精品在线观看| 亚洲无线观看免费| 菩萨蛮人人尽说江南好唐韦庄| 大片免费播放器 马上看| 极品少妇高潮喷水抽搐| av.在线天堂| 国产男人的电影天堂91| 少妇人妻精品综合一区二区| 国产在线视频一区二区| 国产伦精品一区二区三区视频9| 日本爱情动作片www.在线观看| 亚洲成人一二三区av| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 久久精品久久久久久久性| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 人妻 亚洲 视频| 天天操日日干夜夜撸| 国产精品欧美亚洲77777| 久久99热6这里只有精品| 午夜福利,免费看| 成人黄色视频免费在线看| 91久久精品国产一区二区成人| 久久精品国产鲁丝片午夜精品| 免费观看av网站的网址| 少妇的逼好多水| 韩国av在线不卡| 国产探花极品一区二区| 桃花免费在线播放| 日韩一区二区三区影片| 女性生殖器流出的白浆| 日韩三级伦理在线观看| 久久精品国产亚洲网站| 久久女婷五月综合色啪小说| 少妇的逼好多水| 国产亚洲一区二区精品| 国产av码专区亚洲av| 亚洲国产欧美在线一区| 久久精品久久久久久久性| 伦理电影大哥的女人| 桃花免费在线播放| 国产精品一二三区在线看| 看免费成人av毛片| 精品午夜福利在线看| 九色亚洲精品在线播放| 国产在线免费精品| 久久人人爽人人爽人人片va| 亚洲精品中文字幕在线视频| 一级毛片黄色毛片免费观看视频| 亚洲内射少妇av| 热re99久久精品国产66热6| 精品酒店卫生间| 精品午夜福利在线看| 日韩一区二区三区影片| 久久精品人人爽人人爽视色| 有码 亚洲区| 国产视频内射| 99视频精品全部免费 在线| 国产男女内射视频| 三上悠亚av全集在线观看| 高清午夜精品一区二区三区| 成人18禁高潮啪啪吃奶动态图 | 亚洲av国产av综合av卡| 亚洲色图综合在线观看| 中文字幕久久专区| 69精品国产乱码久久久| 国产老妇伦熟女老妇高清| a级片在线免费高清观看视频| 欧美日韩精品成人综合77777| 国语对白做爰xxxⅹ性视频网站| 久久精品熟女亚洲av麻豆精品| 18在线观看网站| 久久韩国三级中文字幕| 国产淫语在线视频| 国产 一区精品| 99九九在线精品视频| 国产高清三级在线| 免费人妻精品一区二区三区视频| videossex国产| 日韩电影二区| 日产精品乱码卡一卡2卡三| 国产国拍精品亚洲av在线观看| 亚洲综合色网址| 日本免费在线观看一区| 18在线观看网站| 2018国产大陆天天弄谢| 制服人妻中文乱码| 99久久精品国产国产毛片| 人妻系列 视频| 国产日韩欧美在线精品| 岛国毛片在线播放| 久久久久久久久久久久大奶| av免费在线看不卡| 一区二区三区四区激情视频| 中文乱码字字幕精品一区二区三区| 亚洲图色成人| 欧美老熟妇乱子伦牲交| 国产成人精品无人区| 国产成人91sexporn| 一二三四中文在线观看免费高清| 99热这里只有是精品在线观看| 最近最新中文字幕免费大全7| 搡老乐熟女国产| 高清不卡的av网站| 亚洲综合精品二区| 美女福利国产在线| 亚洲精品日本国产第一区| 亚洲欧美中文字幕日韩二区| 亚洲图色成人| 成人午夜精彩视频在线观看| 亚洲精品美女久久av网站| 人妻夜夜爽99麻豆av| 一本—道久久a久久精品蜜桃钙片| 日本爱情动作片www.在线观看| 99热6这里只有精品| 亚洲国产毛片av蜜桃av| 国产熟女欧美一区二区| 久久精品国产自在天天线| 亚洲色图综合在线观看| 亚洲精品中文字幕在线视频| 久久久欧美国产精品| 天堂中文最新版在线下载| 日本wwww免费看| 春色校园在线视频观看| 乱码一卡2卡4卡精品| 午夜日本视频在线| 99久国产av精品国产电影| 精品少妇黑人巨大在线播放| 男女国产视频网站| 免费少妇av软件| 美女主播在线视频| 秋霞在线观看毛片| 欧美日韩一区二区视频在线观看视频在线| 国产成人免费无遮挡视频| 国产av一区二区精品久久| 国产精品秋霞免费鲁丝片| 亚洲欧美日韩另类电影网站| 高清黄色对白视频在线免费看| 最近中文字幕高清免费大全6| 纯流量卡能插随身wifi吗| 欧美精品一区二区大全| av国产久精品久网站免费入址| 久久久精品免费免费高清| 日本wwww免费看| 一边摸一边做爽爽视频免费| 国产免费一级a男人的天堂| 亚洲精品久久午夜乱码| 一区二区日韩欧美中文字幕 | 成人手机av| 大香蕉97超碰在线| www.av在线官网国产| 亚洲内射少妇av| av线在线观看网站| 亚洲精品日韩av片在线观看| 久久精品夜色国产| 交换朋友夫妻互换小说| 大香蕉97超碰在线| 99国产综合亚洲精品| 免费大片18禁| 免费少妇av软件| 99热国产这里只有精品6| 国产片特级美女逼逼视频| 亚洲成色77777| 黑人欧美特级aaaaaa片| 赤兔流量卡办理| 18禁裸乳无遮挡动漫免费视频| 欧美成人精品欧美一级黄| 男女啪啪激烈高潮av片| 春色校园在线视频观看| 国产成人精品在线电影| 久久久久人妻精品一区果冻| 人妻 亚洲 视频| 18禁裸乳无遮挡动漫免费视频| 特大巨黑吊av在线直播| 国产黄色免费在线视频| 国产黄色视频一区二区在线观看| 午夜福利网站1000一区二区三区| videossex国产| 国产成人freesex在线| 国产精品欧美亚洲77777| 乱码一卡2卡4卡精品| 哪个播放器可以免费观看大片| 51国产日韩欧美| 免费观看在线日韩| 一级毛片我不卡| 看免费成人av毛片| 国产黄片视频在线免费观看| 国产成人一区二区在线| 亚洲av电影在线观看一区二区三区| 男人添女人高潮全过程视频| 黑人高潮一二区| 亚洲美女搞黄在线观看| 亚洲精品日韩av片在线观看| 少妇人妻精品综合一区二区| 成人毛片a级毛片在线播放| 丰满少妇做爰视频| 久久精品人人爽人人爽视色| 91精品国产国语对白视频| 日韩成人伦理影院| 国产片内射在线| 日韩视频在线欧美| 中文精品一卡2卡3卡4更新| 亚洲不卡免费看| 如日韩欧美国产精品一区二区三区 | 亚洲欧美日韩卡通动漫| 国产一区二区三区综合在线观看 | 九色亚洲精品在线播放| 在线看a的网站| 精品久久久精品久久久| 99精国产麻豆久久婷婷| 99久久综合免费| a级片在线免费高清观看视频| 欧美精品国产亚洲| 一级爰片在线观看| 大码成人一级视频| 日本91视频免费播放| 免费播放大片免费观看视频在线观看| 美女视频免费永久观看网站| 如日韩欧美国产精品一区二区三区 | 免费黄频网站在线观看国产| 亚洲欧洲国产日韩| 午夜精品国产一区二区电影| 久久99精品国语久久久| 韩国av在线不卡| 久久久久久久久久久久大奶| 国模一区二区三区四区视频| 国产男女超爽视频在线观看| 久久 成人 亚洲| 97超碰精品成人国产| 国国产精品蜜臀av免费| 午夜免费观看性视频| 各种免费的搞黄视频| 成年av动漫网址| 如日韩欧美国产精品一区二区三区 | 青春草视频在线免费观看| 日韩大片免费观看网站| 久久久久久久亚洲中文字幕| 国产伦精品一区二区三区视频9| 国产欧美日韩一区二区三区在线 | av在线app专区| 26uuu在线亚洲综合色| 麻豆乱淫一区二区| 最新的欧美精品一区二区| 狂野欧美激情性bbbbbb| 日韩av不卡免费在线播放| 五月天丁香电影| 久久人妻熟女aⅴ| 一本久久精品| 你懂的网址亚洲精品在线观看| 成人无遮挡网站| 成人亚洲精品一区在线观看| 毛片一级片免费看久久久久| .国产精品久久| 在线观看免费高清a一片| 欧美人与善性xxx| 人人澡人人妻人| 尾随美女入室| 久久久精品94久久精品| 新久久久久国产一级毛片| 国产精品无大码| 久久久久国产精品人妻一区二区| 欧美日韩一区二区视频在线观看视频在线| 一区二区三区免费毛片| 欧美日韩综合久久久久久| 王馨瑶露胸无遮挡在线观看| 女人久久www免费人成看片| 高清不卡的av网站| 夫妻性生交免费视频一级片| 99九九在线精品视频| 免费高清在线观看日韩| 国产免费一区二区三区四区乱码| 熟女电影av网| 五月天丁香电影| 我的老师免费观看完整版| 色婷婷久久久亚洲欧美| 天天躁夜夜躁狠狠久久av| 最近2019中文字幕mv第一页| 日本-黄色视频高清免费观看| 一级毛片我不卡| 精品国产露脸久久av麻豆| 亚洲综合精品二区| 国产成人精品无人区| av女优亚洲男人天堂| 纵有疾风起免费观看全集完整版| 狂野欧美激情性bbbbbb| 在线观看免费日韩欧美大片 | 亚洲综合色惰| 天天影视国产精品| 一边亲一边摸免费视频| 热99久久久久精品小说推荐| 青青草视频在线视频观看| 精品少妇黑人巨大在线播放| 在线观看免费高清a一片| 亚洲成色77777| 国产免费一区二区三区四区乱码| 精品熟女少妇av免费看| 亚洲av免费高清在线观看| 国产成人精品久久久久久| 一本一本综合久久| 男女啪啪激烈高潮av片| 国产无遮挡羞羞视频在线观看| 制服诱惑二区| 黑人巨大精品欧美一区二区蜜桃 | 亚洲婷婷狠狠爱综合网| 狠狠婷婷综合久久久久久88av| 亚洲精品国产av成人精品| 亚洲国产精品一区二区三区在线| 狂野欧美激情性bbbbbb| 亚洲美女黄色视频免费看| 飞空精品影院首页| 少妇人妻久久综合中文| 日本欧美视频一区| 一级毛片电影观看| 高清视频免费观看一区二区| 少妇猛男粗大的猛烈进出视频| 免费av不卡在线播放| 亚洲国产最新在线播放| 两个人的视频大全免费| 在线免费观看不下载黄p国产| 最新的欧美精品一区二区| 另类精品久久| 日本wwww免费看| 国产亚洲av片在线观看秒播厂| 亚州av有码| 国产色婷婷99| 国产片内射在线| 国产毛片在线视频| 午夜福利视频精品| 国产高清不卡午夜福利| 男人爽女人下面视频在线观看| 欧美精品一区二区大全| 性色av一级| 国产一区二区在线观看日韩| 高清在线视频一区二区三区| 国产亚洲欧美精品永久| 日日摸夜夜添夜夜添av毛片| av国产精品久久久久影院| 国产精品一区二区三区四区免费观看| 最后的刺客免费高清国语| 全区人妻精品视频| 最近2019中文字幕mv第一页| 亚洲精品日韩av片在线观看| 亚洲少妇的诱惑av| 啦啦啦在线观看免费高清www| 久久亚洲国产成人精品v| 欧美日韩视频高清一区二区三区二| 黄色一级大片看看| 国产精品久久久久成人av| 纵有疾风起免费观看全集完整版| 国产亚洲一区二区精品| 国产精品秋霞免费鲁丝片| 又黄又爽又刺激的免费视频.| 午夜久久久在线观看| 亚洲欧美成人精品一区二区| 91久久精品国产一区二区成人| 精品国产露脸久久av麻豆| 久久久久精品性色| 国产精品无大码| 亚洲美女搞黄在线观看| 国产成人精品婷婷| 国产毛片在线视频| 18禁在线无遮挡免费观看视频| 狠狠婷婷综合久久久久久88av| 人妻少妇偷人精品九色| 亚洲天堂av无毛| 高清在线视频一区二区三区| √禁漫天堂资源中文www| 亚洲精华国产精华液的使用体验| 亚洲,一卡二卡三卡| 国产av码专区亚洲av| 黄色视频在线播放观看不卡| 国产一区二区三区av在线| 亚洲精品一区蜜桃| 亚洲内射少妇av| 国产毛片在线视频| 欧美日韩国产mv在线观看视频| 我的老师免费观看完整版| 99热这里只有是精品在线观看| 最新中文字幕久久久久| 精品一区二区三卡| 欧美日韩视频高清一区二区三区二| 色94色欧美一区二区| 国产精品嫩草影院av在线观看| 蜜臀久久99精品久久宅男| 国产爽快片一区二区三区| 大码成人一级视频| 国产毛片在线视频| 最后的刺客免费高清国语| 久久久久久久久久久久大奶| 晚上一个人看的免费电影| 成人国产av品久久久| 久久99一区二区三区| 久久精品国产亚洲网站| 日韩伦理黄色片| 免费少妇av软件| 成人漫画全彩无遮挡| 国产白丝娇喘喷水9色精品| 老司机亚洲免费影院| 91国产中文字幕| 伊人久久国产一区二区| 精品久久国产蜜桃| 国产成人freesex在线| 夜夜骑夜夜射夜夜干| 国产黄色免费在线视频| 久久精品国产a三级三级三级| 在线观看三级黄色| 99国产精品免费福利视频| 一区二区三区乱码不卡18| 男女啪啪激烈高潮av片| 蜜桃久久精品国产亚洲av| xxx大片免费视频| 午夜福利,免费看| 丰满少妇做爰视频| 汤姆久久久久久久影院中文字幕| 丝瓜视频免费看黄片| 精品久久国产蜜桃| 伦理电影大哥的女人| 美女国产高潮福利片在线看| 观看av在线不卡| 精品久久久噜噜| 国产成人av激情在线播放 | 久久青草综合色| 天堂中文最新版在线下载| 国产亚洲一区二区精品| 一本—道久久a久久精品蜜桃钙片| 亚洲精华国产精华液的使用体验| 18禁在线无遮挡免费观看视频| 天天躁夜夜躁狠狠久久av| 中文字幕免费在线视频6| 国产亚洲欧美精品永久| 久久鲁丝午夜福利片| 五月天丁香电影| 69精品国产乱码久久久| 大又大粗又爽又黄少妇毛片口| 久久精品久久精品一区二区三区| 高清黄色对白视频在线免费看| 91精品国产九色| 国产男人的电影天堂91| 日韩,欧美,国产一区二区三区| 国产精品嫩草影院av在线观看| 国产一区二区三区av在线| 午夜影院在线不卡| 精品少妇久久久久久888优播| 你懂的网址亚洲精品在线观看| 国产精品一二三区在线看| 色吧在线观看| 尾随美女入室| 久久国内精品自在自线图片| 亚洲熟女精品中文字幕| 大又大粗又爽又黄少妇毛片口| 久久97久久精品| 亚洲av日韩在线播放| 如何舔出高潮| 日本猛色少妇xxxxx猛交久久| 伦理电影大哥的女人| 亚洲欧美一区二区三区国产| 精品久久久久久电影网| 蜜桃在线观看..| 成人无遮挡网站| 亚洲精品,欧美精品| av在线老鸭窝| 久久青草综合色| 交换朋友夫妻互换小说| 高清毛片免费看| 丰满乱子伦码专区| 黑丝袜美女国产一区| 麻豆乱淫一区二区| 一本色道久久久久久精品综合| 99国产精品免费福利视频| 在线 av 中文字幕| 视频区图区小说| 99久久精品国产国产毛片| 成人黄色视频免费在线看| 久久狼人影院| 国产成人a∨麻豆精品| 亚洲激情五月婷婷啪啪| 中文字幕人妻熟人妻熟丝袜美| 9色porny在线观看| 寂寞人妻少妇视频99o| 亚洲精品国产av蜜桃| 国产片内射在线| 国产av码专区亚洲av| 999精品在线视频| 免费久久久久久久精品成人欧美视频 | 国产一区有黄有色的免费视频| 久久久久久久精品精品| 伊人亚洲综合成人网| 亚洲国产精品国产精品| 欧美性感艳星| 我的老师免费观看完整版| 亚洲美女搞黄在线观看| 青春草亚洲视频在线观看| 午夜福利在线观看免费完整高清在| 超碰97精品在线观看| 精品久久久久久久久av| 免费高清在线观看日韩| 日本黄色片子视频| 又粗又硬又长又爽又黄的视频| 国产免费现黄频在线看| 久久99热6这里只有精品| 欧美精品国产亚洲| 国产成人精品在线电影| 在线免费观看不下载黄p国产| 成人国语在线视频| 欧美激情极品国产一区二区三区 | 免费看不卡的av| 2021少妇久久久久久久久久久| av福利片在线| 午夜视频国产福利| 美女cb高潮喷水在线观看| 少妇被粗大猛烈的视频| kizo精华|