一種多通路的分區(qū)域快速妝容遷移深度網(wǎng)絡(luò)?

黃 妍 , 何澤文 , 張文生

1(中國(guó)科學(xué)院 自動(dòng)化研究所,北京 100190)

2(中國(guó)科學(xué)院大學(xué),北京 100049)

隨著經(jīng)濟(jì)的快速發(fā)展和社會(huì)的進(jìn)步,美妝產(chǎn)業(yè)蓬勃發(fā)展,如何幫助人們快速而精準(zhǔn)地找到個(gè)性化的美妝產(chǎn)品逐漸成為研究熱點(diǎn).以 TAAZ(http//www.taaz.com/)、MAKEOVER(https://www.maybelline.com/virtualmakeover-makeup-tools)、美圖美顏(https://corp.meitu.com/business/)為代表的虛擬上妝系統(tǒng)能夠幫助天貓美妝、唯品會(huì)美妝等公司提升用戶體驗(yàn),使用戶能夠從海量的美妝產(chǎn)品中進(jìn)行高效的挑選.作為虛擬上妝系統(tǒng)的核心技術(shù)——妝容遷移技術(shù),也受到越來越多的關(guān)注.該技術(shù)旨在將參考妝容遷移到素顏人臉上,并保持其上妝風(fēng)格.理想的妝容遷移技術(shù)應(yīng)達(dá)到:在保持素顏妝后圖像臉部結(jié)構(gòu)不變的同時(shí),盡可能地體現(xiàn)參考妝容的風(fēng)格.

在實(shí)際應(yīng)用中,妝容遷移主要存在兩個(gè)難點(diǎn):其一是人與人的臉型、眉眼距離、嘴唇形狀等存在差異,導(dǎo)致生成的妝容圖像失真,且難以保持參考妝容風(fēng)格;其二是妝容式樣繁雜,而真實(shí)的同人異妝數(shù)據(jù)難以獲得,造成高質(zhì)量的標(biāo)注數(shù)據(jù)有限.為了解決這些問題,現(xiàn)有的妝容遷移方法主要分為以下兩類:基于傳統(tǒng)算子[1-3]的妝容遷移和基于深度網(wǎng)絡(luò)[4,5]的妝容遷移.傳統(tǒng)算子方法能夠有效地克服人臉結(jié)構(gòu)上的差異.它們首先根據(jù)人臉關(guān)鍵點(diǎn)進(jìn)行校準(zhǔn),再建立映射模型,從而實(shí)現(xiàn)妝容遷移,然而該方法建模復(fù)雜,計(jì)算量大,只能處理素顏和參考妝容膚色相近且背景單一的圖像對(duì),限制了其應(yīng)用場(chǎng)景.基于深度網(wǎng)絡(luò)的方法在同人異妝數(shù)據(jù)缺失的情況下有較好的表現(xiàn).它們通過訓(xùn)練網(wǎng)絡(luò),將素顏和參考妝容作為輸入,直接獲得遷移后的妝容圖像.與傳統(tǒng)方法相比,它無需在提取人臉關(guān)鍵點(diǎn)和建立映射模型等方面進(jìn)行精巧的設(shè)計(jì),而且受益于深度網(wǎng)絡(luò)強(qiáng)大的表示能力,在拍攝條件多變和妝容式樣繁雜場(chǎng)景下具有較強(qiáng)的魯棒性[5],因而逐漸受到學(xué)者們的廣泛關(guān)注.

基于深度網(wǎng)絡(luò)進(jìn)行妝容遷移的早期工作來自于Liu 等人[5],他們?cè)贕atys 等人[6]提出的風(fēng)格遷移方法的基礎(chǔ)上,采用全卷積網(wǎng)絡(luò)[7]得到臉部語義分割,并把人臉劃分為眼影、嘴唇和臉頰上妝區(qū)域,按區(qū)域地迭代更新素顏圖像的像素值,但每次訓(xùn)練只適用于某一圖像對(duì),無法滿足實(shí)時(shí)性要求.與之不同,對(duì)于風(fēng)格遷移任務(wù),Johnson 等人[8]通過離線地訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),可以進(jìn)行已知風(fēng)格的遷移,而且于在線階段只需一步就能得到高質(zhì)量的遷移圖像.該方法給我們提供了一種快速妝容遷移的思路,但是其受制于人臉結(jié)構(gòu)的差異和現(xiàn)有妝容對(duì)齊數(shù)據(jù)庫的稀缺.如果直接使用Johnson 等人[8]的方法,就無法實(shí)現(xiàn)多樣化的人臉妝容遷移.在此基礎(chǔ)上,Liao 等人[4]在深度網(wǎng)絡(luò)抽取的特征層上,使用近鄰搜索和變形,實(shí)現(xiàn)了多樣化遷移.Luan 等人[9]利用圖像的語義分割嘗試在人臉圖像上進(jìn)行精細(xì)的風(fēng)格遷移.但是這些方法都沒有在滿足實(shí)時(shí)性的同時(shí)對(duì)人臉的眼影、唇膏、粉底等區(qū)域進(jìn)行單獨(dú)考慮,也缺少對(duì)這些區(qū)域的整體協(xié)調(diào)優(yōu)化.

受上述方法的啟發(fā),我們構(gòu)建了快速妝容遷移(fast makeup transfer,簡(jiǎn)稱FMaT)模型,實(shí)現(xiàn)端到端的妝容遷移.該模型根據(jù)眼影、唇膏、粉底的妝容特點(diǎn),設(shè)計(jì)了3 種語義損失函數(shù)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò),從而無需迭代優(yōu)化像素值,實(shí)現(xiàn)了妝容的快速遷移.同時(shí),我們?cè)O(shè)計(jì)了分區(qū)域的多通路卷積神經(jīng)網(wǎng)絡(luò).該網(wǎng)絡(luò)首先將素顏和參考妝容圖像對(duì)作為輸入,端到端地提取人臉關(guān)鍵點(diǎn)完成校準(zhǔn),然后根據(jù)校準(zhǔn)結(jié)果分區(qū)域地進(jìn)行妝容遷移,在保證人臉結(jié)構(gòu)的同時(shí),使得遷移后的眼影更均衡,唇膏色彩更保真,粉底遷移更精細(xì),從而實(shí)現(xiàn)多樣化的妝容遷移.

本文的主要貢獻(xiàn)如下:(1)構(gòu)建了端到端的FMaT 模型,設(shè)計(jì)了分區(qū)域的淺層多通路卷積神經(jīng)網(wǎng)絡(luò)(region makeup transfer network,簡(jiǎn)稱區(qū)域上妝遷移網(wǎng)絡(luò),也稱RMT-net).該結(jié)構(gòu)具有存儲(chǔ)空間小、生成速度快的優(yōu)點(diǎn),能實(shí)現(xiàn)妝容的快速遷移.(2)針對(duì)眼影、唇膏、粉底不同的區(qū)域,設(shè)計(jì)了3 種語義損失函數(shù),使得遷移后的眼影更均衡,唇膏色彩更保真,粉底遷移更精細(xì).(3)實(shí)現(xiàn)妝容區(qū)域的端到端校準(zhǔn),使得不同妝容位置在局部遷移得到優(yōu)化的同時(shí),也具有相對(duì)協(xié)調(diào)的位置組合,從而更好地保持參考妝容的風(fēng)格.

本文第1 節(jié)總結(jié)妝容遷移相關(guān)研究工作進(jìn)展.第2 節(jié)從端到端人臉校準(zhǔn)、多通路卷積網(wǎng)絡(luò)和語義損失函數(shù)這3 個(gè)方面來介紹本文構(gòu)建的FMaT 模型.第3 節(jié)給出相關(guān)的實(shí)驗(yàn)數(shù)據(jù)和設(shè)置,并展示定性實(shí)驗(yàn)和定量實(shí)驗(yàn)結(jié)果.第4 節(jié)進(jìn)行總結(jié)與展望,并對(duì)未來研究方向進(jìn)行初步的探討.

1 相關(guān)工作

我們的模型關(guān)鍵技術(shù)涉及上妝網(wǎng)絡(luò)和妝容區(qū)域校準(zhǔn)等技術(shù).本節(jié)主要闡述基于傳統(tǒng)算子的妝容遷移、基于深度網(wǎng)絡(luò)的妝容遷移和妝容區(qū)域校準(zhǔn)等相關(guān)工作.

基于傳統(tǒng)算子的妝容遷移,首先需要對(duì)素顏人臉和參考妝容進(jìn)行精確的語義分割,再結(jié)合梯度算子等,實(shí)現(xiàn)妝容遷移.針對(duì)妝容遷移要保持素顏妝后妝前臉部結(jié)構(gòu)一致等難點(diǎn),其中臉部結(jié)構(gòu)是判別人臉生物特征的主要依據(jù).學(xué)者們提出了一系列解決方法,主要包括有監(jiān)督和無監(jiān)督兩類.對(duì)于有監(jiān)督方法,如Tong 等人[1]通過計(jì)算素顏到化妝的映射,把參考妝容遷移到素顏人臉上.但是該方法對(duì)數(shù)據(jù)集的要求較高,需要與一個(gè)人妝前、妝后的照片很好地對(duì)齊,素顏和參考妝容的膚色相近,且圖像的背景單一.Scherbaum 等人[2]用人臉的三維形變模型[10],找到素顏到化妝的映射,此法也需要妝前、妝后對(duì)齊的高質(zhì)量數(shù)據(jù)集.對(duì)于無監(jiān)督方法,如Guo 等人[3]先用Active Shape Model[11]檢測(cè)部分人臉關(guān)鍵點(diǎn),然后用Thin Plate Spline[12]對(duì)參考妝容進(jìn)行人臉變形,以校準(zhǔn)素顏人臉.再把圖像分為臉部結(jié)構(gòu)層、皮膚細(xì)節(jié)層和顏色層,用梯度算子進(jìn)行融合.Xu 等人[13]在Guo 等人[3]的基礎(chǔ)上,利用人臉關(guān)鍵點(diǎn)檢測(cè)算法和膚色高斯混合模型,實(shí)現(xiàn)人臉區(qū)域的自動(dòng)分割.Li 等人[14]提出把圖像分解為3 個(gè)內(nèi)在成分層,然后根據(jù)參考妝容的成分層和物理反射模型來改變素顏圖像的對(duì)應(yīng)層.與上述方法不同,本文采用的方法另辟蹊徑,既無需妝前妝后的對(duì)齊人臉樣本,也無需對(duì)圖像做分解建模,極大地降低了建模復(fù)雜度和數(shù)據(jù)集要求.

基于深度網(wǎng)絡(luò)的妝容遷移是基于深度網(wǎng)絡(luò)的圖像風(fēng)格遷移的一個(gè)分支,兩者都是在深度網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)特定損失函數(shù)來優(yōu)化生成的風(fēng)格圖像,使圖像的高層信息明確.深度模型一般需要大量的同一內(nèi)容不同風(fēng)格圖像,但標(biāo)記成本太高,所以一些學(xué)者基于無監(jiān)督深度網(wǎng)絡(luò)的圖像風(fēng)格遷移做了相關(guān)研究,主要包含兩大類[15]:基于圖像像素迭代的風(fēng)格遷移和基于神經(jīng)網(wǎng)絡(luò)迭代的風(fēng)格遷移.第1 類研究是用已經(jīng)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化結(jié)構(gòu)損失和風(fēng)格損失,直接迭代更新圖像像素完成風(fēng)格遷移,代表工作是Gatys 等人[6].Gatys 等人[6]提出圖像的結(jié)構(gòu)和紋理可以由卷積網(wǎng)絡(luò)的不同層分別表達(dá),其中高層代表圖像的結(jié)構(gòu)語義信息,底層則代表風(fēng)格紋理信息.Liu 等人[5]在通用框架[6]基礎(chǔ)上,實(shí)現(xiàn)人臉妝容遷移.第2 類研究則是通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)風(fēng)格遷移,代表工作是Johnson 等人[8]和Liao 等人[4].Li 等人[16]利用預(yù)訓(xùn)練網(wǎng)絡(luò)抽取內(nèi)容特征和風(fēng)格特征,對(duì)編碼后圖像進(jìn)行特征轉(zhuǎn)換,再解碼得到輸出.Chang 等人[17]基于cycleGAN[18]訓(xùn)練得到互為對(duì)偶的卸妝網(wǎng)絡(luò)和上妝網(wǎng)絡(luò),實(shí)現(xiàn)了妝容遷移.本文采用類似Johnson 等人[8]的框架,提出專用妝容遷移算法,能夠依據(jù)素顏人臉和不同參考妝容,經(jīng)網(wǎng)絡(luò)融合生成不同的妝后圖像,解決了Johnson 等人[8]只能遷移到特定風(fēng)格且無法實(shí)現(xiàn)多樣化的人臉妝容遷移等問題.

妝容區(qū)域校準(zhǔn)涉及人臉語義解析、人臉變形等技術(shù).人臉語義解析技術(shù)包括人臉關(guān)鍵點(diǎn)檢測(cè)、臉部語義分割等子課題.對(duì)于人臉關(guān)鍵點(diǎn)檢測(cè),山世光等人[19]提出根據(jù)臉部紋理分布和可變模板提取臉部特征點(diǎn);Kazemi 等人[20]采用級(jí)聯(lián)的回歸樹來實(shí)現(xiàn)ms 級(jí)的準(zhǔn)確檢測(cè);face++人工智能開發(fā)平臺(tái)(https://www.faceplusplus.com.cn/)還推出了83-face-landmark 和103-face-landmark 等檢測(cè)工具.對(duì)于臉部語義分割,毋立芳等人[21]基于曲線擬合人臉輪廓實(shí)現(xiàn)分割;一些基于深度神經(jīng)網(wǎng)絡(luò)的方法,從Long 等人[7]提出的全卷積網(wǎng)絡(luò)(FCN),到谷歌提出的目前性能最優(yōu)的語義分割模型DeepLab-v3+[22],其分割準(zhǔn)確率逐步增加.人臉變形技術(shù)包括形變映射模型、基于深度神經(jīng)網(wǎng)絡(luò)的區(qū)域變形等子課題.對(duì)于形變映射模型,徐崗等人[23]將其分為4 類,即基于體、曲面、曲線、點(diǎn)的變形技術(shù);龔勛等人[24]選擇與目標(biāo)人臉最相關(guān)的主成分作為形變模型的基空間,再采用全局和局部雙重形變框架來完成人臉形狀建模;王進(jìn)等人[25]對(duì)圖像輪廓多邊形內(nèi)的點(diǎn)進(jìn)行映射,實(shí)現(xiàn)人臉變形.對(duì)于基于深度神經(jīng)網(wǎng)絡(luò)的方法,如Chen 等人[26]提出用余弦距離度量相似區(qū)域,再進(jìn)行變形;Liao 等人[4]在深度網(wǎng)絡(luò)特征層采用Barnes等人[27]的近鄰區(qū)域旋轉(zhuǎn)和縮放方法,完成輸入人臉到目標(biāo)人臉的變形.考慮到算法對(duì)實(shí)時(shí)性的要求,本文不考慮采用深度網(wǎng)絡(luò)的方法獲取像素級(jí)別的語義分割信息和變形校準(zhǔn)妝容區(qū)域.

2 快速妝容遷移模型

本文提出的快速妝容遷移模型基于人臉關(guān)鍵點(diǎn)完成素顏與參考妝容的端到端校準(zhǔn),并提出了一種新的區(qū)域上妝遷移網(wǎng)絡(luò)和3 種語義損失函數(shù),分別對(duì)眼影、唇膏、粉底進(jìn)行妝容遷移.該方法整體框架如圖1 所示,包含訓(xùn)練和測(cè)試兩個(gè)過程.

在訓(xùn)練過程,輸入素顏和參考妝容的圖像對(duì),以及各自的人臉關(guān)鍵點(diǎn),將參考妝容進(jìn)行變形,完成妝容區(qū)域的校準(zhǔn).然后分區(qū)域地構(gòu)造臉部、嘴唇、眼影樣本對(duì)數(shù)據(jù)集.接下來對(duì)3 種樣本對(duì)構(gòu)成的數(shù)據(jù)集分為三通路,訓(xùn)練獨(dú)立的區(qū)域上妝遷移網(wǎng)絡(luò),包括眼影上妝遷移網(wǎng)絡(luò),粉底上妝遷移網(wǎng)絡(luò)和唇膏上妝遷移網(wǎng)絡(luò).模型利用預(yù)訓(xùn)練的16 層人臉分類網(wǎng)絡(luò)(VGG-face network)[28]作為損失網(wǎng)絡(luò),對(duì)不同區(qū)域的上妝遷移網(wǎng)絡(luò)計(jì)算對(duì)應(yīng)的結(jié)構(gòu)損失CL和風(fēng)格損失SL .通過三通路的分區(qū)域上妝網(wǎng)絡(luò)的學(xué)習(xí)獲得最終的FMaT 模型.

Fig.1 Framework of fast makeup transfer model圖1 快速妝容遷移模型整體框架

在測(cè)試過程,輸入素顏和參考妝容的圖像對(duì),以及各自的人臉關(guān)鍵點(diǎn),同樣對(duì)參考妝容進(jìn)行變形,以對(duì)齊妝容區(qū)域.然后分別提取二者的眼影、臉部、嘴唇區(qū)域,輸入到三通路上妝遷移網(wǎng)絡(luò)以生成對(duì)應(yīng)的妝后眼影、臉部、嘴唇,最后采用泊松融合[29]得到最終的上妝結(jié)果.

快速妝容遷移模型的關(guān)鍵步驟包括:(a)構(gòu)建素顏和參考妝容的人臉語義解析,并對(duì)參考妝容人臉進(jìn)行變形以對(duì)齊妝容區(qū)域;(b)區(qū)域上妝遷移網(wǎng)絡(luò)的設(shè)計(jì);(c)3 種語義損失函數(shù)的表達(dá)式.下面詳細(xì)介紹這3 個(gè)關(guān)鍵步驟.

2.1 妝容區(qū)域的校準(zhǔn)

這部分主要介紹端到端妝容區(qū)域校準(zhǔn)采用的人臉語義解析,以及人臉變形的方法.

將參考臉遷移到素顏臉上生成精細(xì)的妝容,需要參考臉和素顏臉的各妝容子區(qū)域一一對(duì)應(yīng),為此,得到人臉的精確語義解析就尤為重要.我們采用的方法是對(duì)人臉分區(qū)域逐個(gè)實(shí)現(xiàn)妝容遷移,只需獲取臉部區(qū)域間的分隔關(guān)系即可.首先通過68-face-landmark[20]的方法獲得關(guān)鍵點(diǎn),據(jù)此將人臉劃分為7 個(gè)區(qū)域,如圖2 所示.然后分區(qū)域構(gòu)造3 種樣本對(duì),依次提取圖像對(duì)中臉頰、眉毛等區(qū)域(圖2 中黃色、亮藍(lán)色和綠色區(qū)域)構(gòu)成臉部樣本對(duì),眼影區(qū)域(圖2 中深藍(lán)色和紫色區(qū)域)構(gòu)成眼影樣本對(duì),唇膏區(qū)域(圖2 中紅色區(qū)域)構(gòu)成嘴唇樣本對(duì).值得注意的是,由于眼珠和嘴巴內(nèi)部的牙齒沒有妝容,不會(huì)對(duì)該區(qū)域進(jìn)行上妝,所以將這兩處歸為背景區(qū)域,且不參與區(qū)域上妝遷移網(wǎng)絡(luò)的訓(xùn)練.

Fig.2 A face parsing result圖2 人臉語義解析結(jié)果

獲取臉部區(qū)域的語義信息后,再對(duì)參考妝容做變形,從而校準(zhǔn)參考妝容與素顏的各個(gè)子區(qū)域.為了滿足算法實(shí)時(shí)性要求,本文方法需要參考臉與素顏臉在進(jìn)入三通道上妝遷移網(wǎng)絡(luò)之前就完成圖像的相似區(qū)域匹配變形,因此我們基于關(guān)鍵點(diǎn)對(duì)人臉做Delaunay 三角剖分[30],再運(yùn)用仿射變換函數(shù)[31]來完成參考妝容人臉的變形和校準(zhǔn),如圖3 所示.

Fig.3 Process of face warp and alignment圖3 人臉變形與校準(zhǔn)過程

在Delaunay 三角剖分中,任意三角形的外接圓內(nèi)不包含任何點(diǎn).在二維圖像中,采用評(píng)估行列式來判斷點(diǎn)H是否在點(diǎn)E、F、G的外接圓內(nèi)[30]:

其中,點(diǎn)E、F、G按逆時(shí)針排列,(xE,yE)、(xF,yF)、(xG,yg)、(xH,yH)分別是點(diǎn)E、F、G、H的坐標(biāo).當(dāng)且僅當(dāng)點(diǎn)H在外接圓內(nèi)時(shí),公式(1)成立.

對(duì)素顏和參考妝容圖像進(jìn)行三角剖分后,選取參考妝容的某個(gè)三角形,計(jì)算將其3 個(gè)頂點(diǎn)映射到素顏圖像中對(duì)應(yīng)三角形的3 個(gè)頂點(diǎn)的仿射變換MAP,即求解公式(2);再根據(jù)公式(3),將參考妝容的該三角形內(nèi)所有像素進(jìn)行變換得到變形圖像.直到參考妝容中所有三角形完成仿射變換,最終得到校準(zhǔn)后的參考妝容.

其中,(xR,yR)是參考妝容三角形內(nèi)所有像素點(diǎn)的坐標(biāo),(xRW,yRW)是參考妝容的該三角形內(nèi)的點(diǎn)進(jìn)行變換后的坐標(biāo).

2.2 區(qū)域上妝遷移網(wǎng)絡(luò)

本文提出一種通用的區(qū)域上妝遷移網(wǎng)絡(luò),其作用是將參考臉的某區(qū)域的妝容遷移到素顏人臉的對(duì)應(yīng)區(qū)域上,以生成妝后效果.結(jié)合現(xiàn)實(shí)化妝性質(zhì),眼部化妝使用在眼睛周圍,化妝區(qū)域相對(duì)臉部較小,眼影等化妝品作用是提升個(gè)人神情氣質(zhì),遮蓋原有膚色.臉部的化妝主要使用在臉頰、額頭和鼻翼兩側(cè),粉底等化妝品作用是遮住斑點(diǎn)痘印等瑕疵.嘴唇的化妝使用在唇部,唇膏等化妝品作用是保持或提亮唇紋.根據(jù)眼部、臉部和嘴唇的不同性質(zhì)和作用位置,算法維護(hù)三通路的上妝遷移網(wǎng)絡(luò),它們分別作用于眼部、臉部和嘴唇區(qū)域.下面以唇膏上妝遷移網(wǎng)絡(luò)為例,如圖4 所示,該網(wǎng)絡(luò)的作用是把參考人臉的唇膏妝容遷移到素顏人臉的嘴唇上.

唇膏上妝遷移網(wǎng)絡(luò)結(jié)構(gòu)包括3 部分:兩個(gè)輸入端和一個(gè)輸出端,線性相加的融合層,以及卷積層.首先,輸入輸出端都是RGB 圖像.為了實(shí)現(xiàn)任意的素顏和參考妝容圖像對(duì)的風(fēng)格遷移,網(wǎng)絡(luò)設(shè)置兩個(gè)輸入端.具體來說,兩個(gè)輸入分別是素顏的嘴唇lipB和參考妝容人臉中與之對(duì)齊的嘴唇lipRW;一個(gè)輸出則是嘴唇上妝后圖像output(lip).

其次,線性相加融合層負(fù)責(zé)將參考妝容特征和素顏特征進(jìn)行融合,如圖4 中綠色方塊所示.從輸入端開始,lipB和lipRW分別進(jìn)行卷積得到兩個(gè)特征圖譜,即素顏?zhàn)齑降慕Y(jié)構(gòu)語義信息和參考唇妝的妝容風(fēng)格信息,然后將兩個(gè)特征圖譜相加來完成融合,最后將融合后的單個(gè)特征圖譜再卷積得到輸出,即素顏的嘴唇上妝后圖像.

區(qū)域上妝遷移網(wǎng)絡(luò)一共有4 個(gè)卷積層,均采用3×3 卷積核,每層的通道數(shù)如圖4 所示.融合層之前是一層卷積層,融合層之后是3 層卷積層,這是考慮到網(wǎng)絡(luò)實(shí)現(xiàn)的是區(qū)域上妝,不需要過大的網(wǎng)絡(luò)容量.后續(xù)3.2 節(jié)中的實(shí)驗(yàn)也證明融合層后采用3 層卷積層足以完成素顏上妝任務(wù).鑒于算法的實(shí)時(shí)性要求,上妝遷移網(wǎng)絡(luò)設(shè)定為4 層卷積層.總的來說,網(wǎng)絡(luò)的第1 層是為了實(shí)現(xiàn)人臉結(jié)構(gòu)特征和妝容風(fēng)格特征的分離,網(wǎng)絡(luò)的第2 層～第4 層是對(duì)融合后特征進(jìn)行深度加工,以生成更逼真的妝容圖像.

Fig.4 Structure chart of the lipstick RMT-net圖4 唇膏上妝遷移網(wǎng)絡(luò)的結(jié)構(gòu)示意圖

此外,眼影上妝遷移網(wǎng)絡(luò)和粉底上妝遷移網(wǎng)絡(luò)的結(jié)構(gòu)與唇膏上妝遷移網(wǎng)絡(luò)相同,區(qū)別只是輸入端的樣本對(duì)不同,粉底上妝遷移網(wǎng)絡(luò)輸入的是素顏和參考妝容的臉部樣本對(duì)faceB和faceRW,而眼影上妝遷移網(wǎng)絡(luò)輸入的是眼影區(qū)域樣本對(duì)eyeshadowB和eyeshadowRW.特別地,由于左眼眼影的上妝性質(zhì)和右眼眼影的上妝性質(zhì)是類似的,所以本文只訓(xùn)練左眼眼影的上妝遷移網(wǎng)絡(luò),再用于右眼眼影上妝.

2.3 妝容遷移損失函數(shù)

如前所述,本文方法以素顏人臉圖像B和參考妝容人臉圖像R為輸入,采用三通路上妝遷移網(wǎng)絡(luò)把R 的妝容遷移到B的臉上,并且最終輸出的上妝結(jié)果既要保持B的結(jié)構(gòu),也要擁有R的妝容風(fēng)格,同時(shí)盡量逼真.為此分別設(shè)計(jì)結(jié)構(gòu)損失、妝容風(fēng)格損失、顏色損失和平滑損失函數(shù)來優(yōu)化生成的圖像.對(duì)于前面兩種損失函數(shù),借助預(yù)訓(xùn)練網(wǎng)絡(luò)來進(jìn)行衡量.不同于VGG[32]分類網(wǎng)絡(luò),這里采用的是在人臉分類數(shù)據(jù)集Labeled Faces in the Wild[33]和YouTube Faces[34]上訓(xùn)練好的16 層VGG-Face 網(wǎng)絡(luò)[28].因?yàn)閂GG-Face 人臉分類網(wǎng)絡(luò)的訓(xùn)練集包括了素顏人臉和化妝人臉,因此完全適用于人臉領(lǐng)域的數(shù)據(jù).后續(xù)實(shí)驗(yàn)也說明選擇VGG-Face 能夠得到更好的結(jié)果.下面詳細(xì)闡述利用該預(yù)訓(xùn)練網(wǎng)絡(luò)來計(jì)算模型的結(jié)構(gòu)損失和妝容風(fēng)格損失,以及在RGB 空間計(jì)算顏色損失和平滑損失.

1)結(jié)構(gòu)損失函數(shù)[6]

對(duì)給定輸入素顏B和參考妝容R,為了使輸出圖像O和B在視覺上是同一人,即保持語義結(jié)構(gòu)信息,我們借助預(yù)訓(xùn)練VGG-Face 網(wǎng)絡(luò)[28]來衡量二者的結(jié)構(gòu)特征相似度.具體來說,將O和B分別輸入VGG-Face 網(wǎng)絡(luò)并提取第l層特征圖譜,那么對(duì)應(yīng)于該層結(jié)構(gòu)損失函數(shù)表達(dá)式如下.

這個(gè)公式計(jì)算O和B在網(wǎng)絡(luò)φ第l層的特征圖譜的平均差值.其中,φ代表VGG-Face 網(wǎng)絡(luò),Nl是第l層特征的通道(channel),Dl是特征圖譜高與寬的乘積,那么第l層特征圖譜表示為,(Fl)ij表示第i個(gè)通道在位置j的激活.

2)妝容風(fēng)格損失函數(shù)[6,9]

對(duì)給定輸入素顏B和參考妝容R,為了使輸出O的妝容風(fēng)格與R的盡可能地一致,基于二者輸入VGG-Face網(wǎng)絡(luò)中提取的特征圖譜,O的妝容風(fēng)格信息和R之間的相似度可通過計(jì)算Gram 矩陣得到.具體來說,第l層的妝容風(fēng)格損失函數(shù)表達(dá)式如下.

其中,第l層特征圖譜的Gram 矩陣用Gl[·]表示,a是人臉語義解析M的某個(gè)區(qū)域.因?yàn)楸疚脑谟?xùn)練三通路上妝遷移網(wǎng)絡(luò)之前,根據(jù)素顏B的人臉關(guān)鍵點(diǎn)位置,對(duì)參考妝容R進(jìn)行變形,得到校準(zhǔn)后的參考妝容RW,所以公式(7)中第3 個(gè)式子是由改寫的.

3)顏色遷移損失函數(shù)

除了遷移風(fēng)格之外,輸出O和參考妝容R的臉色要盡可能相似.因此直接計(jì)算輸出O和參考妝容R在RGB空間的L1 損失來衡量顏色差距.

其中,D是圖像高與寬的乘積.后續(xù)實(shí)驗(yàn)證明了除妝容風(fēng)格損失之外再加上顏色損失的必要性.

4)平滑損失函數(shù)

為了讓輸出圖像O保持平滑,用全變分損失(total variation loss)[35]來衡量平滑程度.

其中,D是圖像高與寬的乘積,?hO,?wO分別表示對(duì)圖像的高、寬方向求導(dǎo).平滑損失的主要作用是去除可能的椒鹽等噪聲.

結(jié)合公式(5)～(9),區(qū)域上妝遷移網(wǎng)絡(luò)的語義損失函數(shù)表達(dá)式為

本文增加了輸入圖像的語義解析,根據(jù)粉底、唇膏、眼影妝容的性質(zhì)差異,對(duì)每個(gè)語義解析區(qū)域設(shè)置獨(dú)立的損失函數(shù)及權(quán)重.具體來說,對(duì)粉底上妝遷移網(wǎng)絡(luò),結(jié)構(gòu)損失在網(wǎng)絡(luò)?的relu5_1 層衡量,妝容風(fēng)格損失在relu1_1、relu2_1、relu3_1 層衡量;對(duì)唇膏上妝遷移網(wǎng)絡(luò),結(jié)構(gòu)損失在網(wǎng)絡(luò)?的relu4_1 層衡量,妝容風(fēng)格損失在relu1_1、relu2_1、relu3_1 層衡量,為保持嘴唇紋理將去掉平滑損失;對(duì)眼影上妝遷移網(wǎng)絡(luò),結(jié)構(gòu)損失在網(wǎng)絡(luò)?的relu4_1 層衡量,妝容風(fēng)格損失在relu1_1 衡量[5].此外,三通路網(wǎng)絡(luò)損失函數(shù)采用了不同權(quán)重設(shè)置,后續(xù)實(shí)驗(yàn)(第3.2 節(jié))證明了這種策略的有效性.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集和設(shè)置

本文采用兩個(gè)美妝數(shù)據(jù)集,VMU[36]和DLMT[5].

VMU(virtual makeup)數(shù)據(jù)集[36]包含51 個(gè)白人女性,每位女性包含一張素顏圖像和3 張不同妝容風(fēng)格的圖像,總計(jì)204 張圖像.如圖5(a)第1 行所示,用TAAZ 的虛擬化妝工具,為每位素顏女性生成3 種虛擬化妝:(1)只使用口紅;(2)只使用眼妝;(3)涂上口紅、粉底和眼妝等整套化妝品.數(shù)據(jù)集(http://antitza.com/makeup-datasets.html)已經(jīng)進(jìn)行過人臉裁剪,如圖5(a)第2 行所示,圖像高寬150×130.我們將原始圖像放置在高寬224×224 的零矩陣中心處.

DLMT[5]數(shù)據(jù)集有1 000 張素顏圖像,1 000 張化妝圖像,包括亞洲人、歐美人等,整個(gè)數(shù)據(jù)集約2 000 人.部分素顏圖像帶有裸妝或者淡妝,如圖5(b)第1 行所示.化妝圖像包括彩妝、煙熏妝等妝容風(fēng)格,如圖5(b)第2 行所示,圖像高寬224×224.值得注意的是,DLMT 不具有VMU 那樣的同人異妝圖像對(duì).

實(shí)驗(yàn)對(duì)數(shù)據(jù)集做如下切分,把VMU 數(shù)據(jù)集分為40 人的訓(xùn)練集,11 人的測(cè)試集,因此VMU 的訓(xùn)練集包含40張素顏、120 張參考妝容,測(cè)試集包含11 張素顏、33 張參考妝容.DLMT 數(shù)據(jù)集采用同Liu 等人[5]一樣的切分方式:隨機(jī)抽取850 張素顏圖像和450 張參考妝容圖像作為訓(xùn)練集,隨機(jī)抽取100 張素顏圖像和500 張參考妝容圖像作為測(cè)試集,剩余的50 張素顏圖像和50 張參考妝容圖像作為驗(yàn)證集.最終的網(wǎng)絡(luò)優(yōu)化的超參數(shù)為:粉底上妝遷移網(wǎng)絡(luò)的損失函數(shù)權(quán)重[αf,βf,γf,λf]是[200,[50,50,50],1,1].眼影上妝遷移網(wǎng)絡(luò)的損失函數(shù)權(quán)重[αe,βe,γe,λe]是[0.3,[4e8],300,100].唇膏上妝遷移網(wǎng)絡(luò)的損失函數(shù)權(quán)重[αlip,βlip,γlip,λlip]是[0.3,[1e5,1e5,1e5],100,0].上妝遷移網(wǎng)絡(luò)迭代1 000 次,采用學(xué)習(xí)率為1×10–4的Adam[37]進(jìn)行梯度優(yōu)化,實(shí)驗(yàn)使用單個(gè)12GB GTX TITAN X GPU.

Fig.5 Some examples of the VMU and the DLMT beauty datasets圖5 美妝數(shù)據(jù)集VMU 和DLMT 的部分示例

第3.2 節(jié)從3 個(gè)方面的實(shí)驗(yàn)來進(jìn)行自身模型對(duì)比,分別是損失網(wǎng)絡(luò)采用VGG-Face[28]網(wǎng)絡(luò)的原因,區(qū)域上妝遷移網(wǎng)絡(luò)的卷積層數(shù),以及損失函數(shù)的權(quán)重設(shè)置對(duì)最終結(jié)果的影響.第1 個(gè)實(shí)驗(yàn)是為了驗(yàn)證圖像的結(jié)構(gòu)和風(fēng)格信息可以分離和組合[6],類似于Gatys 等人[6]和Johnson 等人[8]的結(jié)構(gòu)重構(gòu)和風(fēng)格重構(gòu)實(shí)驗(yàn),分別在深度網(wǎng)絡(luò)VGG-Face[28]和VGG-ImageNet[38]的特征層上優(yōu)化損失函數(shù),迭代更新輸入圖像的像素值.第2 個(gè)和第3 個(gè)實(shí)驗(yàn)以唇膏上妝遷移網(wǎng)絡(luò)為例,為了便于觀察實(shí)驗(yàn)的輸出圖像,取嘴唇周圍的區(qū)域作為網(wǎng)絡(luò)的輸入.第2 個(gè)實(shí)驗(yàn),探究不同深度的區(qū)域上妝遷移網(wǎng)絡(luò)對(duì)上妝結(jié)果的影響,分別采用4 層、7 層、10 層的唇膏上妝遷移網(wǎng)絡(luò),展示它們的唇妝上妝過程來說明.本文最終的上妝結(jié)果采用的是4 層卷積層的區(qū)域上妝遷移網(wǎng)絡(luò),如圖4 所示.在圖4 中線性相加融合層之后繼續(xù)增加卷積層,將得到7 層、10 層的網(wǎng)絡(luò)結(jié)構(gòu).第3 個(gè)實(shí)驗(yàn),通過對(duì)損失函數(shù)設(shè)置不同的權(quán)重,驗(yàn)證損失的重要性和探究損失函數(shù)的權(quán)重值對(duì)上妝結(jié)果的影響.表1 是公式(10)的4 種損失的不同權(quán)重設(shè)置實(shí)驗(yàn),分別對(duì)結(jié)構(gòu)損失、妝容風(fēng)格損失、顏色損失、平滑損失的權(quán)重參數(shù)設(shè)置不同的數(shù)值,控制其余3 個(gè)權(quán)重參數(shù)值不變,將當(dāng)前權(quán)重設(shè)置成不同的值.

Table 1 Weight setting experiments of lipstick RMT-net’s four losses表1 唇膏上妝遷移網(wǎng)絡(luò)的4 種損失的權(quán)重設(shè)置實(shí)驗(yàn)

第3.3 節(jié)為了展示同一種妝容的濃淡變化風(fēng)格,設(shè)計(jì)控制妝容濃淡實(shí)驗(yàn).考慮兩種妝容濃淡控制方法:第1 種如Liu 等人[5]的方法在訓(xùn)練階段調(diào)整不同損失的權(quán)重比例來影響最終的妝容生成模型;第2 種如Li 等人[16]的方法不改變訓(xùn)練階段,只對(duì)測(cè)試階段的超參數(shù)進(jìn)行調(diào)節(jié).本文采用第2 種方法,對(duì)人臉語義解析的上妝區(qū)域樣本對(duì),采用不同大小的核對(duì)圖像進(jìn)行形態(tài)學(xué)腐蝕,再把樣本對(duì)輸入相應(yīng)的區(qū)域上妝遷移網(wǎng)絡(luò)中,最終融合[29]得到上妝結(jié)果.具體來說,選取的核分別是(3,6,9),且橫縱一致.

第3.4 節(jié)為評(píng)估本文方法的有效性,與更多的算法進(jìn)行了定性實(shí)驗(yàn)和定量實(shí)驗(yàn)對(duì)比.一方面,將本領(lǐng)域現(xiàn)有方法[3,5,6,9,16]的上妝結(jié)果與本模型的結(jié)果做直觀的視覺對(duì)比,包括同人異妝和異人同妝,來做定性(qualitative)分析實(shí)驗(yàn);另一方面,參考PSNR、SSIM、協(xié)方差、生成速度等指標(biāo)[8,16],將現(xiàn)有方法[6,9,16]的結(jié)果與本文進(jìn)行量化對(duì)比,來做精確的定量(quantitative)分析實(shí)驗(yàn).此外,Liu 等人[5]、Luan 等人[9]和Chang 等人[17]采用了基于真人評(píng)價(jià)的打分,但限于成本因素,調(diào)查范圍較小;不同人存在的年齡、性別、職業(yè)、地域等方面的不同將使得評(píng)價(jià)完全迥異,進(jìn)而影響最終評(píng)估結(jié)果的準(zhǔn)確性.因此本文的定量實(shí)驗(yàn)是參考Johnson 等人[8]和Li 等人[16]采用的指標(biāo)來對(duì)結(jié)果進(jìn)行定量分析.我們使用有真實(shí)標(biāo)簽的樣本對(duì)(素顏圖像B,素顏的真實(shí)妝后圖像B-Truth),B-Truth 和B是同一個(gè)人,B-Truth 展現(xiàn)B妝后協(xié)調(diào)的狀態(tài).由于VMU 訓(xùn)練集中沒有運(yùn)用訓(xùn)練標(biāo)簽對(duì),我們把一部分訓(xùn)練集也作為測(cè)試樣本進(jìn)行測(cè)試.把B-Truth 作為參考妝容,使用上妝網(wǎng)絡(luò)生成B的上妝結(jié)果(B-result),最后根據(jù)B-Truth 和B-result 計(jì)算評(píng)價(jià)指標(biāo).PSNR(peak signal to noise ratio)是峰值信噪比,取值0～100,值越大代表圖像質(zhì)量越好,它可以衡量與B-Truth 相比,B-result 的圖像質(zhì)量的優(yōu)劣程度.SSIM(structural similarity index)[39]是結(jié)構(gòu)相似性,它從亮度(均值),對(duì)比度(標(biāo)準(zhǔn)差),結(jié)構(gòu)(協(xié)方差)3 方面,衡量?jī)煞鶊D像的相似度,取值0～1,值越大,B-result 與B-Truth 的相似度越高.平均協(xié)方差的計(jì)算方法是將B-result 與B-Truth 分別輸入VGG-Face[28]網(wǎng)絡(luò)中,并統(tǒng)計(jì)relu1_2、relu2_2、relu3_2、relu4_2、relu5_2 層特征圖譜的協(xié)方差,取對(duì)數(shù)(底數(shù)為10)后求和除以5 得到其平均值,平均協(xié)方差值越小,B-result 與B-Truth 的相似度越高.PSNR、SSIM、log(Cov)反映在定量層面上,上妝結(jié)果和真實(shí)協(xié)調(diào)的妝后狀態(tài)的相似程度,反映美妝后在視覺上的協(xié)調(diào)程度.

3.2 妝容遷移模型實(shí)驗(yàn)

損失網(wǎng)絡(luò)實(shí)驗(yàn),如圖6(a)是用VGG-Face[28]網(wǎng)絡(luò)對(duì)素顏圖像進(jìn)行結(jié)構(gòu)重構(gòu),第2 列～第5 列圖像分別是在relu2_1 層、relu3_1 層、relu4_1 層和relu5_1 層進(jìn)行結(jié)構(gòu)重構(gòu),迭代200 次.同理用VGG-ImageNet 網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)重構(gòu)得到圖6(b).圖7(a)是用VGG-Face 網(wǎng)絡(luò)對(duì)素顏圖像進(jìn)行妝容風(fēng)格重構(gòu),第2 列圖像是在relu1_1 和relu2_1層上進(jìn)行重構(gòu),第3 列圖像是在relu1_1、relu2_1 和relu3_1 層上進(jìn)行重構(gòu),第4 列圖像是在relu1_1、relu2_1、relu3_1 和relu4_1 層上進(jìn)行重構(gòu),第5 列圖像是在relu1_1、relu2_1、relu3_1、relu4_1 和relu5_1 層上進(jìn)行重構(gòu),迭代500 次.同理用VGG-ImageNet 網(wǎng)絡(luò)進(jìn)行妝容風(fēng)格重構(gòu)得到圖7(b).

Fig.6 Content reconstructions of the before-makeup images圖6 素顏圖像的結(jié)構(gòu)重構(gòu)結(jié)果

Fig.7 Makeup style reconstructions of the reference-makeup images圖7 參考妝容圖像的妝容風(fēng)格重構(gòu)結(jié)果

由于VGG-Face[28]人臉分類網(wǎng)絡(luò)與VGG-ImageNet[38]分類網(wǎng)絡(luò)相比,前者對(duì)人臉語義信息更敏感,所以損失網(wǎng)絡(luò)采用VGG-Face[28]網(wǎng)絡(luò).對(duì)比圖6(a)與圖6(b),兩者都是隨著網(wǎng)絡(luò)層數(shù)加深,丟棄圖像的像素信息,保留結(jié)構(gòu)信息.注意到圖6(a)中relu4_1 用VGG-Face 重構(gòu)出現(xiàn)大面積的綠色,這是因?yàn)閂GG-Face 網(wǎng)絡(luò)在relu 層之前沒有批量歸一化處理層,導(dǎo)致圖像像素值的溢出.隨著增大迭代和調(diào)節(jié)權(quán)重,能消除圖6(a)中relu4_1 和relu5_1 的綠色,如本節(jié)圖8 和圖9 實(shí)驗(yàn)結(jié)果所示.對(duì)比圖7(a)與圖7(b),VGG-Face 網(wǎng)絡(luò)對(duì)人的眼睛、嘴唇等語義信息有增強(qiáng)作用.VGG-Face 網(wǎng)絡(luò)沒有批量歸一化處理層,這使得人臉的語義信息放大.

Fig.8 Process of the different layers of lipstick RMT-net圖8 不同層數(shù)的唇膏上妝遷移網(wǎng)絡(luò)的唇妝上妝過程

Fig.9 Outputs by setting the weight of lipstick RMT-net’s current loss to different values圖9 將唇膏上妝遷移網(wǎng)絡(luò)當(dāng)前損失的權(quán)重設(shè)置成不同的值,得到的唇妝上妝結(jié)果

區(qū)域上妝遷移網(wǎng)絡(luò)的深度探索實(shí)驗(yàn)結(jié)果如圖8 所示,對(duì)3 種網(wǎng)絡(luò)結(jié)構(gòu)的上妝遷移網(wǎng)絡(luò)進(jìn)行1 000 次迭代,分別取第0、200、400、600、800、1 000 次迭代的輸出圖像.隨著網(wǎng)絡(luò)的加深,素顏?zhàn)齑降纳蠆y圖像越來越細(xì)化,且顏色更偏向參考妝容的唇妝,而10 層網(wǎng)絡(luò)的輸出似乎更傾向于把參考妝容的唇妝顏色加深.4 層網(wǎng)絡(luò)的第1 000 次迭代得到的圖像,與7 層網(wǎng)絡(luò)或10 層網(wǎng)絡(luò)第400、600 次迭代得到的圖像相近.4 層網(wǎng)絡(luò)多次迭代后,能消除圖像大面積的綠色區(qū)域.整體而言,增加上妝遷移網(wǎng)絡(luò)的卷積層將使得網(wǎng)絡(luò)迭代1 000 次后得到的上妝圖像差別不大.本文采用4 層的網(wǎng)絡(luò)結(jié)構(gòu),不僅占用內(nèi)存小,能夠加快測(cè)試過程的生成速度,也能得到較好的上妝結(jié)果.

損失權(quán)重設(shè)置實(shí)驗(yàn)結(jié)果如圖9 所示,我們得到3 個(gè)結(jié)論.(1)如圖9(a)和圖9(e)所示,結(jié)構(gòu)損失可以去除圖像大面積的單一色區(qū)域,如綠色、紅色.增大結(jié)構(gòu)損失的權(quán)重,網(wǎng)絡(luò)會(huì)學(xué)習(xí)到素顏圖像的結(jié)構(gòu)信息,如嘴唇紋理.但是當(dāng)權(quán)重過大時(shí),網(wǎng)絡(luò)會(huì)放大這種紋理,形成噪聲.(2)顏色損失作為輔助函數(shù),能夠幫助網(wǎng)絡(luò)學(xué)習(xí)到參考妝容的顏色.對(duì)比圖9(b)的βlip=[0,0,0]和圖9(c)的γlip=0 的圖像,如果缺少妝容風(fēng)格損失,網(wǎng)絡(luò)無法完成上妝的細(xì)化,如果缺少顏色損失,網(wǎng)絡(luò)難以學(xué)習(xí)到參考妝容的顏色.(3)如圖9(d)和圖9(h)所示,平滑損失把圖像中的高頻信號(hào)保留,去除可能的椒鹽等低頻噪聲信號(hào).考慮到結(jié)構(gòu)損失的權(quán)重值以及唇膏上妝的化妝品性質(zhì)是保留或提亮素顏?zhàn)齑降募y理,所以唇膏上妝遷移網(wǎng)絡(luò)把平滑損失置0.粉底、眼影上妝的化妝品性質(zhì)是遮瑕,所以這兩個(gè)上妝遷移網(wǎng)絡(luò)保留平滑損失.

3.3 妝容濃淡實(shí)驗(yàn)

在DLMT 數(shù)據(jù)集上,本文算法實(shí)驗(yàn)得到的上妝濃淡結(jié)果和Liu 等人[5]進(jìn)行對(duì)比,一共展示了兩組樣本對(duì)的上妝結(jié)果,如圖10 所示.輸入的素顏和參考妝容如圖10(a)的第1 列,圖10(a)中的后3 列和(b)中的3 列分別是Liu等人[5]和本文方法得到的結(jié)果.具體來說,第1 行和第3 行是眼影從淡到濃的上妝結(jié)果,第2 行和第4 行是唇膏從淡到濃的上妝結(jié)果.通過圖10(a)和圖10(b)對(duì)比可以看出:(1)在眼影上妝方面,Liu 等人[5]是根據(jù)參考妝容的眼影語義區(qū)域,對(duì)素顏進(jìn)行TPS[12]變形得到的眼影上妝區(qū)域;本文則是根據(jù)素顏的人臉關(guān)鍵點(diǎn),對(duì)素顏進(jìn)行區(qū)域劃分得到眼影上妝區(qū)域.所以本文得到的眼影上妝區(qū)域更符合素顏的當(dāng)前形態(tài),比Liu 等人[5]得到的眼影上妝結(jié)果更對(duì)稱均衡.(2)在唇膏上妝方面,Liu 等人[5]更偏向保留素顏人臉的嘴唇紋理,本文更偏向獲得參考妝容唇妝的光澤感.因?yàn)楸疚脑黾恿祟伾珦p失,學(xué)習(xí)到的唇妝更保真.

Fig.10 Contrast experiments of the lightness of the makeups on the DLMT dataset圖10 DLMT 數(shù)據(jù)集,妝容濃淡對(duì)比實(shí)驗(yàn)

我們?cè)赩MU 數(shù)據(jù)集上展示同一種妝容的濃淡變化風(fēng)格,如圖11 展示了兩個(gè)樣本對(duì)在眼影、唇膏區(qū)域的妝容濃淡控制結(jié)果.其中,圖11 第1 列是兩組樣本對(duì)的素顏與參考妝容,后面3 列代表由淡變濃的妝容結(jié)果;第1 行和第3 行代表眼影的結(jié)果,第2 行和第4 行代表唇膏的結(jié)果.

Fig.11 Experiments of the lightness of the makeups on the VMU dataset圖11 VMU 數(shù)據(jù)集,妝容濃淡實(shí)驗(yàn)

3.4 定性和定量實(shí)驗(yàn)

定性分析實(shí)驗(yàn)的結(jié)果如圖12 和圖13 所示.圖12 中將本文方法與Guo 等人[3]、Gatys 等人[6]、Liu 等人[5]在DLMT 數(shù)據(jù)集上的結(jié)果進(jìn)行對(duì)比,其中,第3 列～第5 列展示的Guo 等人[3]、Gatys 等人[6]、Liu 等人[5]的上妝結(jié)果均來自文獻(xiàn)[5].圖13 中將本文方法與Gatys 等人[6]、Luan 等人[9]、Li 等人[16]在VMU 數(shù)據(jù)集上的結(jié)果進(jìn)行對(duì)比,其中,第3 列～第5 列展示的Gatys 等人[6]、Luan 等人[9]、Li 等人[16]的上妝結(jié)果是利用對(duì)應(yīng)的代碼(Gatys等人[6]:https://github.com/jcjohnson/neural-style,Li 等人[16]:https://github.com/sunshineatnoon/PytorchWCT,Luan等人[9]:https://github.com/luanfujun/deep-photo-styletransfer),重新訓(xùn)練后得到的測(cè)試結(jié)果.

針對(duì)DLMT 數(shù)據(jù)集,圖12 的對(duì)比表明:(1)Guo 等人[3]的4 組樣本對(duì)都沒有把參考妝容的唇妝正確遷移,眼影的遷移實(shí)際是在“畫”淡妝;(2)Gatys 等人[6]只實(shí)現(xiàn)了輕微的妝容遷移,且生成的圖像存在一些噪聲;(3)Liu 等人[5]實(shí)現(xiàn)了眼影和唇妝的遷移,但是部分唇妝存在嘴唇變形,左、右眼影有明顯的不對(duì)稱,如第5 列的第1 行和第3 行;(4)本文的方法實(shí)現(xiàn)了眼影和唇妝的遷移,與Liu 等人[5]的第1 行和第3 行結(jié)果對(duì)比,本文實(shí)現(xiàn)的眼影妝容更對(duì)稱、自然.與所有對(duì)比模型的結(jié)果相比,本文實(shí)現(xiàn)的唇妝更保真.

針對(duì)VMU 數(shù)據(jù)集,圖13 的對(duì)比表明:(1)Luan 等人[9]雖然實(shí)現(xiàn)了整體妝容風(fēng)格的遷移,但得到的上妝結(jié)果不太真實(shí);(2)Gatys 等人[6]生成了較真實(shí)的人臉,但沒有實(shí)現(xiàn)眼妝的遷移,且基本沒有實(shí)現(xiàn)對(duì)唇妝顏色的遷移;(3)Li等人[16]的上妝結(jié)果中明顯存在多余的臉部高光,且沒有實(shí)現(xiàn)眼影遷移;(4)本文則實(shí)現(xiàn)了整體妝容遷移,且所得的上妝結(jié)果的眼影更均衡,唇膏色彩更保真,粉底遷移更精細(xì).第1 行和第3 行實(shí)現(xiàn)了臉部腮紅的遷移,第2 行實(shí)現(xiàn)了參考妝容整個(gè)膚色的遷移.前者沒有實(shí)現(xiàn)膚色的遷移是因?yàn)橛?xùn)練集的黃色皮膚,淺紅色皮膚的樣本占多數(shù),當(dāng)訓(xùn)練網(wǎng)絡(luò)時(shí),網(wǎng)絡(luò)會(huì)更少關(guān)注白色皮膚.

Fig.12 Qualitative comparisons of results on the DLMT dataset圖12 DLMT 數(shù)據(jù)集,定性實(shí)驗(yàn)對(duì)比結(jié)果

Fig.13 Qualitative comparisons of results on the VMU dataset圖13 VMU 數(shù)據(jù)集,定性實(shí)驗(yàn)對(duì)比結(jié)果

同人異妝和異人同妝實(shí)驗(yàn)結(jié)果如圖14～圖17 所示.其中,圖14 和圖15 分別是本文方法將不同素顏人臉遷移同種妝容在DLMT 數(shù)據(jù)集、VMU 數(shù)據(jù)集上的結(jié)果.圖16 和圖17 分別是本文方法將同一素顏人臉遷移不同類型妝容在DLMT 數(shù)據(jù)集、VMU 數(shù)據(jù)集上的結(jié)果.由此,相對(duì)于Liu 等人[5]的方法,本文方法在唇妝、眼影、粉底這3 個(gè)方面均存在優(yōu)勢(shì).

Fig.14 Different people with the same makeup on the DLMT dataset圖14 DLMT 數(shù)據(jù)集,異人同妝對(duì)比實(shí)驗(yàn)

Fig.15 Different people with the same makeup on the VMU dataset圖15 VMU 數(shù)據(jù)集,異人同妝實(shí)驗(yàn)

Fig.16 The same person with different makeups on the DLMT dataset圖16 DLMT 數(shù)據(jù)集,同人異妝對(duì)比實(shí)驗(yàn)

Fig.17 The same person with different makeups on the VMU dataset圖17 VMU 數(shù)據(jù)集,同人異妝實(shí)驗(yàn)

在唇妝遷移方面:(1)Liu 等人的結(jié)果中,一部分能保持素顏?zhàn)齑降募y理,另一部分則存在變形扭曲.此外對(duì)于露齒的素顏?zhàn)齑?Liu 等人[5]采用人臉分割網(wǎng)絡(luò)能夠較好地實(shí)現(xiàn)唇妝遷移,如圖14(a)的第2 行第2 列.(2)本文方法能夠較好地保持素顏的嘴唇形狀,但是對(duì)于露齒素顏的效果還不好,如圖14(a)的第3 行第2 列.這主要是由于本文采用的人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)[20]難以精確檢測(cè)嘴唇內(nèi)部邊緣,尤其是在圖像分辨率較低的情況下.后續(xù)工作將考慮訓(xùn)練一個(gè)小型的嘴唇分割網(wǎng)絡(luò),進(jìn)而提高嘴唇內(nèi)部檢測(cè)精度.

在眼影遷移方面:(1)Liu 等人[5]的結(jié)果會(huì)出現(xiàn)明顯的左眼影妝容濃于右眼影,且左、右眼影不對(duì)稱,如圖14(b)的第2 行第1 列～第3 列,圖16(b)的第2 行第5 列.部分結(jié)果則出現(xiàn)眼睛的輕微變形,如圖16(b)的第2 行第4 列.但是,Liu 等人[5]能夠?qū)崿F(xiàn)眼睛下方臥蠶部位的妝容遷移,如圖14(b)的第2 行.(2)在本文方法的結(jié)果中,左、右眼影更對(duì)稱協(xié)調(diào),但是眼睛下方臥蠶部位未完成妝容遷移,如圖14(b)的第3 行第4 列.原因是,本文的眼妝上妝區(qū)域是依靠人臉關(guān)鍵點(diǎn)劃分的,沒有參考妝容眼影區(qū)域的細(xì)節(jié)語義信息,而Liu 等人[5]的人臉分割網(wǎng)絡(luò)能得到參考妝容眼影區(qū)域的語義信息.后續(xù)工作將對(duì)眼睛下方的眼影遷移進(jìn)行改進(jìn).

在粉底遷移方面,本文方法在VMU 上的結(jié)果更加精細(xì)自然,如圖15 和圖17 所示.但是,有少數(shù)參考妝容的膚色無法遷移,如圖17(a)的第2 行第4 列.這是因?yàn)閰⒖紛y容的白色粉底在VMU 數(shù)據(jù)集中占少數(shù),而黃色和淺粉色的粉底占多數(shù),所以粉底上妝遷移網(wǎng)絡(luò)更擅長(zhǎng)于實(shí)現(xiàn)顏色占多數(shù)的粉底妝容的遷移.

整體來說,本文的唇膏、眼影、粉底上妝遷移比其他方法的效果要好,盡管不平衡樣本和嘴巴內(nèi)部邊緣檢測(cè)[20]帶來了少許不足.但從定性對(duì)比實(shí)驗(yàn)來看,本文提出的上妝遷移網(wǎng)絡(luò)結(jié)構(gòu)及針對(duì)唇膏、眼影、粉底的特點(diǎn)分別設(shè)計(jì)的損失函數(shù)是行之有效的.

定量實(shí)驗(yàn)從VMU 數(shù)據(jù)集中挑選出有標(biāo)簽的28 個(gè)樣本對(duì)進(jìn)行評(píng)估,每對(duì)樣本均為同一人妝前妝后的臉部圖像,這樣可以避免不同個(gè)體樣本對(duì)存在的臉部結(jié)構(gòu)差異產(chǎn)生的影響.圖18 展示了各個(gè)方法在兩對(duì)樣本上的上妝結(jié)果以及計(jì)算得到的PSNR 值和SSIM 值;然后又分別統(tǒng)計(jì)了10 個(gè)樣本對(duì),以及28 個(gè)樣本對(duì)的平均PSNR 值和SSIM 值.可以看出,本文方法的SSIM 值較高,上妝結(jié)果與參考妝容相似,而且上妝結(jié)果不僅完成妝容遷移,還保留了素顏圖像的臉部結(jié)構(gòu)信息.

Fig.18 Quantitative comparisons of results by computing PSNR/SSIM on the label-pairs of the VMU dataset圖18 定量對(duì)比實(shí)驗(yàn),VMU 數(shù)據(jù)集中有標(biāo)簽的樣本對(duì)的PSNR/SSIM 值

如表2 所示,我們統(tǒng)計(jì)了28 個(gè)樣本對(duì)完成上妝結(jié)果的耗時(shí).我們的平均生成時(shí)間是0.23s,其中妝容區(qū)域校準(zhǔn)的時(shí)間是0.038 2s,占總時(shí)間的16.6%.本文方法分別比Gatys 等人快801 倍,比Luan 等人[9]快370 倍,比Li 等人[16]快2 倍,這表明我們使用的妝容遷移方法更為迅速.而且與其他模型相比,本文方法的平均協(xié)方差更小,上妝結(jié)果和參考妝容相似度更高.

Table 2Results of quantitative,the average generation time and the average covariance of 28 pairs表2 定量評(píng)價(jià)結(jié)果,28 個(gè)樣本對(duì)的平均生成時(shí)間和平均協(xié)方差

4 總結(jié)與展望

本文構(gòu)建了端到端的FMaT 模型,設(shè)計(jì)并實(shí)現(xiàn)了分區(qū)域的淺層多通路卷積神經(jīng)網(wǎng)絡(luò)RMT-net.根據(jù)眼影、唇膏、粉底的不同妝容性質(zhì),設(shè)計(jì)了3 種對(duì)應(yīng)的語義損失函數(shù),最后,在DLMT 和VMU 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)并進(jìn)行定性定量分析,得到的主要結(jié)論如下.

1)在DLMT 和VMU 數(shù)據(jù)集上,本文提出的模型生成上妝結(jié)果比較自然,眼影妝容與其他模型相比更對(duì)稱,更協(xié)調(diào).唇膏色彩更保真,更能保持素顏圖像的嘴唇形狀.粉底妝容在實(shí)現(xiàn)更精細(xì)遷移的同時(shí),保留素顏圖像的臉部結(jié)構(gòu).本文所提出的方法優(yōu)于5 種對(duì)比方法[3,5,6,9,16].

2)本文所提出的FMaT 模型能夠?qū)崿F(xiàn)任意妝容風(fēng)格的遷移,同時(shí)取得了明顯提升的視覺效果、更快的上妝速度、更好的同人異妝和異人同妝的遷移風(fēng)格,其中上妝速度比Gatys 等人[6]快801 倍,比Luan 等人[9]快370 倍,比Li 等人[16]快2 倍.通過定性定量分析,本文方法優(yōu)于對(duì)比方法.

3)與基于深度網(wǎng)絡(luò)[5,6,9,16]的4 種方法相比,本文實(shí)現(xiàn)妝容區(qū)域的端到端校準(zhǔn),使得不同妝容位置在局部遷移得到優(yōu)化的同時(shí),也具有相對(duì)協(xié)調(diào)的位置組合,從而更好地保持參考妝容的風(fēng)格.

本文提出的FMaT 模型實(shí)現(xiàn)了眼影、唇膏、粉底區(qū)域的快速上妝,且獲得了比其他模型更好的效果.未來將從以下3 個(gè)方面展開工作:(1)在深度網(wǎng)絡(luò)的卷積層上,探索用類似最近鄰搜索[4]的方式或求解最小余弦值[26]等方法實(shí)現(xiàn)人臉校準(zhǔn)和變形;(2)面向妝容遷移任務(wù),探索更好的量化評(píng)價(jià)指標(biāo),比如對(duì)整體妝容顏色搭配的協(xié)調(diào)性進(jìn)行定量衡量;(3)研究妝容推薦算法,為不同結(jié)構(gòu)的素顏人臉推薦更合適的參考妝容.