自動(dòng)人臉修飾技術(shù)研究綜述

時(shí)書劍

摘要：隨著數(shù)碼相機(jī)、手機(jī)等拍照設(shè)備的普及，自動(dòng)人臉修飾技術(shù)成為計(jì)算機(jī)視覺、數(shù)字圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)。本文總結(jié)了國(guó)內(nèi)外關(guān)于自動(dòng)人臉修飾技術(shù)的算法框架和新進(jìn)展，主要針對(duì)基于頻域?yàn)V波的算法、基于幾何表示的算法、基于年齡演化模型地算法進(jìn)行了歸納，詳細(xì)介紹了主要算法，并分析比較了各種算法的優(yōu)勢(shì)與不足。通過(guò)對(duì)國(guó)內(nèi)外應(yīng)用中實(shí)際問題進(jìn)行研究，給出了自動(dòng)人臉修飾技術(shù)仍然存在的挑戰(zhàn)及不足。

關(guān)鍵詞：人臉修飾；頻域?yàn)V波；幾何表示；演化模型

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）22-0119-03

Abstract： With the popularity of digital cameras， mobile phones and other camera equipment， automatic face modification technology has become a research hotspot in the field of computer vision， digital image processing. In this paper， the framework and the new progress of automatic face modification technology are summarized. The algorithm based on frequency domain filtering， the algorithm based on geometric representation， and the algorithm based on age evolution model are summarized. The main algorithms are introduced and the advantages and disadvantages of various algorithms are also analyzed. Through the research on the practical problems in the domestic and international application， the challenge and the shortage of the automatic face modification technology are presented.

Key words： face modification； frequency domain filtering； geometric representation； evolution model

隨著圖像信息處理技術(shù)的不斷進(jìn)步，以及拍照設(shè)備的普及，人們對(duì)照片的處理需求不斷提高，尤其是針對(duì)面部圖像的修飾技術(shù)已成為電腦軟件和手機(jī)軟件的一個(gè)開發(fā)熱點(diǎn)，比如：美圖秀秀、人人-美顏美圖、光影魔術(shù)手等。這些軟件不要求用戶具有專業(yè)的圖像處理技術(shù)，可以方便地實(shí)現(xiàn)美化照片的效果。

人臉自動(dòng)修飾與渲染是計(jì)算攝影領(lǐng)域中新的研究熱點(diǎn)。其主要關(guān)注人臉照片品質(zhì)的提高，更關(guān)注對(duì)人臉的某些屬性的處理，如：對(duì)人臉皺紋的去除、膚色的改善、光潔度的提高等。人們希望經(jīng)自動(dòng)修飾與渲染的照片，能夠符合視覺感知習(xí)慣、更具吸引力，改變傳統(tǒng)的攝影、圖像處理工作需繁復(fù)的人工操作的現(xiàn)狀。因此，在攝影、廣告設(shè)計(jì)、電影制作、數(shù)字娛樂、專業(yè)研究領(lǐng)域都有著廣泛的應(yīng)用前景。

本文對(duì)自動(dòng)人臉修飾技術(shù)的研究背景、研究現(xiàn)狀進(jìn)行了綜述，列舉了近幾年自動(dòng)人臉修飾技術(shù)的主要算法，以及算法的改進(jìn)、對(duì)比，最后對(duì)自動(dòng)人臉修飾技術(shù)發(fā)展趨勢(shì)、存在的問題、下一步的研究方向進(jìn)行了闡述。

1 人臉修飾技術(shù)研究進(jìn)展

1.1 基于頻域?yàn)V波的方法

該算法可以實(shí)現(xiàn)圖像中高頻率瑕疵（如：皺紋、斑點(diǎn)）的去除，進(jìn)而完成人臉的修飾，使處理后圖片看上去更白、更美觀，但該算法當(dāng)遇到大范圍皺紋、斑點(diǎn)等瑕疵時(shí)的處理效果不理想。

1.2 基于幾何表示的方法

此外還有一些修改人臉外形的算法，通過(guò)對(duì)面部輪廓和器官作適當(dāng)變形，使其更加貼近最優(yōu)臉型，達(dá)到優(yōu)化人臉的目的。但該類算法容易造成修改后的人臉對(duì)標(biāo)準(zhǔn)人臉的依賴，調(diào)整過(guò)大時(shí)，容易造成人臉原來(lái)特征的丟失。

1.3 基于年齡演化模型的方法

基于年齡演化模型的算法通?；贔G-NET數(shù)據(jù)庫(kù)、MORPH數(shù)據(jù)庫(kù)開展實(shí)驗(yàn)。FG-NET數(shù)據(jù)庫(kù)包含了82個(gè)人，年齡從0～69歲，共有1002張照片，為包含大的年齡跨度里面收集的照片直接采自被拍攝者的老照片，因此拍攝角度、環(huán)境、光照條件都不能一致，有的照片還有帽子、眼鏡等遮擋，年代很早的照片都是黑白照片，而且早期的照片，受拍照攝備所限，畫面不夠清晰。但FG-NET仍然是現(xiàn)有的人臉年齡數(shù)據(jù)庫(kù)中，唯一包含了0～18歲照片的數(shù)據(jù)庫(kù)，而且照片反映的年齡跨度大、且密集。

MORPH數(shù)據(jù)庫(kù)是最大的、已公開的縱向人臉數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含超過(guò)13000人的55000幅圖像，年齡跨度在16歲到77歲之間，并且該數(shù)據(jù)庫(kù)還在不斷擴(kuò)種中。MORPH數(shù)據(jù)庫(kù)除了包含人臉照片，還包含被拍照者的年齡、性別、種族、體重、身高等信息，可供面部分析、年齡分析、面部識(shí)別的研究使用。

現(xiàn)階段年齡相關(guān)的人臉數(shù)據(jù)庫(kù)還很不完善，人臉圖像的采集需要經(jīng)歷相當(dāng)長(zhǎng)時(shí)間的跟蹤拍攝，這需要相當(dāng)長(zhǎng)時(shí)間的積累，并且考慮包含不同種族、性別、地域的人臉照片。

在計(jì)算機(jī)視覺領(lǐng)域，年齡演化問題是一個(gè)研究熱點(diǎn)?；谀挲g演化模型的自動(dòng)人臉修飾技術(shù)的關(guān)鍵是通過(guò)各年齡段的人臉照片構(gòu)建合適的年齡演化模型。

早期的基于年齡演化模型的自動(dòng)人臉?biāo)惴ㄖ校Y(jié)合了小波變換的內(nèi)容，如：參考文獻(xiàn)[3]中，Tidderman提出了通過(guò)小波變換建立特征向量，并針對(duì)不同年齡構(gòu)建合成人臉。實(shí)驗(yàn)結(jié)果表明，當(dāng)使用小區(qū)域邊緣強(qiáng)度加權(quán)來(lái)保留邊緣特征后，根據(jù)年齡進(jìn)行人臉修飾的效果更明顯。對(duì)這一算法進(jìn)一步改進(jìn)，通過(guò)MRF模型在小波變換后進(jìn)行年齡演化過(guò)程中的人臉特征學(xué)習(xí)，可以實(shí)現(xiàn)人臉的年輕化修飾、以及性別修改。實(shí)驗(yàn)結(jié)果表明，MRF模型比單純使用小波變換對(duì)人臉的修飾效果要好。

此外，還有根據(jù)生物學(xué)、遺傳學(xué)等領(lǐng)域的研究來(lái)建立年齡演化模型的方法。如：參考文獻(xiàn)[4]中，Ramanathan根據(jù)生物學(xué)中顱面骨的生長(zhǎng)規(guī)律，對(duì)0-18歲期間的人臉建立基于年齡影響的模型，融入人體測(cè)量學(xué)的方法，即：人臉不同部位在不同年齡段會(huì)有不同的生長(zhǎng)進(jìn)度，來(lái)提取不同年齡段人臉的特征。圖3顯示了側(cè)面人臉隨年齡增長(zhǎng)的模型，及對(duì)應(yīng)不同年齡跨度，產(chǎn)生的特征參數(shù)k。通過(guò)最優(yōu)化計(jì)算人臉成長(zhǎng)參數(shù)k，來(lái)實(shí)現(xiàn)不同年齡人臉比例的轉(zhuǎn)換，圖4顯示了參考文獻(xiàn)[4] 的實(shí)驗(yàn)結(jié)果。

針對(duì)成年人的年齡演化模型，如：參考文獻(xiàn)[5]中，Ramanathan考慮到人的衰老，主要體現(xiàn)在面部肌肉的彈性變差、皺紋的增加，提出了與年齡相關(guān)的形狀、紋理變化的模型，可以用來(lái)修飾人臉產(chǎn)生老化特征，如：額頭皺紋、眼角紋、嘴角紋等。實(shí)驗(yàn)通過(guò)將數(shù)據(jù)庫(kù)人臉按年齡分組，年齡跨度在10歲，如：21-30歲一組，31-40歲一組等，搜集的實(shí)驗(yàn)數(shù)據(jù)可以很好的反映隨年齡、性別、種族等變化而產(chǎn)生的形狀、紋理特征。

綜上，基于年齡演化模型的自動(dòng)人臉修飾技術(shù)先要對(duì)人臉數(shù)據(jù)庫(kù)按年齡分組，對(duì)不同分組提取特征，得到經(jīng)年齡演化修飾后的圖像。實(shí)驗(yàn)效果很大程度上依賴于人臉數(shù)據(jù)庫(kù)，為了得到好的演化效果，需要使用年齡跨度大的人臉照片。

2 總結(jié)

本文總結(jié)了國(guó)內(nèi)外關(guān)于自動(dòng)人臉修飾技術(shù)的算法框架，主要針對(duì)基于頻域?yàn)V波的算法、基于幾何表示的算法、基于年齡演化模型地算法進(jìn)行了歸納，這些算法仍存在很大的改善空間，下一步研究可以考慮如下問題：

1）自動(dòng)人臉修飾技術(shù)最重要的是保留人臉的個(gè)性化特征，不能在修飾后面目全非，因此如何在特征提取過(guò)程中盡量保留原照片的個(gè)性化特征，仍然需要繼續(xù)探討。

2）現(xiàn)階段的自動(dòng)修飾技術(shù)，會(huì)使修飾的結(jié)果和方向趨于一致，如何使美化修飾過(guò)程具有一定的個(gè)性化是一個(gè)有待進(jìn)一步研究的問題。

最后，為了使自動(dòng)人臉修飾技術(shù)的應(yīng)用更具有利用價(jià)值，在算法的改進(jìn)中不能只局限于現(xiàn)有的數(shù)據(jù)模型、年齡演化模型，可以跨學(xué)科地嘗試、引入新的模型方法，以期在更具有實(shí)用價(jià)值的指導(dǎo)下設(shè)計(jì)新的算法或改進(jìn)。

參考文獻(xiàn)：

[1] 韓靜亮，趙曦，趙群飛，等.基于迭代多級(jí)中值濾波的人臉美化算法[J].計(jì)算機(jī)應(yīng)用與軟件，2010，27（5）： 227-229.

[2] Leyvand T， Cohen-Or D， Dror G， et al.， Data-driven enhancement of facial attractiveness， in ACM Transactions on Graphics（TOG）， 2008： 38.

[3] Tidderman B， Stirrat B， Perrett D I， Towards realism in facial image transformations： Results from a wavelet mrf method， Computer Graphics Forum，2005， vol. 24： 449-456.

[4] Ramanathan N， Chellappa R， Modeling age progression in young faces. IEEE Conference on Computer Vision and Pattern Recognition. 2006， vol. 1： 387-394.

[5] Ramanathan N， Chellappa R， Modelinng shape and textural variations in aging faces， Automatic Face & Gesture Recognition， 2008：1-8.