紋理合成風(fēng)格遷移算法在動畫角色造型中的應(yīng)用

潘新

摘要：為實現(xiàn)智能化創(chuàng)作動畫，本文提出一個水墨風(fēng)格角色造型方法， 通過對人物照片進行水墨風(fēng)格化處理， 生成具有現(xiàn)代水墨人物畫風(fēng)格的藝術(shù)圖像。首先通過基于FDoG的輪廓提取與合成，獲得水墨筆觸的線條畫圖像; 然后通過形狀計算和紋理合成， 將源風(fēng)格圖像的紋理映射到線條畫中。實驗結(jié)果表明， 與已有的圖像風(fēng)格遷移方法相比， 文中提出的方法可表現(xiàn)出更多渲染細節(jié)。在應(yīng)用價值方面，該方法可降低動畫角色造型難度，并用于動畫教學(xué)與實踐。

關(guān)鍵詞： 角色造型生成方法;水墨風(fēng)格化; 線條畫; 紋理合成;現(xiàn)代水墨人物畫

中圖分類號：TP311? ? ?文獻標(biāo)識碼：A

文章編號：1009-3044（2021）13-0179-03

動畫角色造型種類繁多，且不僅限于手繪形式，通過運用剪紙、皮影、水墨等風(fēng)格元素，可以幫助初學(xué)者解決設(shè)計上的困難，使其想法能夠盡快付諸實踐。結(jié)合風(fēng)格化創(chuàng)作技術(shù)，將水墨等風(fēng)格應(yīng)用到真實照片上，生成具有獨特風(fēng)格的原畫關(guān)鍵幀，在快速角色造型和動畫創(chuàng)作方面起到重要的作用。

現(xiàn)代水墨人物畫無論在外形構(gòu)圖還是神態(tài)把握上，都兼具現(xiàn)代主義與傳統(tǒng)技法，這種風(fēng)格逐漸被應(yīng)用于動畫角色的造型創(chuàng)作中，也達到了較好的效果。水墨人物畫畫家畢建勛[1]認(rèn)為，只有根植于現(xiàn)實，現(xiàn)代水墨人物畫才可能成長發(fā)展。將水墨人物畫引入到動畫角色造型中，可以在動畫創(chuàng)新創(chuàng)作和傳承水墨文化兩方面起到推動作用。然而，在繪制水墨人物畫過程中，人物特點都是通過水墨勾勒與渲染來表現(xiàn)的。其筆畫與墨色的多樣性和復(fù)雜性，使得水墨動畫的創(chuàng)作工作極其繁重，并未能廣泛傳播。本文針對勾線填彩這種表現(xiàn)形式，提出一種基于線條的動畫角色造型生成方法， 通過在真實的人物照片上進行線條提取和紋理填充， 實現(xiàn)生成水墨人物畫風(fēng)格的動畫角色造型作品。在實踐中，可用人物照片生成現(xiàn)代水墨人物畫風(fēng)格的人物圖像。

1相關(guān)工作

水墨人物畫風(fēng)格遷移包括兩方面：第一，水墨輪廓線條繪制，即采用多種筆刷模型， 輸出具有水墨風(fēng)格的輪廓線條， 像手繪寫生一樣描繪人物畫像;第二，紋理填充，即通過留白和筆觸來表現(xiàn)畫面的多重特征和層次感。目前已有一些關(guān)于輪廓提取以及紋理填充的優(yōu)秀工作值得學(xué)習(xí)和借鑒。主要有 3 個方面的工作：

1.1 線條畫生成方法

Song[2]等提出了一種基于成對數(shù)據(jù)訓(xùn)練的人臉草圖合成方法，并通過優(yōu)化全局素描塊選擇，解決人臉草圖合成中的噪點問題。Kaur[3]等提出了一種基于流的自動提取照片線條圖的方法，從圖像的局部特征中確定濾波器核的形狀與方向，以減少線條的斷裂并提高線條的連續(xù)性;通過邊緣切向流（ETF）構(gòu)建基于流的高斯差分（FDoG）濾波器，極大增強了線條的連續(xù)性。

1.2 圖像風(fēng)格遷移方法

Efros和Freeman [7]提出了一個對應(yīng)關(guān)系限制紋理合成過程的圖目標(biāo)圖像的圖像強度。Ashikhmin [8]集中轉(zhuǎn)移高頻紋理但保留比例目標(biāo)圖像。赫茲曼等[10]套用圖片類比將源圖像的樣式轉(zhuǎn)移到目標(biāo)圖像。然而，這些方法無法轉(zhuǎn)移藝術(shù)作品的語義風(fēng)格。針對Gatys[10]提出的傳統(tǒng)風(fēng)格遷移算法存在的兩個問題：迭代速度慢和不能實時處理，Johoson等[11]提出了快速風(fēng)格遷移算法，也稱基于生成模型迭代的風(fēng)格遷移算法。其方法用到兩個網(wǎng)絡(luò)：損失網(wǎng)絡(luò)（VGG）和圖像生成網(wǎng)絡(luò)，能夠達到快速實時的圖片風(fēng)格遷移。朱等實現(xiàn)了非成對image的轉(zhuǎn)換，引入了雙向雙向映射機制使得GAN更穩(wěn)定，并提出CycleGAN[4]。基于CycleGAN的體系結(jié)構(gòu)，DistanceGAN[5]強制執(zhí)行一個域中兩個樣本的距離的約束應(yīng)該保留在到另一個域的映射中。Bin[6]等通過建立周期一致性損失、對抗性損失、水洗損失等約束機制，提出了ChipGAN[6]，使得水墨風(fēng)格遷移更加接近真實畫作效果。本文也應(yīng)用了ChipGAN中的方法，采用約束機制來模擬水墨中的空白和水洗效果。

2本文方法概述

本文中所實現(xiàn)的工具主要以線條畫生成及紋理填充為核心。以真實人臉照片為例， 圖1展示了自動地將一幅真實的人臉照片圖像風(fēng)格化為一幅現(xiàn)代水墨人物畫風(fēng)格的繪畫作品，包括中間結(jié)果以及最終結(jié)果。該方法主要由2個部分組成：

（1） 線條畫生成?；贔DOG濾波，生成四個不同筆觸的輪廓圖像，并采用區(qū)域權(quán)重函數(shù)合并輪廓，得到最終的輪廓線條畫。

（2） 紋理合成。確定了線條畫的輪廓和風(fēng)格之后， 通過基于樣圖的像素映射方法進行紋理合成，實現(xiàn)對人物照片的水墨風(fēng)格化。

2.1線條畫生成

2.1.1 基于FDoG的邊緣提取

現(xiàn)代水墨人物畫在人物造型中，去除了復(fù)雜的細節(jié)，僅用方圓曲直來表達人物輪廓。缺乏輪廓或輪廓不連貫，都會影響水墨人物畫的視覺效果?；谝陨咸攸c，由照片生成水墨人物畫的過程中，首要解決的問題是如何生成光滑連續(xù)的輪廓圖像。本文通過研究，選用基于流的高斯差分（FDoG：Flow-based Difference of Gaussian）算法來提取圖像輪廓。FDoG算法由Kang等人于2007年提出，其核心思想是采用DoG濾波進行輪廓提取時，將圖像局部輪廓方向特征作為獲取輪廓子圖的依據(jù)。

2.1.2 約束增強的水墨筆畫輪廓生成

由于水墨人物畫承襲了中國水墨畫的筆觸，其線條作為造型的主要手段，具有粗細、輕重、節(jié)奏和韻律感。過于統(tǒng)一的線條難以表現(xiàn)其中的風(fēng)格，因此如何將提取到圖像輪廓風(fēng)格化是本文要解決的第二個問題。本文訓(xùn)練了一個多級邊緣檢測器以模擬不同類型的筆觸，通過制定線條筆觸約束來增強真實照片和生成圖像不同級別輪廓圖的擬合度。采用基于FDoG的輪廓檢測器M從輸入圖像中提取四個不同級別的輪廓圖像，以模擬四種不同類型的筆觸，如圖1中所示。然后將通過區(qū)域權(quán)重函數(shù)合并輪廓圖像，以獲取最終的輪廓圖像。通過應(yīng)用M，獲得真實照片[M（x）]和生成圖像[M（Gx）]的輪廓圖像。然后，[M（x）]作為基本依據(jù)并計算平衡交叉熵?fù)p失，以使G生成適當(dāng)?shù)墓P觸。

其中N是照片或偽造繪畫輪廓圖像中的像素總數(shù)，μ是平衡權(quán)重。[? = N-/ N]和[1-? = N+ / N]。[N-]和[N+]分別是[M（x）]中每個像素的非邊緣概率和邊緣概率。

2.2紋理合成

水墨人物畫中，除了以線條作為基本架構(gòu)，空白也具備重要的價值，同時墨色的濃淡干濕也對人物表現(xiàn)產(chǎn)生影響。如何實現(xiàn)復(fù)雜的水墨填充暈染效果是本文最后要解決的問題。因此，本文對指定區(qū)域，通過提取源圖片相應(yīng)區(qū)域的紋理，進行水墨風(fēng)格化處理，以及暈染效果的空白校正和顏色校正。本文采用高斯模糊運算對區(qū)域紋理進行腐蝕操作，實現(xiàn)紋理模擬與填充。

具體過程為，在線條畫生成過程中，已經(jīng)得到了人像分割區(qū)域。因此對于線條畫中區(qū)域T內(nèi)的每個像素[PT（x，y）]，其在真實照片中對應(yīng)的像素為[PI（x，y）]，從位于源風(fēng)格圖片中提取最佳像素[PS（x，y）]作為填充紋理元， 其應(yīng)滿足兩個約束條件：

（1） [PS（x，y）]的鄰域與[PI（x，y）]的鄰域平均顏色值差值小于5;

（2） [PSx，y]的輪廓相對位置與[PI（x，y）]的輪廓相對位置比例差值小于0.02。

本文通過定義能量函數(shù)來量化上兩個約束條件。第一步， 定義[Es（PS（x，y））]，來描述與[PI（x，y）]鄰域像素的顏色值差值總和， 并分別在[PS（x，y）]與[PI（x，y）]內(nèi)定義半徑為r的圓， [Ea（PS（x，y））]表示兩個圓內(nèi)像素的平均顏色值差值; 第二步， 定義[Ei（PS（x，y））]，來描述[PSx，y]的輪廓相對位置與[PI（x，y）]的輪廓相對位置比例差值：

3在角色造型中的應(yīng)用結(jié)果與分析

本文在實際的應(yīng)用中，針對動畫初學(xué)者對角色造型存在困難、關(guān)鍵幀繪制效率低、角色造型創(chuàng)意不新穎等問題，采用人物照片水墨風(fēng)格化的方法，降低動畫角色造型難度。本文提出了基于FDoG的約束增強輪廓提取算法和基于樣圖的紋理合成算法實現(xiàn)水墨風(fēng)格的角色面部造型。

本文選擇研究目的相似的2項研究成果進行對比。DistanceGAN方法生成的效果比較逼真，而且頭發(fā)部分的紋理效果較好，但筆觸不夠細膩，整體色彩偏亮;Gatys方法生成圖像的筆觸較粗，且輪廓不是很清晰。本文方法關(guān)注現(xiàn)代水墨人物畫的輪廓和色彩特點， 生成的圖像輪廓具有中國水墨畫線條的濃淡粗細特點，且能夠展現(xiàn)源圖片中的色彩風(fēng)格。

本文方法可以將人物照片生成現(xiàn)代水墨人物畫風(fēng)格圖像。在動畫人物造型中，面部造型占據(jù)重要的部分，也是較困難的工作。本文方法適用于水墨動畫人物的面部造型，具有通用性。然而， 也存在一定的局限，在一些特殊技法的繪畫風(fēng)格中，不能很好地表現(xiàn)效果。如擦、滲等技法的表現(xiàn)，還需進一步改進。另外，通過風(fēng)格遷移達到水墨動畫角色的整體造型輸出，是本文下一步要做的工作。

4結(jié)語

為了生成水墨風(fēng)格的角色造型圖，本文提出了基于FDoG的約束增強輪廓提取算法和基于樣圖的紋理合成算法實現(xiàn)水墨風(fēng)格的角色面部造型方法。該方法可用來降低初學(xué)者的繪畫難度，同時提高水墨動畫的生產(chǎn)效率。利用文中論述的輪廓提取合成、紋理合成等技術(shù)， 可以通過真實人物面部照片生成水墨人物角色造型圖。本文認(rèn)為該方法能通過風(fēng)格遷移技術(shù)對動畫角色設(shè)計提供一個便捷的方法，為動畫初學(xué)者提供一個實現(xiàn)創(chuàng)作靈感的平臺。同時， 在實現(xiàn)面部造型的基礎(chǔ)上，未來的工作將探索人物整體造型風(fēng)格遷移，及簡化的水墨風(fēng)格遷移在動畫角色造型中的應(yīng)用，從而實現(xiàn)卡通水墨人物造型的智能化。

參考文獻：

[1] 畢建勛. 水墨人物畫畫種備忘錄[J]. 國畫家，2002（1）：64-69.

[2] Song Y ，Bao L ， Yang Q ， et al. Real-Time Exemplar-Based Face Sketch Synthesis[C]// European Conference on Computer Vision. 2014.

[3 ]Kang H ， LEES ， CHUICK. Coherent Line Drawing[C]//International Symposium on Non-Photo realistic Animation and Rendering. New York， NY， USA：ACM， 2007：43-50.

[4] Jun-Yan Zhu， Taesung Park， Phillip Isola， and Alexei A Efros. 2017. Unpairedimage-to-image translation using cycle-consistent adversarial networks. arXivpreprint arXiv：1703.10593 （2017）.

[5] SagieBenaim and Lior Wolf. One-sided unsupervised domain mapping. InProc[J].Advances in Neural Information Processing Systems，2017：752–762.

[6] Bin He， Feng Gao， Daiqian Ma， Boxin Shi， and Ling-Yu Duan. 2018. ChipGAN： A Generative Adversarial Network for Chinese Ink Wash Painting Style Transfer. In Proceedings of the 26th ACM international conference on Multimedia （MM '18）[J].Association for Computing Machinery， New York， NY， USA， 1172–1180. DOI：https：//doi.org/10.1145/3240508.3240655.

[7] Zhang Haisong， Yin Xiaoqin， Yu Jinhui. Real-time rendering of 3D Chinese painting effects[J]. Journal of Computer-Aided Design & Computer Graphics， 2004， 16（11）： 1485-1489（in Chinese）

[8] Gooch B， Gooch A. Non-photorealistic rendering[M]. Wellesley： A K Peters Press， 2001

[9] Yu J H， Luo G M， Peng Q S. Image-based synthesis of Chinese landscape painting[J]. Journal of Computer Science and Technology， 2003， 18（1）： 22-28

[10] Gatys L A ， Ecker A S ， Bethge M . A Neural Algorithm of Artistic Style[J]. Journal of Vision， 2015.

[11]? Johnson J ， Alahi A ， Fei-Fei L . Perceptual Losses for Real-Time Style Transfer and Super-Resolution[C]// European Conference on Computer Vision. Springer， Cham， 2016.

【通聯(lián)編輯：李雅琪】