基于深度學(xué)習(xí)的傳統(tǒng)剪紙圖像風(fēng)格遷移算法研究

王琪 魏縱橫 崔曼曼

關(guān)鍵詞：圖像風(fēng)格遷移；剪紙；紋樣特異性；卷積神經(jīng)網(wǎng)絡(luò)；損失函數(shù)

0 引言

“一帶一路”的建設(shè)為中國文化傳播開辟了新的道路，民間剪紙藝術(shù)品遠(yuǎn)銷海外，廣受國外友人青睞。盡管剪紙的市場價值不斷提高，但其藝術(shù)價值卻沒有得到充分的發(fā)揮。剪紙獨(dú)特多樣的紋樣形式及其蘊(yùn)含的豐富地域文化特色寓意，在單調(diào)而重復(fù)的模板化制造中逐漸流失。近年來，隨著西方藝術(shù)風(fēng)格遷移技術(shù)的日漸成熟，諸多具有中國特色的藝術(shù)風(fēng)格引起了國內(nèi)外學(xué)者的廣泛關(guān)注?；诰矸e神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移技術(shù)最早在2015年由Gatys等人[1]提出，該技術(shù)構(gòu)造了Gram矩陣用于衡量各特征間的相關(guān)性，并利用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)VGG19分別提取圖像的內(nèi)容特征及風(fēng)格特征，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的信息提取能力，在實際應(yīng)用中（比如人臉識別領(lǐng)域[2]） 有著卓越的表現(xiàn)。在上述技術(shù)的基礎(chǔ)上，任建軍等人[5]利用風(fēng)格遷移技術(shù)將青花瓷紋飾與齊白石畫作進(jìn)行巧妙結(jié)合，為青花瓷的紋飾設(shè)計帶來更多啟發(fā)。侯宇康等人[6]將形狀文法理論與Gatys等人[1]提出的方法進(jìn)行結(jié)合，提取苗族傳統(tǒng)蠟染圖案的底層特征，再通過遷移生成新的圖案設(shè)計。江敏等人[7]通過調(diào)整內(nèi)容與風(fēng)格的比率對圖像特征進(jìn)行分離及重組，實現(xiàn)了油畫風(fēng)格遷移。任健[8]針對二維及三維文物上的書法作品提出了基于生成對抗網(wǎng)絡(luò)的風(fēng)格遷移算法，以協(xié)助漢字書法作品的修復(fù)工作。童茵[9]在神經(jīng)風(fēng)格遷移技術(shù)的基礎(chǔ)上引入關(guān)于圖畫構(gòu)圖區(qū)域的識別方法，使中國畫皴法的紋理和筆觸獲得更大程度的保留。然而剪紙作為大眾觸手可及的一門傳統(tǒng)手藝，卻鮮少與風(fēng)格遷移技術(shù)相結(jié)合，姚超等人[10]將智能圖像分割算法應(yīng)用于人物剪紙圖像中，其成像中的人物輪廓清晰，具備了剪紙的線條特點(diǎn)，但未能呈現(xiàn)剪紙中最為關(guān)鍵而細(xì)致的紋樣特征，較難刻畫非人物剪紙的藝術(shù)特征。

中國剪紙是一種使用剪刀或雕刻刀在紙張、布料、植物葉片、金銀箔等厚度均勻的載體上進(jìn)行剪、刻、撕、黏的鏤空藝術(shù)，通常具有嚴(yán)格的線性紋理結(jié)構(gòu)和鮮明的獨(dú)立性紋樣[11]，質(zhì)樸和生動地體現(xiàn)中國各個時期的民族地域生活風(fēng)貌。剪紙藝術(shù)嚴(yán)格的線性紋理結(jié)構(gòu)和鮮明的紋樣特異性給剪紙圖像風(fēng)格遷移帶來了挑戰(zhàn)。鑒于上述情況，本文擬探索基于卷積神經(jīng)網(wǎng)絡(luò)的剪紙圖像風(fēng)格遷移算法，實現(xiàn)中國剪紙與傳統(tǒng)水墨畫作的結(jié)合，創(chuàng)建出具有高感知質(zhì)量的剪紙藝術(shù)風(fēng)格遷移圖像，為傳統(tǒng)文化注入現(xiàn)代科技的活力，助力中華傳統(tǒng)文化的傳承與發(fā)展。

1 算法設(shè)計

1.1 算法整體設(shè)計

在西方的藝術(shù)風(fēng)格中，其紋理特征可以通過改變逐個像素點(diǎn)進(jìn)行表現(xiàn)，而對于剪紙藝術(shù)來說，其紋理特征是線性的，且色彩單一，具有紋樣特異性。此外，剪紙藝術(shù)講究極富秩序的韻律美，注重邊緣信息，輕微的扭曲就會影響整體的呈現(xiàn)。因此，相比其他藝術(shù)風(fēng)格遷移，剪紙風(fēng)格遷移更具挑戰(zhàn)性。

針對剪紙風(fēng)格的特點(diǎn)與遷移難點(diǎn)，本文提出一種基于預(yù)訓(xùn)練VGG19的剪紙風(fēng)格遷移算法。為了實現(xiàn)快速準(zhǔn)確的風(fēng)格遷移，本文主要做出以下四個方面的改進(jìn)：目標(biāo)圖像的選擇優(yōu)化、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、風(fēng)格遷移損失函數(shù)的設(shè)計以及最小化損失函數(shù)的優(yōu)化算法設(shè)計。該算法共需兩張圖像作為輸入，一張圖像作為剪紙風(fēng)格圖像，另一張圖像作為內(nèi)容圖像兼生成圖像。算法流程圖及其偽代碼分別如圖1和表1所示。

1.2 目標(biāo)圖像的選擇優(yōu)化

Gatys等人[1]提出的風(fēng)格遷移方法通常選取隨機(jī)初始化的白噪聲圖為迭代對象。其局限性在于從白噪聲圖開始的迭代過程往往需要消耗大量的計算時間且成像效果不佳。針對此問題，本文用原始的內(nèi)容圖像代替上述白噪聲圖，即復(fù)制一張內(nèi)容圖像作為生成圖像。此時，內(nèi)容損失將從零開始增加，且在迭代一定次數(shù)后，風(fēng)格損失和內(nèi)容損失將同步下降。上述改進(jìn)不僅可以確保生成圖像保留更多的全局內(nèi)容信息，以獲得更優(yōu)的人眼視覺感知效果和審美體驗，還能促進(jìn)剪紙風(fēng)格的快速融合。

1.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方面，本文以VGG19為基礎(chǔ)設(shè)計了一個小型網(wǎng)絡(luò)以減少參數(shù)計算的數(shù)量，并實現(xiàn)風(fēng)格特征和內(nèi)容特征的快速提取，該網(wǎng)絡(luò)僅保留了最后一個用于提取特征圖的卷積層之前的網(wǎng)絡(luò)。

一般來說，越深的卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)會更好，但同時也需要付出一定的代價，比如深度卷積神經(jīng)網(wǎng)絡(luò)中參數(shù)過多帶來的過擬合及梯度爆炸等現(xiàn)象。然而在風(fēng)格遷移任務(wù)中，卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)值通常不會發(fā)現(xiàn)改變，改變的只是生成圖像。由于生成圖像反復(fù)多次地被迭代輸入網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)規(guī)模較大時，通過網(wǎng)絡(luò)后輸出的圖像傾向于呈現(xiàn)更細(xì)致的內(nèi)容信息，以至于無法較好地融合風(fēng)格特征。為了能夠更好地還原剪紙紋樣，同時兼顧算法計算復(fù)雜度，本文通過數(shù)值驗證的方法，最終確立了一個最佳的特征圖選層方案，即選取conv1_1、conv2_1、conv3_2、conv4_2層的特征圖進(jìn)行風(fēng)格損失的計算，選取conv3_1層的特征圖進(jìn)行內(nèi)容損失的計算。

1.4 風(fēng)格遷移損失函數(shù)設(shè)計

在傳統(tǒng)的風(fēng)格遷移損失函數(shù)計算中，常用均方誤差來描述特征圖之間的差異。雖然均方誤差函數(shù)處處可導(dǎo)，但其對離群點(diǎn)比較敏感，即當(dāng)真實值和預(yù)測值的差異較大時，計算得到的損失也會偏大。針對這一點(diǎn)，本文采用均絕對誤差函數(shù)定義風(fēng)格遷移過程中的內(nèi)容損失函數(shù)Llcontent 和風(fēng)格損失函數(shù)Llstyle，以減少圖像噪聲的影響。內(nèi)容損失函數(shù)Llcontent 和風(fēng)格損失函數(shù)Llstyle的具體表達(dá)式如下：

其中Cl ij 表示內(nèi)容圖像在第l 個卷積層的第i 個特征圖上的第j 個像素點(diǎn)，Ol ij 表示生成圖像在第l 個卷積層的第i 個特征圖上的第j 個像素點(diǎn)，F(xiàn) 表示該層被拉平為二維矩陣的一批特征圖，矩陣的每一行就是一個特征圖，F(xiàn) li，m 表示風(fēng)格圖像在第l 個卷積層的第i 個特征圖上的第m 個像素點(diǎn)，F(xiàn)'li，m 表示F li，m 的轉(zhuǎn)置，Nl 表示第l 個卷積層的特征圖個數(shù)，Sl 表示第l 層單個特征圖的大小，Graml i，j 和Gram'li，j 分別對應(yīng)風(fēng)格圖像和生成圖像的Gram矩陣上的每一個像素點(diǎn)。

值得注意的是，考慮到剪紙風(fēng)格對邊緣信息的注重，本文在計算內(nèi)容損失和風(fēng)格損失之前，先引入全變分損失以提高圖像的邊緣平滑性。全變分損失定義如下：

其中α、β、γ 分別為三種損失對應(yīng)的權(quán)重因子，通過設(shè)置不同的權(quán)重值，表達(dá)對三種損失不同的偏好。

1.5 自適應(yīng)ADAM 優(yōu)化算法

為了獲得更好的風(fēng)格遷移效果，通常要求上述定義的損失函數(shù)盡可能小。而如何實現(xiàn)損失函數(shù)最小化是算法設(shè)計中的關(guān)鍵一環(huán)。L-BFGS算法是傳統(tǒng)風(fēng)格遷移過程中常用的損失函數(shù)最小化算法。該算法雖然具有較快的收斂速度，但當(dāng)優(yōu)化目標(biāo)較大且迭代次數(shù)較多時，梯度爆炸和梯度消失的現(xiàn)象便會頻繁發(fā)生。為了解決上述問題，本文提出一種自適應(yīng)的Adam算法，該算法根據(jù)計算得到的梯度一階矩和梯度二階矩實現(xiàn)對學(xué)習(xí)率的自適應(yīng)調(diào)整，在保證算法足夠穩(wěn)定的同時，避免因下降梯度擺幅過大造成的梯度爆炸和梯度消失問題。算法的實現(xiàn)流程如表2所示。

2 實驗與結(jié)果分析

2.1 開發(fā)運(yùn)行環(huán)境

本文采用的實驗平臺配置為Intel Core i5 CPU，16G RAM，NVIDIA GeForce GTX1050Ti GPU，4G 顯存，系統(tǒng)為Win10家庭版，CUDA版本為11.1。實驗程序在Pycharm集成開發(fā)環(huán)境中編寫并運(yùn)行，程序迭代次數(shù)可調(diào)整，一般設(shè)定為2000 次，運(yùn)行時間為3～4分鐘。

2.2 選圖標(biāo)準(zhǔn)

實驗選取的剪紙風(fēng)格圖像與內(nèi)容圖像均來源于互聯(lián)網(wǎng)開源數(shù)據(jù)，在風(fēng)格圖像的選取方面，要求所選圖像既使用了紋樣繁復(fù)且沒有具體內(nèi)容的窗花型剪紙元素，也使用了留白較多而內(nèi)容為魚、蝦或虎的傳統(tǒng)動物剪紙圖像；在內(nèi)容圖像的選取方面，盡量選取與風(fēng)格圖像主題相似的圖像作為內(nèi)容圖像。在進(jìn)行風(fēng)格遷移之前，首先采用Matlab軟件對輸入圖像進(jìn)行統(tǒng)一的邊緣裁剪或補(bǔ)全，以確保輸入圖像為正方形，簡化網(wǎng)絡(luò)計算量。

2.3 仿真測試和結(jié)果分析

為了便于說明剪紙藝術(shù)風(fēng)格遷移與西方藝術(shù)風(fēng)格遷移的不同之處，作為對照試驗，本文先采用傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移算法對剪紙圖像和西方藝術(shù)風(fēng)格圖像進(jìn)行處理。之后，按照本文的算法設(shè)計流程，依次驗證各步驟的改進(jìn)效果。

1） 傳統(tǒng)風(fēng)格遷移算法

圖2從左至右依次展示了傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移算法實現(xiàn)的西方藝術(shù)風(fēng)格遷移圖像（a列與b列）與剪紙藝術(shù)風(fēng)格遷移圖像（c、d和e列）。注意，所有圖像在風(fēng)格遷移過程中使用的參數(shù)均相同，運(yùn)算所需時間為3～4分鐘。從圖2可以明顯看出，a、b兩列的生成圖像均能清晰地觀察到內(nèi)容圖像中的人物輪廓，而c、d、e三列的生成圖像卻幾乎看不到任何關(guān)于內(nèi)容圖像的信息，只有十分紊亂的紋理碎片。a、b兩列的風(fēng)格圖像中的風(fēng)格特征最終分別以彩色和藏藍(lán)色的形式反映在生成圖像中，雖然沒有風(fēng)格圖像中類似曲線、條紋、棱角等特征，但仍然能看出內(nèi)容圖像的語義信息。c到e列的生成圖像之所以看不到內(nèi)容圖像的信息，是因為風(fēng)格圖像在色彩上是單色的，無法通過一種顏色去反映風(fēng)格特征，而且邊緣信息又很容易在深度卷積計算中被扭曲，因此很難通過減少像素點(diǎn)之間的誤差來融合圖像的風(fēng)格。從這個角度來看，傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移算法并不適用于剪紙藝術(shù)風(fēng)格的遷移。

2） 目標(biāo)圖像的選擇優(yōu)化針對上述剪紙風(fēng)格生成圖像不具有內(nèi)容信息且紋理紊亂的問題，本文采用內(nèi)容圖像作為優(yōu)化圖像，以盡可能多地保留內(nèi)容圖像的全局信息。從圖3可以看出，剪紙風(fēng)格遷移生成圖像均有大幅改善，其內(nèi)容信息得到有效呈現(xiàn)且生成圖像顏色也與風(fēng)格圖像保持一致。盡管如此，從整體上看，生成圖像的背景部分仍有許多冗余信息，即c列中老虎的周圍本該留白的地方卻充滿了灰色的暈染，類似地，d列中豬周圍原本空白的背景中布滿了紅色的暈染，e列中魚和蝦周圍則泛著粉紅色的暈染。這是因為剪紙的風(fēng)格特征較為分裂，缺乏顏色過渡，當(dāng)?shù)螖?shù)不足時，留白處的紊亂紋理將不可避免。

3） 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

為了減少參數(shù)的計算量并提高風(fēng)格特征與內(nèi)容特征的整體融合性，本文采用了基于預(yù)訓(xùn)練VGG19的小型網(wǎng)絡(luò)。從仿真時間上看，算法改進(jìn)的運(yùn)算時間為3～4分鐘，少于傳統(tǒng)算法所用時間。從圖4中可以看出，c列中老虎邊緣的灰色暈染變少了許多，e列中原本泛著粉紅色的區(qū)域變淺且趨于白色，但d列中卻多了大量橙黃色的背景。這是因為優(yōu)化后的神經(jīng)網(wǎng)絡(luò)雖然可以加快圖像的風(fēng)格遷移，但深層卷積層的減少會使圖像更側(cè)重風(fēng)格特征的整體體現(xiàn)。相比a、e列的內(nèi)容圖像，d列內(nèi)容圖像的背景存在著墨水的點(diǎn)綴，這些點(diǎn)綴會參與風(fēng)格損失的計算，在迭代次數(shù)受限的情況下成了不利因素。

為了提高圖像的平滑性，本文引入全變分損失，并提出一種基于絕對值誤差的新?lián)p失函數(shù)。從圖5中可以看到，c列中老虎的整體變化不大，但局部細(xì)節(jié)的線條更為流暢。d列中背景的多余紋理得到部分改善，盡管留白處仍殘留著部分紋理碎片，但豬身上有了曲形剪紙紋樣的呈現(xiàn)。e列中魚和蝦的四周出現(xiàn)了氣泡樣紋理，魚和蝦身上的鱗片紋樣變得更為突出。同時，在試圖通過增加迭代次數(shù)來進(jìn)行進(jìn)一步改善時，三者均出現(xiàn)了梯度爆炸和梯度消失的現(xiàn)象。

5） 自適應(yīng)的Adam優(yōu)化算法

為了解決上述梯度爆炸及梯度消失現(xiàn)象，本文提出采用自適應(yīng)Adam優(yōu)化算法，替代傳統(tǒng)方法中的LBFGS算法。結(jié)果如圖6所示，整體成像效果發(fā)生了較大的改進(jìn)，這是梯度得到持續(xù)平穩(wěn)下降后的結(jié)果，留白處的紋理均得到了較大的改善，同時能明顯觀察到鋸齒紋、魚鱗紋、漩渦紋等。

3 結(jié)束語

本文提出了一種基于預(yù)訓(xùn)練VGG19的剪紙風(fēng)格遷移算法，通過對不同動物的剪紙紋樣的研究，探索了剪紙風(fēng)格遷移與其他藝術(shù)風(fēng)格遷移的不同。本文從目標(biāo)圖像的選擇優(yōu)化、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、風(fēng)格遷移損失函數(shù)設(shè)計以及最小化損失函數(shù)的優(yōu)化算法設(shè)計四個方面做出改進(jìn)，最終圖像能夠較好地呈現(xiàn)出被遷移圖像的整體信息及剪紙的基本特點(diǎn)。鑒于最終成像尚未能夠理想還原剪紙的多種紋樣，在未來可以考慮將圖像中的動物按照不同軀體部位進(jìn)行智能分割，再按照剪紙圖像中相對應(yīng)的部位進(jìn)行風(fēng)格遷移。