基于Gram矩陣和卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移算法

余志凡，李 昊，李登實(shí)，胡 曦

（江漢大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，湖北 武漢 430056）

0 引言

圖像風(fēng)格遷移（image style transfer）是圖像處理和重建領(lǐng)域中的經(jīng)典問(wèn)題之一，其通過(guò)輸入兩張圖像A和B，基于A的內(nèi)容和B的風(fēng)格來(lái)重建一張具有B風(fēng)格的新圖像。這在圖像及視頻的后期處理中有著很廣泛的應(yīng)用，如為照片添加藝術(shù)濾鏡、對(duì)人像做遷移美容等；同時(shí)，優(yōu)秀的圖像風(fēng)格遷移算法還可用于物體識(shí)別和目標(biāo)檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)原理的探索。Geirhos等［1］通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行了具有大象紋理的貓、具有時(shí)鐘紋理的汽車和具有瓶子紋理的熊的識(shí)別實(shí)驗(yàn)，驗(yàn)證了“用于物體識(shí)別和目標(biāo)檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)主要依賴于紋理，而不是物體形狀”的假設(shè)。

傳統(tǒng)的圖像風(fēng)格遷移算法大都通過(guò)非參數(shù)的紋理合成方式來(lái)實(shí)現(xiàn)。Heeger等［2］提出通過(guò)融合Laplace金字塔和Steerable金字塔的方法盡可能多地捕捉圖像的空間特征，為后來(lái)卷積神經(jīng)網(wǎng)絡(luò)使用眾多不同的濾波器來(lái)捕捉圖像空間頻率特征方法的提出帶來(lái)了啟發(fā)。Shannon［3］使用廣義馬爾可夫鏈實(shí)現(xiàn)文本預(yù)測(cè)。而Efros等［4］則受Shannon預(yù)測(cè)思想的啟發(fā)，在其基礎(chǔ)之上提出了基于模板匹配（template matching）的方法：搜索鄰域與待填充像素的鄰域最接近的N個(gè)匹配點(diǎn)，以下采樣的方式從N個(gè)點(diǎn)中隨機(jī)挑選一個(gè)進(jìn)行填充，將所有相似的鄰域構(gòu)成了一個(gè)無(wú)參數(shù)的概率分布函數(shù)（probability distribution function）?；谀０迤ヅ涞姆椒稍诰S持感知特性不變的情況下生成較高質(zhì)量的紋理，若維持感知特性不足則不能為紋理的生成定義一個(gè)確切的模型，該模型較大程度地限制了圖像風(fēng)格遷移技術(shù)的發(fā)展。

卷積神經(jīng)網(wǎng)絡(luò)的提出、快速發(fā)展及應(yīng)用吸引了許多學(xué)者的關(guān)注，而其在圖像特征提取上的卓越表現(xiàn)使得將深度學(xué)習(xí)的理論和方法應(yīng)用到圖像風(fēng)格遷移領(lǐng)域成為了當(dāng)前研究的熱點(diǎn)。Gatys等［5-7］提出Neural Style的方法，通過(guò)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來(lái)模擬人類視覺(jué)的處理方式，使計(jì)算機(jī)學(xué)習(xí)藝術(shù)風(fēng)格進(jìn)而生成具有目標(biāo)風(fēng)格的圖像。Li等［8］提出將馬爾可夫隨機(jī)場(chǎng)（Markov random field，MRF）模型與預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，用風(fēng)格圖像中最相似的區(qū)域去匹配輸入，減少了不準(zhǔn)確的特征遷移。Li等［9］則更進(jìn)一步地添加了白遷移和顏色遷移（whitening transform and coloring transform，WCT），使風(fēng)格遷移的色彩表示獲得了極大的進(jìn)步。至此，基于深度學(xué)習(xí)的圖像風(fēng)格遷移和紋理重建趨于完善，但仍存在結(jié)果圖像表現(xiàn)不自然等眾多待改善問(wèn)題。

針對(duì)這些問(wèn)題，本文首先討論了卷積神經(jīng)網(wǎng)絡(luò)不同層提取圖像特征的特點(diǎn)，再在Gatys等的Neural Style的方法基礎(chǔ)上提出一種改進(jìn)的風(fēng)格遷移算法，并對(duì)樣本集做了多種風(fēng)格的遷移重建實(shí)驗(yàn)，最后設(shè)計(jì)了消融實(shí)驗(yàn)來(lái)對(duì)比驗(yàn)證本文算法設(shè)計(jì)策略的有效性。

1 卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征的特點(diǎn)

卷積神經(jīng)網(wǎng)絡(luò)是一種仿造生物視覺(jué)機(jī)制構(gòu)建的、具有參數(shù)共享和層間稀疏連接特點(diǎn)的、包含卷積計(jì)算的前饋神經(jīng)網(wǎng)絡(luò)（feedforward neural networks）。能夠以較小的計(jì)算量對(duì)格點(diǎn)化特征，如像素和音頻進(jìn)行學(xué)習(xí)。Lecun等［10］設(shè)計(jì)的LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)首先在圖像特征提取及分類任務(wù)上取得成功。之后，不斷有學(xué)者設(shè)計(jì)出性能更優(yōu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如Simonyan等［11］提出的視覺(jué)幾何組網(wǎng)絡(luò)（visual geometry group network，VGG）結(jié)構(gòu)。VGG網(wǎng)絡(luò)結(jié)構(gòu)在加深網(wǎng)絡(luò)層數(shù)的同時(shí)用小卷積核代替大卷積核，不僅大幅減少了卷積操作帶來(lái)的計(jì)算量，而且提升了模型提取圖像特征的精度。同時(shí)，其還有著對(duì)抗性和魯棒性的特點(diǎn)，這便是其成為圖像風(fēng)格遷移問(wèn)題中首選的特征提取網(wǎng)絡(luò)。

如圖1所示，大量的實(shí)驗(yàn)證明，卷積神經(jīng)網(wǎng)絡(luò)不同層提取圖像特征的特點(diǎn)是不相同的：底層捕捉圖像紋理，高層則保留圖像內(nèi)容。

圖1 CNN中的圖像表示Fig.1 Image representation in convolution neural network

2 改進(jìn)的圖像風(fēng)格遷移算法

2.1 擴(kuò)張卷積

擴(kuò)張卷積（dilated convolutions）是在標(biāo)準(zhǔn)的卷積濾波器（filter）中加入空洞，可在不損失信息且不引入額外參數(shù)的情況下，擴(kuò)大卷積運(yùn)算的感受野，讓每個(gè)卷積輸出都包含較大范圍的信息。在圖像風(fēng)格遷移、邊界感知、骨架標(biāo)記等需要全局信息依賴的各類問(wèn)題中，均可獲得比傳統(tǒng)卷積更好的效果。若在大小為m×m的卷積核的兩元素間分別插入r個(gè)空洞，則卷積核的有效大小即感受野變?yōu)?m+4r)× (m+4r)。

Yu等［12］提出當(dāng)A為m=3，r=0的擴(kuò)張卷積，其感受野和標(biāo)準(zhǔn)的3× 3卷積一樣；B為m=3，r=1的擴(kuò)張卷積，其感受野增大到了7× 7；C則為m=3，r=3的擴(kuò)張卷積，其感受野為15×15，如圖2所示，圖2中藍(lán)色方格為插入卷積濾波器中的空洞。

圖2 空洞卷積示意圖Fig.2 Diagram of dilated convolutions

2.2 損失函數(shù)

為生成效果更好的風(fēng)格遷移圖像，本文分別定義了兩個(gè)函數(shù)：內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)。將一張隨機(jī)生成的白噪聲圖像作為目標(biāo)圖像的初始值，記為x→，輸入的內(nèi)容圖像記為，風(fēng)格圖像記為。Pl和Fl分別表示和在第l個(gè)卷積層中的內(nèi)容表示或特征矩陣。當(dāng)x→的Fl和的Pl非常接近時(shí)，即認(rèn)為和在內(nèi)容上比較接近。故定義的目標(biāo)圖像的內(nèi)容損失函數(shù)可用（1）式表示，其中，和分別是和經(jīng)過(guò)第l個(gè)卷積層時(shí)第i個(gè)過(guò)濾器在位置j上的激活值。

本文將圖像風(fēng)格定義為紋理。故基于Gram矩陣定義的圖像風(fēng)格函數(shù)可用（2）式表示，其中，和分別表示圖像經(jīng)過(guò)第l個(gè)卷積層時(shí)第i個(gè)過(guò)濾器和第j個(gè)過(guò)濾器的激活值，兩者做內(nèi)積即是不同過(guò)濾器提取出的特征間的相關(guān)性。

第l層及模型整體的風(fēng)格損失函數(shù)分別可用（3）式和（4）式表示，其中，GL是生成圖像的Gram矩陣，AL是a→的Gram矩陣，wl是每一層風(fēng)格損失的權(quán)重，將其與每一層的風(fēng)格損失的值相乘后再進(jìn)行求和即可得出模型整體的風(fēng)格損失。

（5）式表示總的風(fēng)格遷移損失，包含內(nèi)容損失和風(fēng)格損失兩部分，其中，α和β分別為圖像風(fēng)格遷移算法中內(nèi)容損失和風(fēng)格損失的權(quán)重。

2.3 模型結(jié)構(gòu)

圖3中x→為目標(biāo)圖像的初始值，a→為輸入的風(fēng)格圖像，p→為輸入的內(nèi)容圖像，使用由5個(gè)空洞卷積層構(gòu)成的神經(jīng)網(wǎng)絡(luò)分別對(duì)a→和p→做特征提取，獲得的特征圖分別記作SPs（style representations）和CPs（content representations）。保留所有空洞卷積層獲得的SPs及第4個(gè)空洞卷積層獲得的CPs，以保證獲得豐富風(fēng)格表現(xiàn)的同時(shí)不受內(nèi)容細(xì)節(jié)的干擾。

圖3 改進(jìn)后的圖像風(fēng)格遷移算法Fig.3 Improved image style transfer algorithm

3 實(shí)驗(yàn)仿真與分析

3.1 圖像集與實(shí)驗(yàn)環(huán)境

圖像集由9張內(nèi)容圖像和4張風(fēng)格圖像（見(jiàn)圖4）組成。風(fēng)格圖像的大小均為1 920× 1 080。模型構(gòu)建及算法設(shè)計(jì)基于開(kāi)源深度學(xué)習(xí)框架TensorFlow實(shí)現(xiàn)，開(kāi)展的實(shí)驗(yàn)軟硬件環(huán)境如表1所示。

圖4 4張風(fēng)格圖像Fig.4 Four style images

表1 實(shí)驗(yàn)環(huán)境的配置參數(shù)Tab.1 Configuration parameters of experimental environment

3.2 風(fēng)格遷移實(shí)驗(yàn)

對(duì)9張內(nèi)容圖像依次做了4種風(fēng)格（Starry Night：A；Roman Holiday：B；Modern Times：C；Evening City：D）的遷移實(shí)驗(yàn)，部分實(shí)驗(yàn)結(jié)果如圖5所示，訓(xùn)練及平均重建時(shí)間如表2所示。

圖5 實(shí)驗(yàn)結(jié)果Fig.5 Experimental results

表2 4種風(fēng)格的訓(xùn)練時(shí)間和平均重建時(shí)間Tab.2 Training time and average reconstruction time of four styles

3.3 消融實(shí)驗(yàn)

為驗(yàn)證引入擴(kuò)張卷積的策略對(duì)模型性能的影響，本文設(shè)計(jì)了一個(gè)消融實(shí)驗(yàn)，將本文所提出模型的所有卷積操作更換為3× 3的普通卷積核，在相同的實(shí)驗(yàn)環(huán)境下做風(fēng)格遷移實(shí)驗(yàn)，對(duì)比其結(jié)果。風(fēng)格圖像選用Starry Night和Roman Holiday。實(shí)驗(yàn)結(jié)果如圖6所示：左邊為使用擴(kuò)張卷積做圖像特征提取后遷移重建的效果，右邊為使用標(biāo)準(zhǔn)卷積生成的結(jié)果。顯然，擴(kuò)張卷積的引入，在不增加參數(shù)的情況下，有效解決了風(fēng)格遷移后圖像表現(xiàn)不自然的問(wèn)題，因?yàn)閿U(kuò)張卷積相對(duì)于傳統(tǒng)卷積操作而言，捕捉到的細(xì)節(jié)特征會(huì)較為局部化，所以實(shí)驗(yàn)合成的紋理會(huì)表現(xiàn)得更加平滑、自然。

4 結(jié)語(yǔ)

針對(duì)傳統(tǒng)算法風(fēng)格遷移后圖像表現(xiàn)不自然的問(wèn)題，本文設(shè)計(jì)了一種改進(jìn)的基于Gram矩陣和卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法，使用擴(kuò)張卷積核代替普通卷積核，在不引入新的參數(shù)的前提下增大圖像特征提取的感受野，進(jìn)而捕獲到更完整的內(nèi)容輪廓。本文設(shè)計(jì)的多組不同風(fēng)格的遷移實(shí)驗(yàn)和消融實(shí)驗(yàn)分別說(shuō)明了改進(jìn)風(fēng)格遷移算法的有效性和設(shè)計(jì)策略的正確性，有效改善了重建圖像的視覺(jué)表現(xiàn)。將殘差［13］、密集連接［14］、生成式對(duì)抗［15］等算法引入圖像風(fēng)格遷移也是團(tuán)隊(duì)關(guān)注的問(wèn)題。

致謝：謹(jǐn)在此對(duì)為工作開(kāi)展提供實(shí)驗(yàn)環(huán)境的大連理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院孫媛媛教授致以由衷的感謝！