基于改進(jìn)感知損失函數(shù)的圖像快速風(fēng)格遷移

季新宇 朱留存 張震 柳成 羅俊琦

（1.揚(yáng)州大學(xué)信息工程學(xué)院 江蘇省揚(yáng)州市 225127 2.北部灣大學(xué)先端科學(xué)技術(shù)研究院 廣西壯族自治區(qū)欽州市 535011）

圖像藝術(shù)風(fēng)格化是指利用計(jì)算機(jī)模擬某種藝術(shù)風(fēng)格繪制素描、水彩以及漫畫等藝術(shù)風(fēng)格[1]，是近年來非真實(shí)感繪制領(lǐng)域的研究熱點(diǎn)之一[2]，在海量圖像數(shù)據(jù)下，人工對(duì)圖像進(jìn)行藝術(shù)化加工已是存在成本高昂、效率較低的問題，且畫圖質(zhì)量受個(gè)人技能影響較大，再已無法滿足任務(wù)需要，因此運(yùn)用深度學(xué)習(xí)技術(shù)來實(shí)現(xiàn)圖像藝術(shù)風(fēng)格化具有重要意義，已有學(xué)者提出了一些圖像藝術(shù)風(fēng)格化算法，如Gatys 等[3]首次運(yùn)用深度學(xué)習(xí)來實(shí)現(xiàn)圖像的藝術(shù)風(fēng)格轉(zhuǎn)換，通過卷積神經(jīng)網(wǎng)絡(luò)[4-5-6]中間層輸出特征映射的統(tǒng)計(jì)特性，提取并量化圖像內(nèi)容和風(fēng)格特征，該算法實(shí)驗(yàn)效果良好,但其又有不足，不足主要表現(xiàn)為以下兩個(gè)方面，一方面是迭代速度慢，需要在多輪迭代計(jì)算中逐步對(duì)生成圖像施加紋理，以完成對(duì)圖像的渲染，這個(gè)過程需要較長(zhǎng)的處理時(shí)間。另一方面則是對(duì)于某些特定風(fēng)格，風(fēng)格化處理后效果往往不盡如人意，例如圖像的漫畫化效果較差。

針對(duì)上述問題，Johnson Justin 等[7]提出了基于生成模型迭代的風(fēng)格遷移算法。該算法用感知損失函數(shù)訓(xùn)練前饋網(wǎng)絡(luò)，使用在Imagenet 上訓(xùn)練好的VGGNet 簡(jiǎn)化損失函數(shù)計(jì)算過程，直接生成風(fēng)格化圖像，其效率得到較大的提升。同時(shí)，由于該算法把逐像素求差損失函數(shù)改進(jìn)為感知損失函數(shù)，在圖像超分辨率重建方面也有較好的效果[8-9]。盡管該算法在圖片的生成速率上有良好表現(xiàn)，但仍存在以下問題：生成的風(fēng)格化的圖像背景部分存在較多的紋理傳輸，影響圖像的質(zhì)量與藝術(shù)化效果；算法網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，在進(jìn)行圖像風(fēng)格化的學(xué)習(xí)過程中，計(jì)算復(fù)雜度較高，限制了算法的處理速度。

綜合來看，當(dāng)前圖片風(fēng)格化遷移算法仍然普遍存在處理效果有所欠缺和處理速度有限的缺點(diǎn)。本文結(jié)合引入指數(shù)線性單元ELU的殘差網(wǎng)絡(luò)ResNet 和雙線性插值加卷積conv 的尺寸重建方法，提出一種能夠兼具圖像內(nèi)容特征和風(fēng)格特征的圖像風(fēng)格化算法，使得在圖像整體表現(xiàn)和迭代速度上有更佳的表現(xiàn)。

1 基于改進(jìn)感知損失函數(shù)的快速圖像風(fēng)格遷移

VGG-Net 在 Gatys 等人算法中的用于特征提取以及損失函數(shù)的計(jì)算，Justin 等人算法中的感知損失網(wǎng)絡(luò)，本文算法也將其用作感知損失函數(shù)。本文主要在Justin 等人算法的圖像轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行一定的改進(jìn)：將原圖像轉(zhuǎn)換網(wǎng)絡(luò)的深度殘差網(wǎng)絡(luò)ResNet 替換為引入指數(shù)線性單元ELU 的殘差網(wǎng)絡(luò) ResNet 和用改進(jìn)雙線性插值加卷積的形式替換原轉(zhuǎn)換網(wǎng)絡(luò)的圖像生成模塊的反卷積層。

1.1 VGG網(wǎng)絡(luò)

VGG-Net 是由Simonyan 等人[10]2014年在中提出的，在當(dāng)年的LSVRC 競(jìng)賽中獲得圖像分類任務(wù)的第二名。Simonyan 在他的論文中將這種網(wǎng)絡(luò)模型稱為VGG,VGG 網(wǎng)絡(luò)一般用于分類問題，VGG網(wǎng)絡(luò)被分為VGG16 和VGG19,分類的依據(jù)是結(jié)構(gòu)網(wǎng)絡(luò)深度有16 層和19 層的區(qū)別，VGG-19 網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示。

1.2 基于感知損失函數(shù)的圖像風(fēng)格遷移

圖1：VGG19 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

Justin Johnson 等人[7]使用的網(wǎng)絡(luò)分為兩部分，網(wǎng)絡(luò)結(jié)構(gòu)如圖2，圖像轉(zhuǎn)換網(wǎng)絡(luò)fw和感知損失網(wǎng)絡(luò)，其中感知損失網(wǎng)絡(luò)是用來定義損失函數(shù)。圖像轉(zhuǎn)換網(wǎng)絡(luò)是一個(gè)參數(shù)為w 的由殘差塊[11]組成的卷積網(wǎng)絡(luò)，中間層為殘差塊，解決了網(wǎng)絡(luò)較深優(yōu)化時(shí)，易出現(xiàn)梯度消失或梯度爆炸的問題。論文是用已經(jīng)預(yù)訓(xùn)練的 VGG-Net 提取一張風(fēng)格圖與大量?jī)?nèi)容圖的特征來優(yōu)化損失函數(shù)，并利用優(yōu)化后的損失函數(shù)對(duì)圖像轉(zhuǎn)換網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練出的轉(zhuǎn)換模型就可以達(dá)到圖像快速風(fēng)格遷移的效果。

在圖像轉(zhuǎn)換網(wǎng)絡(luò)中，網(wǎng)絡(luò)結(jié)構(gòu)主要分為特征提取模塊、殘差神經(jīng)網(wǎng)絡(luò)和圖像生成模塊，特征提取模塊用于提取輸入圖像 的特征，由3 個(gè)卷積層組 成，殘差神經(jīng)網(wǎng)絡(luò)是進(jìn)行轉(zhuǎn)換的主體，是由5 個(gè)殘差塊構(gòu)成的，圖像生成模塊主要是用于將轉(zhuǎn)換后的特征恢復(fù)為所需要尺寸的圖像，由3 個(gè)反卷積[13]組成。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，卷積層和反卷積層跟隨批歸一化與 Relu 函數(shù)，最后一層的反卷積跟隨 Tanh 函數(shù)，以保證圖像的輸出范圍正確。

除以上在損失網(wǎng)絡(luò)處理的損失函數(shù)外，為了避免出現(xiàn)輸出圖像的空間平滑度過低的情況，提出了總變異正則化函數(shù)：

圖2：網(wǎng)絡(luò)結(jié)構(gòu)圖

圖3：轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 引入指數(shù)線性單元的殘差網(wǎng)絡(luò)和改進(jìn)雙線性插值生成模塊的轉(zhuǎn)換網(wǎng)絡(luò)

1.3.1 指數(shù)線性單元的殘差網(wǎng)絡(luò)

為了進(jìn)一步緩解梯度消失問題和提高算法的處理速度，本文使用shah 等人[14]提出的引入指數(shù)線性單元的殘差網(wǎng)絡(luò)替代原論文中提出的殘差網(wǎng)絡(luò)，shah 等人提出使用指數(shù)線性單元（exponential Liner unit,ELU）代替標(biāo)準(zhǔn)殘差函數(shù)中BN層[15]和ReLU層[16]的組合。ReLU 函數(shù)輸出的值均大于0，當(dāng)激活值的均值非0 時(shí)，就會(huì)對(duì)下一層產(chǎn)生一個(gè)偏置值，如果激活值之間不能相互抵消（即均值非0），會(huì)導(dǎo)致下一層的激活單元有偏移!如此疊加，單元越多時(shí)，偏移就會(huì)越大[17]。相比ReLU，ELU 可以取負(fù)值，消減了前向傳播時(shí)的偏移，這讓單元激活均值可以更接近0，類似于BN 的效果但是只需要更低的復(fù)雜度，殘差單元和指數(shù)線性殘差單元如圖4 和圖5 所示。

ELU 的公式如下：

其中：δ 是一個(gè)可調(diào)的參數(shù)，它控制著 ELU 負(fù)值部分在何時(shí)飽和；ELU 可將前面單元輸入的激活值的均值控制在0，讓激活函數(shù)的負(fù)值部分也可以攜帶信息并被使用，在降低計(jì)算復(fù)雜度的同時(shí)還可以加快殘差網(wǎng)絡(luò)的學(xué)習(xí)速度，這里取δ=0.1。

1.3.2 改進(jìn)雙線性插值生成模塊

Justin Johnson 等人設(shè)計(jì)的兩部分網(wǎng)絡(luò)中的圖像轉(zhuǎn)換網(wǎng)絡(luò)中圖像生成模塊將殘差網(wǎng)絡(luò)處理后的具有高層語義的特征數(shù)據(jù)經(jīng)過反卷積處理進(jìn)行原尺寸重建，但經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，重建后的圖像經(jīng)常成網(wǎng)格狀，也即重建后的圖像具有棋盤效應(yīng)[18]，這與轉(zhuǎn)置卷積卷積核的尺寸和步長(zhǎng)有關(guān)，并且僅僅調(diào)整卷積核的大小和步長(zhǎng)也不易消除此效應(yīng)，棋盤效應(yīng)情況如圖6 所示。

在另一篇論文中，武筱琪[19]等人采用上采樣加卷積的方式來替換反卷積，其中上采樣為最近鄰插值法，以此來避免棋盤效應(yīng)的產(chǎn)生，提升了一定的圖像質(zhì)量，但最近鄰插值在進(jìn)行圖像尺寸的變換，插入像素時(shí)，像素值的大小只考慮該像素點(diǎn)位置最近的像素值的大小，不考慮其他像素，因此會(huì)喪失一定的空間信息對(duì)圖像縮放后的質(zhì)量有一定影響，并且可能會(huì)造成插值生成的圖像灰度上的不連續(xù)，在灰度變化的地方可能出現(xiàn)明顯的鋸齒狀。采用雙線性插值進(jìn)行上采樣加上卷積，也可避免棋盤效應(yīng)并且提升一定的圖像質(zhì)量，同時(shí)對(duì)算法復(fù)雜度影響不大。現(xiàn)有的雙線性插值算法在實(shí)際運(yùn)用也會(huì)產(chǎn)生一些問題，例如整體的圖像相對(duì)位置會(huì)發(fā)生變化，如圖7 所示，這里的坐標(biāo)都是0-based，綠色部分是原圖像(2,2)，外圍是目標(biāo)圖像(3,3)，原圖像的幾何中心點(diǎn)是(1,1)，目標(biāo)圖像的幾何中心點(diǎn)是(1.5,1.5)，就會(huì)產(chǎn)生下列問題，目標(biāo)圖像的原點(diǎn)(0,0)點(diǎn)和原始圖像的原點(diǎn)是重合的，但是目標(biāo)圖像的幾何中心點(diǎn)相對(duì)于原始圖像的幾何中心點(diǎn)偏右下，那么整體圖像的位置會(huì)發(fā)生偏移，所以參與計(jì)算的點(diǎn)相對(duì)都往右下偏移會(huì)產(chǎn)生相對(duì)的位置信息損失，可能出現(xiàn)圖像內(nèi)容或邊界的扭曲。

為了使縮放前后的圖像中心重合，于是將原有的雙線性插值公式（6）改為改進(jìn)線性插值公式（7），其中縮放后任意像素點(diǎn)的坐標(biāo)為(x,y)，對(duì)應(yīng)原圖的坐標(biāo)為(x',y')，采樣后圖像高為h，寬為w，原圖像高為h'，寬為w'，得到圖像縮放比例sh=h'/h，sw=w'/w。

本文所設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)中，感知損失網(wǎng)絡(luò)選用了預(yù)訓(xùn)練好的VGG19，因?yàn)椴挥闷溥M(jìn)行分類，VGG19 中的全連接層舍棄掉，利用損失網(wǎng)絡(luò)來描述內(nèi)容損失Lcontent和風(fēng)格損失Lstyle，當(dāng)在轉(zhuǎn)換網(wǎng)絡(luò)訓(xùn)練每一張輸入圖像x，都會(huì)計(jì)算Lcontent和Lstyle，進(jìn)而優(yōu)化轉(zhuǎn)換網(wǎng)絡(luò)，從而得到針對(duì)于某一特定風(fēng)格的風(fēng)格遷移模型，從而保證網(wǎng)絡(luò)的快速與實(shí)時(shí)性，風(fēng)格圖主要提取到卷積網(wǎng)絡(luò)前五層的特征，內(nèi)容圖像主要提取到第五層的特征進(jìn)行內(nèi)容重建。圖像轉(zhuǎn)換網(wǎng)絡(luò)內(nèi)部如表1所示。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

將本文提出的改進(jìn)算法在兩組不同藝術(shù)風(fēng)格的風(fēng)格圖和內(nèi)容圖上進(jìn)行實(shí)驗(yàn)，通過與Gatys 等人算法，Justin 等人的基于感知損失網(wǎng)絡(luò)算法的對(duì)比，驗(yàn)證本文算法的有效性。在網(wǎng)絡(luò)訓(xùn)練過程中，使用1000 多張油畫，1000 多張漫畫作為圖像風(fēng)格數(shù)據(jù)，使用2000多張真實(shí)圖像作為訓(xùn)練數(shù)據(jù)同時(shí)選一些人物圖像作為測(cè)試數(shù)據(jù)測(cè)試生成的圖像轉(zhuǎn)換網(wǎng)絡(luò)的性能，部分訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)如圖8 所示。實(shí)驗(yàn)環(huán)境為CPU i7 2.2GHZ,RAM 16G，顯卡NVIDIA GeForce GTX 1060。

2.2 超參數(shù)

本文提出方法基于 TensorFlow 深度學(xué)習(xí)框架實(shí)現(xiàn)，使用 GPU進(jìn)行運(yùn)算加速，優(yōu)化算法采用Adam，為了防止梯度在局部最優(yōu)解附近產(chǎn)生震蕩，并且把損失函數(shù)降到足夠低，所以初始學(xué)習(xí)率η 為0.003，前 50 回合學(xué)習(xí)率不變，后 50 回合學(xué)習(xí)率開始線性衰減，最大循環(huán)次數(shù)Nepoch為100，經(jīng)過試驗(yàn)比較，選擇將風(fēng)格圖前五層特征權(quán)重系數(shù)設(shè)置為第一層權(quán)重為 0.4，第二層權(quán)重為 0.3，第三層權(quán)重為 0.2，第四第五層為0.05，也就是低層的權(quán)值高于高層，對(duì)于內(nèi)容損失權(quán)重γ 和風(fēng)格損失權(quán)重β，參考文獻(xiàn)[20]進(jìn)行的實(shí)驗(yàn)以及結(jié)論，當(dāng)進(jìn)行油畫風(fēng)格遷移時(shí)，由于對(duì)風(fēng)格化效果要求高，所以設(shè)置為α=1，β=400，當(dāng)進(jìn)行漫畫風(fēng)格遷移時(shí)，由于對(duì)圖像內(nèi)容信息需求大，所以設(shè)置為α=5，β=100。

2.3 實(shí)驗(yàn)結(jié)果分析

分別以Gatys 等人算法，Justin 等人算法與本文基于改進(jìn)感知損失函數(shù)的實(shí)時(shí)圖像風(fēng)格遷移算法進(jìn)行圖像風(fēng)格遷移實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果共4 組，如圖9 所示。圖中每組第1 行1 列是原圖像，第1 行2列是風(fēng)格圖像，第2 行1，2，3 列分別為Gatys 等人算法，Justin等人算法與本文基于改進(jìn)感知損失函數(shù)的快速圖像風(fēng)格遷移算法的實(shí)驗(yàn)結(jié)果，訓(xùn)練集訓(xùn)練完成后的圖像轉(zhuǎn)換網(wǎng)絡(luò)使用一定的測(cè)試數(shù)據(jù)進(jìn)行驗(yàn)證對(duì)比，結(jié)果如圖10 所示。

從以上幾組訓(xùn)練實(shí)驗(yàn)結(jié)果以及測(cè)試實(shí)驗(yàn)結(jié)果來看，Gatys 等人算法生成的建筑油畫，人物漫畫語義內(nèi)容還是不能夠很好的識(shí)別以及表現(xiàn)出來，在油畫中的主體建筑，漫畫中的人物臉部，都出現(xiàn)了不少不規(guī)則的色塊，邊緣信息尤其以漫畫中人臉的邊緣輪廓較為明顯，也出現(xiàn)了缺失。Justin 等人算法保留一定的邊緣信息，同時(shí)在背景部分也產(chǎn)生了一些多余紋理。本文算法去除掉了背景及建筑，人臉上的多余紋理，保留了內(nèi)容圖像內(nèi)容較為清晰的邊界信息。

由于油畫風(fēng)格化后的結(jié)果具有更多的風(fēng)格紋理并且內(nèi)容信息一般不會(huì)發(fā)生變形，漫畫風(fēng)格化的圖像有更好的內(nèi)容信息但是風(fēng)格已經(jīng)融入到圖像內(nèi)容之中，一些內(nèi)容細(xì)節(jié)，內(nèi)容之間的結(jié)構(gòu)可能已經(jīng)發(fā)生變化，此外背景部分的一些多余紋理可以理解為噪聲，所以選取結(jié)構(gòu)相似性（Structural Similarity SSIM）圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)油畫實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估，選取峰值信噪比（Peak Signal to Noise Ratio PSNR）評(píng)價(jià)指標(biāo)對(duì)漫畫實(shí)驗(yàn)進(jìn)行評(píng)估，SSIM 評(píng)估指標(biāo)是通過評(píng)估亮度，對(duì)比度，結(jié)構(gòu)這三個(gè)方面來對(duì)內(nèi)容圖像和風(fēng)格化圖像進(jìn)行結(jié)構(gòu)性的評(píng)估。PSNR 評(píng)估指標(biāo)則是通過比較峰值信號(hào)的能量與噪聲的平均能量之比來評(píng)估兩幅圖像的差異性。這兩種指標(biāo)都是值越大模型越好，詳細(xì)評(píng)估結(jié)果見表2。

表 1：轉(zhuǎn)換網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)參數(shù)

表 2：實(shí)驗(yàn)評(píng)估結(jié)果

從表2 可以看出，風(fēng)格遷移實(shí)驗(yàn)結(jié)果中，Gatys 等人算法在第二組油畫實(shí)驗(yàn)結(jié)果的SSIM 高于本文方法，但在其他實(shí)驗(yàn)結(jié)果來看，本文所提的基于改進(jìn)感知損失函數(shù)的實(shí)時(shí)圖像風(fēng)格遷移方法的SSIM 或PSNR 均高于其他方法。

由于Gatys 等人算法提取內(nèi)容與風(fēng)格特征對(duì)隨機(jī)生成的一張?jiān)肼晥D進(jìn)行訓(xùn)練，經(jīng)過多次迭代降低損失函數(shù)的過程，最終生成風(fēng)格化圖像。而Justin 等人算法與本文方法都是用提取到的內(nèi)容以及風(fēng)格特征對(duì)一個(gè)特定的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所需的圖像轉(zhuǎn)換網(wǎng)絡(luò)，然后通過該網(wǎng)絡(luò)就可以對(duì)多個(gè)圖像進(jìn)行特定的風(fēng)格化的處理。其過程，結(jié)果都有所不同，所以這里主要對(duì)Justin 等人算法與本文方法進(jìn)行迭代速度的比較，本文所提方法比原基于改進(jìn)感知損失函數(shù)圖像風(fēng)格遷移方法提高了收斂速度，兩種算法在訓(xùn)練幾組實(shí)驗(yàn)數(shù)據(jù)時(shí)的平均總損失函數(shù)隨迭代次數(shù)變化的情況如圖11 所示，相同迭代次數(shù)下，本文算法的值比Justin 等人算法要低，基于改進(jìn)感知損失函數(shù)實(shí)時(shí)圖像風(fēng)格遷移算法收斂更快。

圖4：殘差單元

圖5：ELU 殘差單元

圖6：棋盤效應(yīng)產(chǎn)生情況

圖7：原雙線性插值縮放圖

圖8：實(shí)驗(yàn)數(shù)據(jù)

圖9：實(shí)驗(yàn)結(jié)果

圖10：轉(zhuǎn)換網(wǎng)絡(luò)測(cè)試結(jié)果

圖11：收斂速度比較

3 結(jié)論

本文利用對(duì)基于感知損失函數(shù)的圖像風(fēng)格遷移算法進(jìn)行改進(jìn)，引入指數(shù)線性單元的殘差網(wǎng)絡(luò)ELU+ResNet 替換原圖像轉(zhuǎn)換網(wǎng)絡(luò)的深度殘差網(wǎng)絡(luò)ResNet，優(yōu)化了殘差單元的結(jié)構(gòu)，降低了復(fù)雜度，加快了網(wǎng)絡(luò)收斂速度。把圖像轉(zhuǎn)換網(wǎng)絡(luò)中圖像生成模塊中反卷積層換為改進(jìn)雙線性插值加卷積的形式，避免了棋盤效應(yīng)的產(chǎn)生，提升了生成圖像質(zhì)量。試驗(yàn)結(jié)果表明，和原基于感知損失函數(shù)的圖像風(fēng)格遷移算法相比，本文提出的方法在風(fēng)格化效果和收斂速度上有更佳的表現(xiàn)，可以更好更快生成需要的風(fēng)格化圖像。