基于HSV顏色模型的圖像風(fēng)格遷移算法

王飛，金玉蘋，祖培福

牡丹江師范學(xué)院數(shù)學(xué)科學(xué)學(xué)院，黑龍江 牡丹江，157011

0 引言

風(fēng)格遷移算法能夠生成的遷移圖像具有如下特點(diǎn)：具有風(fēng)格圖像的風(fēng)格因素，并且同時(shí)保留內(nèi)容圖像的內(nèi)容信息。這也可以理解為在一幅內(nèi)容圖像上加入某個(gè)特殊的藝術(shù)風(fēng)格。圖像風(fēng)格遷移算法大體上可以分為早期的在特定任務(wù)下的基于圖像處理方法的風(fēng)格遷移方法和最近幾年出現(xiàn)的基于深度學(xué)習(xí)技術(shù)的通用性風(fēng)格遷移方法。

早期的風(fēng)格遷移算法最早都是基于某個(gè)特殊的任務(wù)來實(shí)現(xiàn)的，例如對(duì)于色彩風(fēng)格遷移任務(wù)，其目標(biāo)是將一幅圖像的色彩風(fēng)格遷移到另一圖像中，經(jīng)典的Reinhard算法采用了lab色彩模型，將風(fēng)格圖像和目標(biāo)圖像轉(zhuǎn)換為lab顏色表示模型后，把統(tǒng)計(jì)占比量類似的顏色分量進(jìn)行映射，達(dá)到目標(biāo)圖像的色彩轉(zhuǎn)換，從而實(shí)現(xiàn)與風(fēng)格圖像的色彩風(fēng)格相似的效果[1]。對(duì)于紋理遷移任務(wù)，錢小燕[2]對(duì)經(jīng)典的Ashikhmin算法進(jìn)行改進(jìn)，在原有的尋找目標(biāo)圖像和風(fēng)格圖像的匹配點(diǎn)的L2距離基礎(chǔ)上，引入了低分辨率統(tǒng)計(jì)特性的參考度量，使得原有算法的搜索匹配效率得到提升，并使用了雙向掃描遷移法，從而消除了原有算法遷移效果的生硬化和區(qū)塊化的不良特性。

基于深度學(xué)習(xí)的風(fēng)格遷移算法最早是由Gatys L A等[3]在2015年首次提出，該算法對(duì)圖像的圖像內(nèi)容進(jìn)行迭代優(yōu)化，達(dá)到內(nèi)容圖像的風(fēng)格遷移的效果。這種風(fēng)格遷移算法耗時(shí)較長(zhǎng)，但因具有專一性，大部分情況下效果比較令人滿意。隨后，Johnson J等[4]通過使用卷積神經(jīng)生成網(wǎng)絡(luò)的方式，事先對(duì)網(wǎng)絡(luò)進(jìn)行多幅圖像的生成訓(xùn)練，使得訓(xùn)練過程比經(jīng)典的風(fēng)格遷移算法在速度上提升了兩到三個(gè)數(shù)量級(jí)，達(dá)到了實(shí)時(shí)生成的速度。但效果上，略遜色于基于圖像迭代的經(jīng)典遷移方法。最近幾年，使用生成對(duì)抗網(wǎng)絡(luò)（GAN）來進(jìn)行風(fēng)格遷移也成為主流，各種遷移風(fēng)格的生成模型被建立，也有一個(gè)很好的遷移效果[5-6]。但是這種方法在模型的訓(xùn)練上，容易產(chǎn)生模式崩潰、不易收斂等缺點(diǎn)。

經(jīng)典的風(fēng)格遷移算法雖然能夠在內(nèi)容圖像上加入風(fēng)格圖像的藝術(shù)風(fēng)格特征，但是在風(fēng)格遷移的過程中，也會(huì)把風(fēng)格圖像的顏色模式遷移到目標(biāo)圖像中，使得內(nèi)容圖像原始的顏色特征喪失，內(nèi)容圖像的顏色信息被風(fēng)格圖像的顏色取代，這種顏色特點(diǎn)的丟失情況，在某些應(yīng)用場(chǎng)景下效果差強(qiáng)人意。本文主要針對(duì)這個(gè)問題對(duì)經(jīng)典的風(fēng)格遷移算法進(jìn)行改進(jìn)，提出一種基于HSV顏色模型的風(fēng)格遷移算法，在損失函數(shù)中加入遷移圖像與內(nèi)容圖像的顏色損失度量，通過優(yōu)化，從而降低遷移圖像與內(nèi)容圖像的顏色損失，達(dá)到保留原始內(nèi)容圖像顏色色調(diào)的目的。

1 HSV顏色模型

HSV顏色模型[7]采用色相（Hue），飽和度（Saturation）和色明度（Value）來描述顏色信息，其中色相描述的是顏色的種類，飽和度描述的是顏色的濃度，色明度描述的是顏色的明暗度。這種表示方法相比于RGB顏色模型，更符合人對(duì)顏色的認(rèn)知模式，更易于理解。并且人們?cè)陬伾恼J(rèn)知上，對(duì)于相同色相的不同顏色，在感官上基本被認(rèn)為是相同的顏色，只是在飽和度上或者在色明度上存在差異，也就是僅僅體現(xiàn)為濃度或亮度有所不同，但仍然可以歸類為相同的顏色。并且在色相維度上，其顏色漸變關(guān)系可以表現(xiàn)為數(shù)值上的連續(xù)性，所以對(duì)于兩個(gè)色相值差距較小的顏色，可以理解為顏色相近，色相值相差很大的兩個(gè)顏色，理解為顏色迥異。所以對(duì)于顏色的數(shù)學(xué)衡量表示，HSV顏色模型適合用于表示顏色的相近的關(guān)系，并能進(jìn)行數(shù)值上的減法運(yùn)算，來衡量顏色的距離，本文提出的改進(jìn)算法就是基于HSV模型的這一點(diǎn)，來保持遷移后圖像與內(nèi)容圖像的顏色的相似度。

但是在計(jì)算機(jī)中的圖片主要使用RGB模式進(jìn)行圖片的存儲(chǔ)和表示，所以需要將圖片的RGB表示模式轉(zhuǎn)化為HSV模式，轉(zhuǎn)換的公式為：

其中R、G、B分別為該圖像點(diǎn)的RGB顏色量的分值，max和min為R、G、B三個(gè)值中的最大值和最小值。

2 經(jīng)典風(fēng)格遷移算法

經(jīng)典風(fēng)格遷移算法主要使用深度學(xué)習(xí)技術(shù)中的深度卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行，遷移過程主要是對(duì)目標(biāo)圖像的改進(jìn)過程，改進(jìn)過程如下：被訓(xùn)練的目標(biāo)圖像通?？梢猿跏蓟癁閮?nèi)容圖像，或者采用隨機(jī)高斯噪聲圖像。通過使用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)圖像進(jìn)行前向計(jì)算，預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)能夠很好的采集圖像的有用特征，訓(xùn)練網(wǎng)絡(luò)通常使用經(jīng)典的VGG。在遷移時(shí)，預(yù)先用該網(wǎng)絡(luò)對(duì)風(fēng)格圖像進(jìn)行卷積計(jì)算，得出相應(yīng)的卷積特征，留作后續(xù)計(jì)算損風(fēng)格失值時(shí)使用。在后續(xù)的遷移過程中不斷地對(duì)內(nèi)容圖像進(jìn)行卷積特征的采集，并選取若干的卷積特征，來計(jì)算目前該內(nèi)容圖像的損失值，然后采用優(yōu)化算法針對(duì)損失函數(shù)進(jìn)行優(yōu)化，最后損失值達(dá)到全局最優(yōu)值后，就完成了圖像的風(fēng)格遷移。

遷移網(wǎng)絡(luò)的損失函數(shù)主要包含內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)，內(nèi)容損失函數(shù)衡量的是目標(biāo)圖像與內(nèi)容圖像在圖像所要表達(dá)的內(nèi)容之間的距離，可以理解為要表達(dá)的事物的差異性，例如當(dāng)兩個(gè)圖像上為不同的姿勢(shì)的人時(shí)，兩個(gè)圖像的內(nèi)容距離相差較大，但如果兩個(gè)圖像上為相同的人，在相同的位置，展示相同的姿勢(shì)，但僅僅一個(gè)采用寫真風(fēng)格，一個(gè)采用優(yōu)化風(fēng)格，但在內(nèi)容維度上，兩個(gè)圖像的距離很近。對(duì)于風(fēng)格損失，指的是圖像的畫風(fēng)的相似相，例如同一作者的兩個(gè)不同內(nèi)容的油畫，由于畫風(fēng)一樣，可以理解為具有相近的風(fēng)格距離。

內(nèi)容損失函數(shù)通常選取神經(jīng)網(wǎng)絡(luò)的某層的神經(jīng)網(wǎng)絡(luò)卷積特征來表示，用該特征矩陣與內(nèi)容圖像同層特征的均方誤差來衡量遷移圖像與內(nèi)容圖像的內(nèi)容距離，第l層的內(nèi)容損失函數(shù)的定義式為：

圖像的風(fēng)格特征是采用卷積特征的Gram矩陣來衡量，Gram矩陣用來衡量特征矩陣的偏心協(xié)方差，以此來表示所有的通道與通道之間的變化趨勢(shì)相似性，具有相似風(fēng)格的圖像的相同特征層的特征矩陣的Gram矩陣具有相似性。Gram矩陣的定義如下：

3 損失函數(shù)的改進(jìn)

為了使生成的遷移圖像保持內(nèi)容圖像原有的色相特征，并且同時(shí)具有風(fēng)格遷移效果，所以考慮只使用HSV顏色模型中的色相(H)維度，來平衡既要保持遷移圖像與內(nèi)容圖像的顏色相似度，又要保持風(fēng)格的遷移效果，所以在原有的損失函數(shù)的基礎(chǔ)上加入顏色損失函數(shù)，顏色損失函數(shù)的定義為：

其中hi,j和分別表示內(nèi)容圖像和遷移圖像在像素點(diǎn)處的色相值。

整體損失函數(shù)的定義式為：

其中1α、2α、3α分別為內(nèi)容損失、風(fēng)格損失和顏色損失的權(quán)重，具體值大小通過實(shí)驗(yàn)確定。cl是選取的用來衡量?jī)?nèi)容損失的網(wǎng)絡(luò)層的層號(hào)，lsi是選取的用來衡量風(fēng)格損失的網(wǎng)絡(luò)層的層號(hào)，一共選取sn個(gè)風(fēng)格損失特征層，一般采取間隔式選取。

4 實(shí)驗(yàn)及分析

為了驗(yàn)證本算法改進(jìn)帶來效果的好壞，本文進(jìn)行了算法對(duì)比驗(yàn)證實(shí)驗(yàn)，實(shí)驗(yàn)所使用的硬件環(huán)境為配置了Intel i7 CPU，32G內(nèi)存，NVI 2080Ti顯卡的計(jì)算工作站，軟件環(huán)境為Windows10下的PyTorch開發(fā)環(huán)境和工具，對(duì)于特征提取網(wǎng)絡(luò)，我們使用了PyTorch庫包含的經(jīng)典的VGG19深度卷積網(wǎng)絡(luò)[8]，對(duì)于內(nèi)容權(quán)重、風(fēng)格權(quán)重和顏色權(quán)重，經(jīng)試驗(yàn)分析后，選取的值分別為1、10000、0.2，內(nèi)容損失的特征提取層為15層，風(fēng)格損失的特征提取層為3、8、15、22，優(yōu)化器選擇的是Adam優(yōu)化器[9]，優(yōu)化器的衰減因子設(shè)定為0.6，衰減周期是800，學(xué)習(xí)率設(shè)定為0.04。

本實(shí)驗(yàn)選取了具有明顯顏色特征的風(fēng)格圖像，如圖1所示，并且選取了與風(fēng)格圖像整體顏色區(qū)別較大的內(nèi)容圖像，來做風(fēng)格遷移，采用了經(jīng)典的風(fēng)格遷移算法和本文提出的改進(jìn)算法進(jìn)行對(duì)比，采用的風(fēng)格圖像和對(duì)比效果圖如圖2所示。

圖1 風(fēng)格圖像

圖2 遷移效果對(duì)比圖

從對(duì)比圖中看出，本文的遷移效果能夠保留內(nèi)容圖像主要的顏色特征，并且能保留遷移風(fēng)格。對(duì)于經(jīng)典的圖像風(fēng)格遷移算法，產(chǎn)生的遷移圖像在很大程度上保留了風(fēng)格圖像的藍(lán)色，這與圖像的內(nèi)容不相符合，但對(duì)于本文提出的改進(jìn)遷移算法，能夠在保持原有內(nèi)容圖像的顏色特征基礎(chǔ)上，將風(fēng)格圖像的油畫筆觸特征遷移進(jìn)來。能夠很大程度上看出原始內(nèi)容圖像的主體顏色，比如狗的灰白色，牛的黃色，可見本文改進(jìn)的算法能夠達(dá)到保留圖像的主要顏色特征，并同時(shí)進(jìn)行風(fēng)格遷移的目的。

5 結(jié)語

本文提出對(duì)經(jīng)典風(fēng)格遷移算法的改進(jìn)，在遷移算法的損失函數(shù)中，加入HSV模型中的色調(diào)損失度量部分，并通過實(shí)驗(yàn)驗(yàn)證，本算法能夠使遷移效果保持原始內(nèi)容圖像的顏色特點(diǎn)，避免遷移風(fēng)格的顏色掩蓋內(nèi)容圖像的所有顏色特征。這種遷移效果可以使得結(jié)果圖像更符合人們對(duì)圖像主題本身特性的認(rèn)知，有一定的應(yīng)用價(jià)值。

未來規(guī)劃對(duì)顏色特征的其他因素，比如色彩的濃度和亮度，來進(jìn)一步改進(jìn)風(fēng)格遷移算法。另外對(duì)于圖片中的主體和背景，通常為不同的顏色模式，并且在本題的試驗(yàn)結(jié)果中，可以看到主體和背景會(huì)互相干擾，例如狗的渲染圖中，背景的白色中含有狗身上的黃色，牛的渲染圖中，背景的綠色中含有牛身上的黃色成分，所以未來可以嘗試結(jié)合目標(biāo)分割算法，將主體和背景進(jìn)行區(qū)分，達(dá)到主體和背景顏色保持原有風(fēng)格，不受對(duì)方干擾，并且突出主體的渲染效果的目標(biāo)。