基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的人臉?biāo)孛韬铣?/h1>
2022-08-04 01:26:42葛延良孫笑笑王冬梅王肖肖
吉林大學(xué)學(xué)報(bào)(理學(xué)版) 2022年4期
葛延良, 孫笑笑, 張 喬, 王冬梅, 王肖肖
(東北石油大學(xué) 電氣信息工程學(xué)院, 黑龍江 大慶 163318)
作為圖像風(fēng)格遷移的一個(gè)重要分支, 人臉?biāo)孛韬铣?face sketch synthesis, FSS)目前得到廣泛的關(guān)注[1]. 人臉?biāo)孛韬铣墒侵笇⑷四樲D(zhuǎn)化為相對(duì)應(yīng)的素描圖像[2]， 其在生活、 刑事偵查、 數(shù)字娛樂(lè)、 漫畫(huà)制作[3]及電影制作等領(lǐng)域應(yīng)用廣泛.
圖像的風(fēng)格遷移方法主要有兩種： 基于圖像迭代和基于模型迭代[4]. 圖像迭代方法主要包括基于最大均值差異、 基于Markov隨機(jī)場(chǎng)和基于深度圖像類比. 模型迭代方法在圖像風(fēng)格遷移方面有較大優(yōu)勢(shì), 特別是卷積神經(jīng)網(wǎng)絡(luò)[5]和生成對(duì)抗網(wǎng)絡(luò)的不斷發(fā)展[1], 極大提高了人臉?biāo)孛韬铣傻膱D像質(zhì)量. 其中基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移[6], 實(shí)現(xiàn)了局部連接、 權(quán)值分擔(dān)、 特征提取和封裝, 缺點(diǎn)是遷移缺乏泛化能力, 可能導(dǎo)致圖像模糊甚至失真[7]. 生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)很好地解決了上述問(wèn)題. Goodfellow等[8]首次提出了生成對(duì)抗網(wǎng)絡(luò), 極大提高了生成圖像的速度和清晰度[9], 同時(shí)降低了網(wǎng)絡(luò)的復(fù)雜度, 但整個(gè)過(guò)程是全監(jiān)督學(xué)習(xí), 而全監(jiān)督網(wǎng)絡(luò)要求訓(xùn)練人臉到素描風(fēng)格遷移模型有較大的成對(duì)數(shù)據(jù)集, 準(zhǔn)備成對(duì)數(shù)據(jù)集既困難又昂貴, 同時(shí)具有時(shí)間和空間的局限性； Gulrajani等[10]提出了ImprovedGAN, 對(duì)GAN進(jìn)行了結(jié)構(gòu)更改和訓(xùn)練, 主要集中于半監(jiān)督學(xué)習(xí)和更好的圖像生成, 訓(xùn)練結(jié)構(gòu)穩(wěn)定的GAN[11]； Isola等[12]提出了“Pix2pix”網(wǎng)絡(luò)模型, 風(fēng)格遷移效果顯著， 但要求圖片必須成對(duì)； 在此基礎(chǔ)上， Zhu等[13]提出了循環(huán)生成對(duì)抗網(wǎng)絡(luò)(cycle-generative adversarial networks, CycleGAN), 在該網(wǎng)絡(luò)中提出基于對(duì)稱GAN模型, 其在損失函數(shù)中加入周期一致性損失, 使輸入圖像在不配對(duì)的情況下生成不同風(fēng)格的圖像, 完成無(wú)監(jiān)督學(xué)習(xí)的高質(zhì)量風(fēng)格傳遞任務(wù). 本文使用循環(huán)生成對(duì)抗網(wǎng)絡(luò)框架, 將其應(yīng)用于人臉?biāo)孛韬铣? 實(shí)驗(yàn)得到了更優(yōu)質(zhì)的素描圖片.
1 循環(huán)生成對(duì)抗網(wǎng)絡(luò)模型
圖1 CycleGAN生成模型結(jié)構(gòu)Fig.1 Generative model structure of CycleGAN
本文定義兩個(gè)相同的PatchGAN[12]作為鑒別器. 鑒別器采用四組卷積層+正則化+Leaky ReLU激活函數(shù)形式和一組卷積層+譜歸一化+Leaky Relu激活函數(shù)形式, 每個(gè)卷積層的卷積核大小均為4, 步長(zhǎng)為2, 通道數(shù)依次為64,128,256，512, 最后一層每個(gè)分割塊通過(guò)Sigmoid輸出為真的概率, 然后用BCE損失函數(shù)計(jì)算得到最終的損失[12]. PatchGAN對(duì)于圖像風(fēng)格遷移后的圖片保持高細(xì)節(jié)的清晰化. 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)如2所示.
圖2 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Discriminator network structure
2 預(yù)備知識(shí)
2.1 U-Net模塊
循環(huán)生成對(duì)抗網(wǎng)絡(luò)的生成器采用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像特征, 本文受文獻(xiàn)[14]的啟發(fā), 將U-Net結(jié)構(gòu)應(yīng)用于生成器中. U-Net結(jié)構(gòu)本質(zhì)上是一個(gè)編碼器-解碼器網(wǎng)絡(luò), 在完全對(duì)稱的編碼器和解碼之間進(jìn)行常規(guī)的跳躍連接, 以結(jié)合圖像高級(jí)和低級(jí)語(yǔ)義[15]. 本文以VGG16模塊組成U-Net的結(jié)構(gòu)作為生成器主框架,X(i,m)表示位于U-Net網(wǎng)絡(luò)層不同位置的VGG16模塊, 其中i表示模塊位于第i行,m表示模塊位于第m列， 其結(jié)構(gòu)如圖3所示.
圖3 U-Net結(jié)構(gòu)模型Fig.3 Structural model of U-Net
2.2 空洞卷積
常見(jiàn)的圖像分割算法通常使用池化層和卷積層增加感受野, 特征圖縮小再放大的過(guò)程會(huì)導(dǎo)致精度損失, 因此本文引入空洞卷積(dilated convolution)[16]， 可在增加感受野的同時(shí)保持特征圖的尺寸不變, 如圖4(A)所示. 圖4是標(biāo)準(zhǔn)的 3×3 卷積(擴(kuò)張率為1), 該卷積的感受野是卷積核覆蓋3×3區(qū)域. 當(dāng)擴(kuò)張率為2時(shí), 感受野RFn可利用
RFn=RFn-1+(i-1)×d
(1)
計(jì)算， 其中RFn-1表示上一層的感受野,i表示卷積核大小,d表示步長(zhǎng).圖像特征提取過(guò)程中, 在保證特征圖一定分辨率的前提下, 獲得較大的圖像特征感受野.由圖4(B)可見(jiàn)， 此時(shí)的卷積核大小為2×(3-1)+1=5, 與圖4(A)疊加得到圖4(C)的感受野相當(dāng)于7×7網(wǎng)格所覆蓋的區(qū)域.
圖4 空洞卷積感受野示意圖Fig.4 Schematic diagram of dilated convolution receptive field
2.3 自注意力模塊
由于目前的網(wǎng)絡(luò)結(jié)構(gòu)在圖像特征提取過(guò)程中存在均勻分布的特點(diǎn), 而卷積運(yùn)算將圖片進(jìn)行局部分割, 在進(jìn)行深層特征提取與遷移時(shí), 局部與整體會(huì)有差異. 本文受文獻(xiàn)[17]工作的啟發(fā), 通過(guò)自注意力機(jī)制建立像素之間的關(guān)聯(lián), 提高對(duì)圖像高頻信息和圖像風(fēng)格保持的能力. 本文引用通道自注意力模塊(channel self-attention module, CSAM)和空間自注意力模塊(spatial self-attention module, SSAM). CSAM結(jié)構(gòu)如圖5所示. SSAM通過(guò)每個(gè)位置特征的加權(quán)總和, 選擇性地聚集每個(gè)位置的特征， 其結(jié)構(gòu)如圖6所示.
圖5 通道自注意力模塊的結(jié)構(gòu)Fig.5 Structure of channel self-attention module
圖6 空間自注意力模塊的結(jié)構(gòu)Fig.6 Structure of spatial self-attention module
3 改進(jìn)的生成網(wǎng)絡(luò)模型
3.1 多尺度特征聚合模塊
本文設(shè)計(jì)多尺度特征聚合模塊(MFFB), 結(jié)構(gòu)如圖7所示. 將圖像特征并行輸入通過(guò)3個(gè)3×3的空洞卷積[16], 分別以2,4,8的采樣率并行采樣, 同時(shí)將輸入與一個(gè)全局平均池化(GAP)相乘, 將得到的4個(gè)不同尺度的特征在通道維度上疊加到一起, 最后再通過(guò)1×1的卷積進(jìn)行特征融合和通道數(shù)恢復(fù).
圖7 多尺度特征聚合模塊Fig.7 Multi-scale feature fusion block
3.2 上采樣和下采樣模塊
本文上采樣模塊和下采樣模塊設(shè)計(jì)采用相同的結(jié)構(gòu), 如圖8所示. 分別在下采樣保持最大池化提取特征和反卷積上采樣的同時(shí), 與一個(gè)3×3的卷積層進(jìn)行并聯(lián), 并在通道維度上進(jìn)行特征疊加, 最后通過(guò)Relu激活函數(shù)達(dá)到快速收斂, 使采樣過(guò)程增加對(duì)圖像細(xì)節(jié)特征信息的獲取.
圖8 上采樣和下采樣模塊Fig.8 Up sampling module and down sampling module
3.3 像素自注意力模塊
本文建模像素自注意力模塊(pixel self-attention module, PSAM)通過(guò)自注意力機(jī)制建立像素之間的關(guān)聯(lián), 以提高對(duì)圖像高頻信息和圖像風(fēng)格保持的能力， 如圖9所示. 輸入的圖像特征表示為3維C×H×W, 其中C表示通道維度,H×W表示位置維度.對(duì)于輸入特征為C×H×W的特征A, 先在空間維度上進(jìn)行壓縮,A通過(guò)重塑后特征圖與A重塑和轉(zhuǎn)置的特征圖進(jìn)行矩陣相乘后通過(guò)Softmax函數(shù)得到像素大小為C×C通道注意圖G； 同理使轉(zhuǎn)置后的G與轉(zhuǎn)置后的A進(jìn)行矩陣乘法, 并乘以尺度系數(shù)β, 再次轉(zhuǎn)置后與A逐元素相加得到特征圖M,β初始化為0, 并逐漸學(xué)習(xí)分配更多的權(quán)重.得到特征圖M后在通道維度上進(jìn)行壓縮, 首先， 分別通過(guò)3個(gè)卷積層得到分割后的特征圖B,C,D, 然后分別重塑成C×N,N=H×W表示像素的大?。?其次, 特征圖B通過(guò)轉(zhuǎn)置后與重塑后的C進(jìn)行矩陣相乘后， 通過(guò)Softmax函數(shù)得到像素大小為N×N的空間注意圖E； 同理使轉(zhuǎn)置后的E與轉(zhuǎn)置后的D進(jìn)行矩陣乘法, 并乘以尺度系數(shù)α, 再次轉(zhuǎn)置后與M逐元素相加得到特征圖F,α初始化為0, 并逐漸學(xué)習(xí)分配更多的權(quán)重.
圖9 像素自注意力模塊Fig.9 Pixel self-attention module
通過(guò)CSAM與SSAM進(jìn)行級(jí)聯(lián)組成像素自注意力模塊， 不僅捕捉了任意兩個(gè)通道特征圖之間的通道依賴關(guān)系, 還挖掘了任意兩個(gè)位置之間的空間依賴性, 通過(guò)訓(xùn)練網(wǎng)絡(luò)自主學(xué)習(xí)兩個(gè)位置之間的特征相似性權(quán)重.
人力資源：截至目前為止，西礦企業(yè)在冊(cè)員工達(dá)一萬(wàn)五千多人，但在公司職工中碩士學(xué)位以上的有147人，高級(jí)職稱以上的有184人，其中享受?chē)?guó)務(wù)院政府特殊津貼專家、青海省優(yōu)秀專家等有18人，在全員中的占比較小，仍然缺乏高學(xué)歷高技術(shù)人才，在人力資源方面競(jìng)爭(zhēng)優(yōu)勢(shì)不大，所以公司應(yīng)通過(guò)績(jī)效管理、薪酬福利等方式吸引優(yōu)秀人才為公司服務(wù)。
3.4 生成器網(wǎng)絡(luò)結(jié)構(gòu)
本文在CycleGAN生成器網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn), 結(jié)構(gòu)如圖10所示. 首先， 用VGG16模塊組成U-Net網(wǎng)絡(luò)代替生成器中的全卷積神經(jīng)網(wǎng)絡(luò), 模型中使用改進(jìn)后的上采樣和下采樣模塊， 使網(wǎng)絡(luò)下采樣采用最大池化和上采樣反卷積時(shí), 能減少圖像特征的損耗； 其次, 在編碼器與解碼器進(jìn)行常規(guī)跳躍連接過(guò)程中添加MFFB, 可在保持一定圖像特征分辨率的情況下, 具有較大的感受野, 多尺度的捕捉上下文信息, 使得U-Net結(jié)構(gòu)的每個(gè)解碼器層都融合了來(lái)自編碼器中的小尺度和同尺度的特征圖, 減少圖像細(xì)節(jié)信息的損失， MFFB不僅改善了網(wǎng)絡(luò)對(duì)圖像邊界細(xì)節(jié)信息的提取, 并且可從圖像特征中提取有用信息； 再次, 在解碼器端進(jìn)行多尺度密集跳躍連接, 通過(guò)解碼器端的X(1,5)與X(3,3),X(4,2),X(5,1)模塊進(jìn)行密集跳躍連接； 同理X(2,4)與X(4,2),X(5,1)及X(3,3)與X(5,1)模塊都采用密集跳躍連接的方式, 使得U-Net結(jié)構(gòu)內(nèi)部形成多尺度的密集跳躍連接, 對(duì)圖像的不同尺度特征信息進(jìn)行多次的復(fù)用和提取, 以提高網(wǎng)絡(luò)淺層特征利用率及深度特征的兼容性， 從而成功地捕捉圖像的幾何特征和細(xì)節(jié)紋理信息， 使U-Net結(jié)構(gòu)的每個(gè)解碼器層都融合了來(lái)自編碼器中的小尺度和同尺度的特征圖； 最后, 圖像信息的提取集中在第五層的X(5,1)模塊, 此時(shí)通道數(shù)最多, 使X(5,1)和X(1,5)模塊進(jìn)行級(jí)聯(lián)操作, 在該過(guò)程中建模PSAM, 實(shí)現(xiàn)方法是通過(guò)網(wǎng)絡(luò)訓(xùn)練, PSAM自動(dòng)學(xué)習(xí)使不同的圖像特征獲得與之匹配的權(quán)重, 從而完成對(duì)原始特征的重新標(biāo)定， 實(shí)現(xiàn)多層次交叉模態(tài)特征融合, 并降低了低質(zhì)量圖像特征的冗余和噪聲.
圖10 生成器合成過(guò)程網(wǎng)絡(luò)結(jié)構(gòu)Fig.10 Network structure of generator synthesis process
3.5 訓(xùn)練過(guò)程
CycleGAN學(xué)習(xí)從X→Y的映射, 如果映射關(guān)系設(shè)為G, 則學(xué)習(xí)到的圖像即為GX, 然后用鑒別器判斷是否是真實(shí)圖像, 從而形成生成對(duì)抗網(wǎng)絡(luò).其損失函數(shù)為
LGAN(GX,DY)=EY[logDY(y)]+EX[log(1-DY(GX(x)))]，
(2)
其中GX計(jì)劃生成與目標(biāo)域中的圖像完全無(wú)法區(qū)分的假圖像GX(x), 而DY試圖區(qū)分真假圖像.對(duì)于映射函數(shù)GY:Y→X和鑒別器DX, 本文定義一個(gè)類似的對(duì)抗性損失LGAN(GY,DX).
基于CycleGAN中兩個(gè)GAN的對(duì)稱性, 所有X都可由G映射到Y(jié)空間的圖像上, 反之亦然.所以為避免損失無(wú)效, 本文不能直接使用該損失進(jìn)行訓(xùn)練.因此重新定義一種損失函數(shù), 其假設(shè)生成的圖像可以被合成回原域.對(duì)于X域的圖像, 本文訓(xùn)練的目的是X→GX(x)→GY(GX(x))≈X； 對(duì)于Y域的圖像, 本文訓(xùn)練的目的是Y→GY(y)→GX(GY(y))≈Y.CycleGAN模型的關(guān)鍵是使用循環(huán)一致性損失的監(jiān)督， 其損失函數(shù)表示為
Lcyc(GX,GY)=EX[GY(GX(x))-x1]+EY[GX(GY(y))-y1].
(3)
CycleGAN結(jié)構(gòu)還加入了本體映射損失(identity loss). CycleGAN使用Identity loss的目的是在遷移過(guò)程中保持原色調(diào), 約束生成器更接近真映射, 本文引入的損失函數(shù)表示為
Lil(GX,GY)=EX[GX(x)-x1]+EY[GY(y)-y1].
(4)
從而在整個(gè)CycleGAN網(wǎng)絡(luò)中的總目標(biāo)損失函數(shù)表示為
L(GX,GY,DX,DY)=LGANX+LGANY+λcycLcyc+λilLil,
(5)
其中λcyc和λil是控制循環(huán)損失和本體映射損失的參數(shù).
4 實(shí) 驗(yàn)
為驗(yàn)證本文人臉?biāo)孛韬铣删W(wǎng)絡(luò)框架的性能, 本文在包含人臉手繪素描和人臉照片的數(shù)據(jù)集CUFS[18]和CUFSF[19]上進(jìn)行訓(xùn)練. 數(shù)據(jù)集CUFS包含606對(duì)彩色人臉照片, 用于研究人臉草圖合成和人臉?biāo)孛枳R(shí)別， 其包括來(lái)自香港中文大學(xué)(CUHK)學(xué)生數(shù)據(jù)庫(kù)的188對(duì)面孔, 其中88對(duì)用于訓(xùn)練, 100對(duì)用于測(cè)試； 來(lái)自AR數(shù)據(jù)庫(kù)的123對(duì)面孔, 60對(duì)用于訓(xùn)練, 63對(duì)用于測(cè)試； 來(lái)自XM2VTS數(shù)據(jù)庫(kù)中的295對(duì)人臉面孔, 其中150對(duì)用于訓(xùn)練, 145對(duì)用于測(cè)試. 數(shù)據(jù)集CUFSF分別包括1 194對(duì)黑白人臉照片和素描, 其中挑選400對(duì)用于訓(xùn)練, 694對(duì)用于測(cè)試, 因?yàn)椴輬D更抽象化及與原始照片沒(méi)有很好的對(duì)齊， 增加了實(shí)驗(yàn)的復(fù)雜性. 實(shí)驗(yàn)環(huán)境為Ubuntu操作系統(tǒng)計(jì)算機(jī), NVIDIA 1080 Ti顯卡, Pytorch1.9環(huán)境下運(yùn)行.
4.1 參數(shù)設(shè)置
由于受實(shí)驗(yàn)設(shè)備條件限制, 在實(shí)驗(yàn)過(guò)程中訓(xùn)練集的人臉圖像被裁剪成256×256大小, batch_size為5, 實(shí)驗(yàn)迭代次數(shù)為200次, 生成器和鑒別器使用Adam算法進(jìn)行優(yōu)化, 優(yōu)化學(xué)習(xí)率為0.000 2, 為減少網(wǎng)絡(luò)的震蕩， 存儲(chǔ)幾張生成圖像作為緩沖更新鑒別器.
4.2 實(shí)驗(yàn)結(jié)果與分析
為驗(yàn)證本文實(shí)驗(yàn)對(duì)人臉?biāo)孛韬铣傻挠行? 在相同的硬件環(huán)境下, 本文對(duì)比了FCN算法[20]、 MWF算法[21]、 CycleGAN算法[13]、 CA-GAN算法[22]和本文算法分別在數(shù)據(jù)集CUFS和CUFSF上生成的人臉?biāo)孛鑸D像.
在客觀評(píng)價(jià)指標(biāo)上, 采用的圖像質(zhì)量評(píng)估指標(biāo)分別為： 結(jié)構(gòu)相似指數(shù)(structural similarity index measure, SSIM)[23], 其從亮度、 對(duì)比度和結(jié)構(gòu)相似三方面衡量待評(píng)圖像的質(zhì)量； 特征相似度測(cè)量(feature similarity index measure, FSIM)， 其是在SSIM上的延伸, FSIM算法[23]能根據(jù)一張圖片中不同像素所占的百分?jǐn)?shù)不同而給予合適的權(quán)重指數(shù), 與肉眼的視覺(jué)感知一致性較高, 聚焦合成素描圖像的低層次特征與手繪圖像的區(qū)別； 結(jié)構(gòu)共現(xiàn)紋理的測(cè)試(Scoot Measure)[24], 其針對(duì)類視覺(jué)系統(tǒng)具有快速評(píng)估兩張面部素描之間感知相似性的能力， 空間結(jié)構(gòu)和共線紋理是面部素描合成中兩個(gè)普遍適用的感知特征, 結(jié)構(gòu)共線紋理測(cè)試同時(shí)考慮空間結(jié)構(gòu)和共線紋理， 指標(biāo)數(shù)值越大, 說(shuō)明與手繪素描圖相似度越高, 重構(gòu)的人臉?biāo)孛枧c手繪素描之間的差異越小, 效果越好. 不同網(wǎng)絡(luò)架構(gòu)在數(shù)據(jù)集CUFS和CUFSF上生成的素描圖像進(jìn)行測(cè)評(píng)的結(jié)果分別列于表1和表2.
表1 不同網(wǎng)絡(luò)架構(gòu)在數(shù)據(jù)集CUFS上素描圖像評(píng)估結(jié)果對(duì)比
表2 不同網(wǎng)絡(luò)架構(gòu)在數(shù)據(jù)集CUFSF上素描圖像評(píng)估結(jié)果對(duì)比
由表1可見(jiàn), 本文算法相比于FCN,MWF,CycleGAN,CA-GAN算法訓(xùn)練得到的人臉?biāo)孛鑸D像, 其各項(xiàng)指標(biāo)均有提高. 本文算法與效果相對(duì)較好的CA-GAN網(wǎng)絡(luò)訓(xùn)練得到的人臉?biāo)孛鑸D像相比, 其SSIM和FSIM值分別提高0.011 2和0.002 5, Scoot Measure提高0.009 3. 由表2可見(jiàn), 本文算法與效果相對(duì)較好的CA-GAN網(wǎng)絡(luò)訓(xùn)練得到的素描圖像相比, 其SSIM和FSIM值分別提高0.010 4和0.016 2, Scoot Measure提高0.025 6. 實(shí)驗(yàn)結(jié)果證明了本文算法在人臉?biāo)孛鑸D像合成方面的有效性.
下面從主觀視覺(jué)上對(duì)比實(shí)驗(yàn)結(jié)果. 各算法在數(shù)據(jù)集CUFS和CUFSF上測(cè)試生成的人臉?biāo)孛鑸D片如圖11所示. 由圖11可見(jiàn), 不同算法的重建素描效果圖在主觀視覺(jué)上, MWF和FCN算法重建的圖像主觀上能辨析人臉 , 但其紋理模糊； CycleGAN算法重建的圖像線條更豐富， 但邊緣較模糊； CAGAN算法重建的素描圖像面部表情稍微失真， 但整體輪廓更清晰； 本文算法重建的人臉?biāo)孛鑸D像能恢復(fù)出更好的輪廓邊緣信息, 且線條含有更多的細(xì)節(jié)信息, 發(fā)絲和五官輪廓更清晰, 呈現(xiàn)出筆繪的線條感. 實(shí)驗(yàn)結(jié)果表明, 本文算法基于人臉照片重建的素描圖像取得了最好的素描風(fēng)格重現(xiàn), 感官視覺(jué)和客觀指標(biāo)上均優(yōu)于對(duì)比算法.
圖11 在數(shù)據(jù)集CUFS和CUFSF上各算法的視覺(jué)對(duì)比結(jié)果Fig.11 Visual comparison results of each algorithm on CUFS data set and CUFSF data set
綜上所述, 針對(duì)在人臉?biāo)孛鑸D像合成過(guò)程中存在人臉邊緣和細(xì)節(jié)紋理模糊、 面部表情失真等問(wèn)題, 本文結(jié)合CycleGAN算法的優(yōu)點(diǎn)， 提出了一種多尺度自注意機(jī)制的循環(huán)生成對(duì)抗網(wǎng)絡(luò)用于人臉?biāo)孛鑸D像合成. 該網(wǎng)絡(luò)通過(guò)建模PSAM, 使網(wǎng)絡(luò)在對(duì)圖像特征進(jìn)行提取時(shí), 網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)圖像特征信息的權(quán)重, 通過(guò)學(xué)習(xí)不同特征通道之間的重要關(guān)系提升網(wǎng)絡(luò)性能, 使素描風(fēng)格遷移獲得更好的表達(dá)； 該網(wǎng)絡(luò)采用U-Net結(jié)構(gòu)的生成器， 并改進(jìn)內(nèi)部連接方式和采樣結(jié)構(gòu)， 在獲得較大感受野的情況下提取多尺度的特征信息, 利用空洞卷積設(shè)計(jì)MFFB. 將該網(wǎng)絡(luò)與其他經(jīng)典算法進(jìn)行實(shí)驗(yàn)對(duì)比的結(jié)果表明, 本文算法不僅主觀上重建了較好的視覺(jué)效果, 進(jìn)一步糾正了網(wǎng)絡(luò)生成的人臉?biāo)孛鑸D像在細(xì)節(jié)紋理、 幾何特征和邊緣特征方面的表現(xiàn)能力； 在客觀評(píng)價(jià)指標(biāo)上， 本文取得的較高的FSIM和Scoot Measure值, 也證明了本文算法在人臉?biāo)孛鑸D像合成方面的有效性.
猜你喜歡
有特點(diǎn)的人臉少兒美術(shù)·書(shū)法版(2021年9期)2021-10-20 06:35:00 初夏素描江蘇安全生產(chǎn)(2021年6期)2021-08-05 07:47:22 財(cái)產(chǎn)的五大尺度和五重應(yīng)對(duì)內(nèi)蒙古民族大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)(2020年2期)2020-11-06 09:08:52 武漢素描歌劇(2020年4期)2020-08-06 15:13:32 素描雨露風(fēng)(2020年8期)2020-04-26 19:55:51 三國(guó)漫——人臉解鎖動(dòng)漫星空(2018年9期)2018-10-26 01:17:14 凡·高的早期素描讀者(2016年23期)2016-11-16 13:27:55 宇宙的尺度太空探索(2016年5期)2016-07-12 15:17:55 馬面部與人臉相似度驚人發(fā)明與創(chuàng)新(2015年33期)2015-02-27 10:40:09 9時(shí)代英語(yǔ)·高三(2014年5期)2014-08-26 17:01:17
葛延良, 孫笑笑, 張 喬, 王冬梅, 王肖肖
(東北石油大學(xué) 電氣信息工程學(xué)院, 黑龍江 大慶 163318)
作為圖像風(fēng)格遷移的一個(gè)重要分支, 人臉?biāo)孛韬铣?face sketch synthesis, FSS)目前得到廣泛的關(guān)注[1]. 人臉?biāo)孛韬铣墒侵笇⑷四樲D(zhuǎn)化為相對(duì)應(yīng)的素描圖像[2]， 其在生活、 刑事偵查、 數(shù)字娛樂(lè)、 漫畫(huà)制作[3]及電影制作等領(lǐng)域應(yīng)用廣泛.
圖像的風(fēng)格遷移方法主要有兩種： 基于圖像迭代和基于模型迭代[4]. 圖像迭代方法主要包括基于最大均值差異、 基于Markov隨機(jī)場(chǎng)和基于深度圖像類比. 模型迭代方法在圖像風(fēng)格遷移方面有較大優(yōu)勢(shì), 特別是卷積神經(jīng)網(wǎng)絡(luò)[5]和生成對(duì)抗網(wǎng)絡(luò)的不斷發(fā)展[1], 極大提高了人臉?biāo)孛韬铣傻膱D像質(zhì)量. 其中基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移[6], 實(shí)現(xiàn)了局部連接、 權(quán)值分擔(dān)、 特征提取和封裝, 缺點(diǎn)是遷移缺乏泛化能力, 可能導(dǎo)致圖像模糊甚至失真[7]. 生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)很好地解決了上述問(wèn)題. Goodfellow等[8]首次提出了生成對(duì)抗網(wǎng)絡(luò), 極大提高了生成圖像的速度和清晰度[9], 同時(shí)降低了網(wǎng)絡(luò)的復(fù)雜度, 但整個(gè)過(guò)程是全監(jiān)督學(xué)習(xí), 而全監(jiān)督網(wǎng)絡(luò)要求訓(xùn)練人臉到素描風(fēng)格遷移模型有較大的成對(duì)數(shù)據(jù)集, 準(zhǔn)備成對(duì)數(shù)據(jù)集既困難又昂貴, 同時(shí)具有時(shí)間和空間的局限性； Gulrajani等[10]提出了ImprovedGAN, 對(duì)GAN進(jìn)行了結(jié)構(gòu)更改和訓(xùn)練, 主要集中于半監(jiān)督學(xué)習(xí)和更好的圖像生成, 訓(xùn)練結(jié)構(gòu)穩(wěn)定的GAN[11]； Isola等[12]提出了“Pix2pix”網(wǎng)絡(luò)模型, 風(fēng)格遷移效果顯著， 但要求圖片必須成對(duì)； 在此基礎(chǔ)上， Zhu等[13]提出了循環(huán)生成對(duì)抗網(wǎng)絡(luò)(cycle-generative adversarial networks, CycleGAN), 在該網(wǎng)絡(luò)中提出基于對(duì)稱GAN模型, 其在損失函數(shù)中加入周期一致性損失, 使輸入圖像在不配對(duì)的情況下生成不同風(fēng)格的圖像, 完成無(wú)監(jiān)督學(xué)習(xí)的高質(zhì)量風(fēng)格傳遞任務(wù). 本文使用循環(huán)生成對(duì)抗網(wǎng)絡(luò)框架, 將其應(yīng)用于人臉?biāo)孛韬铣? 實(shí)驗(yàn)得到了更優(yōu)質(zhì)的素描圖片.
1 循環(huán)生成對(duì)抗網(wǎng)絡(luò)模型
圖1 CycleGAN生成模型結(jié)構(gòu)Fig.1 Generative model structure of CycleGAN
本文定義兩個(gè)相同的PatchGAN[12]作為鑒別器. 鑒別器采用四組卷積層+正則化+Leaky ReLU激活函數(shù)形式和一組卷積層+譜歸一化+Leaky Relu激活函數(shù)形式, 每個(gè)卷積層的卷積核大小均為4, 步長(zhǎng)為2, 通道數(shù)依次為64,128,256，512, 最后一層每個(gè)分割塊通過(guò)Sigmoid輸出為真的概率, 然后用BCE損失函數(shù)計(jì)算得到最終的損失[12]. PatchGAN對(duì)于圖像風(fēng)格遷移后的圖片保持高細(xì)節(jié)的清晰化. 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)如2所示.
圖2 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Discriminator network structure
2 預(yù)備知識(shí)
2.1 U-Net模塊
循環(huán)生成對(duì)抗網(wǎng)絡(luò)的生成器采用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像特征, 本文受文獻(xiàn)[14]的啟發(fā), 將U-Net結(jié)構(gòu)應(yīng)用于生成器中. U-Net結(jié)構(gòu)本質(zhì)上是一個(gè)編碼器-解碼器網(wǎng)絡(luò), 在完全對(duì)稱的編碼器和解碼之間進(jìn)行常規(guī)的跳躍連接, 以結(jié)合圖像高級(jí)和低級(jí)語(yǔ)義[15]. 本文以VGG16模塊組成U-Net的結(jié)構(gòu)作為生成器主框架,X(i,m)表示位于U-Net網(wǎng)絡(luò)層不同位置的VGG16模塊, 其中i表示模塊位于第i行,m表示模塊位于第m列， 其結(jié)構(gòu)如圖3所示.
圖3 U-Net結(jié)構(gòu)模型Fig.3 Structural model of U-Net
2.2 空洞卷積
常見(jiàn)的圖像分割算法通常使用池化層和卷積層增加感受野, 特征圖縮小再放大的過(guò)程會(huì)導(dǎo)致精度損失, 因此本文引入空洞卷積(dilated convolution)[16]， 可在增加感受野的同時(shí)保持特征圖的尺寸不變, 如圖4(A)所示. 圖4是標(biāo)準(zhǔn)的 3×3 卷積(擴(kuò)張率為1), 該卷積的感受野是卷積核覆蓋3×3區(qū)域. 當(dāng)擴(kuò)張率為2時(shí), 感受野RFn可利用
RFn=RFn-1+(i-1)×d
(1)
計(jì)算， 其中RFn-1表示上一層的感受野,i表示卷積核大小,d表示步長(zhǎng).圖像特征提取過(guò)程中, 在保證特征圖一定分辨率的前提下, 獲得較大的圖像特征感受野.由圖4(B)可見(jiàn)， 此時(shí)的卷積核大小為2×(3-1)+1=5, 與圖4(A)疊加得到圖4(C)的感受野相當(dāng)于7×7網(wǎng)格所覆蓋的區(qū)域.
圖4 空洞卷積感受野示意圖Fig.4 Schematic diagram of dilated convolution receptive field
2.3 自注意力模塊
由于目前的網(wǎng)絡(luò)結(jié)構(gòu)在圖像特征提取過(guò)程中存在均勻分布的特點(diǎn), 而卷積運(yùn)算將圖片進(jìn)行局部分割, 在進(jìn)行深層特征提取與遷移時(shí), 局部與整體會(huì)有差異. 本文受文獻(xiàn)[17]工作的啟發(fā), 通過(guò)自注意力機(jī)制建立像素之間的關(guān)聯(lián), 提高對(duì)圖像高頻信息和圖像風(fēng)格保持的能力. 本文引用通道自注意力模塊(channel self-attention module, CSAM)和空間自注意力模塊(spatial self-attention module, SSAM). CSAM結(jié)構(gòu)如圖5所示. SSAM通過(guò)每個(gè)位置特征的加權(quán)總和, 選擇性地聚集每個(gè)位置的特征， 其結(jié)構(gòu)如圖6所示.
圖5 通道自注意力模塊的結(jié)構(gòu)Fig.5 Structure of channel self-attention module
圖6 空間自注意力模塊的結(jié)構(gòu)Fig.6 Structure of spatial self-attention module
3 改進(jìn)的生成網(wǎng)絡(luò)模型
3.1 多尺度特征聚合模塊
本文設(shè)計(jì)多尺度特征聚合模塊(MFFB), 結(jié)構(gòu)如圖7所示. 將圖像特征并行輸入通過(guò)3個(gè)3×3的空洞卷積[16], 分別以2,4,8的采樣率并行采樣, 同時(shí)將輸入與一個(gè)全局平均池化(GAP)相乘, 將得到的4個(gè)不同尺度的特征在通道維度上疊加到一起, 最后再通過(guò)1×1的卷積進(jìn)行特征融合和通道數(shù)恢復(fù).
圖7 多尺度特征聚合模塊Fig.7 Multi-scale feature fusion block
3.2 上采樣和下采樣模塊
本文上采樣模塊和下采樣模塊設(shè)計(jì)采用相同的結(jié)構(gòu), 如圖8所示. 分別在下采樣保持最大池化提取特征和反卷積上采樣的同時(shí), 與一個(gè)3×3的卷積層進(jìn)行并聯(lián), 并在通道維度上進(jìn)行特征疊加, 最后通過(guò)Relu激活函數(shù)達(dá)到快速收斂, 使采樣過(guò)程增加對(duì)圖像細(xì)節(jié)特征信息的獲取.
圖8 上采樣和下采樣模塊Fig.8 Up sampling module and down sampling module
3.3 像素自注意力模塊
本文建模像素自注意力模塊(pixel self-attention module, PSAM)通過(guò)自注意力機(jī)制建立像素之間的關(guān)聯(lián), 以提高對(duì)圖像高頻信息和圖像風(fēng)格保持的能力， 如圖9所示. 輸入的圖像特征表示為3維C×H×W, 其中C表示通道維度,H×W表示位置維度.對(duì)于輸入特征為C×H×W的特征A, 先在空間維度上進(jìn)行壓縮,A通過(guò)重塑后特征圖與A重塑和轉(zhuǎn)置的特征圖進(jìn)行矩陣相乘后通過(guò)Softmax函數(shù)得到像素大小為C×C通道注意圖G； 同理使轉(zhuǎn)置后的G與轉(zhuǎn)置后的A進(jìn)行矩陣乘法, 并乘以尺度系數(shù)β, 再次轉(zhuǎn)置后與A逐元素相加得到特征圖M,β初始化為0, 并逐漸學(xué)習(xí)分配更多的權(quán)重.得到特征圖M后在通道維度上進(jìn)行壓縮, 首先， 分別通過(guò)3個(gè)卷積層得到分割后的特征圖B,C,D, 然后分別重塑成C×N,N=H×W表示像素的大?。?其次, 特征圖B通過(guò)轉(zhuǎn)置后與重塑后的C進(jìn)行矩陣相乘后， 通過(guò)Softmax函數(shù)得到像素大小為N×N的空間注意圖E； 同理使轉(zhuǎn)置后的E與轉(zhuǎn)置后的D進(jìn)行矩陣乘法, 并乘以尺度系數(shù)α, 再次轉(zhuǎn)置后與M逐元素相加得到特征圖F,α初始化為0, 并逐漸學(xué)習(xí)分配更多的權(quán)重.
圖9 像素自注意力模塊Fig.9 Pixel self-attention module
通過(guò)CSAM與SSAM進(jìn)行級(jí)聯(lián)組成像素自注意力模塊， 不僅捕捉了任意兩個(gè)通道特征圖之間的通道依賴關(guān)系, 還挖掘了任意兩個(gè)位置之間的空間依賴性, 通過(guò)訓(xùn)練網(wǎng)絡(luò)自主學(xué)習(xí)兩個(gè)位置之間的特征相似性權(quán)重.
人力資源：截至目前為止，西礦企業(yè)在冊(cè)員工達(dá)一萬(wàn)五千多人，但在公司職工中碩士學(xué)位以上的有147人，高級(jí)職稱以上的有184人，其中享受?chē)?guó)務(wù)院政府特殊津貼專家、青海省優(yōu)秀專家等有18人，在全員中的占比較小，仍然缺乏高學(xué)歷高技術(shù)人才，在人力資源方面競(jìng)爭(zhēng)優(yōu)勢(shì)不大，所以公司應(yīng)通過(guò)績(jī)效管理、薪酬福利等方式吸引優(yōu)秀人才為公司服務(wù)。
3.4 生成器網(wǎng)絡(luò)結(jié)構(gòu)
本文在CycleGAN生成器網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn), 結(jié)構(gòu)如圖10所示. 首先， 用VGG16模塊組成U-Net網(wǎng)絡(luò)代替生成器中的全卷積神經(jīng)網(wǎng)絡(luò), 模型中使用改進(jìn)后的上采樣和下采樣模塊， 使網(wǎng)絡(luò)下采樣采用最大池化和上采樣反卷積時(shí), 能減少圖像特征的損耗； 其次, 在編碼器與解碼器進(jìn)行常規(guī)跳躍連接過(guò)程中添加MFFB, 可在保持一定圖像特征分辨率的情況下, 具有較大的感受野, 多尺度的捕捉上下文信息, 使得U-Net結(jié)構(gòu)的每個(gè)解碼器層都融合了來(lái)自編碼器中的小尺度和同尺度的特征圖, 減少圖像細(xì)節(jié)信息的損失， MFFB不僅改善了網(wǎng)絡(luò)對(duì)圖像邊界細(xì)節(jié)信息的提取, 并且可從圖像特征中提取有用信息； 再次, 在解碼器端進(jìn)行多尺度密集跳躍連接, 通過(guò)解碼器端的X(1,5)與X(3,3),X(4,2),X(5,1)模塊進(jìn)行密集跳躍連接； 同理X(2,4)與X(4,2),X(5,1)及X(3,3)與X(5,1)模塊都采用密集跳躍連接的方式, 使得U-Net結(jié)構(gòu)內(nèi)部形成多尺度的密集跳躍連接, 對(duì)圖像的不同尺度特征信息進(jìn)行多次的復(fù)用和提取, 以提高網(wǎng)絡(luò)淺層特征利用率及深度特征的兼容性， 從而成功地捕捉圖像的幾何特征和細(xì)節(jié)紋理信息， 使U-Net結(jié)構(gòu)的每個(gè)解碼器層都融合了來(lái)自編碼器中的小尺度和同尺度的特征圖； 最后, 圖像信息的提取集中在第五層的X(5,1)模塊, 此時(shí)通道數(shù)最多, 使X(5,1)和X(1,5)模塊進(jìn)行級(jí)聯(lián)操作, 在該過(guò)程中建模PSAM, 實(shí)現(xiàn)方法是通過(guò)網(wǎng)絡(luò)訓(xùn)練, PSAM自動(dòng)學(xué)習(xí)使不同的圖像特征獲得與之匹配的權(quán)重, 從而完成對(duì)原始特征的重新標(biāo)定， 實(shí)現(xiàn)多層次交叉模態(tài)特征融合, 并降低了低質(zhì)量圖像特征的冗余和噪聲.
圖10 生成器合成過(guò)程網(wǎng)絡(luò)結(jié)構(gòu)Fig.10 Network structure of generator synthesis process
3.5 訓(xùn)練過(guò)程
CycleGAN學(xué)習(xí)從X→Y的映射, 如果映射關(guān)系設(shè)為G, 則學(xué)習(xí)到的圖像即為GX, 然后用鑒別器判斷是否是真實(shí)圖像, 從而形成生成對(duì)抗網(wǎng)絡(luò).其損失函數(shù)為
LGAN(GX,DY)=EY[logDY(y)]+EX[log(1-DY(GX(x)))]，
(2)
其中GX計(jì)劃生成與目標(biāo)域中的圖像完全無(wú)法區(qū)分的假圖像GX(x), 而DY試圖區(qū)分真假圖像.對(duì)于映射函數(shù)GY:Y→X和鑒別器DX, 本文定義一個(gè)類似的對(duì)抗性損失LGAN(GY,DX).
基于CycleGAN中兩個(gè)GAN的對(duì)稱性, 所有X都可由G映射到Y(jié)空間的圖像上, 反之亦然.所以為避免損失無(wú)效, 本文不能直接使用該損失進(jìn)行訓(xùn)練.因此重新定義一種損失函數(shù), 其假設(shè)生成的圖像可以被合成回原域.對(duì)于X域的圖像, 本文訓(xùn)練的目的是X→GX(x)→GY(GX(x))≈X； 對(duì)于Y域的圖像, 本文訓(xùn)練的目的是Y→GY(y)→GX(GY(y))≈Y.CycleGAN模型的關(guān)鍵是使用循環(huán)一致性損失的監(jiān)督， 其損失函數(shù)表示為
Lcyc(GX,GY)=EX[GY(GX(x))-x1]+EY[GX(GY(y))-y1].
(3)
CycleGAN結(jié)構(gòu)還加入了本體映射損失(identity loss). CycleGAN使用Identity loss的目的是在遷移過(guò)程中保持原色調(diào), 約束生成器更接近真映射, 本文引入的損失函數(shù)表示為
Lil(GX,GY)=EX[GX(x)-x1]+EY[GY(y)-y1].
(4)
從而在整個(gè)CycleGAN網(wǎng)絡(luò)中的總目標(biāo)損失函數(shù)表示為
L(GX,GY,DX,DY)=LGANX+LGANY+λcycLcyc+λilLil,
(5)
其中λcyc和λil是控制循環(huán)損失和本體映射損失的參數(shù).
4 實(shí) 驗(yàn)
為驗(yàn)證本文人臉?biāo)孛韬铣删W(wǎng)絡(luò)框架的性能, 本文在包含人臉手繪素描和人臉照片的數(shù)據(jù)集CUFS[18]和CUFSF[19]上進(jìn)行訓(xùn)練. 數(shù)據(jù)集CUFS包含606對(duì)彩色人臉照片, 用于研究人臉草圖合成和人臉?biāo)孛枳R(shí)別， 其包括來(lái)自香港中文大學(xué)(CUHK)學(xué)生數(shù)據(jù)庫(kù)的188對(duì)面孔, 其中88對(duì)用于訓(xùn)練, 100對(duì)用于測(cè)試； 來(lái)自AR數(shù)據(jù)庫(kù)的123對(duì)面孔, 60對(duì)用于訓(xùn)練, 63對(duì)用于測(cè)試； 來(lái)自XM2VTS數(shù)據(jù)庫(kù)中的295對(duì)人臉面孔, 其中150對(duì)用于訓(xùn)練, 145對(duì)用于測(cè)試. 數(shù)據(jù)集CUFSF分別包括1 194對(duì)黑白人臉照片和素描, 其中挑選400對(duì)用于訓(xùn)練, 694對(duì)用于測(cè)試, 因?yàn)椴輬D更抽象化及與原始照片沒(méi)有很好的對(duì)齊， 增加了實(shí)驗(yàn)的復(fù)雜性. 實(shí)驗(yàn)環(huán)境為Ubuntu操作系統(tǒng)計(jì)算機(jī), NVIDIA 1080 Ti顯卡, Pytorch1.9環(huán)境下運(yùn)行.
4.1 參數(shù)設(shè)置
由于受實(shí)驗(yàn)設(shè)備條件限制, 在實(shí)驗(yàn)過(guò)程中訓(xùn)練集的人臉圖像被裁剪成256×256大小, batch_size為5, 實(shí)驗(yàn)迭代次數(shù)為200次, 生成器和鑒別器使用Adam算法進(jìn)行優(yōu)化, 優(yōu)化學(xué)習(xí)率為0.000 2, 為減少網(wǎng)絡(luò)的震蕩， 存儲(chǔ)幾張生成圖像作為緩沖更新鑒別器.
4.2 實(shí)驗(yàn)結(jié)果與分析
為驗(yàn)證本文實(shí)驗(yàn)對(duì)人臉?biāo)孛韬铣傻挠行? 在相同的硬件環(huán)境下, 本文對(duì)比了FCN算法[20]、 MWF算法[21]、 CycleGAN算法[13]、 CA-GAN算法[22]和本文算法分別在數(shù)據(jù)集CUFS和CUFSF上生成的人臉?biāo)孛鑸D像.
在客觀評(píng)價(jià)指標(biāo)上, 采用的圖像質(zhì)量評(píng)估指標(biāo)分別為： 結(jié)構(gòu)相似指數(shù)(structural similarity index measure, SSIM)[23], 其從亮度、 對(duì)比度和結(jié)構(gòu)相似三方面衡量待評(píng)圖像的質(zhì)量； 特征相似度測(cè)量(feature similarity index measure, FSIM)， 其是在SSIM上的延伸, FSIM算法[23]能根據(jù)一張圖片中不同像素所占的百分?jǐn)?shù)不同而給予合適的權(quán)重指數(shù), 與肉眼的視覺(jué)感知一致性較高, 聚焦合成素描圖像的低層次特征與手繪圖像的區(qū)別； 結(jié)構(gòu)共現(xiàn)紋理的測(cè)試(Scoot Measure)[24], 其針對(duì)類視覺(jué)系統(tǒng)具有快速評(píng)估兩張面部素描之間感知相似性的能力， 空間結(jié)構(gòu)和共線紋理是面部素描合成中兩個(gè)普遍適用的感知特征, 結(jié)構(gòu)共線紋理測(cè)試同時(shí)考慮空間結(jié)構(gòu)和共線紋理， 指標(biāo)數(shù)值越大, 說(shuō)明與手繪素描圖相似度越高, 重構(gòu)的人臉?biāo)孛枧c手繪素描之間的差異越小, 效果越好. 不同網(wǎng)絡(luò)架構(gòu)在數(shù)據(jù)集CUFS和CUFSF上生成的素描圖像進(jìn)行測(cè)評(píng)的結(jié)果分別列于表1和表2.
表1 不同網(wǎng)絡(luò)架構(gòu)在數(shù)據(jù)集CUFS上素描圖像評(píng)估結(jié)果對(duì)比
表2 不同網(wǎng)絡(luò)架構(gòu)在數(shù)據(jù)集CUFSF上素描圖像評(píng)估結(jié)果對(duì)比
由表1可見(jiàn), 本文算法相比于FCN,MWF,CycleGAN,CA-GAN算法訓(xùn)練得到的人臉?biāo)孛鑸D像, 其各項(xiàng)指標(biāo)均有提高. 本文算法與效果相對(duì)較好的CA-GAN網(wǎng)絡(luò)訓(xùn)練得到的人臉?biāo)孛鑸D像相比, 其SSIM和FSIM值分別提高0.011 2和0.002 5, Scoot Measure提高0.009 3. 由表2可見(jiàn), 本文算法與效果相對(duì)較好的CA-GAN網(wǎng)絡(luò)訓(xùn)練得到的素描圖像相比, 其SSIM和FSIM值分別提高0.010 4和0.016 2, Scoot Measure提高0.025 6. 實(shí)驗(yàn)結(jié)果證明了本文算法在人臉?biāo)孛鑸D像合成方面的有效性.
下面從主觀視覺(jué)上對(duì)比實(shí)驗(yàn)結(jié)果. 各算法在數(shù)據(jù)集CUFS和CUFSF上測(cè)試生成的人臉?biāo)孛鑸D片如圖11所示. 由圖11可見(jiàn), 不同算法的重建素描效果圖在主觀視覺(jué)上, MWF和FCN算法重建的圖像主觀上能辨析人臉 , 但其紋理模糊； CycleGAN算法重建的圖像線條更豐富， 但邊緣較模糊； CAGAN算法重建的素描圖像面部表情稍微失真， 但整體輪廓更清晰； 本文算法重建的人臉?biāo)孛鑸D像能恢復(fù)出更好的輪廓邊緣信息, 且線條含有更多的細(xì)節(jié)信息, 發(fā)絲和五官輪廓更清晰, 呈現(xiàn)出筆繪的線條感. 實(shí)驗(yàn)結(jié)果表明, 本文算法基于人臉照片重建的素描圖像取得了最好的素描風(fēng)格重現(xiàn), 感官視覺(jué)和客觀指標(biāo)上均優(yōu)于對(duì)比算法.
圖11 在數(shù)據(jù)集CUFS和CUFSF上各算法的視覺(jué)對(duì)比結(jié)果Fig.11 Visual comparison results of each algorithm on CUFS data set and CUFSF data set
綜上所述, 針對(duì)在人臉?biāo)孛鑸D像合成過(guò)程中存在人臉邊緣和細(xì)節(jié)紋理模糊、 面部表情失真等問(wèn)題, 本文結(jié)合CycleGAN算法的優(yōu)點(diǎn)， 提出了一種多尺度自注意機(jī)制的循環(huán)生成對(duì)抗網(wǎng)絡(luò)用于人臉?biāo)孛鑸D像合成. 該網(wǎng)絡(luò)通過(guò)建模PSAM, 使網(wǎng)絡(luò)在對(duì)圖像特征進(jìn)行提取時(shí), 網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)圖像特征信息的權(quán)重, 通過(guò)學(xué)習(xí)不同特征通道之間的重要關(guān)系提升網(wǎng)絡(luò)性能, 使素描風(fēng)格遷移獲得更好的表達(dá)； 該網(wǎng)絡(luò)采用U-Net結(jié)構(gòu)的生成器， 并改進(jìn)內(nèi)部連接方式和采樣結(jié)構(gòu)， 在獲得較大感受野的情況下提取多尺度的特征信息, 利用空洞卷積設(shè)計(jì)MFFB. 將該網(wǎng)絡(luò)與其他經(jīng)典算法進(jìn)行實(shí)驗(yàn)對(duì)比的結(jié)果表明, 本文算法不僅主觀上重建了較好的視覺(jué)效果, 進(jìn)一步糾正了網(wǎng)絡(luò)生成的人臉?biāo)孛鑸D像在細(xì)節(jié)紋理、 幾何特征和邊緣特征方面的表現(xiàn)能力； 在客觀評(píng)價(jià)指標(biāo)上， 本文取得的較高的FSIM和Scoot Measure值, 也證明了本文算法在人臉?biāo)孛鑸D像合成方面的有效性.
猜你喜歡
少兒美術(shù)·書(shū)法版(2021年9期)2021-10-20 06:35:00
江蘇安全生產(chǎn)(2021年6期)2021-08-05 07:47:22
內(nèi)蒙古民族大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)(2020年2期)2020-11-06 09:08:52
歌劇(2020年4期)2020-08-06 15:13:32
雨露風(fēng)(2020年8期)2020-04-26 19:55:51
動(dòng)漫星空(2018年9期)2018-10-26 01:17:14
讀者(2016年23期)2016-11-16 13:27:55
太空探索(2016年5期)2016-07-12 15:17:55
發(fā)明與創(chuàng)新(2015年33期)2015-02-27 10:40:09
時(shí)代英語(yǔ)·高三(2014年5期)2014-08-26 17:01:17
