基于多尺度特征融合的屬性已知人臉圖像超分辨率

姚肇亮,劉宇男,張姍姍,楊 健

(南京理工大學 計算機科學與工程學院,江蘇 南京 210094)

作為圖像超分辨率(Image super-resolution,ISR)領域中的一個特定任務,人臉圖像超分辨率(Face image super-resolution,FISR)任務在許多與面部相關的任務中起著至關重要的作用,例如人臉分析[1]、人臉識別[2,3]、人臉對齊[4]和人臉檢測[5]等,獲取更高分辨率的人臉圖像進行任務間的輔助。人臉圖像超分辨率,旨在使用低分辨率(Low resolution,LR)人臉圖像恢復高分辨率(High resolution,HR)人臉圖像,然而,人臉圖像超分辨率是一種一對多的病態(tài)問題。輸入一張?zhí)囟ǖ牡头直媛嗜四槇D像,模型以低分辨率圖像生成高分辨率圖像的方式有很多種,存在多種可能的合理解,即超分辨率的解是不確定的。

憑借強大的學習能力,卷積神經(jīng)網(wǎng)絡(Convolutional neural networks,CNNs)在計算機視覺中被廣泛使用[6-9],包括圖像超分辨率領域,并顯現(xiàn)出較其他傳統(tǒng)方法[10-12]的優(yōu)越性。典型的基于卷積神經(jīng)網(wǎng)絡的超分辨率方法,采用像素級別的損失,例如L1損失[13],采用迭代訓練的方式,迫使輸入的低分辨率圖像逐漸逼近高分辨率真實圖像,最終輸出令人滿意的高分辨率圖像。為了獲取更好的超分辨率效果,大多數(shù)基于神經(jīng)網(wǎng)絡的方法往往傾向于設計更深、更復雜的網(wǎng)絡結構。然而,這樣的結構設計往往會使得網(wǎng)絡訓練消耗大量的計算資源和計算時間。為解決這些問題,本文提出一種高效的基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡(Multi-scale feature fusion based attribute-aware face image super-resolution network,MSFFN),這種網(wǎng)絡不僅超分辨率性能優(yōu)秀,并且能夠根據(jù)需要進行按屬性控制的人臉圖像超分辨率。首先,本文提出一種新的多尺度特征融合模塊(Multi-scale feature fusion block,MSFFB),有效地提取不同尺度的圖像特征。此外,MSFFB作為網(wǎng)絡子模塊級聯(lián)構成MSFFN網(wǎng)絡,并通過一個多層次特征融合模塊(Hierarchical feature fusion module,HFFM)共同學習。其次,本文將面部屬性作為先驗知識,提出一種屬性感知模塊(Attribute-aware module,AAM)用以將面部屬性整合到人臉圖像重建過程中。不同于以往直接將面部屬性標簽作為輸入的方法,本文將面部屬性以二進制掩膜的形式映射進多尺度特征提取的中間階段。試驗結果表明,使用面部屬性輔助多尺度特征抽取,能夠明顯地提升人臉圖像超分辨率效果,并且可修改面部屬性進行人臉圖像超分辨率效果控制。最后,在大規(guī)模數(shù)據(jù)集上進行的廣泛試驗證明,對比其他優(yōu)秀方法,本文提出的方法具有出色的人臉圖像超分辨率性能。

一般圖像超分辨率方法,已有的包括插值法[14]、重構法[15,16]和基于學習的傳統(tǒng)方法等[10-12]。近年來,自Dong等[17]首次基于卷積神經(jīng)網(wǎng)絡提出SRCNN用以圖像超分辨率,相繼出現(xiàn)許多基于卷積神經(jīng)網(wǎng)絡的圖像超分辨率方法[13,17-22]。SRCNN學習從低分辨率圖像到高分辨率圖像的一種端到端映射,從而實現(xiàn)圖像超分辨率,并在當時超越了以前的傳統(tǒng)方法。在SRCNN之后,相繼出現(xiàn)許多基于CNN的方法,例如EDSR[18]、RCAN[19]和DPSR[20]等,這些方法關注于尋找從低分辨率到高分辨率的更優(yōu)映射方式。殘差通道注意力超分辨率網(wǎng)絡[19](Residual channel attention network,RCAN)是一個非常深的卷積神經(jīng)網(wǎng)絡,通過使用殘差通道注意力的方式,在提高性能的同時,解決深層超分辨率網(wǎng)絡難以訓練的問題。Zhang等[20]提出一個靈活高效的深度即插即用超分辨網(wǎng)絡(Deep plug-and-play super-resolution network,DPSR),用以解決更復雜的圖像超分辨率問題。但是,訓練這些模型需要很多技巧和計算資源。接著,出現(xiàn)了一些優(yōu)秀而又輕便的方法。Li等[13]提出一個多尺度殘差網(wǎng)絡(Multi-scale residual network,MSRN),利用來自多個感受野的多尺度特征,為高分辨率圖像的構建提供豐富的紋理信息。然而,MSRN僅對多尺度特征進行簡單融合,忽略了特征之間的不同,導致了多尺度特征的未充分利用。受MSRN的啟發(fā),本文提出了充分利用多尺度特征和面部屬性進行人臉圖像超分辨率的MSFFN模型。

較之僅使用低分辨率圖像作為輸入的一般圖像超分辨率任務,人臉圖像超分辨率可以使用額外的面部屬性信息作為輸入,得到更好的超分辨率效果。盡管已有許多人臉圖像超分辨率方法被提出,一些早期方法[23-25]的訓練和實際應用難度較大,因為他們割裂了人臉圖像超分辨率和人臉屬性先驗估計兩個任務。于是,一些方法嘗試將圖像重構和先驗估計整合到一個端到端的多任務框架中。與此同時,出現(xiàn)了一些人臉屬性先驗的研究,例如人臉解析[25,26]、人臉區(qū)域分割[27,28]和人臉屬性分析[29-31]等。Yu等[32]使用上采樣和鑒別器兩個網(wǎng)絡分支,將人臉屬性整合到一個屬性嵌入式網(wǎng)絡中。受Yu等[33]的啟發(fā),本文將人臉屬性作為一種抗人臉姿態(tài)變化且易在網(wǎng)絡推理階段被準確估計的先驗知識。相比于Yu等[29],本文提出的MSFFN將人臉屬性整合到網(wǎng)絡中間模塊中,更加高效且易于實現(xiàn)。

1 基于多尺度特征融合的屬性已知人臉圖像超分辨率

本節(jié)主要交代本文提出的基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡模型(Multi-scale feature fusion based attribute-aware face image super-resolution network,MSFFN)。MSFFN由兩個模塊構成:(1)多尺度特征抽取模塊(Multi-scale feature fusion extraction module,MSFFEM),由多個MSFFB堆疊而成;(2)MFFM由多個MSFFB的特征級聯(lián)組成,可提高圖像重構表現(xiàn)。

如圖1所示,本文將輸入圖像記作ILR,使用一個卷積層進行特征粗體取,由ILR提取得到R0

R0=f0(ILR)

(1)

式中:f0表示卷積操作。接著,R0被送到網(wǎng)絡的多個MSFFB中逐層抽取特征。假設網(wǎng)絡的第一個模塊MSFFEM由N個MSFFB組成,則第n個MSFFB的輸出可表示為

Rn=fn(Rn-1)=fn(fn-1(…(f1(R0))…))

(2)

式中:fn表示第n個MSFFB中的所有卷積過程。

圖1 基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡模型(MSFFN)示意圖

受Li等[13]的啟發(fā),本文使用HFFM自適應融合來自N個MSFFB的輸出

RG=C[R0,R1,…,RN]

相對而言，弱勢群體在社會政治、經(jīng)濟、法律、文化等資源的占有上明顯處于劣勢，使得他們的權益與訴求更容易遭受忽視與侵害。以本次疫苗事件為例，本次疫苗事件在曝光之前，很多受害人對于損害事實的發(fā)生根本不知情，而扭轉(zhuǎn)這一局面的契機正是網(wǎng)絡媒體對于相關違法事實的曝光與揭發(fā)。

(3)

(4)

1.1 多尺度特征抽取模塊

MSFFEM由多個MSFFB級聯(lián)組成,用以提取多尺度特征并且整合人臉屬性信息進行更好的人臉圖像超分辨。如圖2所示,以第n個MSFFB模塊的特征抽取、融合舉例,本文先用3×3和5×5的卷積層抽取淺層的多尺度特征,接著使用局部特征融合模塊進行特征融合,過程如式(5)

(5)

(6)

為使網(wǎng)絡能夠從人臉圖像多尺度特征和人臉屬性特征中獲取到更多的信息,本文將這兩種特征一起作為輸入,使用一個屬性感知模塊(Attribute-aware module,AAM),進一步得到屬性感知的特征圖,AAM結構如圖3所示。使用公式解釋AAM的作用流程

(7)

AAM的使用,使得多尺度人臉特征和人臉屬性信息能夠更好地進行自適應融合,提高了人臉圖像超分辨率的效果,如圖3所示。本文用到了7種人臉屬性,即K=7,并將7種人臉屬性轉(zhuǎn)化為二值特征圖用作AAM網(wǎng)絡的輸入。例如,性別屬性,男性標簽對應的二值特征圖由0組成,女性對應二值特征圖由1組成。圖中:⊕表示特征逐像素相加操作。

圖2 屬性感知模塊示意圖

圖3 多尺度特征融合模塊

1.2 多層次特征融合模塊

在圖像超分辨任務中,輸出圖像和輸入圖像高度相關[9]。因此,挖掘輸入圖像的特征,并且將其轉(zhuǎn)移至網(wǎng)絡的后續(xù)層,對網(wǎng)絡的輸出圖像至關重要。然而,深度神經(jīng)網(wǎng)絡的網(wǎng)絡結構加深,會導致特征在轉(zhuǎn)移過程中逐漸損耗甚至消失。為解決這一問題,出現(xiàn)了許多方法,這些方法中的網(wǎng)絡跳級連接(skip-connection)操作是一種最為簡單卻又很有效的方法。本文中的HFFM模塊便包含網(wǎng)絡跳級連接的應用。通過跳級連接,每個MSFFB的輸出得以傳輸至網(wǎng)絡的后續(xù)層,被用以輔助最終的高分辨率人臉圖像輸出。一方面,這些中間層網(wǎng)絡特征帶有大量的冗余信息;另一方面,直接使用這些網(wǎng)絡特征進行高分辨率人臉圖像預測會帶來很大的計算資源消耗。因此,為了更高效地提取這些多層級網(wǎng)絡特征中的有效信息,本文的HFFM模塊還包含了由1×1卷積神經(jīng)網(wǎng)絡實現(xiàn)的瓶頸層(bottle-neck layer)設計。如圖1所示,HFFM模塊包含上述的跳級連接和瓶頸層設計,式(3)是對圖4的補充說明。

圖4 不同方法的PSNR和SSIM對比

表1 MSFFN與部分已有的最優(yōu)方法對比

2 試驗結果與分析

2.1 試驗細節(jié)

參照Jiang等[28]的設計,本文試驗用到的數(shù)據(jù)集是CelebA人臉圖像數(shù)據(jù)集[32]的一個子集,包含20000張訓練圖像和260張測試圖像。此外,本文使用的7種人臉屬性分別為化濃妝(是否)、魅力(高低)、高顴骨(是否)、嘴張開(是否)、微笑(是否)、涂抹口紅(是否)和性別(男女)。高分辨率人臉圖像HR從原數(shù)據(jù)集中裁取得到,分辨率為128像素×128像素,對應的低分辨率人臉圖像LR由HR經(jīng)過雙3次插值得到,分辨率為16像素×16像素。在訓練階段,采用了在線隨機旋轉(zhuǎn)(旋轉(zhuǎn)角度包括90°、180°和270°)和在線隨機水平翻轉(zhuǎn)的數(shù)據(jù)增廣方式。學習率(Learning rate,Lr)設置為Lr=0.0001,并且每200個迭代下降為原來的二分之一大小。網(wǎng)絡的訓練選用Adam[33]優(yōu)化器,batch size為20,共訓練1 000個epoch。

2.2 試驗性能以及對比

本文方法與已有的方法做對比,如表1和圖4所示,不管是超分辨率客觀值(PSNR和SSIM)還是主觀效果,表現(xiàn)都不錯。如表1所示,本文的MSFFN超分辨率表現(xiàn)優(yōu)于大部分已有的其他方法,如明顯優(yōu)于傳統(tǒng)的雙三次插值方法和LLE方法,同時也優(yōu)于基于卷積神經(jīng)網(wǎng)絡的其他方法,如VDSR、DPSR、MNCE、FSRNet和MSRN方法。此外,本文的方法在對比旨在解決任意尺寸自然圖像超分辨的SRWarp方法[34]以及基于GAN網(wǎng)絡從而借助大量自然圖像訓練超分辨先驗的GLEGAN方法[35]時略有不足,原因可能在于SRWarp的針對任意尺度訓練時能夠?qū)W習到更多的超分辨信息,而GLEGAN則是因為其使用了大量額外的自然圖像進行GAN網(wǎng)絡訓練。值得注意的是,部分方法的超分變率結果,如LLE、VDSR和MNCE直接取自于一個已有工作的開源網(wǎng)站(https://github.com/junjun-jiang/IJCAI-18),沒有再經(jīng)過額外的訓練,而其余方法的超分結果,如DPSR、FSRNet、SRWarp、GLEGAN和MSRN等則是采用與本文方法一致的訓練超參數(shù)重新訓練獲取。如圖4所示,本文的MSFFN方法不僅能夠取得更優(yōu)的超分誤差PSNR和SSIM,還能夠生成質(zhì)量更高、效果更逼真的人臉圖像。

2.3 消融試驗

2.3.1 網(wǎng)絡深度設計

如圖5所示,本文的方法MSFFN的性能表現(xiàn)受網(wǎng)絡深度(主要指本文的網(wǎng)絡模塊MSFFB個數(shù)N)的影響,在網(wǎng)絡深度較小時候,網(wǎng)絡深度的增加有助于性能的提升。然而,試驗結果表明,網(wǎng)絡深度的增加不一定總是有助于性能的提升,例如PSNR指標,而且網(wǎng)絡深度的增加會引入更多的網(wǎng)絡參數(shù),增加了網(wǎng)絡訓練難度。因此,合理設計MSFFN的網(wǎng)絡深度尤為重要。本文在權衡網(wǎng)絡復雜度(例如網(wǎng)絡深度和網(wǎng)絡參數(shù)量)以及性能表現(xiàn)過后,將網(wǎng)絡深度設計為8個MSSFFB子模塊(即N=8)。

圖5 不同網(wǎng)絡深度對性能的影響

2.3.2 屬性感知模塊

如表2所示,為驗證屬性感知模塊對人臉圖像超分辨率任務具有輔助效果,本文設置了4組對比試驗:(a)原始的MSRN網(wǎng)絡,即不包含屬性感知模塊的使用;(b)減配版的MSFFN網(wǎng)絡,即本文提出的MSFFN方法,但是不包含屬性感知模塊;(c)完整版的MSFFN網(wǎng)絡,即包括屬性感知模塊;(d)在完整版MSFFN網(wǎng)絡基礎上使用self-ensemble增強手段[18]的試驗。從表2中的(a)和(b)的結果對比來看,減配版的MSFFN性能明顯優(yōu)于原始的MSRN方法,驗證了本文方法的有效性。從(b)和(c)的結果對比來看,完整版的MSFFN性能優(yōu)于減配版的MSFFN,驗證屬性感知模塊AAM在本文方法上的有效性此外。從(c)和(d)的結果對比來看,借助sel-ensemble增強手段能夠小幅提升本文的MSFFN超分辨率性能表現(xiàn)。

表2 屬性感知模塊的消融試驗

2.3.3 人臉屬性對人臉圖像超分辨率的影響

本節(jié)主要探索人臉屬性對人臉圖像超分辨率任務的影響。首先,在表3中給出本文測試集的測試樣本統(tǒng)計,每種屬性的PSNR、SSIM值無明顯差異,表明單一屬性值的改變不會對最終的超分辨率性能產(chǎn)生負面影響。

表3 不同屬性的圖像樣本超分性能統(tǒng)計(測試集)

接著，本文在圖6展示了兩張男性人臉圖像超分辨率效果示例圖。第一列是使用雙三次插值方法得到的結果,第二列是不使用人臉屬性標簽得到的MSFFN方法結果,第三列是使用原始人臉屬性標簽(男性)得到的MSFFN方法結果,第四列是使用更改的人臉屬性標簽(女性)得到的MSFFN方法結果,第五列是高分辨率人臉圖像真實圖像。

圖6 人臉屬性對人臉圖像超分辨率的影響

從圖6的第二列和第一列的對比來看,第二列明顯優(yōu)于第一列,更加近似于最后一列的真實圖像,驗證了MSFFN的有效性。從第三列和第二列的對比來看,第三列的男性特征較第二列更明顯,驗證了正確的人臉屬性特征對人臉圖像超分辨率任務的正向輔助作用。然而,當本文把人臉屬性從男性更改為女性后,如第四列和第三列的試驗對比,人臉圖像超分辨率的結果發(fā)生了明顯的改變,第三列人臉圖像更具男性特征;第四列人臉圖像更傾向于具備女性特征,例如臉部線條更加柔和,眉毛、嘴巴和胡子更女性化等,表明了MSFFN通過改變?nèi)四槍傩詷撕灢倏v人臉圖像超分辨率效果的有效性。

3 結論

本文提出了一個基于卷積神經(jīng)網(wǎng)絡的人臉圖像超分辨率方法,即基于多尺度特征融合的屬性感知人臉圖像超分辨率網(wǎng)絡。試驗結果表明,本文的方法優(yōu)于其他傳統(tǒng)的方法,以及已有的一些基于卷積神經(jīng)網(wǎng)絡方法。此外,本文的方法還能夠利用人臉屬性對人臉圖像超分辨率的效果進行操縱。未來,本文考慮繼續(xù)擴展本文的研究,提出性能更好、體量更輕便的網(wǎng)絡,并在人臉圖像超分辨任務中關注更多的人臉屬性細節(jié)。