基于 StarGAN的人臉表情數(shù)據(jù)增強研究

王俊杰 賈東立

摘要：StarGAN網(wǎng)絡在生成人臉表情圖片時存在局部細節(jié)模糊、重疊、整體質量不佳等問題，針對上述問題，對基礎StarGAN網(wǎng)絡提出了以下3項改進：對生成器加入CBAM注意力模塊；改變生成器的網(wǎng)絡結構為Attention U-Net網(wǎng)絡；對原來的損失函數(shù)加入上下文損失函數(shù)。對于實驗結果使用定性和定量的評價標準，通過與其他模型的FID圖像評價指標數(shù)值比較，文章提出的方法生成的圖片在圖像整體質量和局部細節(jié)都有顯著的效果。

關鍵詞： 計算機視覺; 表情生成; 數(shù)據(jù)增強; StarGAN; 注意力機制

中圖分類號：TP18? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）34-0009-04

開放科學（資源服務）標識碼（OSID） ：

0 引言

人臉表情往往比語言可以傳達更準確真實的信息，對于人臉表情的研究最早可以追溯到20世紀60年代，Ekman等[1]科學家將觀察人臉表情運用到心理學領域，他們建立了基本的7種表情分類，為后繼的研究奠定了基礎。當下利用深度學習方法進行人臉表情識別研究的工作開展已經(jīng)很充分了，眾所周知，深度學習的訓練需要大規(guī)模的數(shù)據(jù)集支持。而目前人臉識別領域經(jīng)典的數(shù)據(jù)集如：JAFFE、FER2013、RAF-DB等數(shù)據(jù)量規(guī)模小，各表情類間數(shù)據(jù)量不均衡都在制約著深度神經(jīng)網(wǎng)絡的表情識別能力。為了最大限度地發(fā)掘深度神經(jīng)網(wǎng)絡的能力，本文提出了一種基于StarGAN的人臉表情圖像生成網(wǎng)絡，對經(jīng)典的人臉表情數(shù)據(jù)集進行數(shù)據(jù)增強，提高網(wǎng)絡對表情識別的準確率。

StarGAN網(wǎng)絡是針對多域圖像轉換問題而提出的，它解決了CycleGAN單一域轉換的局限性，提高了效率，節(jié)省了計算資源。使用StarGAN網(wǎng)絡生成的人臉表情存在局部細節(jié)模糊、重疊等問題，對于人臉識別的準確率造成很大的影響。因此，針對這一問題，本文對生成器加入CBAM注意力模塊，對于表情識別影響較大的局部，例如：嘴角、眼睛和鼻子等給予高權重。由于原始圖像和生成圖像在空間位置上不一定對齊，這就會對損失函數(shù)的值造成影響，從而影響生成的效果。為了解決這個問題，本文使用上下文損失函數(shù)來規(guī)避空間位置不對齊的影響，通過提取圖像的高維特征，計算不同圖像間的高維特征的余弦距離來判別2種圖片的損失距離。Attention U-Net網(wǎng)絡引入了門控單元，可以使得網(wǎng)絡集中在對表情變化影響巨大的區(qū)域。

1 模型方法

1.1 實驗內容

本實驗主要包括2部分：人臉表情生成、表情識別。人臉表情生成用改進的StarGAN算法對原始的數(shù)據(jù)集進行擴增，得到新的規(guī)模較大的數(shù)據(jù)集來為訓練表情分類網(wǎng)絡做準備。表情識別使用VGG-16網(wǎng)絡進行表情分類，通過對比原數(shù)據(jù)集訓練的分類網(wǎng)絡和擴增后的數(shù)據(jù)集訓練的分類網(wǎng)絡的表情識別準確率，可以進一步說明表情生成工作的價值和必要性。

1.2 CBAM注意力模塊

CBAM（Convolutional Block Attention Module） 是一種用于增強卷積神經(jīng)網(wǎng)絡性能的注意力模塊。CBAM模塊[2]會將得到的特征圖按照空間和通道兩個維度計算注意力圖，從而提高圖像分類、目標檢測和其他計算機視覺任務的性能。

CBAM模塊下有兩個子模塊：空間注意力模塊、通道注意力模塊。通道注意力模塊在空間維度上壓縮輸入特征圖，得到一個1×1×C的特征圖，自適應地學習各通道的重要程度，計算每個通道的重要性權重，反饋給特征圖的通道信息?？臻g注意力模塊將前一模塊輸出的特征圖作為輸入，在通道維度上進行壓縮，得到一個H×W×1的特征圖，得到空間層面的注意力權重信息。CBAM模塊是輕量級的注意力模塊，可以很方便地集成到各神經(jīng)網(wǎng)絡中，取得很好的效果，提高模型的泛化能力。如圖1所示，展示了CBAM模塊的計算流程。

1.3 損失函數(shù)

原始StarGAN網(wǎng)絡的損失函數(shù)[3]包括對抗損失、域分類損失、重建損失見（1） ～（3） ：

[Lrcls=Ex，c[-logDcls（c∣x）]]? ? ? ? ? （1）

[Lfcls=Ex，c[-logDcls（c∣G（x，c））]]? ? ? （2）

[Lrec=Ex，c，c[||x-G（G（x，c），c）||1]]? ? ? ?（3）

生成器和鑒別器的總損失函數(shù)如下所示：

[LD=-Ladv+λclsLrcls]? ? ? ? ?（4）

[LG=Ladv+λclsLfcls+λrecLrec]? ? ? （5）

為了解決原始圖像和生成圖像在空間上不完全對齊的問題，提出了上下文損失函數(shù)，通過比較圖像的高維特征，更好地度量了圖像之間的相關性。上下文損失函數(shù)公式為：

[LCX（x，y，l）=-log（CX（Φl（x），Φl（y）））]? ? ? （6）

其中，[Φl（x），Φl（y）]是原圖像和生成圖像使用VGG19網(wǎng)絡提取的特征圖。

改進后的生成器和鑒別器的總損失函數(shù)為：

[LD=-Ladv+λclsLrcls]? ? ?（7）

[LG=Ladv+λclsLfcls+λrecL′rec+λcxLcX（x，y，l）]? ? （8）

其中， [λcls]、[λrec]、[λcx]均為超參數(shù)，它們的值都設為1。

1.4 Attention U-Net網(wǎng)絡

Attention U-Net網(wǎng)絡[4]是U-Net網(wǎng)絡的一個改進方案，在計算機視覺和醫(yī)學圖像分割領域有很大的作用，它引入了Attention gate單元來關注圖像的重要區(qū)域。Attention U-Net網(wǎng)絡中的編解碼架構和Skip Connection可以對圖像的不同層次特征圖進行整合和重現(xiàn)，最大限度地提取圖像的深層特征。Attention U-Net網(wǎng)絡先由編碼器結構進行下采樣，獲得圖像壓縮后的特征；然后進入中間特征層，進一步提取圖像的高級特征；解碼器負責將從中間特征層提取出的特征圖進行重構，重建與原圖像大小相同的新圖像。Attention U-Net網(wǎng)絡中的注意力機制可以關注圖像中最重要的局部區(qū)域，例如嘴角、眼睛、鼻子這些對于表情識別具有關鍵影響的局部區(qū)域，可以提取到最重要的特征。Skip Connection的輸出和網(wǎng)絡上一級的特征圖都輸入Attention Gate單元計算，篩選出圖像最重要的特征區(qū)域。Attention Gate單元結構如圖2所示。

Attention U-Net網(wǎng)絡的整體結構如圖3所示。

2 數(shù)據(jù)集的選取與數(shù)據(jù)增強

本實驗使用的數(shù)據(jù)集為RAF-DB數(shù)據(jù)集和KDEF數(shù)據(jù)集。RAF-DB[5]為自然環(huán)境下采集的人臉表情數(shù)據(jù)集。該數(shù)據(jù)集的總規(guī)模超過30 000張，包括基本表情分類子集和復合表情分類子集。本次使用包含7種表情分類的基本表情分類子集：驚訝、恐懼、厭惡、快樂、悲傷、憤怒以及中立表情?；颈砬榧挠柧毤偭砍^10 000張，測試集3 000張。雖然數(shù)據(jù)集規(guī)模較為合理，但是不同表情類別間數(shù)量相差懸殊，例如：快樂類表情圖片數(shù)量是恐懼類表情數(shù)量的十幾倍。因此，使用生成網(wǎng)絡對數(shù)據(jù)量小的表情類進行數(shù)據(jù)增強，增強后RAF-DB數(shù)據(jù)集訓練集共有41 796張圖片（對圖片數(shù)量小于5 957的表情類進行人臉表情生成，每類表情選取5 957張）。

KDEF數(shù)據(jù)集的發(fā)布時間早在1988年，最初的應用范圍為心理精神方面，后來隨著表情識別課題的提出，逐漸成為該領域內比較重要的一個數(shù)據(jù)集。KDEF數(shù)據(jù)集總量不到5 000張，是一個比較小的數(shù)據(jù)集，但是采集的環(huán)境內光線柔和、細節(jié)清晰度高、被試者服裝統(tǒng)一，避免了耳飾、妝容的影響，具有很高的研究價值。通過生成網(wǎng)絡對KDEF數(shù)據(jù)集進行數(shù)據(jù)增強，數(shù)據(jù)集規(guī)模變?yōu)樵瓉淼?倍。

3 實驗結果與分析

3.1 實驗環(huán)境

本實驗在操作系統(tǒng) Win11 下完成，CPU 為Intel（R） Core（TM） i7-12700H/GPU： RTX 3070 Ti， 內 存 為 16G。開 發(fā) 環(huán) 境 為 Python3.8、PyTorch1.9.0等。

3.2 實驗結果

本實驗選用了Pix2Pix、StarGAN以及本文提出的網(wǎng)絡進行人臉表情生成，3種方法生成的RAF-DB數(shù)據(jù)集人臉表情效果對比如圖4所示：

3種方法生成的KDEF數(shù)據(jù)集人臉表情效果對比如圖5所示：

FID值[6]是經(jīng)典的衡量生成圖像質量的指標，可以衡量圖像生成的多樣性和質量。FID值越低，說明圖片生成的質量越高且富有多樣性。為了從定量的角度評斷本文提出方法的優(yōu)越性，采用FID指標對3種方法進行比較。FID通過比較生成圖像和原始圖像的分布相似性來評估模型的生成效果，使用在ImageNet數(shù)據(jù)集預訓練好的Inception V3網(wǎng)絡作為特征提取器，將圖片提取到高緯度的特征表示，計算特征向量的均值向量和協(xié)方差矩陣。FID的表示如公式（9） ：

[FID（X，Y）=||μX-μY||22+Tr（ΣX+ΣY-2ΣXΣY）] （9）

3種模型在RAF-DB數(shù)據(jù)集上生成表情圖片計算的FID值如表1所示：

3種模型在KDEF數(shù)據(jù)集上生成表情圖片計算的FID值如表2所示。

通過數(shù)據(jù)增強，得到了規(guī)模擴大數(shù)倍的RAF-DB數(shù)據(jù)集和KDEF數(shù)據(jù)集，使用VGG-16網(wǎng)絡作為表情識別的分類網(wǎng)絡，用數(shù)據(jù)集的訓練集訓練分類網(wǎng)絡VGG-16，使用測試集評估表情識別的性能。3種模型的RAF-DB數(shù)據(jù)集表情識別準確率如表3所示。

3種模型的KDEF數(shù)據(jù)集表情識別準確率如表4所示：

3.3 實驗結果分析

通過各種方法在RAF-DB數(shù)據(jù)集和KDEF數(shù)據(jù)集上生成的人臉表情圖片對比，可以觀察到本文方法生成的人臉圖片的整體質量較高，局部的重疊、模糊情況發(fā)生較少。通過觀察表1和表2可知，本文方法在RAF-DB和KDEF數(shù)據(jù)集上生成的表情圖片均取得了最小的FID值，說明本文方法生成的人臉表情具有高質量和高多樣性。通過觀察表3和表4，可以得出本文方法在兩個數(shù)據(jù)集上均取得了最高的表情識別率。綜上，本文方法生成的人臉表情圖像優(yōu)于StarGAN和Pix2Pix方法，對于解決人臉表情數(shù)據(jù)增強工作具有一定的意義。

4 結論

針對人臉表情數(shù)據(jù)增強問題，傳統(tǒng)的數(shù)據(jù)增強方法，如旋轉、裁剪、縮放等在處理復雜的人臉表情變化時有很多的局限性：有限的變換空間，信息丟失、模型泛化能力受限。因此，提出了生成對抗網(wǎng)絡來生成表情圖像，從而擴增數(shù)據(jù)集的規(guī)模。但是使用生成對抗網(wǎng)絡生成的圖像，往往會出現(xiàn)整體質量低、局部細節(jié)模糊、重疊等問題。因此，提出了本文的方法，通過實驗的結果證明，本文方法對于解決這一問題有一定的可行性。本文方法生成的人臉表情圖片雖然有了一定的進步，但是和真實的人臉圖像還有不小的差距，部分細節(jié)還是不真實，希望通過后續(xù)的學習，提出更好的模型，更好地學習人臉圖像的特征。

參考文獻：

[1] EKMAN P，F(xiàn)REISEN W V，ANCOLI S.Facial signs of emotional experience[J].Journal of Personality and Social Psychology，1980，39（6）：1125-1134.

[2] SHENG W S，YU X F，LIN J Y，et al.Faster RCNN target detection algorithm integrating CBAM and FPN[J].Comput Syst Sci Eng，2023，47：1549-1569.

[3] CHOI Y，CHOI M，KIM M，et al.StarGAN：unified generative adversarial networks for multi-domain image-to-image translation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，2018：8789-8797.

[4] TREBING K，STA?CZYK T，MEHRKANOON S.SmaAt-UNet：precipitation nowcasting using a small attention-UNet architecture[J].Pattern Recognition Letters，2021，145：178-186.

[5] WANG K，PENG X J，YANG J F，et al.Region attention networks for pose and occlusion robust facial expression recognition[J].IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society，2020（29）：4057-4069.

[6] OBUKHOV A，KRASNYANSKIY M.Quality assessment method for GAN based on modified metrics inception score and Fréchet inception distance[C]//SILHAVY R，SILHAVY P，PROKOPOVA Z.Proceedings of the Computational Methods in Systems and Software.Cham：Springer，2020：102-114.

【通聯(lián)編輯：唐一東】