基于圖像融合與深度學(xué)習(xí)的人臉表情識別

焦陽陽，黃潤才，萬文桐，張 雨

（上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201600）

0 引 言

在面對面交流中，面部表情的變化往往反映了一個人內(nèi)心情感變化情況。隨著計算機技術(shù)的發(fā)展，人臉表情識別被廣泛運用在智慧課堂、智能駕駛［1］、醫(yī)療保障等領(lǐng)域。

人臉表情識別可分為3個步驟：圖像預(yù)處理、特征提取與表情識別。特征提取是其中最關(guān)鍵的環(huán)節(jié)，分為傳統(tǒng)特征提取和深度學(xué)習(xí)特征提取方法，傳統(tǒng)方法通過特征描述符來提取表情特征，深度學(xué)習(xí)特征提取方法是指使用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取。最近幾年大量研究人員投入了對表情識別的研究中，Chen J 等人［2］使用方向梯度直方圖（histogram of oriented gradient，HOG）提取人臉表情特征，然后使用支持向量機（support vector machine，SVM）進行表情識別。Boughida A等人［3］使用Gabor濾波器進行表情特征的提取。但傳統(tǒng)方法提取的信息單一，并且缺乏高級語義信息，不能很好地滿足人臉表情識別任務(wù)。

因此眾多研究人員開始嘗試使用深度學(xué)習(xí)方法來提取特征。馮楊等人［4］采用小尺度卷積核提取面部表情特征，提高了表情識別的準(zhǔn)確率。Zhang S等人［5］設(shè)計了一種混合深度分離殘差網(wǎng)絡(luò)用于表情特征提取。但深度學(xué)習(xí)無法利用圖像的局部特征信息，并且無法區(qū)分表情圖像中重要的部分。因此，張翔等人［6］通過在神經(jīng)網(wǎng)絡(luò)中加入注意力模塊來提高表情識別準(zhǔn)確率。Wang H等人［7］使用MO-HOG與深度學(xué)習(xí)特征進行融合。

針對上文中提到的單一特征描述符提取信息有限，而深度學(xué)習(xí)無法關(guān)注有效圖像信息等問題，本文提出了一種基于圖像融合與深度學(xué)習(xí)的表情識別方法，對不同紋理特征圖像進行融合，隨后構(gòu)建改進后的神經(jīng)網(wǎng)絡(luò)模型，將融合后的圖像輸入模型中進行高級特征提取，最后使用SoftMax進行表情分類。

1 人臉表情識別模型

本文提出的人臉表情識別模型流程：首先對圖像進行預(yù)處理，隨后使用局部二值與差分激勵算子分別提取局部二值模式（local binary pattern，LBP）與韋伯局部描述符（Weber local descriptor，WLD）圖像，差分激勵描述了圖像的局部強度信息，但忽略了邊緣的方向信息，而局部二值描述了圖像的邊緣方向信息，卻忽略了強度信息。將兩種圖像進行融合得到新的圖像作為神經(jīng)網(wǎng)絡(luò)的輸入圖像。下一步構(gòu)建改進后的殘差神經(jīng)網(wǎng)絡(luò)（residual neural network，Res-Net），加入改進后的注意力機制與空洞卷積，使模型在擴大感受野的同時關(guān)注到有用的信息，減少對無用特征的關(guān)注，最后對表情進行識別。

2 表情識別模型具體設(shè)計

2.1 圖像預(yù)處理

在原始圖像中存在著許多對表情特征提取無關(guān)的信息，因此需要對表情圖像進行預(yù)處理，包括人臉檢測、灰度及尺寸歸一化等。首先檢測并裁剪出人臉部位，然后將三通道三原色（RGB）圖像轉(zhuǎn)換為灰度圖，統(tǒng)一縮放成相同規(guī)格的尺寸大小，得到模型所需要的輸入圖像。

2.2 圖像融合

2.2.1 LBP特征

LBP算子由Ojala 等人在1994 年提出，被廣泛運用于人臉識別等領(lǐng)域。原始的LBP 算子計算中心像素與周圍8個像素之間的關(guān)系，從中心像素的左上角位置開始，依次將鄰域像素與中心像素進行比較，小于取0，大于取1。最后得到8個二進制數(shù)，將其按照順時針的順序排列，轉(zhuǎn)換為一個十進制數(shù)，就得到了該中心像素的LBP值

其中，（xc，yc）為中心像素，p為鄰域點的個數(shù)，ip為相鄰像素灰度值，ic為中心像素灰度值，s為符號函數(shù)

2.2.2 WLD特征

WLD 特征是根據(jù)韋伯定律所提出的一種紋理特征描述符［8］。韋伯定律是反映心理量和物理量之間關(guān)系的定律，它表明能夠引起感覺差異的差別閾值與原始刺激的強度之比是一個常量，即

式中k為常量，ΔI為差別閾值，I為原始刺激的強度。WLD包含2 個算子：差分激勵算子和方向算子，方向算子通過計算中心像素垂直與水平像素差之比得到方向信息，本文僅使用差分激勵算子。差分激勵描述了窗口內(nèi)圖像像素的強度變化，通過計算中心像素與周圍8 個點的像素差值和，將和與中心像素點灰度值進行比值計算，再利用反正切變換將比值映射到（π／2，-π／2）之間，其計算公式為

式中xc為中心像素值，xi為鄰域像素值，P為鄰域像素點個數(shù)。

2.2.3 圖像融合

WLD中的差分激勵算子描述了圖像的局部強度信息變化，但其原始方向算子計算比較簡單，故使用局部二值算子計算圖像的方向信息。通過設(shè)置加權(quán)融合系數(shù)α，根據(jù)式（5）得到融合后的圖像

式中XL為LBP圖像，Xw為WLD圖像，X為融合后圖像。

2.3 改進ResNet

本文以ResNet18 為骨干網(wǎng)絡(luò)進行神經(jīng)網(wǎng)絡(luò)模型的搭建，通過將前2個Block的卷積核替換為空洞卷積，擴大感受野范圍。并在殘差結(jié)構(gòu)中加入改進后的注意力機制，有效提高特征的表征能力。

2.3.1 Dil-Block模塊

原始的ResNet18是以殘差塊構(gòu)成的神經(jīng)網(wǎng)絡(luò)，殘差塊的原理為輸入特征圖通過兩個卷積層進行特征提取，最后與輸入特征進行相加，得到輸出。其中的卷積核大小均為3 ×3，但由于前后特征圖尺寸均不同，因此需要對前面殘差塊擴大卷積核的采樣范圍，使模型獲得更大的感受野。本文將前2個殘差塊的卷積核替換為空洞卷積?？斩淳矸e在與傳統(tǒng)卷積一樣的計算量情況下，可以擴大感受野的范圍。圖1為Dil-Block的示意，輸入特征圖首先經(jīng)過2 個空洞卷積層進行特征提取，然后經(jīng)過注意力層提取注意力，再與輸入特征圖進行相加，最后通過ReLU 激活函數(shù)得到輸出特征。

圖1 Dil-Block示意

2.3.2 改進注意力模塊

在Dil-Block中添加注意力模塊，旨在加強重要特征的權(quán)重。Wang Q等人［9］提出了ECA-Net注意力模塊，使用一維卷積進行注意力權(quán)重的提取。ECA-Net 在進行通道注意力的提取時，僅使用全局平均池化，本文使用2 種不同池化方式來計算通道注意力。ECA-Net 僅計算了通道注意力，本文則在通道注意力后添加空間注意力的計算，得到完整的注意力權(quán)重，圖2為改進注意力示意。

圖2 改進注意力示意

圖2 中的通道注意力部分將輸入按照空間方向進行全局平均與最大池化，然后分別使用卷積核大小為k的一維卷積來計算相鄰?fù)ǖ乐g的相關(guān)性。k決定了通道之間交互的范圍，本文采用以下公式計算k的大小

式中c為通道數(shù)量，Odd 為選擇最近的奇數(shù)，γ和b分別設(shè)置為2和1。將2個注意力矩陣相加并通過Sigmoid函數(shù)得到注意力權(quán)重，與輸入圖像進行相乘，得到通道注意力特征圖，接著按照通道方向進行全局平均和最大池化，得到一個二維特征圖，使用7 ×7的二維卷積進行空間注意力的提取，最后通過Sigmoid 函數(shù)與特征圖相乘得到最終的特征圖。

2.4 表情分類

將上文中進行融合后的圖像輸入到改進后的神經(jīng)網(wǎng)絡(luò)中，經(jīng)過一系列殘差塊的特征提取后得到最終的特征向量，再經(jīng)過全連接層后通過SoftMax 進行表情分類。在本文模型訓(xùn)練過程中，使用了交叉熵?fù)p失函數(shù)作為優(yōu)化函數(shù)

式中為真實值，為預(yù)測值，N為樣本數(shù)。通過反向傳播不斷降低損失值來更新神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，提高模型預(yù)測的準(zhǔn)確率。

3 實驗與結(jié)果分析

模型由Pytorch框架搭建，操作系統(tǒng)為Ubuntu 18.04，硬件配置如下：CPU 為Xeon?E5-2678，GPU 為NVIDIA Tesla K80，內(nèi)存為8 GB。Python 版本為3.8，其中神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置如下：優(yōu)化器使用Adam，batch_size 為64，epoch 設(shè)置為20。

3.1 實驗數(shù)據(jù)集

實驗使用JAFFE和CK ＋數(shù)據(jù)集。由于2 個數(shù)據(jù)集中樣本數(shù)據(jù)均較少，采用仿射變換的方式來進行數(shù)據(jù)增強。JAFFE數(shù)據(jù)集經(jīng)過擴充后為4 540 張樣本，CK ＋數(shù)據(jù)集為6 564張樣本，并將兩者按照9∶1 的比例劃分出訓(xùn)練集和測試集。

3.2 融合系數(shù)α實驗

在進行圖像融合時，使用系數(shù)α進行融合比例的控制，分別選用不同的融合系數(shù)進行實驗。圖3為實驗結(jié)果。

圖3 融合系數(shù)α結(jié)果

從圖3中可以看出，當(dāng)融合系數(shù)取0.5 時，識別準(zhǔn)確率最高，證明此時的融合圖像既包含局部強度信息也包含方向信息。因此，本文后續(xù)實驗均將融合系數(shù)設(shè)置為0.5。

3.3 消融實驗

為了驗證本文提出的表情識別模型的有效性，進行了模型消融實驗，共設(shè)置了4 組對照實驗。實驗一的輸入圖像為LBP圖像；實驗二的輸入圖像為WLD圖像；實驗三的輸入圖像為融合圖像，但將模型的前2個Block換為原始卷積核；實驗四則將注意力機制去除。分別在JAFFE與CK ＋數(shù)據(jù)集上進行實驗，與本文模型進行對比。消融實驗結(jié)果如表1所示。

表1 消融實驗結(jié)果%

從表1中的實驗一與實驗二的結(jié)果可以看出，2個數(shù)據(jù)集的準(zhǔn)確率均不高，證明單個紋理特征所包含的信息有限。實驗三的結(jié)果表示，對ResNet18 中的前2 個Block 進行卷積核的替換，有效增加了感受野的范圍，使得模型能夠在前期關(guān)注到更多的信息。在實驗四中，添加注意力后，2 個數(shù)據(jù)集的準(zhǔn)確率有了3%的提升，證明了注意力機制能有效提高模型對于重要特征的關(guān)注。

3.4 注意力對比實驗

本文對ECA注意力機制進行了改進。為了驗證改進注意力機制的有效性，與其他注意力算法進行對比，分別設(shè)置3組對照實驗，第一組使用SE-Net，第二組使用CBAM注意力，第三組使用ECA-Net，最后為本文模型。實驗結(jié)果如表2所示。

表2 注意力對比實驗結(jié)果%

從表2中可知，本文模型取得了最高的識別準(zhǔn)確率，分別為97.0%與99.3%。SE-Net使用全連接層來提取注意力權(quán)重，ECA-Net通過一維卷積進行通道注意力的提取，CBAM則對通道與空間注意力均進行了計算，通道注意力采用了與SE-Net相似的結(jié)構(gòu)，空間注意力使用二維卷積進行計算。本文提出的改進注意力算法對上述算法的缺點進行了改進，使模型能夠?qū)⒆⒁饬Ψ诺綄Ρ砬樽R別有用的特征上。

3.5 與其他算法對比

表3為本文提出的方法與其他主流表情識別算法的識別率對比。通過表3 可知，無論傳統(tǒng)方法還是深度學(xué)習(xí)方法，本文均取得了最高的識別準(zhǔn)確率，證明了本文方法的有效性。

表3 本文算法與其他算法識別率對比%

4 結(jié)束語

本文提出了一種基于紋理圖像融合與改進ResNet的人臉表情識別算法。通過WLD與LBP圖像融合的方式進行局部紋理特征的融合，彌補了單一紋理特征無法有效表達圖像信息的不足。同時對ResNet 進行改進，通過空洞卷積解決了感受野較小的問題，改進后的注意力模塊則有利于模型關(guān)注重要特征。將融合后的圖像輸入到改進后的神經(jīng)網(wǎng)絡(luò)中進行表情識別，在JAFFE 與CK ＋數(shù)據(jù)集上進行驗證，取得了不錯的識別率。但模型對某些表情的識別率較低，后續(xù)將繼續(xù)研究如何改進部分表情的識別率。