基于深度殘差網(wǎng)絡(luò)與人臉關(guān)鍵點(diǎn)的表情識(shí)別

石敏

（山東科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，山東青島 266590）

0 引言

人類表達(dá)自身情感有諸多方式，包括面部表情、語(yǔ)言、身體姿態(tài)等，其中較為重要的方式就是面部表情，其可以直觀準(zhǔn)確地反映人們?cè)谀骋粫r(shí)刻的情緒和心理狀態(tài)。目前，人臉表情識(shí)別已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)，而且應(yīng)用廣泛，涉及人機(jī)交互、心理學(xué)、醫(yī)療等多個(gè)領(lǐng)域。

傳統(tǒng)人臉表情識(shí)別通過(guò)特征提取和分類兩個(gè)步驟完成，其中表情特征提取主要依賴人工設(shè)計(jì)提取方法，例如幾何特征和局部二值模式（Local Binary Pattern，LBP）等非機(jī)器學(xué)習(xí)算法；表情分類多采用支持向量機(jī)和貝葉斯分類等機(jī)器學(xué)習(xí)算法，但計(jì)算效率低，且魯棒性不強(qiáng)，效果不甚理想。

與傳統(tǒng)表情識(shí)別方法相比，深度學(xué)習(xí)方法的識(shí)別效率和效果均有所提升。例如其代表性算法深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network，DCNN）將面部表情的特征提取與分類融為一體，使用大量數(shù)據(jù)集進(jìn)行訓(xùn)練，通過(guò)反向傳播學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，最終得到一個(gè)同時(shí)具備特征提取與分類功能的模型。因此，越來(lái)越多的研究者開(kāi)始采用深度學(xué)習(xí)方法解決表情識(shí)別問(wèn)題。例如，Liliana等通過(guò)提取人臉幾何特征進(jìn)行表情識(shí)別，在CK+數(shù)據(jù)集上取得了93.67%的識(shí)別準(zhǔn)確率，但沒(méi)有考慮表情的全局特征對(duì)識(shí)別任務(wù)的重要影響；Verma等設(shè)計(jì)了一種人臉檢測(cè)算法Viola-Jones，通過(guò)Gabor提取多個(gè)方向和尺度的特征，并輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行表情識(shí)別，在JAFFE數(shù)據(jù)集上取得了較好的魯棒性；Kim等使用LBP提取人臉紋理特征，基于幾何特征的網(wǎng)絡(luò)學(xué)習(xí)動(dòng)作單元地標(biāo)變化完成表情識(shí)別，但沒(méi)有考慮全局特征的重要性；Luan等提出一種基于深度殘差網(wǎng)絡(luò)（Residual Network，ResNet）和Unetlike架構(gòu)的殘差掩蔽網(wǎng)絡(luò)，使用注意力機(jī)制學(xué)習(xí)面部重要特征，取得了較好的識(shí)別效果；Murtaza等使用面部表情六邊形模型檢測(cè)面部表情，該模型提供了六邊形6個(gè)邊上6種面部表情的一般表示，但僅從形態(tài)學(xué)的角度提取到的特征十分單一。以上文獻(xiàn)從不同角度研究了影響識(shí)別任務(wù)的重要特征，但沒(méi)有從多角度綜合考慮重要特征對(duì)識(shí)別任務(wù)的影響。若要獲得更加精準(zhǔn)的分類效果，對(duì)多方面特征進(jìn)行融合是一種有效解決方法。

針對(duì)表情特征提取困難且效果單一，以及易受光照條件影響等問(wèn)題，本文提出一種將ResNet與幾何特征相融合的表情識(shí)別方法，主要研究?jī)?nèi)容包括：①基于ResNet進(jìn)行改進(jìn)，使用連續(xù)小卷積代替大卷積，并在各個(gè)殘差塊中嵌入卷積注意模塊以增加模型的表現(xiàn)能力。將相同的兩個(gè)改進(jìn)殘差網(wǎng)絡(luò)作為分支網(wǎng)絡(luò)，將同一張人臉表情圖片分別輸入這兩個(gè)分支網(wǎng)絡(luò)中，以加和平均的方式將各自提取到的特征進(jìn)行聚合，實(shí)現(xiàn)特征互補(bǔ)，最終得到人臉全局特征；②使用Dlib定位人臉關(guān)鍵點(diǎn)，從中提取幾何特征，通過(guò)主成分分析法進(jìn)行去除冗余信息，與全局特征進(jìn)行融合，作為最終表情分類特征。

1 ResNet

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

ResNet是一種將殘差模塊的相同拓?fù)浣Y(jié)構(gòu)以跳躍連接的方式進(jìn)行堆疊而構(gòu)建的深度網(wǎng)絡(luò)結(jié)構(gòu)，其能有效解決隨著網(wǎng)絡(luò)深度的增加而導(dǎo)致的梯度消失和爆炸等問(wèn)題，本文將其作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)提取人臉表情的全局特征。由于本文選擇的用于網(wǎng)絡(luò)模型訓(xùn)練的數(shù)據(jù)集較小，在較深的網(wǎng)絡(luò)上容易產(chǎn)生過(guò)擬合，導(dǎo)致模型泛化能力弱，因此選用網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、參數(shù)量少、訓(xùn)練速度快的ResNet-18，結(jié)構(gòu)如圖1所示。對(duì)其進(jìn)行改進(jìn)，保留原網(wǎng)絡(luò)中的9個(gè)卷積層和池化層，在保證感受野的同時(shí)，為使網(wǎng)模型學(xué)習(xí)到更細(xì)節(jié)的特征，將網(wǎng)絡(luò)的7×7卷積替換成5×5和3×3等連續(xù)小卷積，以更好地適配表情識(shí)別任務(wù)，改進(jìn)的ResNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Fig.1 ResNet-18 network structure圖1 ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)

Fig.2 Improved ResNet-18 network structure圖2 改進(jìn)的ResNet-18網(wǎng)絡(luò)結(jié)構(gòu)

1.2 注意力機(jī)制

注意力機(jī)制是從眾多信息中選擇對(duì)當(dāng)前任務(wù)更為關(guān)鍵的信息，從而提高視覺(jué)信息處理效率和準(zhǔn)確性的一種方法。本文目標(biāo)是通過(guò)引入注意力機(jī)制進(jìn)一步增加網(wǎng)絡(luò)模型的表現(xiàn)能力，以關(guān)注重要特征，抑制不必要特征。

作為SENet（Squeeze-and-Excitation Networks）的擴(kuò)展，卷積注意力模塊（Convolutional Block Attention Module，CBAM）被提出，其包括兩個(gè)子模塊，分別為通道注意力模塊和空間注意力模塊。對(duì)于神經(jīng)網(wǎng)絡(luò)產(chǎn)生的特征圖，卷積注意力模塊會(huì)沿著通道和空間依次推斷注意力圖并與特征圖相乘以進(jìn)行自適應(yīng)特征細(xì)化。以一個(gè)殘差模塊為例，將CBAM塊嵌入其中，得到的殘差塊如圖3所示。

Fig.3 Residual moduleembedded in CBAM圖3嵌入CBAM的殘差模塊

圖3中，F(xiàn)表示卷積層產(chǎn)生的特征圖，M(F)表示生成的通道注意力圖，F(xiàn)

′

表示F與M(F)通道注意力圖相乘后產(chǎn)生的特征圖，M(F

′

)表示生成的空間注意力圖，F(xiàn)

″

表示F

′

與M(F

′

)相乘后產(chǎn)生的特征圖。計(jì)算公式如下：

通過(guò)多層感知器（Multi-layer Perceptron，MLP）進(jìn)行線性變換，求和后合并特征向量，然后進(jìn)行Sigmoid操作，產(chǎn)生最終的通道注意圖M∈R。

1.3 全局特征提取

為提取更加充分的全局特征，使網(wǎng)絡(luò)具有更好的識(shí)別效果，將相同的兩個(gè)改進(jìn)后的ResNet作為分支網(wǎng)絡(luò)，分別對(duì)輸入的人臉表情圖片提取全局特征。由于兩個(gè)分支對(duì)于識(shí)別任務(wù)的重要性是等同的，因此可通過(guò)加和平均實(shí)現(xiàn)全局特征的互補(bǔ)，從而得到更詳細(xì)的人臉全局特征。提取全局特征的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

Fig.4 Network structureextracting global features圖4 提取全局特征的網(wǎng)絡(luò)結(jié)構(gòu)

2 人臉幾何特征表示

表情是人臉特征變化的直接反映，不同表情下人臉特征的幾何形態(tài)不盡相同，圖5為某人7種表情下的人臉幾何形態(tài)。

可以看出，不同表情下眼睛的張開(kāi)程度、眉毛是否上揚(yáng)、嘴巴是否閉合、鼻子是否向上抬起等情況是不同的，且不受光照條件的影響。與自然表情相比，其余表情的主要特征如表1所示。

使用Dlib在表情圖像上標(biāo)注人臉關(guān)鍵點(diǎn)，序號(hào)為0～67，共68個(gè)，見(jiàn)圖6。本文根據(jù)關(guān)鍵點(diǎn)構(gòu)建了26個(gè)特征刻畫(huà)人臉表情，具體如表2所示。

Fig.5 Face geometry under different expressions圖5 不同表情下的人臉幾何形態(tài)

Table1 Main features of other kinds of expressions compared with natural expressions表1 與自然表情相比下其余各類表情的主要特征

Fig.6 Using Dlib to mark facekey points圖6 使用Dlib標(biāo)注人臉關(guān)鍵點(diǎn)

表2中，

K

=｛

k

，

k

，...，

k

｝為68個(gè)關(guān)鍵點(diǎn)；

k

=（

r

，

c

）∈

K

表示其中第

i

個(gè)關(guān)鍵點(diǎn)；

r

和

c

分別為點(diǎn)

k

的橫坐標(biāo)和縱坐標(biāo)；

d

（

k

，

k

）（

k

，

k

∈

K

）表示兩個(gè)點(diǎn)之間的距離；∠（

k

，

k

，

k

）（

k

，

k

，

k

∈

K

）表示3個(gè)點(diǎn)間的角度；

c

（

k

，

k

）為

k

和

k

的中心坐標(biāo)；

square

（

k

，...，

k

）表示以

k

為起點(diǎn)，

k

為終點(diǎn)，按標(biāo)記的關(guān)鍵點(diǎn)次序圍成區(qū)域的面積。計(jì)算公式如下：

通過(guò)計(jì)算得到26維幾何特征，表示為

V

=（

v

，

v

，...

v

）。部分特征計(jì)算的是面積，數(shù)據(jù)較大，而數(shù)據(jù)范圍大的特征往往會(huì)起決定性作用，數(shù)據(jù)范圍小的特征其作用可能會(huì)被忽略。為消除特征之間數(shù)據(jù)范圍差異帶來(lái)的影響，對(duì)每個(gè)特征同等看待，需要對(duì)特征進(jìn)行標(biāo)準(zhǔn)化處理。所提取特征中，眼睛高度與眼睛面積之間、嘴巴面積與鼻峰、兩嘴角組成的夾角之間是從不同角度表達(dá)的語(yǔ)義，信息重合度較高，針對(duì)這種現(xiàn)象，采用主成分分析法去冗余，在保證方差貢獻(xiàn)率為95%的情況下，對(duì)不同數(shù)據(jù)集上提取的幾何特征進(jìn)行數(shù)據(jù)壓縮，壓縮后的特征表示為

W

=（

w

，

w

，...

w

），這樣既減少了模型參數(shù)量，也發(fā)揮了幾何特征對(duì)表情識(shí)別的作用。

Table2 Facial expression features and semantics表2 人臉表情特征及語(yǔ)義

3 特征融合

通過(guò)ResNet提取人臉表情的全局特征，采用人臉關(guān)鍵點(diǎn)計(jì)算并提取人臉幾何特征，將二者進(jìn)行拼接，作為最終表情特征進(jìn)行分類，完成表情識(shí)別。人臉表情識(shí)別的整體網(wǎng)絡(luò)模型流程如圖7所示。

Fig.7 Face expression recognition model flow based on ResNet and geometric features圖7 基于ResNet與幾何特征的人臉表情識(shí)別模型流程

結(jié)合ResNet與幾何特征的人臉表情識(shí)別算法具體步驟為：

輸入：表情圖像訓(xùn)練集和測(cè)試集，以及表情所屬類別。

輸出：人臉表情識(shí)別模型。

數(shù)據(jù)預(yù)處理：人臉檢測(cè)、數(shù)據(jù)增強(qiáng)、歸一化。

初始化模型參數(shù)。

參數(shù)設(shè)置。//表4

for i=1 to N do：

for xi∈X：

提取全局特征。//公式（1）-（3）

定位人臉關(guān)鍵點(diǎn)計(jì)算并提取幾何特征。//公式（4）-（6）

全局特征與幾何特征進(jìn)行融合，通過(guò)全連接分類。

計(jì)算前向傳播梯度。

使用隨機(jī)梯度下降優(yōu)化網(wǎng)絡(luò)參數(shù)。

end

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集

The Extended Cohn-Kanade Dataset（CK+）數(shù)據(jù)集是在Cohn-Kanade Dataset的基礎(chǔ)上擴(kuò)展而來(lái)，包含123個(gè)參與人員生成的593張人臉序列圖片，并且所有圖片都是從自然表情到峰值表情。該數(shù)據(jù)集共包含8類表情，分別為中性、憤怒、蔑視、厭惡、恐懼、快樂(lè)、悲傷、驚訝。本文選取7種基本表情進(jìn)行實(shí)驗(yàn)，不包含蔑視表情。

The Japanese Female Facial Expression Database（JAFFE）是由Lyons等建立的一個(gè)日本女性表情數(shù)據(jù)集，共213張圖像，包含10名日本女性在同一背景下各自做出的7種表情，包括中性、憤怒、厭惡、恐懼、高興、悲傷、驚訝。圖像尺寸相同，僅光照強(qiáng)度有所差異。

使用CK+和JAFFE數(shù)據(jù)集評(píng)估所提模型的表情識(shí)別性能，兩個(gè)數(shù)據(jù)集樣例如圖8所示，數(shù)據(jù)集中每個(gè)表情類別的數(shù)量分布如表3所示。

Table 3 CK+，JAFFE dataset expression catagory distribution表3 CK+、JAFFE數(shù)據(jù)集表情類別數(shù)量分布

Fig.8 Samplediagram of CK+and JAFFE datasets圖8 CK+和JAFFE數(shù)據(jù)集樣例圖

4.2 數(shù)據(jù)處理

由于表情識(shí)別重點(diǎn)關(guān)注的是人臉，為減少數(shù)據(jù)集中人臉之外區(qū)域?qū)ψR(shí)別任務(wù)的影響，使用OpenCV進(jìn)行人臉檢測(cè)?？紤]到所選數(shù)據(jù)集的數(shù)據(jù)量有限，采用數(shù)據(jù)增強(qiáng)方法擴(kuò)充訓(xùn)練數(shù)據(jù)量，以提高模型的泛化能力。對(duì)數(shù)據(jù)集進(jìn)行水平翻轉(zhuǎn)，在-6～6角度范圍內(nèi)隨機(jī)旋轉(zhuǎn)，并采用在原圖像的10%范圍內(nèi)隨機(jī)放縮等方法進(jìn)行兩倍的數(shù)據(jù)增強(qiáng)。所有圖像尺寸縮放至224×224的固定大小，轉(zhuǎn)化為灰度圖。通過(guò)計(jì)算均值和方差對(duì)圖片進(jìn)行歸一化處理，作為本文網(wǎng)絡(luò)模型的輸入數(shù)據(jù)。

4.3 實(shí)驗(yàn)環(huán)境與參數(shù)配置

實(shí)驗(yàn)硬件配置為Intel（R）Core（TM）i7-7700HQCPU，內(nèi)存16G，主頻2.80GHz，1060顯卡1塊，深度學(xué)習(xí)框架為Pytorch0.4.1。訓(xùn)練模型的實(shí)驗(yàn)參數(shù)設(shè)置如表4所示。模型的訓(xùn)練與測(cè)試采用十折交叉驗(yàn)證，即將預(yù)處理后的數(shù)據(jù)集分成10份，每次取其中的9份作為訓(xùn)練集用于訓(xùn)練模型，1份作為測(cè)試集用于測(cè)試模型，最終模型的檢測(cè)精度為10次測(cè)試結(jié)果取平均。

Table 4 Settings of model parameters表4 模型參數(shù)設(shè)置

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1 與其他識(shí)別方法比較

將本文方法與一些常用識(shí)別方法進(jìn)行比較，其中GNN（Graph Neural Network）是將圖卷積神經(jīng)網(wǎng)絡(luò)用于特征提取和表情識(shí)別分類的方法；FTMS（Fourier Transform Mass Spectrometry）是一種融合變換多級(jí)特征與改進(jìn)加權(quán)投票支持向量機(jī)的表情識(shí)別方法；IACNN（Identityaware Convolutional Neural Network)通 過(guò)一種身份敏感的對(duì)比損失從身份標(biāo)簽中學(xué)習(xí)相關(guān)信息，以實(shí)現(xiàn)身份不變的表達(dá)識(shí)別；IL-CNN（Island Loss Convolutional Neural Network）通過(guò)孤島損失增強(qiáng)深度學(xué)習(xí)特征的判別能力；RPCA（Robust Principal Component Analysis)使用改進(jìn)的主成分分析法從圖像中去除噪聲，并將其轉(zhuǎn)換為較低維的子空間后再提取特征進(jìn)行識(shí)別；WMDNN（Weight Mixture Deep Neural Network）是一種基于雙通道人臉圖像的加權(quán)混合深度神經(jīng)網(wǎng)絡(luò)表情識(shí)別方法。以上方法在CK+和JAFFE兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表5和表6所示，可以看出，本文方法在兩個(gè)數(shù)據(jù)集上的平均識(shí)別準(zhǔn)確率分別為98.05%和95.29%，優(yōu)于其他識(shí)別方法。

Table 5 Accuracy comparison of different recognition methods on CK+dataset表5 CK+數(shù)據(jù)集上不同識(shí)別方法準(zhǔn)確率比較

Table 6 Accuracy comparison of different recognition methods on JAFFE dataset表6 JAFFE數(shù)據(jù)集上不同識(shí)別方法準(zhǔn)確率比較

4.4.2 本文模型性能分析

在CK+和JAFFE數(shù)據(jù)集上，對(duì)10次實(shí)驗(yàn)得到的10組混淆矩陣求平均得到最終混淆矩陣，結(jié)果如表7和表8所示。通過(guò)混淆矩陣可以發(fā)現(xiàn)，對(duì)于CK+數(shù)據(jù)集，自然和憤怒表情很容易與悲傷混淆；而對(duì)于JAFFE數(shù)據(jù)庫(kù)，厭惡和憤怒容易被混淆，高興、悲傷與憤怒容易被混淆。

采用本文模型在CK+和JAFFE數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并進(jìn)行性能分析，結(jié)果如表9和表10所示。表中精確率（Accuracy）表示每一類表情中被預(yù)測(cè)為該類且實(shí)際也為該類表情的準(zhǔn)確率；召回率（Recall）表示每一類表情中被預(yù)測(cè)正確的準(zhǔn)確率；F1值為精確率與召回率的調(diào)和平均。結(jié)果表明，對(duì)于CK+數(shù)據(jù)庫(kù)，高興表情的精度、召回率和F1值最高；而對(duì)于JAFFE數(shù)據(jù)庫(kù)，自然和驚訝表情的精度、召回率和F1值最高。

Table 7 Confusion matrix based on improved model（CK+dataset）表7 基于改進(jìn)模型的混淆矩陣（CK+數(shù)據(jù)集）

Table 8 Confusion matrix based on improved model（JAFFE dataset）表8 基于改進(jìn)模型的混淆矩陣（JAFFE數(shù)據(jù)集）

Table9 Each index of the proposed model（CK+dataset）表9 本文模型各項(xiàng)指標(biāo)（CK+數(shù)據(jù)集）

Table10 Each index of theproposed model（JAFFE dataset）表10 本文模型各項(xiàng)指標(biāo)（JAFFE+數(shù)據(jù)集）

本文模型在CK+和JAFFE數(shù)據(jù)集上的訓(xùn)練與驗(yàn)證精度曲線圖和損失曲線圖如圖9所示?？梢钥闯觯S著訓(xùn)練次數(shù)的增加，驗(yàn)證精度和驗(yàn)證損失均隨著訓(xùn)練精度和訓(xùn)練損失值相對(duì)平緩地變化，整個(gè)過(guò)程中并未出現(xiàn)欠擬合和過(guò)擬合現(xiàn)象，表明了本文模型具有較好的泛化能力和學(xué)習(xí)能力。這是由于本文選用的ResNet隨著網(wǎng)絡(luò)深度的增加，淺層特征沒(méi)有被忽略，而是與深層特征融合在一起，而且加入注意力機(jī)制使得模型可以學(xué)習(xí)到對(duì)表情分類更加重要的特征。此外，通過(guò)對(duì)人臉關(guān)鍵點(diǎn)進(jìn)行分析，可獲得表達(dá)表情語(yǔ)義的幾何特征，其不受光照和圖片傾斜的影響。將二者融合得到能夠代表各類表情的關(guān)鍵特征信息，因而獲得了較好的表情識(shí)別效果。

Fig.9 Changing trend of precision and loss in the process of training and verification on CK+，JAFFE datasets圖9 CK+、JAFFE數(shù)據(jù)集上訓(xùn)練和驗(yàn)證過(guò)程中精度與損失變化趨勢(shì)

5 結(jié)語(yǔ)

針對(duì)表情識(shí)別任務(wù)，本文提出一種將ResNet與幾何特征相融合的表情識(shí)別方法。該方法分別通過(guò)殘差網(wǎng)絡(luò)和人臉關(guān)鍵點(diǎn)提取全局特征和幾何特征，將二者進(jìn)行融合，在兩個(gè)公共數(shù)據(jù)集上均取得了較好的識(shí)別效果，驗(yàn)證了該方法的有效性。但本文僅使用公共數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，沒(méi)有將該方法應(yīng)用于實(shí)際場(chǎng)景中，今后可嘗試在真實(shí)場(chǎng)景下對(duì)其性能進(jìn)行研究，或?qū)⒃摲椒☉?yīng)用到視頻中進(jìn)行實(shí)時(shí)表情識(shí)別。