基于注意力機(jī)制的多粒度匹配的表情識別模型

蘇嬋，危建國，徐健鋒

（南昌大學(xué) 軟件學(xué)院，江西 南昌 330047）

0 引言

面部表情是人類傳達(dá)情感狀態(tài)和意圖的最自然、最強(qiáng)大、最普遍的信號之一［1］，它與聲音、語言、姿勢等共同構(gòu)建人類在社會環(huán)境中的基本交流系統(tǒng)。自動面部表情識別在社交機(jī)器人、醫(yī)療、駕駛員疲勞監(jiān)測等機(jī)交互系統(tǒng)中得到廣泛應(yīng)用。

近年來，深度學(xué)習(xí)技術(shù)在表情識別領(lǐng)域應(yīng)用廣泛。研究方向主要分為兩種：基于傳統(tǒng)的方式和基于注意力的方式。

基于傳統(tǒng)的方式主要是將人臉檢測后的表情整體圖像作為傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。Valentin等［2］提出將依賴于自動編碼器的組合算子結(jié)合由蒸餾方法獲得的輕量級的學(xué)生模型完成各種不同的人臉相關(guān)任務(wù)。Wang等［3］提出一種對抗性特征學(xué)習(xí)方法用于同時關(guān)注姿勢變化和身份偏差。該模型中的編碼器通過對抗性訓(xùn)練來提取特征表示，而姿勢鑒別器和對象鑒別器分別從提取的特征表示中對姿勢和對象進(jìn)行分類。Yang等［4］提出了一種新的殘余表情學(xué)習(xí)，通過訓(xùn)練一個生成模型去查詢大致的中性臉；然后學(xué)習(xí)生成模型的的殘留，從而減緩識別相關(guān)的變化因素。Hu等［5］提出一種監(jiān)督評分集成（SSE）學(xué)習(xí)方法，該方法中的融合結(jié)構(gòu)，可以使得不同互補(bǔ)特征層上的分類評分激活被連接起來。Cai等［6］提出了一種新的無身份條件生成對抗網(wǎng)絡(luò)（IF-GAN），將平均中性人臉轉(zhuǎn)換為與輸入圖像具有相同表情的平均表達(dá)人臉。上述方法都是以整體圖像為模型輸入，忽略了不同面部表情之間的細(xì)粒度差異。本文從全局特征分解和重構(gòu)的角度闡述了表情識別問題，成功地將粗粒度的表情特征重塑成粗細(xì)粒度相結(jié)合的特征，從而實(shí)現(xiàn)面部表情準(zhǔn)確率的提升。

基于注意力的方式主要是通過注意力機(jī)制將重點(diǎn)放在需要視覺注意的部分，從而獲取更多的內(nèi)在信息特征?；谧⒁饬Φ纳疃葘W(xué)習(xí)方法主要是在深度學(xué)習(xí)網(wǎng)絡(luò)中使用注意力機(jī)制進(jìn)行特征提取，這種方法主要是模仿人類聚焦圖像顯著區(qū)域。Li等［7］提出了一種端對端的具有注意機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（ACNN），包括pACNN和gACNN，可以聚焦于最具辨別力的未遮擋區(qū)域。Wang等［8］提出了一個新的區(qū)域注意網(wǎng)絡(luò)（RAN）用于聚合并嵌入不同數(shù)量的區(qū)域特征，自適應(yīng)地捕捉重要性面部區(qū)域的遮擋和姿勢變化。Ding等［9］提出了一個地標(biāo)引導(dǎo)的注意分支用于發(fā)現(xiàn)并丟棄遮擋區(qū)域，該方法生成一個注意圖，引導(dǎo)模型關(guān)注非遮擋區(qū)域。Meng等［10］提出了端對端的幀注意網(wǎng)絡(luò)（FAN），其中幀注意模塊主要用于學(xué)習(xí)多個注意權(quán)重，從而自適應(yīng)地聚合特征向量，構(gòu)建單一的區(qū)分性視頻。上述方法運(yùn)用注意力機(jī)制對相關(guān)局部區(qū)域進(jìn)行加權(quán)量化操作，使得網(wǎng)絡(luò)能區(qū)分不太相關(guān)的區(qū)域，增強(qiáng)模型對表情識別的能力，通過局部注意力機(jī)制構(gòu)建全局環(huán)境。然而這種注意力機(jī)制主要運(yùn)用在原始圖像中，沒有考慮針對原始圖像進(jìn)行細(xì)節(jié)處理。本文使用高斯差分金字塔的原理對原始圖像進(jìn)行細(xì)節(jié)處理，而后使用注意力機(jī)制量化形成局部特征，利用局部特征的細(xì)粒度相關(guān)性構(gòu)建全局相關(guān)性。

此外，從開源的表情數(shù)據(jù)集中我們可以看到，微微上翹的嘴唇、圓圓的眼睛這些不同的五官表情可以組合成不同的表情。除此之外，表情圖像存在諸如眼鏡、茶杯等遮擋物存在，這些干擾因素使得細(xì)微差別不被學(xué)習(xí)系統(tǒng)察覺。因此，表情識別算法中除了整體特征外，眼睛、嘴巴等單個區(qū)域之間的細(xì)微面部表情差異也需要格外關(guān)注。而上述關(guān)于表情識別的相關(guān)研究和文獻(xiàn)未考慮通過粒計算區(qū)分面部表情之間的細(xì)粒度差異。

粒計算是一種由復(fù)雜到抽象的客觀看待問題的世界觀和方法論，是一種將復(fù)雜問題轉(zhuǎn)化為若干簡單問題的客觀、抽象的分析方法。將粒計算思想運(yùn)用到計算機(jī)視覺之中可以有效的提高識別模型的準(zhǔn)確率。Song等［11］提出了多粒度空間模塊思想來幫助模型獲得不同尺度的判別性細(xì)節(jié)，將不同粒度的圖像碎片打亂重組構(gòu)成新的圖片作為模型輸入。Cheng等［12］使用三支決策思想處理分類結(jié)果，構(gòu)建結(jié)果中的不確定域，用于延遲決策。采用特征融合技術(shù)以及SVM分類器，提升提高分類準(zhǔn)確率。Yang等［13］提出了一種基于細(xì)粒度思想的粒度匹配的畫廊邊界框加權(quán)算法，為是行人檢測和重識別兩個子任務(wù)提取符合各自粒度特性的特征。

本文基于粒計算思想提出了一種基于注意力機(jī)制的多粒度匹配的表情識別算法，在骨干網(wǎng)絡(luò)中加入基于注意力的多粒度模塊。對獲取的表情細(xì)節(jié)疊加圖像進(jìn)行碎片式劃分后，為每一個局部細(xì)粒度圖像計算注意力權(quán)重后進(jìn)行重組，獲得具有局部細(xì)粒度和全局粗粒度的特征圖。這種多粒度的圖像劃分迫使網(wǎng)絡(luò)不僅關(guān)注不同局部之間的粗粒度特征，且對局部中的細(xì)粒度特征進(jìn)行學(xué)習(xí)［14-15］，從而提高表情識別的分辨率。

1 基于注意力機(jī)制的多粒度模型

在表情識別算法中，注意力機(jī)制主要是為了讓網(wǎng)絡(luò)聚焦相關(guān)區(qū)域，比如嘴、眼睛等。少關(guān)注或者不關(guān)注不相關(guān)的區(qū)域，比如圖像背景、頭發(fā)等。網(wǎng)絡(luò)在進(jìn)行特征提取時網(wǎng)絡(luò)應(yīng)該更注重其中重要的信息， 抑制不重要的信息。

基于注意力機(jī)制的多粒度表情識別模型如圖1所示。本模型首先將待識別的原始圖像使用人臉檢測框架MTCNN進(jìn)行人臉檢測和人臉特征點(diǎn)檢測，將預(yù)處理后的人臉圖像重塑成112×112大小的圖像。其次，在圖像細(xì)節(jié)處理模塊中，使用高斯差分金字塔原理得到不同等級的高斯平滑圖像，將不同等級的高斯差分圖像通過疊加的方式獲取細(xì)節(jié)圖像，與原始圖像進(jìn)行相加操作獲得表情細(xì)節(jié)圖像。然后，將上述獲得的細(xì)節(jié)圖像作為多粒度匹配模型的輸入數(shù)據(jù)，根據(jù)人臉特征點(diǎn)檢測結(jié)果將圖像劃分成N份局部圖像。將每一份細(xì)粒度圖像通過全局平均池化層將某一個特定的通道上整個空間特征編碼為一個全局特征，將該特征通過Sigmoid函數(shù)獲取屬于該局部區(qū)域的權(quán)重。將具有自注意權(quán)重的N分局部細(xì)粒度圖像重構(gòu)成具有注意力權(quán)重的全局圖像，作為特征提取骨干網(wǎng)絡(luò)Mini_Xception的原始輸入數(shù)據(jù)，最后經(jīng)過 512維全連接層進(jìn)行分類。

1.1 基于注意力機(jī)制的多粒度匹配模塊

該模塊的輸入是待識別的原始圖像，屬于粗粒度的全局特征。將原始圖像劃分成不同粒度的圖像碎片，劃分原則依照MTCNN［16］得出的人臉特征檢測點(diǎn)，分別是眼睛、鼻子以及嘴，將原始圖像劃分成4、6、8等份。

細(xì)粒度局部圖像的自注意權(quán)重計算方法如下：給定輸入圖像FN是第N個圖像碎片，經(jīng)過最后一個卷積層的輸出特征 FC∈RC×H×W， 其中 C是通道數(shù)。為了獲得足夠的信息來提取通道之間的關(guān)系，將最后一個卷積的輸出利用全局平均池化層將特定通道上的整個空間特征編碼為全局特征G。使用的公式如下所示：

公式（1）主要將最后一個卷積層的輸出特征FC轉(zhuǎn)換成1×1的輸出，其中，GC表明該層第C個特征圖的數(shù)值分布情況，（i，j）分別代表每一個像素點(diǎn)。H×W表示每一個通道內(nèi)的特征圖的大小。

為了融合每個通道的特征映射信息，利用全局平均池化特征G經(jīng)過注意力估算模塊估計粗略的注意權(quán)重。其中，注意力估算模塊由兩個FC層、Relu函數(shù)和Sigmoid函數(shù)組成。第i個圖像碎片的注意力權(quán)重定義如下：

θ1G是一個全連接層操作，其中θ1是全連接層的參數(shù)，G的大小為1×1×C，C為通道數(shù)。第一個全連接層輸出的維度為C/r，其中r取16，δ表示結(jié)果通過ReLu函數(shù)傳遞，結(jié)果維度保持不變。θ2代表第二個全連接操作，輸出的維度為1，f表示結(jié)果通過Sigmoid函數(shù)，獲得第i個圖像碎片的注意力權(quán)重值Wi。

將所有圖像碎片獲得細(xì)粒度特征及其注意權(quán)重重構(gòu)成一個具有注意力特點(diǎn)的全局特征F，定義如下：

其中，n表示圖像碎片的總數(shù)，Gi表示將每個通道的特征。F作為最終的全局特征可以作為分類器的最終輸入。

綜上所述，通過引入基于注意力機(jī)制的多粒度匹配子模塊，估算圖像碎片的注意力權(quán)重，從而重構(gòu)具有注意力權(quán)重和細(xì)粒度個性特點(diǎn)的全局特征，能夠靈活的捕捉全局和局部的特征關(guān)聯(lián)。

1.2 圖像細(xì)節(jié)處理模塊

在上述粗粒度特征向細(xì)粒度轉(zhuǎn)變的過程中的碎片圖像劃分需要頻繁的改變圖像的尺寸，因此，為了避免圖像尺寸變化對表情特征提取產(chǎn)生較大的負(fù)面影響，本文的圖像細(xì)節(jié)處理模塊主要是基于多尺度計算的圖像金字塔的構(gòu)建原理［17］。首先將原始圖像進(jìn)行灰度處理，而后分別對該灰度圖像進(jìn)行上采樣和下采樣的操作，形成的上采樣圖像是原始灰度圖像的4倍，而下采樣圖像是原始灰度圖像的0.25倍。

本文的圖像金字塔構(gòu)建主要是基于高斯差分原理，在該圖像表情細(xì)節(jié)處理過程中，需要通過二維高斯卷積函數(shù)構(gòu)建高斯金字塔，高斯卷積函數(shù)公式如下所示：

其中，G（x，y）表示經(jīng)過高斯卷積運(yùn)算后得到的圖像二維數(shù)據(jù)，σ表示正態(tài)分布的標(biāo)準(zhǔn)差，σ值越大，圖像越模糊（平滑）。 r表示模糊半徑，模糊半徑是指圖像元素（x，y）到模板中心（x0，y0）的距離。

利用公式（4）對原始灰度圖像進(jìn)行金字塔構(gòu)造，可以得到3層高斯金字塔圖像，從而獲得原始灰度圖像不同尺度的高斯平滑特征圖像。我們將原始圖像設(shè)定為L0，將其他3個通過高斯卷積運(yùn)算獲得的高斯平滑圖像設(shè)定為L1、L2、L3，與L0組成一組4層的高斯圖像金字塔，將金字塔中相鄰兩層圖像進(jìn)行減法運(yùn)算獲取具有相鄰高斯平滑特征區(qū)別的高斯差分金字塔圖像。高斯差分金字塔中的圖像提取了高斯金字塔中關(guān)鍵的特征信息，尤其是眼睛、嘴和鼻子這類具有對表情識別有效的特征。本文的細(xì)節(jié)圖像處理依據(jù)公式如下所示：

其中，j= 0，1，2，指的是原始圖像的金字塔層數(shù)，而i=1，2，3，表示高斯差分金字塔的層數(shù)，Gi和 Gi-1表示不同參數(shù)值的高斯函數(shù)， I（x，y）表示圖像的二維數(shù)據(jù)，?表示進(jìn)行卷積操作。L0表示要進(jìn)行高斯平滑操作的原始圖像。圖像細(xì)節(jié)處理模塊的過程如圖1中圖像細(xì)節(jié)處理模塊圖所示。

綜上所述，利用高斯差分原理，構(gòu)建原始圖像的高斯差分金字塔圖像組，進(jìn)而完成原始圖像的細(xì)節(jié)處理，獲得表情細(xì)節(jié)圖。這將在多粒度劃分時，減少圖像尺寸改變帶來的影響。

1.3 模型算法描述

根據(jù)本文多粒度表情識別模型的總體結(jié)構(gòu)，在模型訓(xùn)練階段，圖像細(xì)節(jié)處理模塊被添加在該模型數(shù)據(jù)輸入階段，用于獲取表情細(xì)節(jié)特征。而基于注意力機(jī)制的多粒度匹配模塊被用于重構(gòu)全局特征，該全局特征有基于自注意權(quán)重的局部特征組成。具體訓(xùn)練算法流程如算法1所示。

算法1 表情識別模型訓(xùn)練過程

輸入：表情訓(xùn)練集X_train和標(biāo)簽Y_train，設(shè)置C個表情類別，最大訓(xùn)練代數(shù)MaxEpoch， 表情訓(xùn)練集圖像數(shù)量nums_i，批量大小設(shè)置為batch_size；

輸出：訓(xùn)練后的模型和識別準(zhǔn)確率.

預(yù)訓(xùn)練過程：在每一代訓(xùn)練中，從預(yù)處理的訓(xùn)練集選取batch_size個數(shù)量圖片，首先利用圖像細(xì)節(jié)處理模塊對圖片進(jìn)行高斯差分計算，獲得高斯差分金字塔圖片，而后將圖片送入多粒度匹配模塊計算原始圖像的細(xì)粒度特征，最后計算預(yù)測值和實(shí)際值之間的損失，并根據(jù)獲得的損失值進(jìn)行參數(shù)更新，從而進(jìn)行模型的下一代訓(xùn)練。

/*訓(xùn)練過程 */

① 使用預(yù)訓(xùn)練模型權(quán)重初始化模型；

② while e < MaxEpoch do

③ for 0 to num_i/batch_size + 1 do

④ From （X_train ， Y_train）， sample a batch；

⑤ Compute GDOG；

/*計算高斯差分金字塔*/

⑥ Compute fine-grained features；

⑦ Compute loss；

⑧ Update loss；

⑨ Compute average accuracy；

⑩ e = e + 1.

在主干模型中普通卷積層采用的卷積核尺寸一般是 3×3，通道數(shù)一般設(shè)置為 16、32、64、128。Stride一般設(shè)置為（1，1）。在計算自注意權(quán)重時，采用了兩個全連接層和池化層作為自注意機(jī)制網(wǎng)絡(luò)。

在獲取預(yù)訓(xùn)練模型之后，模型需要加載該權(quán)重模型后，對數(shù)據(jù)集中的測試集圖片進(jìn)行預(yù)測獲取預(yù)測準(zhǔn)確率。具體測試算法流程如算法2所示。

算法2 表情識別模型測試過程

輸入：表情訓(xùn)練集X_test和標(biāo)簽Y_test，設(shè)置C個表情類別，最大訓(xùn)練代數(shù)MaxEpoch， 表情訓(xùn)練集圖像數(shù)量nums_j，訓(xùn)練模型權(quán)重W；

輸出：測試集識別準(zhǔn)確率.

/* 測試過程 */

① 加載訓(xùn)練后的模型權(quán)重W；

② while e < MaxEpoch do

③ for 0 to num_j/batch_size + 1 do

④ From（X_test， Y_test）， sample a batch；

⑤ Compute GDOG；

/*計算高斯差分金字塔*/

⑥ Compute fine-grained features；

⑦ Compute loss；

⑧ Update loss；

⑨ Compute average accuracy；

⑩ e = e + 1.

在模型預(yù)訓(xùn)練和測試過程中，細(xì)節(jié)處理模塊和基于注意力機(jī)制的多粒度匹配模塊始終作用于這兩個過程中。這兩個模塊可以引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)圖像的細(xì)粒度局部特征，并迫使網(wǎng)絡(luò)通過權(quán)重設(shè)置學(xué)習(xí)對分類更有用的局部特征。

2 實(shí)驗與結(jié)果分析

本節(jié)將通過實(shí)驗闡述本文使用的深度學(xué)習(xí)以及多粒度技術(shù)的可行性和效果。主要是通過基本的卷積神經(jīng)網(wǎng)絡(luò)以及多粒度劃分技術(shù)構(gòu)建表情識別模型。在兩個表情識別數(shù)據(jù)集上評估了模型的性能， 與其他算法的準(zhǔn)確率進(jìn)行對比， 設(shè)計消融實(shí)驗以驗證模型各模塊的效果。

2.1 實(shí)驗設(shè)置

CK+：CK+［18］包含總共123個不同主題的593個視頻序列，視頻序列中327個被標(biāo)記為憤怒、蔑視、厭惡、恐懼、高興、悲傷、驚訝等7種不同的表情，每個視頻都顯示了從中性表情到目標(biāo)峰值表情的面部變化。參與者包括不同性別，年齡跨度從18歲到50歲不等。本文將該數(shù)據(jù)庫中的圖片進(jìn)行隨機(jī)劃分，抽取80%的圖片作為樣本訓(xùn)練數(shù)據(jù)，其余20%作為測試數(shù)據(jù)。

Fer2013：Fer2013數(shù)據(jù)庫首次使用時是在Kaggle大賽，包含大約30 000張不同表情的RGB人臉圖像，圖像分辨率限制為48×48，可分為7種不同類型的表情，分別是0=憤怒，1=厭惡，2=恐懼，3=快樂，4=悲傷，5=驚訝，6=中性。由于這個數(shù)據(jù)庫大多是從網(wǎng)絡(luò)爬蟲下載，因此圖片質(zhì)量存在噪聲，質(zhì)量不高且標(biāo)簽標(biāo)注有誤等，厭惡表情的圖片數(shù)量最少有600張，而其他標(biāo)簽的圖片數(shù)量接近5000張。本文將28 709張圖片作為訓(xùn)練樣本，3589張圖片作為測試樣本。

在模型訓(xùn)練之前，對原始表情圖片進(jìn)行了預(yù)處理。首先，使用MTCNN人臉檢測框架，進(jìn)行人臉檢測和人臉特征點(diǎn)檢測。采用最近鄰插值法（INTER_NEAREST）將原始圖像為大小重塑為112×112，以此增大深度學(xué)習(xí)模型的感受野。

實(shí)驗效果的度量方面：本文采用準(zhǔn)確率以及混淆矩陣作為表情識別模型性能的主要標(biāo)準(zhǔn)指標(biāo)。其中，混淆模型中真陽（TP）和真陰（TN）這兩個參數(shù)（即混淆矩陣對角線）來衡量模型性能。

實(shí)驗軟硬件環(huán)境方面：使用pytorch來實(shí)現(xiàn)識別模型，并在NVIDIA 2080Ti GPU進(jìn)行表情識別實(shí)驗。采用mini_Xception作為骨干網(wǎng)絡(luò)，并采用ImageNet對模型進(jìn)行預(yù)訓(xùn)練。將原始圖像預(yù)處理為112×112大小的圖像，模型訓(xùn)練過程中使用rmsprop優(yōu)化算法，采用 SGD算法，將動量設(shè)置為 0.9， 權(quán)重衰減設(shè)置為 0.000 1，批量大小設(shè)置為 32，epoch設(shè)置為80代。

2.2 實(shí)驗結(jié)果與分析

（1） 消融實(shí)驗

在CK+和Fer2013數(shù)據(jù)集上進(jìn)行消融實(shí)驗，以探索所構(gòu)建識別模型使用的技術(shù)對表情識別準(zhǔn)確率提升的效果。表1顯示了在CK+數(shù)據(jù)集上進(jìn)行的消融實(shí)驗結(jié)果。其中，mini_Xception是本文模型的基準(zhǔn)模型，GDOG指的是運(yùn)用于圖像細(xì)節(jié)處理模塊的高斯差分金字塔，Attention-Granularity指的是對原始圖像使用基于注意力的多粒度模塊。在表1消融實(shí)驗結(jié)果中，將獲得的表情細(xì)節(jié)圖像與原始圖像進(jìn)行疊加作為模型的輸入數(shù)據(jù)，可以將識別準(zhǔn)確率分別提升0.5%和0.6%。這說明在原始圖像上增加多尺度細(xì)節(jié)疊加算法，即增加了圖像金字塔對原始表情圖像進(jìn)行不同的采樣，豐富了圖像中表情的特征信息，提高表情整體識別率。使用基于注意力的多粒度模塊對原始圖像進(jìn)行處理可以將識別準(zhǔn)確率提升1.22%和1.13%，說明所構(gòu)建的模型學(xué)習(xí)到了多粒度下的局部區(qū)域表情特征，這是使用單一粒度的圖片作為輸入數(shù)據(jù)所無法實(shí)現(xiàn)的效果。實(shí)驗表明基于注意力的多粒度模塊和表情細(xì)節(jié)處理模塊能有效的提高表情識別準(zhǔn)確率。

（2） N值探索實(shí)驗

在CK+數(shù)據(jù)集上， 基于注意力的多粒度模塊將表情圖片劃分成N個局部區(qū)域，設(shè)計實(shí)驗選擇合適的N值。當(dāng)N=1時，不對人臉檢測后的疊加圖像進(jìn)行局部區(qū)域的劃分。當(dāng)N=8時，將圖像根據(jù)眼睛、鼻子和嘴的位置進(jìn)行劃分。當(dāng)N=12、16時，將圖像劃分成相等的六和八份。如圖 2 所示，可以觀察到 K=12 時， 實(shí)驗效果是最佳的。

本文構(gòu)建的模型相對于其他采用多級網(wǎng)絡(luò)方法中的模型參數(shù)和運(yùn)行時間都有一定程度的降低， 但是依然可以有較好的分類準(zhǔn)確度。在Fer2013和CK+數(shù)據(jù)集中進(jìn)行實(shí)驗，對比其他算法的準(zhǔn)確率如表2和3所示。

（3） 實(shí)驗結(jié)果對比與分析

在表 2 中，Adrian Vulpe-Grigorasi等［19］通過超參數(shù)離散值定義的搜索空間上應(yīng)用隨機(jī)搜索算法生成和訓(xùn)練模型，確定網(wǎng)絡(luò)的最優(yōu)超參數(shù)。Shen等［20］模型優(yōu)點(diǎn)在于提出的方法融合了經(jīng)典的Resnet和sobel特征，更加有效地強(qiáng)調(diào)邊緣信息。Singh等［22］提出使用CNN在不預(yù)處理等情況下進(jìn)行靜態(tài)圖像的表情識別分類，而后使用光照校正等預(yù)處理方式提高識別準(zhǔn)確率。以上三種方法主要是通過調(diào)整模型的超參數(shù)或者圖片預(yù)處理這些技巧來提高識別準(zhǔn)確率。相較于以上方法，下列方法主要通過將自注意機(jī)制加入到模型中，構(gòu)建更優(yōu)特征向量等方式提高識別準(zhǔn)確率。Sahoo等［21］的方法優(yōu)勢在于引入了遷移學(xué)習(xí)模型SqueezeNet 1.1對表情進(jìn)行分類。

從表2可以看出，本文模型在Fer2013數(shù)據(jù)集上可以達(dá)到較好的識別準(zhǔn)確率，尤其是使用同樣的預(yù)訓(xùn)練數(shù)據(jù)集ImageNet，所提出的方法可以將準(zhǔn)確率提高14.66%。

Mouath Aouayeb等［25］提出了學(xué)習(xí)視覺轉(zhuǎn)換器與SENet共同完成表情識別FER。Meng等［27］提出了一個端到端的幀注意網(wǎng)絡(luò)，通過該主要模塊學(xué)習(xí)多個注意力權(quán)重從而構(gòu)建聚合特征向量。以上兩種模型運(yùn)用了注意力機(jī)制，其中SE模塊是在通道維度上的注意力機(jī)制。二者的識別準(zhǔn)確率要高于其他模型，說明注意力機(jī)制可以有效的提高模型的識別準(zhǔn)確率。Ding等［26］提出了基于靜態(tài)圖像訓(xùn)練的模型，該模型使用一個新的分布函數(shù)來模擬表達(dá)網(wǎng)絡(luò)的高級神經(jīng)元。Mahdi Pourmirzaei等［24］提出了將自我監(jiān)督學(xué)習(xí)（SSL）作為輔助任務(wù)合并到SL訓(xùn)練環(huán)境中。以上兩種方法可能是在特征構(gòu)建時不能較詳細(xì)地表達(dá)細(xì)粒度局部特征，因此，準(zhǔn)確率不如注意力機(jī)制下的模型識別率。

從表3可以看出，使用同樣的預(yù)訓(xùn)練數(shù)據(jù)集ImageNet，本文提出的方法可以將準(zhǔn)確率提高0.74%。所構(gòu)建的模型在CK+數(shù)據(jù)集上的準(zhǔn)確率低于ViT+SE方法，可能的原因在于實(shí)驗中預(yù)訓(xùn)練使用的數(shù)據(jù)集不是表情識別數(shù)據(jù)集。

圖3顯示了模型在CK+上的混淆矩陣，可以看到各類表情的識別準(zhǔn)確率的可視化結(jié)果。從圖中可以發(fā)現(xiàn)，憤怒、蔑視和厭惡是識別率最高的類別，分類識別率可以達(dá)到100%，而蔑視和恐懼比較容易被模型混淆。這可能是由于恐懼的表情細(xì)節(jié)圖像所包含的表情特征信息與蔑視的表情特征信息比較相似，而網(wǎng)絡(luò)中基于注意力的多粒度模塊在蔑視和恐懼識別過程中未提供具有區(qū)別性的局部信息。

3 結(jié)論

本文針對表情識別存在提取的全局粗粒度特征無法滿足表情特征細(xì)粒度識別的現(xiàn)象，在骨干網(wǎng)絡(luò)Mini_Xception中融入注意力機(jī)制和多粒度思想。利用多粒度思想將粗粒度全局特征劃分成多個局部特征，利用注意力機(jī)制構(gòu)建細(xì)粒度局部特征，進(jìn)而重構(gòu)細(xì)粒度加權(quán)全局特征。在圖像預(yù)處理階段利用高斯差分金字塔原理獲得表情細(xì)節(jié)圖像，解決圖像尺寸變化影響模型識別性能問題。本文方法在CK+和Fer2013數(shù)據(jù)集上取得較好的準(zhǔn)確率。本模型目前使用的loss函數(shù)沒有考慮到圖片整體和局部之間的自注意機(jī)制之間的關(guān)系，且存在過擬合現(xiàn)象阻礙準(zhǔn)確率提升的風(fēng)險。下一步的主要研究工作：（1）研究更加合適的loss函數(shù)更新模型參數(shù)；（2）重構(gòu)更有效的全局特征向量，從而選用更有效的注意力機(jī)制獲得更好的細(xì)粒度局部特征，以進(jìn)一步提升整個模型在表情分類準(zhǔn)確率。