人臉表情識別研究進展

姜月武，路東生，黨良慧，楊永兆，施建新

（上海工程技術大學 電子電氣工程學院，上海 201620）

0 引言

人臉表情是肢體語言的一種，肢體語言在人際交流中具有表達情感的作用。人臉表情識別是一個多學科交叉研究的熱點，主要有心理學、生物學、計算機科學等。早在20 世紀70 年代，Ekman 和Friesen就在跨文化研究結(jié)論的基礎上定義了6 種基本情緒：憤怒、厭惡、恐懼、高興、悲傷和驚訝，而這項研究表明人類對某些基本情緒的感知方式是相同的［1］。還有其它情感描述模型如面部動作編碼系統(tǒng)（FACS），其可以進行更寬泛和多種類的人臉表情刻畫和分類。人臉識別技術的早期探索始于SUWA M等通過在連續(xù)的人臉圖像序列上進行特征點的標記，再去跟蹤識別這些特征點的變化與原模型進行比較得到表情信息［2］?；趥鹘y(tǒng)機器學習的人臉表情識別技術依賴于人工特征。局部二值算法（LBP）、Gabor 特征提取、主動形狀模型（ASM）等是機器學習算法常用提取特征的方法，這些方法常常用于小數(shù)據(jù)集。隨著計算機硬件的提升和高性能GPU 的出現(xiàn)，深度學習網(wǎng)絡重新成為了熱點，2012 年基于CNN 搭建的AlexNet 模型的出現(xiàn)，表情識別的準確率實現(xiàn)了大幅提升，遠超傳統(tǒng)機器學習的準確率［3］。

本文對人臉表情識別在機器學習和深度學習上國內(nèi)外的研究進展進行綜述，首先介紹常用的人臉表情數(shù)據(jù)集；而后分別就機器學習與深度學習在人臉表情識別的主要算法分別進行了總結(jié)；最后展望未來表情識別技術的挑戰(zhàn)與機遇，對表情識別技術的未來發(fā)展趨勢進行了分析。

1 面部表情數(shù)據(jù)集

常用的人臉表情數(shù)據(jù)集有CK＋數(shù)據(jù)集、MMI數(shù)據(jù)集、JAFFE數(shù)據(jù)集、BHU數(shù)據(jù)集、FER2013 數(shù)據(jù)集、AFEW數(shù)據(jù)集等。FER2013 包含的7 種表情，如圖1 所示。本文根據(jù)數(shù)據(jù)集的屬性，從數(shù)據(jù)集數(shù)據(jù)樣本、收集環(huán)境及方式和表情分布進行了總結(jié)，見表1。

表1 表情數(shù)據(jù)集及簡介Tab.1 Expression data set and introduction

圖1 FER2013 數(shù)據(jù)集包含的7 種基本表情Fig.1 The seven basic emoticons of FER2013 dataset

2 基于機器學習的人臉表情識別

人臉表情識別是圖像識別的一種，機器學習算法一直是圖像識別任務的常用算法，具有較高的識別精度?；跈C器學習的人臉表情識別算法的主要處理步驟包含：圖像預處理、特征提取和表情分類。

2.1 圖像預處理

圖像預處理的2 個主要作用：一是去除與人臉表情無關的成分；二是削弱對特征有影響的因素。去除與人臉無關的成分，包含去除背景、截取只含有人臉的圖片。一幅圖像除圖像信息外還包含噪聲信息，這些噪聲信息會對特征提取造成影響。由于光照的波動影響特征的提取率，人臉表情特征提取的紋理特征比較容易受到不均衡光照強度的影響。通過光照歸一化可有效的去除了光照的影響［4］。還有一些處理涉及到圖像的大小問題，只需要考慮關鍵特征不丟失的情況，適當?shù)臏p小圖像尺寸。

2.2 圖像的特征提取

特征提取在分類任務上是核心問題，提取到能代表分類信息的有用特征關乎到人臉表情識別的準確度。下面列舉一些常用的人臉表情特征提取算法：

局部二值算法（LBP）是一種描述圖像局部紋理的算子，由于LBP 具有良好的灰度不變性與旋轉(zhuǎn)不變性，根據(jù)這種特性LBP 常被用來應用于紋理分類、人臉識別、手勢識別等領域［5］。王憲等根據(jù)基本LBP 算子提取的特征缺乏完整性的特點，提出了分塊的完備局部二值模式（CLBP），先進行不同的算子分塊的直方圖統(tǒng)計特征的提取，然后將所有分塊的CLBP 直方圖序列連接起來得到人臉的CLBP特征［6］；Jabid 提出基于局部方向模式（LDP），通過計算邊緣反應來增強算法的魯棒性［7］。

Gabor 小波的響應與人類視覺系統(tǒng)中簡單細胞的視覺刺激響應非常相似，Gabor 小波對圖像邊緣具有良好的敏感性，同時對光照具有魯棒性，Gabor小波被廣泛的應用于視覺處理領域［8］。針對傳統(tǒng)的Gabor 濾波器特征冗余的缺點，改進了一種新穎的局部Gabor 濾波器組，在人臉表情特征提取上有了很大的提升［9］；劉帥師等提出采用Gabor 多方向特征融合與分塊直方統(tǒng)計圖相結(jié)合的方法來提取表情特征，能夠有效地表征圖像的全局特征［10］。

Haar－like 特征定義了4 種由黑色區(qū)域和白色區(qū)域組成的基本窗口，這些窗口在圖像上滑動，遍歷整個圖像，黑色區(qū)域像素之和減去白色區(qū)域像素之和的差就是特征的一個維度；Lienhart R等在4 個特征基礎上進行了擴展，擴展為14 個，增加了旋轉(zhuǎn)性，能夠提取到更為豐富的邊緣信息［11］；胡敏等提出Haar－like 特征與直方圖加權(quán)的方法，使得局部特征描述的更加充分［12］。

光流法是基于光流的運動目標檢測算法，應用于行人識別、目標檢測。光流法在人臉表情識別中被應用于基于序列的表情識別。吳新根等提出了一種改進的瞬時位置速度估計方法，克服了光流算法的漂移問題，也加快了收斂速度［13］。

人臉表情特征提取是表情識別的關鍵問題，符合任務場景的特征有利于表情識別的完成，上述提取特征算法是人臉表情識別常用的算法，另外還有顏色特征、形狀特征、HOG 特征等也被用來刻畫人臉表情。

2.3 表情分類算法

特征提取后，通過分類器進行表情所屬類別的判斷。合適的分類器對表情分類起著重要作用，如何設計高性能的分類器也是表情識別任務的一個重要研究方向，人臉表情識別幾種分類器介紹：

支持向量機（SVM）是建立在統(tǒng)計學VC 理論和結(jié)構(gòu)風險最小化原理基礎上的機器學習方法，其對于小樣本、非線性和高位模式識別問題的分類問題具有良好的解決能力。標準的SVM 問題的本質(zhì)是求解一個受約束的二次型規(guī)劃。通過特征融合，再利用SVM 進行人臉表情的識別，在CK 數(shù)據(jù)集上取得了95%的準確率［14］；結(jié)合Gabor 小波與SVM，減少了數(shù)據(jù)量的處理，取得了很好地效果［15］。

隱馬爾可夫模型（HMM）是一種基于數(shù)理統(tǒng)計模型，描述一個含有隱含未知數(shù)的馬爾科夫過程，其在語音識別、模式識別被廣泛應用，一般用于解決基于序列的問題。在表情識別領域，隱馬爾可夫模型一般用于處理基于動態(tài)序列的人臉表情識別問題。

貝葉斯分類器是指以貝葉斯定理為核心的算法總稱，貝葉斯決策通過相關概率已知的情況利用誤判的損失來選擇最優(yōu)的類別分類。改進貝葉斯分類器并結(jié)合傳統(tǒng)的人臉特征，提高了識別率并對光照和表情變化有較好的魯棒性［16］。

傳統(tǒng)的機器學習分類方法對大型數(shù)據(jù)處理往往面臨著各種問題，傳統(tǒng)機器學習算法大都只學習出一種分類邊界，不具有多維分類的特性。人臉表情識別也逐漸向深度學習領域發(fā)展，但傳統(tǒng)機器學習在表情識別上的應用依然值得探索。機器學習算法在常用的數(shù)據(jù)上的識別結(jié)果見表2。

表2 傳統(tǒng)機器學習算法在常用表情數(shù)據(jù)集上的比較Tab.2 Comparison of traditional machine learning algorithms on commonly used expression datasets

3 基于深度學習的人臉表情識別

深度學習的相關研究在圖像識別領域取得很大進展，在ImageNet 數(shù)據(jù)集的識別率已經(jīng)接近人類水平。在表情識別領域，深度學習相關算法已經(jīng)居于主要地位，被廣泛應用于基于靜態(tài)圖像和動態(tài)序列的表情識別問題。研究者們從各個角度出發(fā)提高表情識別的準確率，從特征的優(yōu)化到數(shù)據(jù)的增強，從網(wǎng)絡結(jié)構(gòu)的變化到新的分類器的提出。

3.1 數(shù)據(jù)預處理

深度學習同樣也需要對數(shù)據(jù)進行預處理，去除與面部表情無關的背景和圖像在光照、頭部姿態(tài)上的差異。這些因素會影響到深度網(wǎng)絡的特征學習，在訓練之前對數(shù)據(jù)進行預處理是很有必要的。

3.1.1 人臉對齊

人臉對齊是表情識別的一個關鍵步驟。給定一系列的數(shù)據(jù)，首先要檢測出人臉，之后再進行人臉圖像的裁剪以及其它變化。Viola－Jones 檢測器是最廣泛和經(jīng)典的檢測器，其輸入特征為haar－like 特征，對矩形圖像區(qū)域像素及和差的閾值化，具有良好的魯棒性，用于正面人臉識別［22］；監(jiān)督下降法（supervised descent method，SDM）通過級聯(lián)回歸函數(shù)，將圖像外觀映射到關鍵點位，取得比較好的效果，深度網(wǎng)絡被廣泛用于人臉識別［23］；級聯(lián)CNN 是早期以級聯(lián)方式預測關鍵點，級聯(lián)回歸在人臉對齊任務上具有高速度和準確性，除此之外還考慮多個人臉檢測器組合來提高性能［24］。將不同的面部關鍵點探測器串聯(lián)起來，通過不同關鍵點的幾何位置進行人臉對齊［25］。

3.1.2 人臉標準化

在表情識別中光照和姿態(tài)的變化往往對特征提取造成影響，導致提取不到人臉表情特征，光照歸一化和姿態(tài)歸一化是比較常用的歸一化方法?；诟飨蛲詳U散（IS）的歸一化方法、局域離散余弦變換歸一化與高斯分布的差分（DOG）在光照歸一化上取得了很好地效果，有效的去除了光照不均衡對特征的影響；直方圖均衡化于光照歸一化在人臉識別取得不錯的性能［26］。姿態(tài)歸一化問題一直以來是一個難題，野外數(shù)據(jù)集的姿態(tài)復雜，不同于實驗室數(shù)據(jù)集，對表情識別任務造成嚴重影響，最新的研究方法是基于GAN 網(wǎng)絡進行正面表情的合成。

3.2 深度網(wǎng)絡結(jié)構(gòu)

深度學習網(wǎng)絡利用組合低層特征去形成更加抽象的高維表示特征，應用這些高維特征來發(fā)現(xiàn)數(shù)據(jù)的分布，從而實現(xiàn)數(shù)據(jù)的分類。深度學習網(wǎng)絡有著豐富的結(jié)構(gòu)，實現(xiàn)端到端的分類任務。表情識別常用的網(wǎng)絡結(jié)構(gòu)：

3.2.1 卷積神經(jīng)網(wǎng)絡（CNN）

由于CNN 對人臉位置變化和尺度變化具有很強的魯棒性，CNN 網(wǎng)絡被廣泛的應用。使用CNN對人臉表情識別中主體獨立性、平移、旋轉(zhuǎn)、尺度不變性等問題有了很好地解決［27］。CNN 由卷積層、池化層、全連接層組成，其結(jié)構(gòu)如圖2 所示。卷積層主要利用卷積核計算，卷積核是指對于輸入圖像的一部分區(qū)域，進行加權(quán)平均的處理，這個過程的權(quán)重由一個函數(shù)定義，這個函數(shù)就是卷積核。通過核函數(shù)對輸入的圖像進行卷積操作，經(jīng)過激活函數(shù)線性化后得到特征圖；池化層連接在卷積層之后，其作用相當于對特征圖進行特征提取，減小輸入特征圖尺寸和數(shù)據(jù)量，同時獲取更抽象的特征，防止過擬合，提高泛化性；全連接層將高維的特征圖轉(zhuǎn)化為一維特征圖，實現(xiàn)分類的任務。常見的CNN 網(wǎng)絡架構(gòu)有AlexNet、VGGNet、GoogleNet、ResNet等。

圖2 CNN 結(jié)構(gòu)圖Fig.2 CNN structure diagram

3.2.2 深度信念網(wǎng)絡（DBN）

深度信念網(wǎng)絡（DBN）由Geoffrey Hinton 提出，其是一種生成模型，通過訓練不斷優(yōu)化其神經(jīng)元間的權(quán)重，可以讓整個神經(jīng)網(wǎng)絡按照最大概率來生成訓練數(shù)據(jù)。DBN 由多層神經(jīng)元構(gòu)成，這些神經(jīng)元分為顯性神經(jīng)元（顯元）和隱性神經(jīng)元（隱元），顯元接收輸入，隱元提取特征，如圖3 所示。最上面的兩層間的連接是無向的，組成聯(lián)合內(nèi)存；較低的其它層之間有連接上下的有向連接；最底層代表了數(shù)據(jù)向量，每一個神經(jīng)元代表數(shù)據(jù)向量的一維。DBN 的組成元件是受限玻爾茲曼機（RBM），其訓練過程一般包含2 個階段，第一階段被稱為預訓練階段，通過無監(jiān)督地訓練每一層RBM 網(wǎng)絡，使特征向量盡可能的映射到不同特征空間，從而盡可能多地保留特征信息；第二階段叫做微調(diào)，通過反向傳播網(wǎng)絡，將錯誤信息自頂向下傳播至每一層RBM，微調(diào)DBN 網(wǎng)絡。

圖3 DBN 網(wǎng)絡結(jié)構(gòu)圖Fig.3 DBN network structure diagram

3.2.3 循環(huán)神經(jīng)網(wǎng)絡（RNN）

循環(huán)神經(jīng)網(wǎng)絡（RNN）常用于挖掘數(shù)據(jù)中的時序信息以及語義信息的深度表達，在語音識別、語言模型、機器翻譯以及時序分析等方面實現(xiàn)了突破。網(wǎng)絡架構(gòu)上，循環(huán)神經(jīng)網(wǎng)絡會記憶之前的信息，并對后面的信息造成影響。長短時記憶網(wǎng)絡（LSTM）解決了RNN 在信息間隔比較大時喪失學習能力，或者在信息間隔大小不同、長短不一時RNN 的性能有所降低［28］。LSTM 通過一些“門”結(jié)構(gòu)讓信息有選擇的影響循環(huán)神經(jīng)網(wǎng)絡每個時刻的狀態(tài)，LSTM 的門一般包括遺忘門、輸入門和輸出門3 種，如圖4 所示。遺忘門在LSTM 中即以一定的概率控制是否遺忘上一層的隱藏細胞狀態(tài)。一種嵌套LSTM，內(nèi)部進行時間動態(tài)建模，外部進行輸出，集成獲取多層次特征［29］。

圖4 LSTM 的門運算結(jié)構(gòu)Fig.4 Gate operation structure of LSTM

3.3 基于深度網(wǎng)絡的表情識別

隨著深度學習在人臉表情識別領域的發(fā)展，基于深度網(wǎng)絡的表情識別算法大量出現(xiàn)，根據(jù)處理數(shù)據(jù)類型可分為靜態(tài)圖像的表情識別和動態(tài)序列的表情識別算法。

3.3.1 靜態(tài)圖像

靜態(tài)圖像表情識別算法通過預訓練和微調(diào)、增加功能模塊、構(gòu)建級聯(lián)網(wǎng)絡等策略來提升表情識別的準確率。Yao等提出了一個新穎的CNN 架構(gòu)HoloNet，其將CReLU 激活函數(shù)與殘差網(wǎng)絡相結(jié)合，在不降低效率的情況下增加網(wǎng)絡深度，并設計了一個殘差塊，使得人臉表情識別系統(tǒng)通過學習多尺度特征以捕獲表情的變化，在人臉表情識別上取得很好地效果［30］；基于單個深度網(wǎng)絡能取得了良好的結(jié)果，研究人員又把方向轉(zhuǎn)向多網(wǎng)絡集成的方向，一個良好的集成網(wǎng)絡應考慮各個網(wǎng)絡的集成效果和網(wǎng)絡的互補性［31］。S.A.Bargal等提出了集合最優(yōu)的表情識別網(wǎng)絡如圖5 所示，通過串聯(lián)特征一維輸出層再進行分類任務［32］。級聯(lián)網(wǎng)絡通過對不同任務的模塊進行組合構(gòu)成一個更深層次的網(wǎng)絡，Lv.Y等利用級聯(lián)結(jié)構(gòu)設計了新的人臉表情識別結(jié)構(gòu)，使用DBN檢測人臉和與表情相關的區(qū)域，用堆疊式自動編碼器對這些解析過的面元進行分類［33］。

圖5 網(wǎng)絡集成結(jié)構(gòu)網(wǎng)絡Fig.5 The network integration structure

3.3.2 動態(tài)序列

基于動態(tài)序列的表情識別通過從連續(xù)幀的時間相關性來獲取信息，常用的策略有幀聚合、表情強度網(wǎng)絡、深度時空網(wǎng)絡。幀聚合策略利用視頻片段中，幀在表達強度上不同的特點進行特征的提取，通過各種算法來聚合幀的輸出［34］。通過將所有幀的特征的均值、方差、最小值和最大值串聯(lián)起來實現(xiàn)幀聚合［35］；對于大多基于序列的表情識別算法往往忽略細微的表情，表情強度以不同強度的訓練樣本作為輸入，利用表情強度不同序列中表達之間的內(nèi)在相關性進行特征的優(yōu)化提取［35］；Zhao等提出峰值導數(shù)深度網(wǎng)絡，網(wǎng)絡結(jié)構(gòu)如圖6 所示，將同一表情、同一對象的一對峰值和非峰值圖像作為輸入，利用L2 范數(shù)損失來最小化兩幅圖像之間的距離［36］。在反向傳播過程中，提出了一種峰值梯度抑制（PGS）方法，在避免反向傳播的同時，將非峰值表達式的學習特征推向峰值表達式的學習特征，從而提高了對低強度表達式的網(wǎng)絡識別能力。雖然幀聚合技術可以在視頻序列中集成幀，但時間依賴性沒有被利用。利用深度時空網(wǎng)絡在未知表情強度的前提下，將時間窗口中的一系列幀作為單個輸入，利用紋理和時間信息對更細微的表達進行編碼［37］。在真實場景中，人的面部表情是一個動態(tài)的過程，從細微到明顯，通過序列進行人臉表情的分析是未來研究的重要方向。

圖6 PPDN 級聯(lián)網(wǎng)絡Fig.6 PPDN cascade network

構(gòu)建良好的深度表情識別系統(tǒng)主要存在以下問題：缺乏豐富多樣的訓練數(shù)據(jù)和表情無關的變化因素，如光照、頭部姿勢和人種。為了解決訓練數(shù)據(jù)不足和過度擬合的問題，預訓練和微調(diào)、網(wǎng)絡級聯(lián)、網(wǎng)絡集合等成為人臉表情識別的主流。圖像預處理階段進行光照歸一化、姿態(tài)歸一化和圖像裁剪操作，都能很好地去除無關因素的影響。面對頭部姿態(tài)的變化，大多數(shù)深度表情識別網(wǎng)絡還是沒能很好地處理這個問題。本文對深度學習在人臉識別任務上的算法進行了總結(jié)，以不同的表情庫為依據(jù)，分別對研究者、深度網(wǎng)絡結(jié)構(gòu)、網(wǎng)絡層數(shù)、訓練數(shù)據(jù)的選擇和準確率進行了統(tǒng)計，見表3。

表3 基于深度網(wǎng)絡的人臉表情識別算法Tab.3 Facial expression recognition algorithm based on deep network

4 表情識別的挑戰(zhàn)和發(fā)展趨勢

表情識別目前無論是基于圖像還是基于序列的人臉表情識別都已經(jīng)很成熟了，并實現(xiàn)了很高的識別率，但是仍然存在一些問題和亟待突破的問題：

（1）表情識別的數(shù)據(jù)庫往往都是在實驗室環(huán)境下獲取的，數(shù)據(jù)集相對單一；

（2）在SFEW 數(shù)據(jù)集上的表情識別準確率比較低，原因在于野外靜態(tài)面部數(shù)據(jù)集的數(shù)據(jù)來自自然環(huán)境，包含很多影響因素如光照、姿態(tài)等，凸顯了表情識別算法的魯棒性不足；

（3）數(shù)據(jù)集的匱乏也是人臉識別問題的關鍵問題。面對人臉表情的差異性、膚色、外貌都有可能不同，數(shù)據(jù)對于深度學習方法有著重要作用，使用豐富度更高的數(shù)據(jù)集可訓練出泛化性更好的表情識別網(wǎng)絡；

（4）傳統(tǒng)的表情分類相對較少。人的情緒比較復雜，傳統(tǒng)的幾類表情不能適應人機交互的復雜性，實用性可能大打折扣。

人臉表情識別基于圖像與其它媒介進行結(jié)合研究也取得了較大進展。語音與圖像的人臉表情識算法、3D 表情的人臉識別在解決遮擋問題上有了很大的突破；通過紅外線獲取面部的熱數(shù)據(jù)，微調(diào)學習熱特征來進行人臉表情識別，有效的避免了光照的影響。人臉表情識別在人臉遮擋上也是一個比較熱門的研究方向，遮擋和非正面識別目前是人臉識別及表情識別的兩大難題。