基于RGB-D的人臉表情識別研究

吳會霞，陶青川，龔雪友

（四川大學(xué)電子信息學(xué)院，成都 610065）

基于RGB-D的人臉表情識別研究

吳會霞，陶青川，龔雪友

（四川大學(xué)電子信息學(xué)院，成都 610065）

針對二維人臉表情識別在復(fù)雜光照及光照條件較差時，識別準(zhǔn)確率較低的問題，提出一種基于RGB-D的融合多分類器的面部表情識別的算法。該算法首先在圖像的彩色信息（Y、Cr、Q）和深度信息（D）上分別提取其LPQ，Gabor，LBP以及HOG特征信息，并對提取的高維特征信息做線性降維（PCA）及特征空間轉(zhuǎn)換（LDA），而后用最近鄰分類法得到各表情弱分類器，并用AdaBoost算法權(quán)重分配弱分類器從而生成強(qiáng)分類器，最后用Bayes進(jìn)行多分類器的融合，統(tǒng)計輸出平均識別率。在具有復(fù)雜光照條件變化的人臉表情庫CurtinFaces和KinectFaceDB上，該算法平均識別率最高達(dá)到98.80%。試驗結(jié)果表明：比較于單獨彩色圖像的表情識別算法，深度信息的融合能夠更加明顯的提升面部表情識別的識別率，并且具有一定的應(yīng)用價值。

表情識別；RGB-D；深度信息；AdaBoost

0 引言

一直以來在計算機(jī)視覺領(lǐng)域，人臉表情識別有著重要的研究意義，在過去的十幾年里，眾多研究學(xué)者為此做出了大量的努力，在二維人臉表情識別方面取得了一些研究成果[1]，涌現(xiàn)了一大批優(yōu)秀的算法。但是由于二維圖像的局限性，在實際應(yīng)用環(huán)境中當(dāng)某些因素發(fā)生改變時，例如姿態(tài)、光照、遮擋物和面部整形，對于同一個人的兩張RGB圖像，這些可變因素可以引起圖像表達(dá)信息的不同，從而導(dǎo)致識別算法性能降低，很難再有突破性的進(jìn)展。因此，研究學(xué)者開始使用對光照和姿態(tài)具有魯棒性的三維數(shù)據(jù)進(jìn)行表情識別。

在BU-3DFE上，Wang等人[2]通過提取原始面部特征，使用LDA分類器進(jìn)行表情識別，平均識別率最高達(dá)83.6%；在同樣的表情庫上，Soyel和Demirel[3]采用從面部特征點的三維分布反演得到六個距離向量，然后通過神經(jīng)網(wǎng)絡(luò)（PNN）分類表情使平均識別率最高達(dá)到87.8%；在FEEDB上，Mariusz[4]對數(shù)據(jù)庫使用兩種不同的標(biāo)準(zhǔn)分別進(jìn)行描述，從而創(chuàng)建了兩種不同的格式的RGB-D圖像表達(dá),使表情識別率達(dá)到90%；在Curtin-Face上，Billy Y.L.Li[5]采用多模態(tài)的稀疏編碼后重建誤差，從而計算測試圖像與訓(xùn)練圖像的相似度量，并通過Z得分技術(shù)進(jìn)行表情識別，最終平均識別率為91.3%。目前，由于用Kinect采集的人臉庫沒有面向公眾使用，所以只有少數(shù)人在表情識別領(lǐng)域使用深度信息完成了一定程度上的表情識別。

通過以上的分析，在低質(zhì)量低成本且復(fù)雜光照條件下，為了有效地解決因姿勢、表情變化導(dǎo)致三維表情識別識別率較低的問題，提出了一種基于RGB-D的多特征融合的表情識別算法，首先，為了獲得更全面的表情信息，在提取彩色圖像信息（RGB）的同時，提取圖像深度信息（D），從而在不同條件下保存了更多的面部細(xì)節(jié)信息，使得到的圖像信息能夠提供一個相對彈性表示的人臉表情；然后在轉(zhuǎn)換后的色彩空間（YCrQ）及深度信息（D）上分別單獨提取其LPQ，Gabor，LBP以及HOG特征，并對提取的高維特征信息做線性降維（PCA）及特征空間轉(zhuǎn)換（LDA），把同一類表情在各分量上提取的單特征均值作為一種表情模板，分別計算測試樣本到各表情模板的歐氏距離；再利用最近鄰距離比較生成弱分類器，通過AdaBoost權(quán)重分配訓(xùn)練弱分類器形成強(qiáng)分類器，最后用Bayes融合多特征多分類器，統(tǒng)計得出最終的表情識別率。本文算法系統(tǒng)框圖如圖1所示。

圖1 算法系統(tǒng)框圖

1 算法分析

采用Kinect得到的圖像數(shù)據(jù)以6 D點云(XYZRGB)形式保存，本文提出的預(yù)處理方法使給定的6 D點云生成RGB圖像和深度圖，RGB圖像提供紋理信息和表面信息，而深度圖提供每個像素到傳感器的距離，深度信息是每個像素點到傳感器的距離的表示，用幾何形狀與灰度值表征。預(yù)處理過程如圖2所示[4]。

（1）圖像重建：在給定6D點云上提取第4、5及6通道即R、G、B分量三維重建彩色圖像，并提取第3通道即D分量重建深度圖像。

（2）圖像裁剪：三維重建得到的彩色圖像及深度圖像有480×640個像素點，首先需要手工標(biāo)定左右眼的位置，從而計算出左右兩眼之間的距離d，再根據(jù)圖3所示的人臉各個部分比例關(guān)系可以裁剪得到人臉表情區(qū)域，設(shè)左右眼間距離為d，則純表情區(qū)域矩形寬為1.8d，高為2.2d，兩眼分別位于（0.6d，0.4d）、（0.6d，1.4d）處。這樣可以有效地避免頸部和頭發(fā)等區(qū)域的干擾，另一方面也保證了人臉特征位置的一致性，最終合理裁剪得出人臉表情區(qū)域。

圖2 圖像預(yù)處理過程

圖3 臉部特征比例關(guān)系

（3）尺度歸一化：雖然裁剪之后的表情圖像長寬比例一致，但其大小不一，因此需要通過放縮變換將所有的圖像變換為大小一致的圖像，即尺度歸一化。其思想是把尺寸各不相同的人臉圖像變換為統(tǒng)一的標(biāo)準(zhǔn)尺寸圖像以便于人臉特征的提取?；诖?，本文采用了速度較快、效果較好的雙線形插值方法[4]，將彩色圖像和深度圖像尺度歸一化為64×64大小的圖像。

研究表明，基于彩色信息的面部特征能夠有效降低人臉識別和表情識別的錯誤率[6-7]。S.M.Lajevardi等人基于R、G、B彩色分量的表情識別有效地提高了表情識別率，但卻缺少考慮多種光照條件下表情的變化；Hong Ren Wu等人的研究表明在不同的光照條件變化下基于YCrCb空間下的識別率要高于RGB色彩空間，且YIQ空間對彩色信息進(jìn)行編碼后所得的信息冗余最少[8]。根據(jù)以上研究，本文選擇在YCrQ空間提取特征信息[9]，且圖像由RGB空間線性轉(zhuǎn)化到Y(jié)CrQ空間的公式如（1）所示：

LPQ是具有圖像模糊不變性的特征算子[11－12]，LBP是用來反映圖像區(qū)域信息的特征算子[13－14]。HOG是描述圖像的局部梯度方向特征信息的特征算子[15]。Gabor變換是加Gauss窗的傅里葉變換，Gabor函數(shù)能夠在頻域的不同方向、不同尺度上提取特征信息[16-17]。經(jīng)過預(yù)處理之后的樣本均歸一化為64×64像素大小，然后將彩色圖像和深度圖劃分為8×8的互不重疊的子區(qū)域，然后對每個子區(qū)域做窗口大小為5×5的LPQ與LBP變換。把分區(qū)域統(tǒng)計的LPQ直方圖與LBP直方圖分別串聯(lián)起來，每個樣本表情即可表示為64×256=16384維列向量。HOG提取特征時，每個子區(qū)域又包含4個4×4大小的胞，將其表示為一個9維的向量，每個樣本表情圖像即可表示為4×9×64=2304維列向量。Gabor變換時，用40個濾波器提取的Gabor特征的維數(shù)為40×64×64=163840，經(jīng)下采樣之后得到的樣本特征向量維數(shù)為7840維。

根據(jù)上述算法本文在各分量（YCrQ-D）上，提取LPQ、LBP、HOG和Gabor等16種特征，提取特征示意圖如圖4所示。

人臉表情圖像經(jīng)提取特征后得到的高維度特征，通過主成分分析法（PCA）進(jìn)行線性降維。PCA算法通過計算LPQ等特征矩陣的最大相關(guān)向量組，即取p個特征值貢獻(xiàn)率為99%時對應(yīng)的特征向量組（p稱為特征維數(shù)），本文中通過在驗證集上的相關(guān)實驗分析得到各個分量在各個特征下的特征維數(shù)p。然后采用線性鑒別準(zhǔn)則（LDA）將PCA降維后的樣本進(jìn)行空間轉(zhuǎn)換，使投影在子空間的樣本具有高內(nèi)聚且低耦合，從而使樣本數(shù)據(jù)有最好的分類效果。

圖4 各分量特征提取示意圖

實驗中在訓(xùn)練樣本集上對高維特征向量做PCA和LDA處理，用每類表情平均向量作為模板向量，且對測試樣本特征向量也做相同的降維處理，并計算與每類表情模板之間的歐氏距離，最后用最近鄰法得到表情基礎(chǔ)分類結(jié)果。

2 分類器的選擇及分類器融合

研究表明，多分類器融合的表情識別比單分類器識別具有更好的性能。本文首先在最近鄰法產(chǎn)生的基礎(chǔ)分類器的基礎(chǔ)上用通過AdaBoost權(quán)重分配弱分類器形成強(qiáng)分類器，最后用Bayes融合多特征多分類器，統(tǒng)計得出最終的識別率。

AdaBoost算法通過訓(xùn)練弱分類器迭代分配樣本權(quán)重形成強(qiáng)分類器。AdaBoost算法迭代訓(xùn)練詳細(xì)過程如下：

假設(shè)給定一組樣本（x1，y1），…，（xm，ym），xi∈X，yi∈Y，xi為表情圖像，yi為表情圖像的類別號。yi∈（1，…，6），m為總的表情數(shù)，實驗中首先將每個樣本的權(quán)重初始化為（3）式：

其中，每次迭代過程中的樣本權(quán)重為Dt，t為訓(xùn)練次數(shù)，t=1，…，T。

（1）針對某一弱分類器可知樣本和相應(yīng)類別號的對應(yīng)關(guān)系ht∶X→Y，ht為分類器。

（2）計算樣本集在當(dāng)前分類器及權(quán)重下的分類錯誤率，如果著t>1/2或是t=T-1則跳出迭代：

（3）由（4）式可得到參數(shù)琢t滿足（5）式

（5）得到最終的分類器滿足（6）式：

本文中通過在驗證集上的相關(guān)實驗分析各個分量在各個特征下取迭代次數(shù)T等于10。

實驗中將AdaBoost生成的強(qiáng)分類器作為貝葉斯分類器的輸入樣本進(jìn)行分類。在進(jìn)行貝葉斯融合之前，先計算各分類器的先驗概率值和條件概率值。首先，本文中假設(shè)各特征屬性相互獨立，則可以得到各分類器的先驗概率；其次，通過在訓(xùn)練樣本集上的訓(xùn)練，得到在每個分類器下的各個表情圖像的條件概率密度。最后，要獲得某一樣本的條件概率密度時，運用貝葉斯算法計算以上各分類器的分類結(jié)果，其計算過程是通過混淆矩陣來實現(xiàn)的。

3 實驗結(jié)果與分析

CurtinFace人臉庫由52名不同的受試者組成，其中男性42名，女性10名。分別拍攝每位受試者在不同光照、不同表情及不同姿態(tài)下的人臉圖像共5000多張。在本文實驗中，分別選取每個受試者的7張表情圖像進(jìn)行實驗分析，即7種表情為微笑、驚訝、悲傷、厭惡、生氣、恐懼及中性表情，共計364張，預(yù)處理后的表情如圖5所示，驗證該算法在多種不同條件變化下的識別性能。

實驗中按照十折交叉驗證隨機(jī)選取訓(xùn)練樣本集、驗證樣本集與測試樣本集，且在訓(xùn)練樣本集上訓(xùn)練得到實驗相關(guān)參數(shù)，通過驗證樣本集進(jìn)行驗證參數(shù)的有效性，在測試樣本集上測試表情識別算法的識別率。

圖5 CurtinFace人臉表情示意圖（a）彩色圖像（b）深度圖像

對于不同的色彩分量（YCrQ）和深度信息分量（D），實驗中提取的4類特征分別用最近鄰分類法形成的16種弱分類器，各自識別率如表1所示。

表1 CurtinFaces各分量單特征的識別率（%）

然后將各分量單特征的基礎(chǔ)分類器用AdaBoost算法形成強(qiáng)分類器，實驗中通過在驗證樣本集上驗證得到迭代次數(shù)T選取10次識別效果最好。從而統(tǒng)計各強(qiáng)分類器的識別率，如下表2。

表2 AdaBoost算法下各強(qiáng)分類器的識別率（%）

將用AdaBoost算法得到的每個特征下的強(qiáng)分類器再用傳統(tǒng)貝葉斯算法進(jìn)行多分類器融合，分別為彩色分量融合（Y+Cr+Q）和彩色分量結(jié)合深度信息分量融合（Y+Cr+Q+D）兩種情況，并加以比較，如圖6所示。

在本文實驗中，我們評估系統(tǒng)對面部表情的變化，基于每個人的一個RGB-D測試圖像進(jìn)行識別。上表中列出彩色分量Y、Cr、Q融合以及彩色分量結(jié)合深度信息D的融合，表明深度信息的融合能使算法識別率得到明顯的改善。識別精度最好的為HOG特征下的各分類器融合，達(dá)到98.90%的識別率；而不包含深度信息D的識別時,可以看到,在Gabor特征下的識別率僅為84.62%。此外，預(yù)處理過程對基于RGB-D的表情識別也起到了至關(guān)重要的作用,且圖像的深度信息對RGB數(shù)據(jù)有對稱填充作用[4]。

圖6 CurtinFace庫上多分量融合識別率

KinectFaceDB[18]由EURECOM研究所用Kinect拍攝獲得，人臉庫由包含52人（其中男性38名，女性14名）組成。在相隔半個月的兩個時間階段，分別采集受試者在不同的光照條件下的不同的面部表情和不同遮擋物下的人臉圖像，由此得到S1樣本和S2樣本集。即在每一階段，拍攝得到中性表情、微笑、張嘴、左側(cè)面、右側(cè)面、遮擋眼睛、遮擋鼻子、用紙遮擋和強(qiáng)光照。因本文實驗需要，只選取其中一部分照片作為實驗圖像，如圖7所示，從左到右依次為中性表情、微笑、張嘴、強(qiáng)光照表情以及每個表情相對應(yīng)的深度圖。

圖7 KinectFaceDB人臉庫示例

本文實驗中選取受試者兩個時間階段下的面部表情圖像和光照圖像共計416張。參照算法在CurtinFace人臉庫上的處理及實驗步驟，在KinectFaceDB上的實驗結(jié)果如表3、表4及圖8、圖9所示：

表3 KinectFaceDB-S1庫各分量上單特征識別率（%）

圖8 KinectFaceDB-S1庫上各特征識別率

表4 KinectFaceDB-S2庫各分量上單特征識別率（%）

圖9 KinectFaceDB-S2上各特征識別率

實驗結(jié)果表明：在KinectFaceDB上，彩色信息分量結(jié)合深度信息分量的表情識別也能有效地改善算法的識別率，由此也說明了該算法的優(yōu)越性。

據(jù)了解，近幾年使用CurtinFaces和KinectFaceDB進(jìn)行表情識別相關(guān)的研究較少，各算法之間沒有直接的可比性。下表5中，簡單總結(jié)了一些相關(guān)人臉表情識別的方法。

表5 現(xiàn)有相關(guān)方法的性能對比

上表中，UR3D-S采用了面部對稱性的方法進(jìn)行表情識別，與本文方法不同之處在于他們使用高分辨率的三維數(shù)據(jù)，且在UND+UHD庫上表情識別的平均識別率為83.70%。Mian等人在FRGC庫上提出了一種基于2D+3D的表情識別，使得識別率達(dá)到95.37%。由此，通過比較可知，本文算法的識別精度98.90%均優(yōu)于上述方法。

4 結(jié)語

圖像的深度信息是對三維人臉表情識別研究和分析的一個重大突破，可以在一定程度上解決由于光照和姿態(tài)等因素帶來的識別率較低的問題。本文提出的一種基于RGB-D的融合多分類器的面部表情識別算法，通過在CurtinFaces和KinectFaceDB人臉庫上的實驗表明，該算法的表情識別精度明顯高于傳統(tǒng)表情識別算法。對于基于深度信息的人臉表情識別系統(tǒng)的設(shè)計將是本文下一步的研究工作，從而使系統(tǒng)更具有實用性。

[1]Sherin Aly,Andrea Trubanova,Lynn Abbott,Susan White,Amira Youssef.A Kinect-based RGBD+Time Dataset for Spontaneous and Non-Spontaneous Facial Expression Recognition.

[2]J.Wang,L.Yin,X.Wei,Y.Sun.3D Facial Expression Recognition Based on Primitive Surface Feature Distribution.Computer Vision Pattern Recognition,2:1399-1406,2006.

[3]Hamit Soyel,Hasan Demirel.3D Facial Expression Recognition with Geometrically Localized Facial Features,23rd International Symposium on ISCIS,2008.

[4]Mariusz Szwoch.On Facial Expressions and Emotions RGB-D Database

[5]Billy Y.L.Li,Ajmal S.Mian,Wanquan Liu,Aneesh Krishna.Using Kinect for Face Recognition Under Varying Poses,Expressions, Illumination and Disguise.

[6]Lee S H，Choijy，Roym，et al.Local Color Vector Binary Patterns from Multichannel Face Images for Face Recognition.IEEE Transactions on Image Processing，2012，21（4）:2347-2353.

[7]Lajevardi S M，Wu HR.Facial Expression Recognition in Perceptual Color Space.IEEE Transactions on Image Processing，2012，21（8）:3721-3733.

[8]Liu Z，Liu C.Fusion of Complementary Discrete Cosine Features in the YIQ Color Space for Face Recognition.Computer Vision and Image Understanding，2008，111（3）:149-262.

[9]Gonzalez R C，Woods R E，Eddins S L.Digital Image Processing using MATLAB.Pearson Education India，2004.

[10]Liu Z，Wu W，Tao Q，et al.Facial Expression Recognition Using a New Image Representation and Multiple Feature Fusion.Intelligent Science and Intelligent Data Engineering.Springer Berlin Heidelberg，2013:441-449.

[11]Ojansivu V，Heikkil.Blur Insensitive Texture Classification Using Local Phase Quantization.Image and Signal Processing 2008:236-243.

[12]Nanni L，Lumini A.Heterogeneous Bag of Features for Object/Scene Recognition.Applied Soft Computing，2013;13（4）:2171-2178.

[13]Ojala T，Pietikainen M，Maenpaa T.Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）:971-987.

[14]Guo Y，Zhao G，Pietikinen M.Discriminative Features for Texture Description.Pattern Recognition，2012，45（10）:3834-3843.

[15]Liu H，Xu T，Wang X，et al.Related HOG Features for Human Detection Using Cascaded AdaBoost and SVM Classifiers.Advances in Multimedia Modeling.Springer Berlin Heidelberg，2013:345-355.

[16]Gu W，Xiang C，Venkatesh Y V，et al.Facial Expression Recognition Using Radial Encoding of Local Gabor Features and Classifier Synthesis.Pattern Recognition，2012，45（1）:80-91.

[17]Bairagi B K，Chatterjee A，Das S C，et al.Expressions Invariant Face Recognition Using SURF and Gabor Features.2012 Third International Conference on Emerging Applications of Information Technology（EAIT），IEEE，2012:170-173.

[18]Rui Min,Neslihan Kose,Jean-Luc Dugelay,KinectFaceDB:A Kinect Database for Face Recognition,Systems,Man,and Cybernetics: Systems,IEEE Transactions on,vol.44,no.11,pp.1534,1548,Nov.2014,doi:10.1109/TSMC.2014.2331215

[19]G.Passalis,P.Perakis,T.Theoharis,I.Kakadiaris.Using Facial Symmetry to Handle Pose Variations in Real-World 3D Face Recognition.IEEE Trans.on Pattern Anal.and Machine Intel.,33（10）:1938-1951,2011.

[20]A.Mian,M.Bennamoun,R.Owens.An Efficient Multimodal 2D-3D Hybrid Approach to Automatic Face Recognition.IEEE Trans. on Pattern Anal.and Machine Intel.,29（11）:1927-1943,2007.

Facial Expression Recognition Based on RGB-D

WU Hui-xia，TAO Qing-chuan，GONG Xue-you

（College of Electronic Information,Sichuan University，Chengdu 610065）

For two-dimensional facial expression recognition complex when poor lighting and illumination conditions,a low recognition rate of prob-lem,proposes a facial expression recognition algorithm based on multi-feature RGB-D fusion.Extracts their LPQ,Gabor,LBP and HOG feature information in image color information(Y,Cr,Q)and depth information(D)on,and the extraction of high-dimensional feature in-formation does linear dimensionality reduction(PCA)and feature space conversion(LDA),and then gives each face of weak classifiers nearest neighbor classification,and with AdaBoost algorithm weight distribution of weak classifiers to generate strong classifier,and finally with Bayes multi-classifier fusion,statistical output average recognition rate.With complex changes in lighting conditions and facial ex-pression libraries CurtinFaces KinectFaceDB,the algorithm average recognition rate of up to 98.80%.The results showed that:compared to a separate color image expression recognition algorithm,the fusion depth information can be more significantly improved the recognition rate of facial expression recognition,and has a certain value.

Expression Recognition;RGB-D;Depth Information;AdaBoost

1007-1423（2016）08-0066-07

10.3969/j.issn.1007-1423.2016.08.014

吳會霞（1993-），女，河北邯鄲市人碩士，研究方向為計算機(jī)應(yīng)用與圖像識別

2016-01-28

2016-03-05

陶青川（1972-），男，四川南充人，副教授，研究方向為模式識別與智能系統(tǒng)、計算機(jī)應(yīng)用與圖像識別

龔雪友（1991-），女，四川瀘州人，碩士，研究方向為電子與通信工程