特征集和分類器融合技術在表情識別中的應用

高 攀，郭 理，汪傳建

(石河子大學信息科學與技術學院，新疆石河子832000)

0 引言

近年來，面部表情自動識別技術因其各種應用而被廣泛關注，如人機交互(HCI)、情感分析、自動輔導系統(tǒng)、交互式視頻、圖像和視頻數(shù)據(jù)庫的檢索、圖像理解和人臉動畫合成等［1-5］。文獻［6］提出的6種基本的情感，包括快樂，悲傷，恐懼，厭惡，驚訝和憤怒。表情識別方法基本上可以分為幾何分析和基于外觀分析兩大類［6］，第1種方法考慮到一些預定義的幾何位置，也被稱為基準點，以面部特征來表示面部，然而，幾何特征的表示通常需要精確和可靠的人臉特征檢測與跟蹤，這很難適應于許多情況［7］。第2種方法是通過整體空間分析模仿面部外觀的變化，這種方法所使用的工具通常是主成分分析(PCA)［6］、獨立成分分析(ICA)［8］、Gabor 濾波器和局部二進制模式(LBP)［9］。Gabor濾波器因為其在面部分析上優(yōu)越的性能而被廣泛采用［10］，但其缺點是在時間和內存上花銷較高，LBP作為有效的外觀特征圖像分析［11］技術與Gabor濾波器相比，節(jié)省了大量計算資源，同時又有效地保持了面部信息［12］。

雖然技術上已經取得了很大進展，但由于面部表情的變化具有微妙性、復雜性和多變性，所以高精確識別面部表情仍然有困難。為處理這類復雜的模式識別問題，本文利用Gabor濾波器和LBP這兩個當前最廣泛應用于面部表情識別的特征集創(chuàng)建分類器組，使用多目標遺傳算法搜索最佳的集合作為目標函數(shù)。為驗證所提出的方法，本文設計了兩個不同的方案分別在JAFFE和Cohn-Kanade兩個不同的人臉庫上進行實驗，通過實驗可以證明:所提出方案比使用單一特征集和單分類器的傳統(tǒng)方法分別提高了5%和10%的識別率。

1 特征集方法綜述

本文選擇用來進行面部表情建模的特征集。

1.1 Gabor濾波器

Gabor濾波器已被成功地應用于人臉表情識別，因此被選為一個特征集用于訓練基分類器。一組Gabor內核是一個高斯包絡和平面波的產物，定義如方程(1)［9］:

其中，z=(x，y)是一個空間域上的變量;kμ，v(定義如方程(2)［6］)是一個頻率矢量，用來確定 Gabor內核的尺度和方向。

圖18 個方向(列)和5個尺度(行)的Gabor濾波器

可以使用方程(3)［10］，通過Gabor內核的卷積得到給定的圖像I(z)在特定位置上的Gabor變換，

由方程(4)［10］得到復圖像的幅值:

其中，N是人臉圖像中標記的基準點數(shù)量;xl和yl是基準點的坐標;k是用來形成區(qū)域的周邊像素的數(shù)量。文獻［12］提出的一組來自74個不同界標的20個基準點，根據(jù)作者的觀點，這些點分布在臉的突出特征上。圖2顯示了作者使用的20個基準點。

根據(jù)方程(5)，用一個大小為K×K掩模計算出特征向量。在本文的實驗中，測試了K={1，3，5，7，9}。如前所述，提取了尺度為160的5個特征集，方向為100的8個特征集，和一個尺度和方向都為800的特征集?？紤]到5個不同的掩模，用70個不同的特征集訓練70個分類器。

1.2 局部二進制模式

局部二進制模式(LBP)最早是作為一種有效的紋理描述算子提出的［13］，由于其對圖像局部紋理特征的卓越描繪能力而獲得了十分廣泛的應用。LBP特征具有很強的分類能力和較高的計算效率，因此被選為用于訓練基分類器的另一個特征集。圖3為原始LBP算子，以窗口中心像素為閾值，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3×3鄰域內的8個點可產生8 bit的無符號數(shù)，即得到該窗口的LBP值，并用這個值來反映該區(qū)域的紋理信息。

圖2 文獻［8］提出的20個基準點

圖3 原始LBP算子

基本LBP算子的局限性在于它的小鄰域不能吸收大尺度結構中的主要特征。為解決這個問題，算子被擴展以應對大鄰域，采用圓形鄰域并結合雙線性插值運算，能夠獲得任意半徑和任意數(shù)目鄰域像素點。圖4是擴展的LBP算子，(P，R)表示半徑為R的圓上P鄰域等距采樣點。

LBPP，R算子產生2P個不同的輸出值，對應于鄰域集中P個像素形成的2P個不同的二進制模式。對人臉圖像使用LBP分割成小區(qū)域Z0，Z1，…，Zn以提取LBP直方圖，然后每個區(qū)域提取的特征合并成一個單一的向量。圖5舉例說明這一過程。

圖4 擴展LBP算子的3個例子

圖5 從分區(qū)的面部圖像提取LBP特征

本文把人臉分為42個區(qū)(7×6)，使用3個不同的特征組合訓練3個分類器，這3種LBP算子的組合分別是前兩種組合產生的特征向量每區(qū)有 59 個特征，合計 2 478 個，而最后一個組合產生的特征向量每區(qū)有243個特征，合計10 206個。

2 實驗結果和討論

使用兩個實驗方案來評價面部表情識別方法。實驗I中，測試對象來自訓練對象集，實驗II中，訓練集對象均不用于測試。第1個實驗方案經常在文獻中出現(xiàn)，但是，第2個方案更為切合實際，因為該系統(tǒng)必須能夠對沒有被用來訓練的對象進行表情分類。

本文采用支持向量機(SVM)作為基分類器。面部表情識別是一個多分類問題，假設d表示類的數(shù)目，則需訓練d×(d-1)/2個分類器，并組織成樹形結構，如7種不同類別的面部表情需要21個分類。

接下來簡單介紹JAFFE和Cohn-Kanade數(shù)據(jù)庫并在這兩個數(shù)據(jù)上做相關實驗。

2.1 數(shù)據(jù)庫

JAFFE數(shù)據(jù)庫包含10名女性對象及其213個圖像的面部表情。每個圖像分辨率為256×256像素。7個類別的圖像表情(中性，快樂，悲傷，驚訝，憤怒，厭惡，恐懼)是相同的，如圖6所示。

圖6 JAFFE數(shù)據(jù)庫中7類面部表情

Cohn-Kanade數(shù)據(jù)庫描繪每一個表情從中性狀態(tài)演變直到它在最后一幀達到其最高的強度的序列圖像。數(shù)據(jù)庫由1 281個圖像構成。圖7是這個數(shù)據(jù)集的一些例子。

圖7 Cohn-Kanade數(shù)據(jù)庫中7類面部表情

2.2 在JAFFE數(shù)據(jù)庫上的實驗

根據(jù)所提出的方法，第1步是訓練基分類器池。所有的分類都是基于LibSVM高斯內核訓練的支持向量機。通過使用JAFFE數(shù)據(jù)庫進行實驗I和實驗II，得到73個分類器的精度。分類器分為3組:3個LBP分類器、30個基于尺度的Gabor分類器和40個基于方向的Gabor分類器?？梢杂^察到，實驗II的分類器性能遠不如實驗I的表現(xiàn)。

訓練后的分類器池作為MOGA的輸入，本文使用NSGA-II多目標遺傳算法建立分類器集合，實驗中采用如下參數(shù):種群=100，子代數(shù)=300，交叉概率=0.7，變異概率=0.01，小生境距離=0.05。因為實驗中使用73個分類器，所以染色體的個數(shù)是73;集合的錯誤率通過求和規(guī)則計算;采用組合優(yōu)化方法定義交叉概率和變異概率;使用實證法確定種群規(guī)模與子代數(shù)。

圖8顯示了實驗I和實驗II在目標平面上的種群演變?？梢杂^察到，在這兩種情況下，該算法收斂到Pareto前沿產生一組可能的解決方案。為了進行搜索，使用10倍交叉驗證。每個實驗重復10次，以驗證其重復性。因此，所有結果是這10次重復的平均值。

圖8 在目標平面上的種群演變

下一步是從Pareto選擇最佳的分類器集合。如前所述，高精度很重要，但集合的大小也是這類應用的一個重要問題。從圖8可以看出:提供了準確性和大小之間的最佳權衡的集合被安置在靠近Pareto的末端。選定的集合用箭頭標記在圖8a和圖8b中，選定的分類器及其個體性能如表1所示。

盡管分類器規(guī)模相同(實驗I和實驗II分類器規(guī)模分別是5和6)，但除了LBP分類器LBP8，2以外，該集合的組成完全不同。從表1可以看到:實驗II比實驗I有相當多的難度，但是，所提出的方法能夠為實驗找到合適的集合。

表1 選擇的分類器(JAFFE數(shù)據(jù)庫)

在實驗I中，集合性能相比較最佳分類器提高了約5%。但實驗II表現(xiàn)更佳，分類器集合相對最好的單分類器識別率提高了10%左右。實驗II選擇的分類器的性能快速查看的結果表明似乎可以拋棄3個基于Gabor的分類器，因為與基于LBP的分類器相比，他們表現(xiàn)欠佳，但這些弱分類器仍然非常重要，因為他們提供補充信息，這是集合良好性能的關鍵，如果移除3個基于Gabor的分類器，則集合的性能將下降到62%。

表2和表3比較了兩個針對所有分類器和所提方法產生的集合實驗的混淆矩陣。表2顯示實驗I中分類器解決了絕大多數(shù)的分類問題，在實驗II中(如表3所示)也解決了幾個問題，但還有很多改進的余地，如“悲傷”類。為了進一步減少這些問題，一個可能的選擇是使用更多的數(shù)據(jù)庫圖像來增加訓練集。

表2 實驗I的混淆矩陣(JAFFE數(shù)據(jù)庫)

表3 實驗II的混淆矩陣(JAFFE數(shù)據(jù)庫)

表4為不同方法在JAFFE數(shù)據(jù)庫的比較，從表4可以看出:所提出的方法優(yōu)于已有文獻。

2.3 Cohn-Kanade數(shù)據(jù)庫的實驗

與JAFFE數(shù)據(jù)庫相同的方案被施加在Cohn-Kanade數(shù)據(jù)庫上進行實驗。同樣得到了73個分類器在實驗I和實驗II中的精度。通過比較兩次實驗可以很清楚地看到:Cohn-Kanade數(shù)據(jù)庫比 JAFFE數(shù)據(jù)庫簡單，因為Cohn-Kanade數(shù)據(jù)庫中面部表情圖像的變化細微。一些分類器的性能令人非常滿意，特別是在實驗I中同一對象同時參與了訓練和測試時的精度。

與在JAFFE數(shù)據(jù)庫上的實驗一樣，算法也是收斂到Pareto前沿產生一組可能的解決方案。選定的集合用箭頭標記，如圖9a和圖9b所示。選定的分類和他們的性能如表5所示。同樣，對選擇的集合進行了10次重復以保證其可重復性。

表4 不同方法在JAFFE數(shù)據(jù)庫的比較

圖9 在目標平面上的種群演變

表5 選擇的分類器(Cohn-Kanade數(shù)據(jù)庫)

如前所述，該數(shù)據(jù)集比前一個簡單，所以它需要更小的集合減少整體的錯誤率。在這種情況下，最佳的分類器(LBP8，2)連同一個基于尺度的Gabor分類器被選定。表6顯示了實驗II的混淆矩陣，從表6中可以觀察到“恐懼”類的問題得到了解決，“恐懼”是公認最難識別的表情。

表6 實驗II混淆矩陣(Cohn-Kanade數(shù)據(jù)庫)

表7顯示了文獻中報道的不同方法在Cohn-Kanade數(shù)據(jù)庫的性能。由于已有實驗方案的差異，直接的比較是不可能的，盡管實驗方案有所差異，但所提出的方法優(yōu)于已有文獻。

表7 不同方法在Cohn-Kanade數(shù)據(jù)庫的比較

3 結論

本文提出了一個面部表情識別新方法，該方法依賴于兩個不同的特征集相結合為一個集合以提高識別的準確性。該方法結合了兩種不同的特征集，即Gabor濾波器和LBP。兩個特征集相結合為分類器集合的識別率明顯優(yōu)于個體特征集和單分類器。例如，在實驗I的情況下，集合方法的性能比最好的個體分類器提高了約5%。特別是在實驗II中，集合方法的識別率比最好的個體分類器提高了約10%。

與文獻中的各種方法相比，本文得到的識別率都略有提高。盡管取得了良好的效果，但所提出的方法仍有一些缺點。一個缺點是在Gabor特征的情況下，基準點定位存在問題。由于沒有可靠的算法在人臉圖像找到這樣的點，不正確的位置會導致噪聲特征向量，這個特征向量會減少對應分類器的精確度。盡管如此，這個問題可以被集合在某種程度上緩解;另一個缺點是整個系統(tǒng)的復雜性增大，因為它需要提取兩套特征以及分類器的訓練和選擇，但這個缺點相對于面部表情識別率的增長是值得的。

［1］Aleksic P S，Katsaggelos A K.Automatic Facial Expression Recognition Using Facial Animation Parameters and Multistream Hmms［J］.IEEE Transactions on Information Forensics and Security，2006，1(1):3-11.

［2］Bartlett M，Littlewort G，F(xiàn)rank M，et al.Recognizing Facial Expression:Machine Learning and Application to Spotaneous Behavior［J］.IEEE Conference on Computer Vision and Pattern Recognition，2011，3(1):568-573.

［3］吳丹，林學訚.人臉表情視頻數(shù)據(jù)庫的設計與實現(xiàn)［J］.計算機工程與應用，2004(5):177-180.

［4］楊得國，楊勐，姜金娣，等.一種改進的局部區(qū)域特征醫(yī)學圖像分割方法［J］.河南科技大學學報:自然科學版，2012，33(2):30-33.

［5］翁陽，程明.基于相位相關的指紋序列圖像配準新算法［J］.鄭州大學學報:理學版，2012(4):63-67.

［6］Besinger A，Sztynda T，Lal S，et al.Optical Flow Based Analyses to Detect Emotion from Human Facial Image Data［J］.Expert Systems with Applications，2010(7):8897-8902.

［7］Liao S，F(xiàn)an W，Chung C S，et al.Facial Expression Recognition Using Advanced Local Binary Patterns［C］//International Conference on Image Processing(ICIP).2006:665-668.

［8］Cheng F，Yu J，Xiong H.Facial Expression Recognition in Jaffe Dataset Based on Gaussian Process Classification［J］.IEEE Transactions on Neural Networks，2011，21(10):1685-1690.

［9］Cohen I，Sebe N，Garg A，et al.Facial Expression Recognition from Video Sequences:Temporal and Static Modeling［J］.Computer Vision and Image Understanding，2003，9(1):160-187.

［10］Geetha A，Ramalingam V，Palanivel S，et al.Facial Expression Recognition a Real Time Approach［J］.Expert Systems with Applications，2013，3(2):303-308.

［11］Duan H，Xu C F，Xing Z H.A Hybrid Artificial Bee Colony Optimization and Quantum Evolutionary Algorithm for Continuous Optimization Problems［J］.International Journal of Neural Systems，2010，20(1):39-50.

［12］Koutlas A，F(xiàn)otiadis D.An Automatic Region Based Methodology for Facial Expression Recognition［J］.IEEE International Conference on Systems，Man and Cybernetics，2008(6):662-666.

［13］Liu W，Wang Z.Facial Expression Recognition Based on Fusion of Multiple Gabor Features［C］//18th International Conference on Pattern Recognition.2006:36-539.

［14］Shan C，Gong S，McOwan P W.Facial Expression Recognition Based on Local Binary Patterns:A Comprehensive Study［J］.Image and Vision Computing，2011，27(3):803-816.

［15］Zavaschi T，Oliveira L，Koerich A.Facial Expression Recognition Using Ensemble of Classifiers［C］//Proceedings of 36th International Conference on Acoustics，Speech and Signal Processing.2011:1489-1492.

［16］Lu J，Plataniotis K N，Venetsanopoulos A N.Regularization of Linear Discriminant Analysis in Small Sample Size Scenarios with Application to Face Recognition［J］.Pattern Recognition Letters，2011，46(2):181-191.

［17］Nandakumar K，Chen Y，Dass S C，et al.Likelihood Ratio Based Biometric Score Fusion［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，47(2):342-347.

［18］Jumutc V，Zayakin P，Borisov A.Ranking-based Kernels in Applied Biomedical Diagnostics Using Support Vector Machine［J］.International Journal of Neural Systems，2011，21(6):459-473.