面向人臉表情識別的多約束稀疏分類方法

桂林理工大學博文管理學院 韋寧燕

中國鐵塔股份有限公司河池市分公司 韋洪浪

桂林理工大學博文管理學院 吳明林 王 星

1 引言

近幾年來，隨著Ma[1][2][3]等人提出了基于稀疏表示分類的人臉識別，掀起SRC在人臉識別領(lǐng)域應用的熱潮。Rania[4]、Huang Mingwei[5]等人實現(xiàn)人臉表情的識別主要運用的是紋理特征提取和稀疏表示。Zhang Shiqing[6]用于表情特征提取采用局部二值化(LBP)和Gabor小波，并評估SRC的性能。Mahoor[7]等人通過對人臉運動單元進行稀疏表示從而實現(xiàn)表情識別，并與SVM、NNC方法進行比較。對比于人臉特征，直接運用SRC來實現(xiàn)表情識別，其效果并不是很好。

針對上述存在的問題，提出多約束稀疏分類(M-SRC)的算法對人臉表情進行識別。使用局部加權(quán)2DPCA進行特征提取，打破了做表情識別都需要紋理特征提取的傳統(tǒng)，提高了運算的速度，從而提高實時性，使表情識別有可能應用于相對簡單的設(shè)備中。最后結(jié)合多約束條件進行稀疏分類，去掉樣本中人臉信息對表情的影響，充分發(fā)揮稀疏表示的功效。

2 特征提取

2.1 2DPCA特征提取

2DPCA是對事物主要矛盾進行統(tǒng)計和分析，且能從多元事物中解析出主要影響的因素，將復雜問題簡單化；還能將高維數(shù)據(jù)投影到較低維空間，降低表情圖像的維度，提取主要信息。

圖1 局部加權(quán)2DPCA特征提取流程圖

2.2 局部加權(quán)2DPCA特征提取

在表情特征提取中，不僅要把像素矩陣映射到低維空間，而且還要保留表情特征的信息。人的面部基本符合“三庭五眼”的結(jié)構(gòu)特征，因此，把人臉面部均勻地劃分為3×5個非重疊的小方格，通過這些小方格可以很好地定位表情器官的位置。如圖1所示，每部分的主要信息點記為。每部分的信息人為地賦予一定的權(quán)重Wi，最終組合成一張表情圖像的總特征值Yk。

3 多約束的稀疏分類方法

3.1 稀疏表示的分類思想

從表情庫中隨機取大部分人臉圖像作為訓練樣本。設(shè)用矩陣表示第i類訓練樣本為，每個圖像用v來表示。我們將k類共n個訓練樣本組合在一起形成整個訓練集矩陣D：

其中，m為樣本的特征像素點，ni為第i類樣本數(shù)目。一個屬于第i類的測試樣本y表達式：

上式求解x0的過程是一個NP難問題。常用迭代求解。

用最小l1范數(shù)解求解判斷測試樣本y所屬類別的公式為：

3.2 多約束稀疏分類(M-SRC)

在圖像噪聲存在的情況下，用l1范數(shù)對表情分類進行求解：

人臉圖像中含有多種不重要信息，本文通過增加多約束矩陣G，把這些不重要的信息當成噪聲來處理，縮小所求解的范圍。式(6)可變?yōu)橄率剑?/p>

G中的gi為每i個人臉圖像的7種表情的平均值。在表情識別過程中，人臉類別信息會影響表情信息。表情分類信息主要集中在紋理特征上，通過求平均值把各表情間重疊的人臉信息找出，并分給ω的部分稀疏解α，減少測試人臉y中的基本人臉輪廓對x的影響，從而實現(xiàn)對y中的人臉信息約束。使用l1解法求解式（7）：

從字典方面上看，本文提出的多約束算法中增加的多約束項可以看成對字典B進行矩陣擴展，在m不變的情況，增大樣本n的列數(shù)，擴展后的B解決表情人臉庫樣本數(shù)不多而影響稀疏表示理論使用的問題。在迭代運算過程中，B內(nèi)組成各列向量的關(guān)系會降低干擾樣本對相關(guān)樣本的影響。所求得的稀疏解x包含著更明顯的分類信息。

3.3 稀疏表示分類步驟

綜上各小節(jié)所述，稀疏表示分類的步驟總結(jié)如下：

①把所有的訓練樣本構(gòu)成矩陣A，然后經(jīng)過局部加權(quán)2DPCA處理后，組成字典B。將字典B中的每一列進行歸一化，結(jié)合多約束算法改進字典B。

其中，求解稀疏解ω1的部分x1是通過第②步來求解，在一定條件下，稀疏表示理論指出可通過求解l1范數(shù)問題來求解稀疏解。根據(jù)實際情況，在第③步中，可以在式子(6)中再減去一個誤差值，使得計算殘差值更精確，其中k為類別總數(shù)。最后找出最小的殘差值ri( y)，從而確定測試樣本的類別i。

4 實驗及結(jié)果分析

以下的實驗主要是在PC機用Matlab進行仿真。PC的配置為處理器Intel Core i5-2450M(雙核2.50GHz)，內(nèi)存4GB，硬盤500GB，顯卡NVIDIA GeForce GT 525M。軟件版本：微軟的WIN7的32位操作系統(tǒng)，Matlab R2011b。

4.1 JAFFE人臉數(shù)據(jù)庫上的實驗

對人臉庫的圖像進行幾何歸一化、灰度歸一化、濾波等預處理。JAFFE[10]人臉圖像經(jīng)過預處理后大小為64×64，取KA的7種表情預處理后的圖顯示如下圖2，把JAFFE人臉庫的210張圖片按7種表情進行分類，用11次10折交叉驗證的方法對這210張圖片分為10份樣本，1份為測試樣本，9份作為訓練樣本，平均每一份樣本是21張表情圖片。

從左到右依次為厭惡、恐懼、開心、自然、傷心、驚奇、憤怒7種表情：

圖2 KA的7種表情預處理后的圖像

4．1．1 直接2DPCA

把每個人臉圖像直接進行2DPCA特征提取，通過多次實驗比較了3種識別方法，SRC、NSC(nearest space classification)和M-SRC，結(jié)果如表1中所示。其中，NSC為鄰近子空間分類法；SRC為稀疏表示分類算法；M-SRC為本文的多約束稀疏分類的算法。

表1 不同方法結(jié)合2DPCA在JAFFE數(shù)據(jù)庫上的識別性能比較

SCI指數(shù)為恒量稀疏表示所求的解性能，它的范圍在[0,1]，指數(shù)越大，稀疏性越好。很多學者證明稀疏表示分類(SRC)有更好的魯棒性。而M-SRC前期對JAFFE庫的預處理工作相對簡易，在識別方面，雖然增加了少量的識別時間，但識別率得到提高。這是因為字典自身含有表情中大量的有效和無效信息，本方法最大程度地運用存在字典的信息，消除一些無用信息的干擾，因此，本文的算法(M-SRC)有較好的魯棒性。

圖3 取出某個測試人臉的M-SRC、SRC殘差值圖：(a)測試人臉裁剪圖；(b) M-SRC殘差值圖；(c) SRC的殘差值圖

圖3分別列出該圖在M-SRC和SRC下的殘差值。其中(a)圖為測試人臉的裁剪圖；(b)和(c)圖中的橫坐標分別表示憤怒、厭惡、恐懼、開心、自然、傷心、驚奇的7種表情。由(b)、(c)圖可知，第7個表情的殘差值最低，可判斷出(a)圖的類別表示驚奇。所以求解的系數(shù)x在表情類別中主要集中于驚奇處。我們分別計算(b)和(c)圖中最低兩個殘差值的比例大約是14:1和5:2；由此可見，在該測試人臉的識別中，相對于SRC，M-SRC算法有更好的稀疏性和分類效果。

4．1．2 局部加權(quán)2DPCA

在特征提取方面，使用局部加權(quán)2DPCA進行特征提取，然后比較NSC、SRC、ISRC三種算法的識別率。識別性能如下表2所示。

平均SCI指數(shù)反映出稀疏表示分類的識別性能。其中表2的平均SCI指數(shù)是統(tǒng)計21個測試人臉的每個SCI指數(shù)后求平均值。從表2可以看出，相對SRC和NSC，在JAFFE人臉庫中M-SRC算法在人臉識別率上有很大的提升，但花費一定的時間來計算。SRC比NSC多了個SCI指數(shù)，通過這個指數(shù)能判斷出測試樣本是否為有效類別。

表2 不同方法結(jié)合局部加權(quán)2DPCA在JAFFE數(shù)據(jù)庫上的識別性能比較

4.2 在CK人臉數(shù)據(jù)庫上的實驗

實驗4.1同樣用于Cohn-Kanade(CK)表情庫。選取裁剪成64×64的CK人臉庫作為實驗數(shù)據(jù)庫，把其中一人的7種表情顯示如下圖4。

在特征提取方面，采用局部加權(quán)的2DPCA進行表情特征提取。然后比較NSC、SRC、M-SRC三種算法的識別率，實驗結(jié)果如下表3所示。

通過表1、表2和表3的分析可知，SRC和NSC在識別時間占有優(yōu)勢，且識別率也較好。CK庫的圖片質(zhì)量好、訓練樣本足夠多、各表情差異明顯，由此可見CK庫里的識別率明顯比JAFFE庫的識別率好。與SRC和NSC對比，M-SRC識別率上有所的提升，特別是在圖片表情特征不明顯的情況下，這種優(yōu)勢更加明顯。其實，在使用SRC算法中，并沒有充分發(fā)揮出稀疏表示的作用，從而使它的識別率較低，主要原因是表情庫的樣本不多導致了字典D的列數(shù)不夠。而本文通過M-SRC彌補了字典D列數(shù)不足的缺點，使識別率得到提高，但犧牲了一定運算時間。

從左到右依次為厭惡、恐懼、開心、自然、傷心、驚奇、憤怒7種表情：

圖4 CK的7種表情預處理后的圖像

表3 不同方法在CK數(shù)據(jù)庫上的識別性能比較

5 結(jié)束語

本文提出的局部加權(quán)2DPCA和多約束的稀疏分類的方法(MSRC)實用性強、效率高：打破了做表情識別都需要紋理特征提取的傳統(tǒng)。通過SRC與M-SRC的比較，發(fā)現(xiàn)字典D的列數(shù)構(gòu)建影響著正確識別率和運算速率，D中的元素要能最大程度地表示測試樣本的結(jié)構(gòu)，且在不影響識別效率的情況下D的行數(shù)應盡可能遠遠小于列數(shù)。M-SRC通過增加人臉信息的約束條件，能去掉人臉信息的干擾，在表情識別方面相比SRC識別效率有了。

[1]Wright J, Ma Yi, et al．Robust Face Recognition via Sparse Representation [J]．Pattern Analysis and Machine Intelligence,2009,31(2)∶210-217．

[2]Kui Jia, Tsung-Han Chan, and Ma Yi． Robust and practical face recognition via structured sparsity [C]．European Conference on Computer Vision (ECCV),2012．

[3]Andrew Wagner, John Wright, Ma Yi at el．Towards a practical face recognition system∶ robust alignment and illumination by sparse representation[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI),2012,34(2)．

[4]Rania Salah, Ahmed El Kholy, Mohamed Youssri．Robust Facial Expression Recognition via Sparse Representation and Multiple Gabor filters [J]．International Journal of Advanced Computer Sciences and Applications．2013,4(3)∶82-87．

[5]Huang Mingwei, Wang Zhewei，Ying Zilu． A New Method For Facial Expression Recognition Based On Sparse Representation Plus LBP[C]．the 3rd International Congress on Image and Signal Processing．Yantai． 2010∶1750-1754．

[6]Zhang Shi-qing,Zhao Xiao-ming,Lei Bi-cheng．Robust Facial Expression Recognition via Compressive Sensing[J]．Sensors,2012,12(12)∶3747-3761．

[7]H．Mahoor,Mu Zhou,Kevin L,et al． Facial action unit recognition with sparse representation[C] Automatic Face & Gesture Recognition and Workshops(FG2011)． 2011(3)∶336-342．

[8]Yang．J,Zhang． D,Frangi．A F,and Yang．J Y．Two-Dimensional PCA∶ A New Approach to Appearance-Based Face Representation and Recognition．IEEE Transactions on Patten Analysis and Machine Intelligence,2004．26(1)∶131-137．

[9]Candès E J,Wakin M B．An Introduction to Compressive Sampling[J]．Signal Processing Magazine,2008,25(2)∶21-30．

[10]Michael J．Lyons,Miyuki K,Jiro G．Japanese Female Facial Expressions(JAFFE), Database of digital images(1997)[OL]．http∶//www．kasrl．org/jaffe．html,1997．