用于表情識別的半監(jiān)督學習自適應提升算法

吳會叢　賈克斌　蔣　斌

1(河北科技大學信息科學與工程學院　河北 石家莊 050018)2(北京工業(yè)大學電子信息與控制工程學院　北京 100124)

?

用于表情識別的半監(jiān)督學習自適應提升算法

吳會叢1賈克斌2蔣斌2

1(河北科技大學信息科學與工程學院河北 石家莊 050018)2(北京工業(yè)大學電子信息與控制工程學院北京 100124)

摘要針對半監(jiān)督人臉表情識別算法在表情來源多樣、姿態(tài)不一時準確率低的問題，在遷移學習自適應提升算法的基礎上，提出一種新的半監(jiān)督學習自適應提升算法。該算法通過近鄰計算由訓練集中的已標記樣本求出未標記樣本的類別，并借助AdaBoost.M1算法分別對多數(shù)據(jù)源的人臉表情樣本和多姿態(tài)人臉表情樣本展開識別，實現(xiàn)樣本的多類識別任務。實驗結果表明，與標號傳遞等半監(jiān)督學習算法相比，該算法顯著提高了表情識別率，且分別在多數(shù)據(jù)庫和多姿態(tài)數(shù)據(jù)庫上獲得了73.33%和87.71%的最高識別率。

關鍵詞人臉表情識別半監(jiān)督學習自適應提升

0引言

近年來，人臉表情識別作為一種生物特征識別技術，已成為多媒體信息處理、人機交互、圖像處理與模式識別等領域的重要研究課題[1，2]。在人臉表情識別過程中，樣本標記起到了重要的作用，但是并不容易獲取。由于半監(jiān)督學習[3]能夠利用少量的標記樣本和大量的未標記樣本構建學習模型，研究者將其應用于人臉表情識別領域以解決標記樣本不足的問題，提高人臉表情識別的實用性。

半監(jiān)督學習的目的是借助大量的未標記樣本參與訓練以彌補訓練樣本不足的缺陷。然而，專業(yè)數(shù)據(jù)庫中人臉表情圖像數(shù)量的不足限制了半監(jiān)督學習在表情識別中的發(fā)展。因此，需要尋找一種方案來解決數(shù)據(jù)量不足的問題，以便更好地完成半監(jiān)督學習在人臉表情識別中的應用。解決問題的思路有兩個：其一是將多個數(shù)據(jù)庫放在一起使用，進行多數(shù)據(jù)庫聯(lián)合實驗。該方法具有以下兩個優(yōu)點：第一，能夠收集大量的未標記樣本，方便研究者復原實驗過程，使得在該數(shù)據(jù)庫上得到的實驗結果更具有說服力；第二，在實際生活中，我們面對的人群是多種多樣的，多數(shù)據(jù)庫有利于我們模擬實際情況。所以使用多數(shù)據(jù)庫進行半監(jiān)督學習實驗的做法，具有很大的優(yōu)勢。其二是將多姿態(tài)圖像作為樣本，參與半監(jiān)督人臉表情識別。該方法對于在現(xiàn)實環(huán)境中識別多姿態(tài)的人臉表情圖像具有重要的實際意義。

目前，針對多數(shù)據(jù)庫、多姿態(tài)表情識別的半監(jiān)督學習的研究還處于起步階段。針對多數(shù)據(jù)庫條件下的表情識別問題，文獻[4]提出了一種新的遷移子空間學習算法，在JAFFE、CK和Feedtum數(shù)據(jù)庫兩兩組合成的數(shù)據(jù)集上取得了一定的效果。對于多姿態(tài)條件下的表情識別問題，主要通過改進特征提取方法來提高樣本識別的正確率。文獻[5]采用了張量臉結合流形學習的方法來解決多姿態(tài)條件下的人臉識別問題。文獻[6]提出了基于正交鑒別向量的算法來克服人臉姿態(tài)變化對識別造成的干擾。文獻[7]將基于子空間的人臉表征看作一個回歸問題，因此采用了嶺回歸和線性回歸的方法來處理人臉的姿態(tài)變化問題。文獻[8]使用嵌入式馬爾科夫模型方法處理人臉的不同姿態(tài)，獲得了比傳統(tǒng)的基于構件的分類器更好的識別率。

為進一步提升多數(shù)據(jù)庫、多姿態(tài)條件下的表情識別率，本文引入了遷移學習自適應提升(TrAdaBoost)[9]算法中的知識遷移方式，提出了一種新的基于半監(jiān)督學習的自適應提升(SSL-AdaBoost)算法。選擇引入TrAdaBoost算法有以下兩點原因：其一，該方法是遷移學習理論的代表性算法，既能保證知識遷移效果，又具有結構簡單、便于操作的優(yōu)點；其二，該方法以AdaBoost算法為基本框架。而在半監(jiān)督學習中出現(xiàn)了不少基于AdaBoost框架的算法，如SemiBoost[10]算法、ASSEMBLE[11]算法以及RegBoost[12,13]算法等，為TrAdaBoost算法改進為半監(jiān)督學習算法提供了可能性。

1算法原理分析

1.1TrAdaBoost算法原理

TrAdaBoost算法的基本原理如下：

設Xs表示源域內和目標域數(shù)據(jù)分布相同的樣本，Xd表示源域內和目標域數(shù)據(jù)分布不同的樣本。令X=Xs∪Xd，Y={0,1}表示樣本標記，c表示將X映射到Y的布爾函數(shù)，c(x)表示樣本x的標記。

如果符合t≤N、εt<0.5的條件，算法開始循環(huán)：

(2) 依據(jù)分布Pt，采用WeakLearn得到樣本的分類結果ht:X→Y；

(4) 設參數(shù)βt=εt/(1-εt)；

(5) 更新權重向量：

(1)

如果達到收斂條件，算法結束，否則繼續(xù)執(zhí)行。

最后，輸出最終分類器hf(x)：

(2)

其中，「?是上取整函數(shù)，「N/2?表示不小于N/2的整數(shù)中最小值。

1.2SSL-AdaBoost算法原理

本文提出的SSL-AdaBoost算法在保留TrAdaBoost算法的知識遷移能力的同時，對TrAdaBoost算法進行兩方面的改進：一方面，TrAdaBoost算法屬于監(jiān)督學習算法，算法需要訓練樣本的標記信息，而SSL-AdaBoost算法是一個半監(jiān)督學習算法。按照半監(jiān)督學習的要求，訓練集由標記樣本和未標記樣本組成。因此，需要選取一定比例的訓練樣本為未標記樣本，余下的為標記樣本，從而兼顧了半監(jiān)督學習的要求和算法的分類性能。為了進一步消除未標記樣本對分類的不利因素，借助SemiBoost和ASSEMBLE等算法的處理方式，利用訓練集中的已標記樣本，通過近鄰計算求出訓練集中未標記樣本的類別。另一方面，TrAdaBoost算法用于解決二類分類問題，而人臉表情識別卻需要完成多種表情的識別任務。由于TrAdaBoost算法可以看作AdaBoost算法的擴展，而AdaBoost算法是二類分類方法，本文可以借助一種用于實現(xiàn)多類分類任務的AdaBoost算法，即AdaBoost.M1算法，完成樣本的多類識別。

SSL-AdaBoost算法的基本原理如下：

令Xs表示源域內和目標域數(shù)據(jù)分布相同的樣本，Xd表示源域內和目標域數(shù)據(jù)分布不同的樣本。令X=Xs∪Xd。

(3)

如果符合t≤N、εt<0.5的條件，算法開始循環(huán)：

(2) 依據(jù)分布Pt，采用WeakLearn得到樣本的分類結果ht:X→Y；

(4) 設參數(shù)βt=εt/(1-εt)；

(5) 更新權重向量：

(4)

如果達到收斂條件，算法結束，否則繼續(xù)執(zhí)行。

最后，輸出最終分類器hf(x)：

(5)

2實驗結果及分析

本文實驗以人臉表情識別為應用背景，共分為兩部分：多數(shù)據(jù)庫條件下的半監(jiān)督學習實驗和多姿態(tài)條件下的半監(jiān)督學習實驗。

2.1多數(shù)據(jù)庫人臉表情識別實驗

多數(shù)據(jù)庫條件下的半監(jiān)督學習實驗采用180幅日本女性人臉表情數(shù)據(jù)庫JAFFE(JapanFemaleFacialExpression)[14]的圖像、240幅美國卡內基梅隆大學動作單元編碼數(shù)據(jù)庫CK(Cohn-KanadeAU-CodedDatabase)[15]的表情峰值圖像以及荷蘭內梅亨大學人臉數(shù)據(jù)庫RaFD(RadboudFacesDatabase)[16]的57個成年人的342幅正面像。待分類樣本分別具有生氣、厭惡、恐懼、悲傷、高興和驚奇表情，各數(shù)據(jù)庫中每種表情的圖像數(shù)量基本相等。因為要進行多數(shù)據(jù)庫聯(lián)合實驗，所以在獲取人臉圖像后，對所有人臉圖像進行尺度歸一化，將圖像大小設為168×120。然后，采用直方圖均衡的方法對圖像進行光照補償。最后，通過PCA將數(shù)據(jù)維數(shù)降至40維，運用LDA實現(xiàn)對表情圖像的特征提取。

為驗證SSL-AdaBoost算法的效果，實驗采用AdaBoost.M1算法、ASSEMBLE算法、RegBoost[12]算法和標號傳遞(LP)算法[17]作為基線算法。實驗以k近鄰分類器作為AdaBoost.M1、RegBoost和SSL-AdaBoost算法的基礎分類器。設k值為11，算法的最大循環(huán)次數(shù)為10次。

首先，以JAFFE數(shù)據(jù)庫為源域、CK數(shù)據(jù)庫為目標域開展分類實驗。按照表情類別，隨機選取r比例的目標域樣本和源域樣本組成訓練集，其中r分別取10%、20%、30%、40%和50%。因為實驗采用180個JAFFE樣本和240個CK樣本，所以選取的目標域樣本數(shù)量為r×180，余下的240-r×180個目標域樣本組成測試集。令訓練集中標記樣本和未標記樣本的比例為1。每個比例的樣本數(shù)據(jù)各生成10組，算法識別率取10次實驗的平均結果，實驗結果如表1所示。從表1中可以看出，SSL-AdaBoost算法在不同比例下的平均識別率高于AdaBoost.M1和RegBoost算法。再以CK數(shù)據(jù)庫為源域、JAFFE數(shù)據(jù)庫為目標域進行對比實驗，結果如表2所示。從表2中可以看出，各算法的識別率普遍不高，原因在于JAFFE數(shù)據(jù)庫中的表情個體為日本女性，民族和性別情況單一，對同一種表情的表達強度近似。CK數(shù)據(jù)庫中的個體以歐美人群為主，民族及性別情況十分復雜，對同一種表情的表達強度不一。所以將CK數(shù)據(jù)庫作為源域，極大地增加了識別難度，但是本文提出的SSL-AdaBoost算法仍在10%～30%的比例下保持了最高的平均識別率。

表1　JAFFE與CK數(shù)據(jù)庫的識別率

表2　CK與JAFFE數(shù)據(jù)庫的識別率

其次，以JAFFE數(shù)據(jù)庫為源域、RaFD數(shù)據(jù)庫為目標域開展分類實驗，結果如表3所示。從表3中可以看出，在不同的數(shù)據(jù)庫下，SSL-AdaBoost算法在不同比例下的平均識別率高于基線算法。再以RaFD數(shù)據(jù)庫為源域、JAFFE數(shù)據(jù)庫為目標域進行對比實驗，結果如表4所示。實驗結果表明，表3和表4的識別率高于表1和表2，原因在于JAFFE數(shù)據(jù)庫和RaFD數(shù)據(jù)庫的民族比較單一，前者為日本女性，后者為白種人。相比之下，CK數(shù)據(jù)庫包含了世界各地的民族，所以數(shù)據(jù)的特征空間和數(shù)據(jù)分布不一致的問題更嚴重，干擾了半監(jiān)督學習算法的識別效果。

表3　JAFFE與RaFD數(shù)據(jù)庫的識別率

表4　RaFD與JAFFE數(shù)據(jù)庫的識別率

最后，以CK數(shù)據(jù)庫為源域、RaFD數(shù)據(jù)庫為目標域開展分類實驗，結果如表5所示。再以RaFD數(shù)據(jù)庫為源域、CK數(shù)據(jù)庫為目標域進行對比實驗，結果如表6所示。實驗結果表明，SSL-AdaBoost算法在40%和50%比例下，相對于基線算法在識別率上仍具有優(yōu)勢。CK數(shù)據(jù)庫和RaFD數(shù)據(jù)庫均以西方人為主，西方人對同一種表情的表達方式比較豐富，因此增加了識別的難度。

表5　CK與RaFD數(shù)據(jù)庫的識別率

表6　RaFD與CK數(shù)據(jù)庫的識別率

綜上所述，SSL-AdaBoost算法在一定程度上克服了不同數(shù)據(jù)環(huán)境下的個體差異性對表情識別的干擾，有效地實現(xiàn)了對未標記樣本的訓練。與基線算法相比，SSL-AdaBoost算法在多數(shù)情況下具有更好的魯棒性和識別率，對比實驗證明了算法的有效性。

2.2多姿態(tài)人臉表情識別實驗

多姿態(tài)條件下的半監(jiān)督學習實驗選擇RaFD數(shù)據(jù)庫和BHU數(shù)據(jù)庫為實驗對象。前者選取了57個人的6種基本表情、3個水平旋轉角度(正面、135°和180°)的人臉圖像，每個角度的圖像數(shù)量為342幅。后者選取了8個人的兩種表情(生氣、高興)、2個水平旋轉角度(正面和水平旋轉30°)的人臉圖像。每個角度的圖像數(shù)量為480幅。每種表情的圖像數(shù)量相同。

首先，實驗依靠圖像處理軟件，通過人工切分的方法，以前額發(fā)跡線到下顎為人臉的縱向切分范圍，獲取人臉圖像，所有人臉圖像的大小歸一化為64×64。其次，通過直方圖均衡化方法，對圖像進行光照補償。預處理后的實驗樣本如圖1和圖2所示。其中，圖1從上到下分別為正面、135°和180°旋轉角度的RaFD數(shù)據(jù)庫的表情圖像；圖2從上到下分別為正面和30°旋轉角度的BHU數(shù)據(jù)庫的表情圖像。最后，采用LDA算法作為樣本的特征提取算法。

圖1　RaFD數(shù)據(jù)庫的實驗樣本

圖2　BHU數(shù)據(jù)庫的實驗樣本

實驗采用AdaBoost.M1算法、ASSEMBLE算法、RegBoost算法以及LP算法作為基線算法。分別以k近鄰分類器(k-NN)或反向傳播神經(jīng)網(wǎng)絡分類器(BP-NN)作為算法的基礎分類器。從中選取識別率高的分類結果作為最終的實驗結果。算法的最大循環(huán)次數(shù)設為10次。

首先，以RaFD數(shù)據(jù)庫的正面樣本為源域、135°樣本為目標域開展分類實驗。采用k-NN作為基礎分類器，設k值為3。隨機選取r比例的目標域樣本和源域樣本組成訓練集，其中r分別取10%、20%、30%、40%和50%。因為實驗采用了正面及135°樣本各342個，所以選取的目標域樣本數(shù)量為r×342的整數(shù)，余下的342-r×342個目標域樣本組成測試集。令訓練集中標記樣本和未標記樣本的比例為1。每個比例的樣本數(shù)據(jù)各生成10組，算法識別率取10次實驗的平均結果，實驗結果如表7所示。

其次，以RaFD數(shù)據(jù)庫的正面圖像為源域、180°圖像為目標域進行對比實驗。實驗采用BP-NN作為基礎分類器。實驗結果如表8所示。

表7　RaFD數(shù)據(jù)庫中正面和135°圖像的算法分類正確率

表8　RaFD數(shù)據(jù)庫中正面和180°圖像的算法分類正確率

表7和表8的實驗結果表明：一方面，算法識別率隨著偏轉圖像在訓練集中比例的增加而提高。既說明了特征空間和數(shù)據(jù)分布相同的樣本在分類中起到了很大作用，也說明了在樣本特征空間和數(shù)據(jù)分布不同的情況下，基線算法僅依靠抑制誤分類樣本無法獲得更好的識別效果。而SSL-AdaBoost算法依靠知識遷移，有效地運用正面圖像的表情特征，克服了樣本特征空間和數(shù)據(jù)分布差異對半監(jiān)督學習造成的干擾，在大部分比例下取得了比基線算法更高的識別率。另一方面，偏轉造成了人臉器官的遮擋以及大量表情信息的缺失，嚴重影響了算法的識別效果?；€算法在信息缺失與噪聲干擾的情況下，僅依靠少量偏轉圖像的表情特征不能更好地完成半監(jiān)督學習任務。SSL-AdaBoost算法通過知識遷移，將正面圖像的表情特征遷移到偏轉圖像的分類器構建之中，降低了信息缺失造成的干擾。在多姿態(tài)條件下，SSL-AdaBoost算法具有較好的魯棒性。

最后，以BHU數(shù)據(jù)庫的正面圖像為源域、30°圖像為目標域開展分類實驗。實驗設置與表7相同。實驗結果如表9所示。從表9中可以看出，在BHU數(shù)據(jù)庫上，SSL-AdaBoost算法依然在識別率上保持了優(yōu)勢。多姿態(tài)條件下的實驗結果證明了SSL-AdaBoost算法的有效性。

表9　BHU數(shù)據(jù)庫中正面和30°圖像的算法分類正確率

3結語

本文提出一種新的半監(jiān)督學習自適應提升算法。該算法借助遷移學習理論中的知識遷移方法，在多數(shù)據(jù)庫條件下將數(shù)據(jù)分布不同的樣本表情特征遷移到分類器的構建中，在一定程度上克服了不同數(shù)據(jù)環(huán)境下的個體差異性對表情識別的干擾，有效地實現(xiàn)了對未標記樣本的訓練。此外，在多姿態(tài)條件下將正面圖像的表情特征遷移到偏轉圖像的分類器構建中，降低了信息缺失造成的干擾。實驗結果表明，本文算法在多數(shù)據(jù)庫條件下有效地提高了算法的表情識別率；在多姿態(tài)表情圖像上取得了比基線算法更高的識別率。

參考文獻

[1] 劉帥師，田彥濤，王新竹．基于對稱雙線性模型的光照魯棒性人臉表情識別[J]．自動化學報，2012，38(12)：1933-1940.

[2] 易積政，毛峽，IshizukaM，等．基于特征點矢量與紋理形變能量參數(shù)融合的人臉表情識別[J]．電子與信息學報，2013，35(10)：2403-2410.

[3]ChapelleO,Sch?lkopfB,ZienA.Semi-supervisedlearning[M].Cambridge:MITPress, 2006.

[4]YanHB,AngJrMH,PooAN.Cross-datasetfacialexpressionrecognition[C]//ProceedingsofIEEEInternationalConferenceonRoboticsandAutomation,Shanghai, 2011:5985-5990.

[5]LiWQ,ChenDS.Multi-posefacerecognitioncombiningtensorfaceandmanifoldlearning[C]//ProceedingsoftheIEEEInternationalConferenceonComputerScienceandAutomationEngineering.Shanghai:IEEEPress, 2011:543-547.

[6]WangJH,YouJ,LiQ,etal.Orthogonaldiscriminantvectorforfacerecognitionacrosspose[J].PatternRecognition, 2012,45(12):4069-4079.

[7]LiAN,ShangSG,GaoW.Coupledbias-variancetradeoffforcross-posefacerecognition[J].IEEETransactionsImageProcess, 2012, 21(1):305-315.

[8]LeePH,HsuGS,WangYW,etal.Subject-specificandpose-orientedfacialfeaturesforfacerecognitionacrossposes[J].IEEETransactionsonSystems,Man,andCybernetics-PartB:Cybernetics, 2012, 42(5):1357-1368.

[9]DaiWY,YangQ,XueG,etal.Boostingfortransferlearning[C]//Proceedingsofthe24thInternationalConferenceonMachineLearning,Corvallis, 2007:193-200.

[10]MallapragadaP,JinR,JainA,etal.SemiBoost:Boostingforsemi-supervisedlearning[J].IEEETransactiononPatternAnalysisandMachineIntelligence, 2009,31(11):2000-2014.

[11]BennettKP,DemirizA,MaclinR.Exploitingunlabeleddatainensemblemethods[C]//Proceedingsofthe8thACMInternationalConferenceonKnowledgeDiscoveryandDataMining,Edmonton:ACMPress, 2002:289-296.

[12]WangSH,ChenK.Ensemblelearningwithactivedataselectionforsemi-supervisedpatternclassification[C]//ProceedingsofInternationalJointConferenceonNeuralNetworks,Orlando,Florida,USA, 2007.

[13]ChenK,WangSH.Semi-supervisedlearningviaregularizedboostingworkingonmultiplesemi-supervisedassumptions[J].IEEETransactiononPatternAnalysisandMachineIntelligence, 2011,33(1):129-143.

[14]SuwaM,SugieN,FujimoraK.Apreliminarynoteonpatternrecognitionofhumanemotionalexpression[C]//Proceedingsofthe4thInternationalJointConferenceonPatternRecognition,Kyoto,Japan:InstituteofElectricalandElectronicsEngineers, 1978:408-410.

[15]MaseK,PentlandA.Recognitionoffacialexpressionfromopticalflow[J].IEICETransactions,1991,E74(10):3474-3483.

[16]EssaI,PentlandA.Coding,analysis,interpretationandrecognitionoffacialexpressions[J].IEEETransactiononPatternAnalysisandMachineIntelligence,1997,19(7):757-763.

[17]ZhuXJ,GhahramaniZ.Learningfromlabeledandunlabeleddatawithlabelpropagation[R].TechnicalReportCMU-CALD-02-107,CarnegieMellonUniversity,2002.

AN ADAPTIVE BOOSTING ALGORITHM WITH SEMI-SUPERVISED LEARNINGFORFACIALEXPRESSIONRECOGNITION

Wu Huicong1Jia Kebin2Jiang Bin2

1(College of Information Science and Engineering, Hebei University of Science and Technology, Shijiazhuang 050018, Hebei, China)2(College of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124,China)

AbstractTo address the low recognition rate of traditional facial expression recognition algorithm with semi-supervised learning caused by diverse expressions sources and different face attitudes, we propose a novel semi-supervised learning adaptive boosting (SSL-AdaBoost) algorithm based on transplanting learning adaptive boosting algorithm. The algorithm determines the categories of unmarked samples by calculating the marked samples concentrated in training through near neighbour, and recognises by means of AdaBosst.M1 algorithm the facial expression sample with multi-data sources and the facial expression sample of multiple attitudes respectively to realise the multi-category recognition task of samples. Experimental results show that the algorithm significantly improves the expression recognition rate in comparison with the label propagation method and many other semi-supervised learning methods. Besides, it achieves the highest recognition rate by 73.33% on multiple databases and 87.71% on multi-attitude database respectively.

KeywordsFacial expression recognitionSemi-supervised learningAdaptive boosting

收稿日期：2015-03-03。河北省自然科學基金項目(F201420 8113)。吳會叢，博士生，主研領域：數(shù)據(jù)挖掘，演化計算。賈克斌，教授。蔣斌，博士生。

中圖分類號TP391.4

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.065