基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法*

牛連強(qiáng)， 趙子天， 張勝男

(沈陽(yáng)工業(yè)大學(xué) a. 軟件學(xué)院， b. 信息科學(xué)與工程學(xué)院， 沈陽(yáng) 110870)

?

基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法*

牛連強(qiáng)a，b， 趙子天b， 張勝男b

(沈陽(yáng)工業(yè)大學(xué) a. 軟件學(xué)院， b. 信息科學(xué)與工程學(xué)院， 沈陽(yáng) 110870)

針對(duì)Gabor特征全局表征能力弱以及特征數(shù)據(jù)維數(shù)存在冗余的問(wèn)題，提出了一種采用Gabor多方向特征融合與分塊直方圖相結(jié)合的方法以有效提取表情特征.通過(guò)對(duì)不同表情的重要特征部位進(jìn)行細(xì)化，采用Gabor濾波器有針對(duì)性地提取相關(guān)區(qū)域的多尺度和多方向特征，并對(duì)同尺度的特征進(jìn)行融合，利用各區(qū)域內(nèi)融合特征的直方圖分布來(lái)表征圖像.該方法可以提高特征提取的準(zhǔn)確性，有效突出重要特征的辨識(shí)作用，大幅度降低特征的維數(shù)，在JAFFE表情庫(kù)可以達(dá)到100%的識(shí)別率.

表情識(shí)別； Gabor變換； 特征融合； 局部二進(jìn)制模式； 分塊直方圖； 多尺度； 多方向； 維數(shù)

人臉表情是人機(jī)交互、情感計(jì)算、智能控制、機(jī)器視覺(jué)和圖像處理與模式識(shí)別等領(lǐng)域的重要研究課題，而靜態(tài)人臉表情圖像特征提取的目的是依據(jù)靜態(tài)圖像對(duì)人臉表情特征進(jìn)行歸類.目前，研究者主要將人類的基本表情定義為7類：高興(Happy)、憤怒(Angry)、驚訝(Surprise)、恐懼(Fear)、厭惡(Disgust)、悲傷(Sad)和正常(Neutral)，主要的表情分類方法則包括基于主元分析(principal component analysis，PCA)[1]、獨(dú)立分量分析(independent component analysis，ICA)[2]和線性判別分析(linear discriminate analysis，LDA)[3]的整體法和基于Gabor小波變換和LBP(local binary pattern)算子的局部法[4].

Donato等[5]比較了幾種方法在識(shí)別人臉動(dòng)作單元(action unit，AU)時(shí)的性能，說(shuō)明Gabor變換和ICA優(yōu)于其他方法；Zhang等[6]采用多層感知器比較了Gabor特征和幾何特征，發(fā)現(xiàn)Gabor特征具有更好的識(shí)別性能，但Gabor變換的計(jì)算量和內(nèi)存需求很大，且特征維數(shù)較高.近年來(lái)，研究人員提出了很多改進(jìn)方案，使Gabor特征提取方法能夠在特征維數(shù)、實(shí)時(shí)性和準(zhǔn)確性上有所突破.Wen等[7]在局部區(qū)域提取平均Gabor小波系數(shù)作為紋理特征，同時(shí)引入一種在人臉合成中使用的基于比例圖的方法來(lái)對(duì)紋理提取區(qū)域進(jìn)行預(yù)處理，以降低不同人臉差異和光照變化的影響；Liao等[8]提出了一種基于兩組特征的表情識(shí)別方法，其一為強(qiáng)度、梯度圖的局部二元模式特征和Gabor濾波器的Tsallis能量，其二為通過(guò)對(duì)訓(xùn)練圖像的LDA獲得的特征.LDA降低了特征向量的維數(shù)，但有可能造成有效決策信息的丟失.鄧洪波等[9]提出了一種局部Gabor濾波器組，有效地提高了特征的提取速度，并減少存儲(chǔ)量，再用PCA+LDA方法選擇特征和降維，得到了較好的識(shí)別結(jié)果.上述方法將Gabor特征與其他特征選擇算法相結(jié)合以構(gòu)成新的低維特征向量時(shí)，會(huì)損失一些具有高區(qū)分度的紋理信息而保留了部分冗余信息，從而造成對(duì)一些細(xì)微表情的區(qū)分度下降，影響表情分類.

本文以Gabor參數(shù)和LBP算子為基礎(chǔ)，先對(duì)人臉表情進(jìn)行重要特征區(qū)域和有效變化方向的劃分，以減少特征數(shù)據(jù)的冗余并防止特征淹沒(méi)；利用Gabor變換對(duì)重要特征區(qū)域進(jìn)行有效方向和尺度的濾波和融合，以有效地提取特征并降低其維數(shù)；再利用LBP對(duì)融合濾波特征圖計(jì)算其直方圖分布，得到描述紋理圖像的全局特征.該方法能夠在保留Gabor特征的圖像紋理變化表征能力基礎(chǔ)上，增強(qiáng)其全局特征表征能力，并有效降低特征冗余，具有良好的分類效果.

1　重要特征區(qū)域與有效檢測(cè)方向劃分

通常在特征提取之前需進(jìn)行人臉圖像的預(yù)處理，以找到有效的人臉區(qū)域.即便如此，人的表情變化通常僅引起小的局部變化，且這些變化具有較強(qiáng)的方向特征.由于不同人的上述變化較類似且可事先確定，因此，首先對(duì)人臉區(qū)域進(jìn)行劃分，目的是確定不同表情需要檢測(cè)的重要特征子塊和有效的檢測(cè)方向，以進(jìn)行Gabor特征圖的LBP計(jì)算.

將人臉區(qū)域劃分為42=7×6個(gè)互不重疊且大小相等的矩形子塊，對(duì)這些子塊由(1，1)到(7，6)編碼，如圖1所示.在人臉選取10個(gè)部位構(gòu)成重要特征部位，如表1所示.

圖1　面部子塊劃分

表1　重要特征變化子塊

重要區(qū)域?qū)?yīng)不同的表情在方向變化上的差異較大，構(gòu)成了對(duì)應(yīng)表情的突出特征.依據(jù)分析和實(shí)驗(yàn)，并結(jié)合Gabor變換的角度特性，確定了表2所示的有效檢測(cè)方向.其中，○和×分別表示有效和無(wú)效，角度單位為度.

對(duì)不同子塊進(jìn)行多種角度檢測(cè)，其結(jié)果將因?qū)?yīng)表情的不同而存在差異，反映了該子塊和角度所產(chǎn)生的特征對(duì)相應(yīng)表情的重要性.

2　Gabor特征提取與融合

Gabor濾波器是一個(gè)由二維高斯函數(shù)衍生而來(lái)的復(fù)數(shù)域正弦曲線函數(shù)[10]，相當(dāng)于一組帶通濾波器，其方向、基頻帶寬及中心頻率均可調(diào)節(jié).不同參數(shù)的Gabor濾波器組能夠捕捉圖像中對(duì)應(yīng)于不同空間頻率、空間位置以及方向選擇性等局部結(jié)構(gòu)信息，且對(duì)于亮度和人臉姿態(tài)的變化不敏感.

表2　有效的檢測(cè)方向

不同的表情行為特征具有不同的尺度.例如，驚訝表情行為會(huì)使人臉器官在較大范圍移動(dòng)，需要對(duì)其進(jìn)行大尺度分析，而微笑表情行為造成的人臉器官變化較小，應(yīng)用小尺度分析.本文先進(jìn)行多尺度的Gabor變換以提取局部特征，再對(duì)其進(jìn)行融合.

2.1表情圖像的Gabor特征提取

Gabor小波核函數(shù)具有與人類大腦皮層簡(jiǎn)單細(xì)胞的二維反射區(qū)相同的特性，其二維濾波器定義為

(1)

式中：kj=kv(cosμ，sinμ)T，kv=2(-v+2)/2π，μ∈(0，1，…，7)，v∈(0，1，…，4)分別表示Gabor濾波器的方向尺度；z=(x，y)代表像素的位置；σ為濾波器帶寬；i為復(fù)數(shù)單位.圖像的Gabor特征由圖像和Gabor濾波器的卷積得到.令f(x，y)為圖像的灰度分布，則卷積定義為

G(x，y，v，μ)=f(x，y)*ψv，μ(z)

(2)

式中，*表示卷積算子.

為了獲得多尺度Gabor特征，采用5尺度、8方向的Gabor濾波器組，對(duì)預(yù)處理后得到的256×256灰度圖像做由0°到180°的8個(gè)方向的特征提取.

2.2Gabor多方向特征融合

直接Gabor變換所得到的結(jié)果維數(shù)很高，且包含大量的微弱信號(hào).因此，本文對(duì)Gabor變換在同一尺度上的多個(gè)方向特征進(jìn)行融合，通過(guò)對(duì)Gabor濾波后的信號(hào)與原始信號(hào)強(qiáng)度的比較，保留強(qiáng)信號(hào)作為表情特征，從而達(dá)到降維和突出有效信號(hào)的目的.本文中信號(hào)強(qiáng)度由幅值來(lái)體現(xiàn)，融合規(guī)則如下：

1) 將人臉圖像每個(gè)像素點(diǎn)的各尺度上的8個(gè)Gabor方向特征轉(zhuǎn)化為二進(jìn)制編碼，即

(3)

式中：G(z，μ，v)為像素點(diǎn)z=(x，y)在8個(gè)方向的Gabor特征的幅值；f(z)為原始圖像的灰度.當(dāng)Gabor幅值大于原圖像灰度時(shí)，說(shuō)明Gabor放大了此方向的表情特征.因此，式(3)對(duì)此二進(jìn)制位置1使其得以保留，相反，置0以丟棄此信息.

2) 將8方向的二進(jìn)制編碼融合為一個(gè)十進(jìn)制的尺度編碼，即

(4)

每個(gè)Tv(z)∈[0，255]的編碼值表征一種局部方向，所有Tv構(gòu)成了該尺度上的全部特征集.因此，可以將每個(gè)人臉圖像轉(zhuǎn)化為5個(gè)尺度上的多方向特征的融合圖像.圖2為圖1中人臉圖像所對(duì)應(yīng)v=0，1，…，4的融合特征圖.

圖2　5個(gè)尺度的融合特征圖

3　融合特征圖的LBP濾波與分類

3.1融合特征圖的LBP濾波

LBP能有效地描述紋理特征，因此，對(duì)融合特征圖進(jìn)行LBP濾波，以凸顯信號(hào)的紋理.對(duì)于每個(gè)像素，將其灰度值對(duì)鄰域點(diǎn)取閾值，得到二進(jìn)制的局部圖像描述器.通常取3×3鄰域，描述器可表示為

(5)

圖3　LBP濾波圖

3.2分塊直方圖特征提取

盡管直方圖能夠有效地描述紋理圖像的全局特征，但直接對(duì)整個(gè)融合特征圖像計(jì)算直方圖分布會(huì)丟失很多結(jié)構(gòu)上的細(xì)節(jié)，因此按圖1所示的劃分分別計(jì)算直方圖分布，再將其聯(lián)合起來(lái)作為圖像表征.

對(duì)于融合圖像Xv(z)，v∈(0，1，…，4)，記R(i，j)為區(qū)域(i，j)的所有像素集合，其元素z的值為g(z)，則每個(gè)子塊(i，j)所對(duì)應(yīng)的直方圖定義為

(6)

令B為表1所描述的所有子塊集合，則得到由濾波后的融合特征圖像在5尺度、18個(gè)子塊所對(duì)應(yīng)直方圖組成的集合S，即

(7)

由此得到用于分類的256×5×18=23 040維人臉特征.

3.3子塊權(quán)重的確定

(8)

根據(jù)檢測(cè)結(jié)果定義相應(yīng)的子塊權(quán)重，即

(9)

3.4分類

在樣本庫(kù)中選擇一定數(shù)量的訓(xùn)練樣本，計(jì)算其相應(yīng)的直方圖S，并以其平均數(shù)值為模板M.由于當(dāng)前待識(shí)別樣本與模板均為直方圖表示，樣本與模板的差值為256(灰度g∈[0，255])個(gè)相互獨(dú)立的隨機(jī)變量，假定其符合正態(tài)分布，則256個(gè)差值的平方和服從卡方分布.為了減少人與人之間固有直方圖差異的影響，將差值平方和除以樣本與模板直方圖的和作為差異度，即

(10)

4　數(shù)值實(shí)驗(yàn)與結(jié)果分析

采用OpenCV和C++語(yǔ)言設(shè)計(jì)程序，對(duì)本文及現(xiàn)存的幾種主要方法進(jìn)行實(shí)驗(yàn)和比較.對(duì)比的方法包括LBPTemplate、LBPAdaboost、Gabor直方圖特征法[11]、GaborKPCA[12]和GaborPCA+LDA，實(shí)驗(yàn)采用JAFFE女性表情數(shù)據(jù)庫(kù)進(jìn)行測(cè)試(http：//www.atr.co.jp/).該數(shù)據(jù)庫(kù)包括10個(gè)人的表情，每人有表2中的7種表情樣本，各3或4個(gè)，共213個(gè).實(shí)驗(yàn)時(shí)選取每人7種表情樣本的3或4個(gè)樣本中的1或2個(gè)樣本作為訓(xùn)練樣本，共137個(gè)訓(xùn)練樣本，其他76個(gè)作為測(cè)試樣本.在訓(xùn)練和識(shí)別前對(duì)所有圖像進(jìn)行預(yù)處理，對(duì)人臉部位做定位和分割.

兩種訓(xùn)練樣本的選擇方式為：

1) 隨機(jī)選取(Random).

(11)

式中，F(xiàn)e為表情e的重點(diǎn)部位子塊集合.檢測(cè)權(quán)重越大說(shuō)明樣本表情特征越明顯，因此，選擇具有最大測(cè)度的指定數(shù)量的樣本即可構(gòu)成訓(xùn)練集.

表3　表情特征的重點(diǎn)部位

表4顯示了各種算法的平均識(shí)別結(jié)果，圖4為各種表情的識(shí)別樣本數(shù)量.

表4　幾種方法的平均識(shí)別率

圖4　各方法的識(shí)別樣本數(shù)

實(shí)驗(yàn)結(jié)果說(shuō)明，LBP Template在表情特征較明顯(如快樂(lè)和驚訝)時(shí)可獲得90%的識(shí)別率，LBP Adaboost在降低特征維數(shù)的同時(shí)，增加了人臉表情的區(qū)分度，但依賴LBP算子不能有效提取恐懼和悲傷表情中嘴部和眉部等重要特征.Gabor頻域能放大表情的局部信息，提取出法令紋、嘴部和眉部等LBP算子失效的特征，但直接對(duì)頻域提取LBP直方圖(Gabor histogram)不僅維數(shù)高(96 000)，也會(huì)因特征混淆而影響識(shí)別率.Gabor頻域結(jié)合PCA+LDA能夠在一定程度上提高識(shí)別率，而結(jié)合KPCA能夠降低特征維數(shù)(84 000)，且增加人臉表情的區(qū)分度，達(dá)到更高的識(shí)別率(98.24%).不過(guò)，此方法易將恐懼表情誤識(shí)為高興.本文僅在特定部位、Gabor方向尺度和頻域上提取特征，并對(duì)特征進(jìn)行融合，不僅大幅度降低了維數(shù)(23 040)，主要是通過(guò)有效方向的區(qū)分，避免了特征混淆，突出了恐懼等不易于識(shí)別表情的嘴角和眉部等細(xì)微特征，從而達(dá)到了較高的識(shí)別率.

圖5a是被Gabor KPCA算法誤識(shí)為高興的恐懼樣本，圖5b是被Gabor KPCA算法誤識(shí)為厭惡的憤怒樣本.盡管這兩個(gè)樣本分別與高興、厭惡表情的一般特征比較近似，但眉部和抬頭紋特征與快樂(lè)相差明顯，而本文通過(guò)對(duì)眉部和抬頭紋特征檢測(cè)計(jì)算相應(yīng)子塊權(quán)重突出了這些特征，正確地將圖5a樣本劃分為恐懼.類似地，對(duì)抬頭紋和眼部特征的突出使圖5b樣本被正確地劃分為憤怒.

圖5　Gabor KPCA誤識(shí)的表情樣本

實(shí)驗(yàn)發(fā)現(xiàn)，在訓(xùn)練樣本中沒(méi)有明顯的法令紋特征時(shí)，會(huì)影響快樂(lè)與恐懼表情的正確識(shí)別；缺少嘴角上翹樣本特征則影響傷心表情的正確識(shí)別；缺少眉部翹起的樣本特征會(huì)對(duì)傷心與恐懼表情識(shí)別產(chǎn)生影響；缺少雙眉緊鎖、抬頭紋褶皺和撇嘴樣本會(huì)影響憤怒和厭惡表情的識(shí)別.本文采取的自動(dòng)預(yù)選訓(xùn)練樣本很好地解決了此類問(wèn)題.

5　結(jié)　論

針對(duì)Gabor特征表征全局特征能力弱、特征維數(shù)高等問(wèn)題，提出了一種基于Gabor局部方向特征融合與分塊直方圖相結(jié)合的表情識(shí)別方法.該方法嘗試通過(guò)對(duì)不同表情的重點(diǎn)特征部位和方向進(jìn)行篩選，僅在對(duì)應(yīng)部位、方向上提取多尺度Gabor特征，并對(duì)同一尺度不同方向的Gabor特征進(jìn)行融合，不僅大幅度降低了特征維數(shù)，也提高了特征選取的準(zhǔn)確性.同時(shí)，將融合后的Gabor特征與LBP分塊直方圖相結(jié)合，突出了Gabor變換在分析局部紋理變化方面的能力和LBP的全局特征表征優(yōu)勢(shì).此外，本文提出的通過(guò)自動(dòng)預(yù)選訓(xùn)練樣本方法能夠有效克服在較少訓(xùn)練樣本情況下的特征提取缺失問(wèn)題，從而使本文算法達(dá)到了較高的人臉表情識(shí)別率.

[1]Chen J J，Zhao Z.Facial expression recognition based on PCA reconstruction [C]//The 5th International Conference of CS and Education.Hefei，China，2010：195-200.

[2]周書(shū)仁，梁昔明.基于ICA與HMM的表情識(shí)別 [J].中國(guó)圖像圖形學(xué)報(bào)，2008，13(12)：2321-2328.

(ZHOU Shu-ren，LIANG Xi-ming.Facial expression recognition based on independent component analysis and hidden Markov model [J].Journal of Image and Graphics，2008，13(12)：2321-2328.)

[3]陳好剛，王運(yùn)瓊，馮喬生.一種基于2DPCA和LDA的人臉表情識(shí)別算法 [J].微計(jì)算機(jī)信息，2010，26(9)：198-201.

(CHEN Hao-gang，WANG Yun-qiong，F(xiàn)ENG Qiao-sheng.Facial expression recognition based on 2DPCA and LDA [J].Microcomputer Information，2010，26(9)：198-201.)

[4]Shan C F，Gong S G，Peter W M.Facial expression recognition based on local binary patterns：a compressive study [J].Image Vision Computing，2009，27(8)：803-816.

[5]Donato G，Bartlett M S，Hager J C.Classifying facial actions [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21(10)：947-989.

[6]Zhang Z Y，Lyons M，Schuster M，et al.Comparison between geometry-based and Gabor-wavelets-based facial expression recognition using multi-layer perceptron [C]//Proceedings of the 3rd IEEE International Conference on Automatic Face and Gesture Recognition.Nara，Japan，1998：454-459.

[7]Wen Z，Huang T S.Capturing subtle facial motions in 3D face tracking [C]//Proceedings of the 9th IEEE International Conference on Computer Vision.Nice，F(xiàn)rance，2003：1343-1350.

[8]Liao S，F(xiàn)an W，Chung A C，et al.Facial expression recognition using advanced local binary patterns，Tsallis entropies and global appearance features [C]//Proceedings of the 6th IEEE International Conference on Image Processing.Atlanta，USA，2006：665-668.

[9]鄧洪波，金連文.一種基于局部Gabor濾波器組及PCA+LDA的人臉表情識(shí)別方法 [J].中國(guó)圖像圖形學(xué)報(bào)，2007，12(2)：322-329.

(DENG Hong-bo，JIN Lian-wen.Facial expression recognition based on local Gabor filter bank and PCA+LDA [J].Journal of Image and Graphics，2007，12(2)：322-329.)

[10]范媛媛，桑英軍，胡光.基于小波變換的電能質(zhì)量監(jiān)測(cè) [J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2014，36(6)：681-687.

(FAN Yuan-yuan，SANG Ying-jun，HU Guang.Po-wer quality monitoring base on wavelet transform [J].Journal of Shenyang University of Technology，2014，36(6)：681-687.)

[11]宋偉，趙清杰，宋紅，等.基于關(guān)鍵塊空間分布與Gabor濾波的人臉表情識(shí)別算法 [J].中南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2013，44(2)：239-243.

(SONG Wei，ZHAO Qing-jie，SONG Hong，et al.Facial expression recognition algorithm based on key block space distribution and based on Gabor filter [J].Journal of Central South University(Science and Technology)，2013，44(2)：239-243.)

[12]劉帥帥，田彥濤，萬(wàn)川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識(shí)別方法 [J].自動(dòng)化學(xué)報(bào)，2011，37(12)：1455-1460.

(LIU Shuai-shuai，TIAN Yan-tao，WAN Chuan.Facial expression recognition method based on Gabor multi-orientation features fusion and block histogram [J].Acta Automatic Sinica，2011，37(12)：1455-1460.)

(責(zé)任編輯：鐘媛英文審校：尹淑英)

Extraction method for facial expression features based on Gabor feature fusion and LBP histogram

NIU Lian-qianga,b, ZHAO Zi-tianb, ZHANG Sheng-nanb

(a. School of Software, b. School of Information Science and Engineering, Shenyang University of Technology, Shenyang 110870, China)

In order to solve the problem that the Gabor features exhiblt weak global expression ability and redundant feature data dimensionalities, a method in combination with both Gabor multi-direction feature fusion and block histogram was proposed to effectively extract the facial expression features. Through refining the important featute parts in different expressions, the multi-scale and multi-direction features in relevant areas were purposefully extracted with Gabor filters, and the features with the same scale were fused. In addition, the images were characterized with the histogram distribution for the fused features in various areas. The proposed method can improve the accuracy of feature extraction, effectively highlight the identification effect of important features, and greatly reduce the feature dimensionalities. Furthermore, the proposed method can reach 100% recognition rate in the JAFFE expression dataset.

expression recognition; Gabor transform; feature fusion; local binary pattern (LBP); block histogram; multi-scale; multi-direction; dimensionality

2014-12-05.

沈陽(yáng)市科技計(jì)劃項(xiàng)目(F12-168-9-00).

牛連強(qiáng)(1965-)，男，遼寧蓋縣人，教授，主要從事CAD&CG、圖像處理、可視化及仿真技術(shù)等方面的研究.

信息科學(xué)與工程

10.7688/j.issn.1000-1646.2016.01.11

TP 391.41

A

1000-1646(2016)01-0063-06

*本文已于2015-09-15 09∶09在中國(guó)知網(wǎng)優(yōu)先數(shù)字出版. 網(wǎng)絡(luò)出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20150915.0909.036.html