基于改進(jìn)LBP和Gabor感興趣區(qū)域的個(gè)體情緒分類

沈繼云

（無錫南洋職業(yè)技術(shù)學(xué)院 江蘇省無錫市 214081）

1 引言

面部表情作為情感計(jì)算的一個(gè)重要分類，同時(shí)應(yīng)用于其他領(lǐng)域如機(jī)器視覺、人機(jī)交互以及智能控制等[1]。當(dāng)前研究者主要將人臉表情分為七類：中性（Neutral）、高興（Happy）、悲傷（Sad）、憤怒（Angry）、恐懼（Fear）、驚訝（Surprise）和厭惡（Disgust）。

Gabor 小波變換[2]作為表情特征提取的重要方法之一，因魯棒性強(qiáng)對(duì)噪聲不敏感一度成為研究熱點(diǎn)，但其特征維數(shù)較高計(jì)算量大。局部二值模式（Local Binary Pattern,LBP）能夠較好的描述圖像的局部紋理，但其對(duì)噪聲敏感易受影響[3]。

基于以上考慮，本文通過對(duì)LBP 算子進(jìn)行改進(jìn)，提出基于改進(jìn)LBP和Gabor感興趣區(qū)域表情特征提取方法。該方法首先對(duì)LBP 進(jìn)行改進(jìn)，提取方向均值LBP；再將方向均值LBP 特征與Gabor 感興趣區(qū)域特征結(jié)合；最后將結(jié)合后的方向均值LBP-Gabor特征作為BP 神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行分類。

2 特征提取

2.1 Gabor小波

二維Gabor 小波與人類大腦皮層的二維反射區(qū)有著相似的特性[4]，其對(duì)于圖像的光照強(qiáng)度具有一定的容忍能力，對(duì)表情的局部特征提取明顯。

二維Gabor 小波可以用以下函數(shù)表示：

其中，參數(shù)u 表示濾波器的方向，參數(shù)v 表示濾波器的尺度；z=(x,y)表示表情圖像中像素的坐標(biāo)；濾波器寬度與波長(zhǎng)的比例表示為σ；i 是復(fù)數(shù)單位。

2.2 感興趣區(qū)域

感興趣區(qū)域ROI（Region of Interest）提取[5]，在表情識(shí)別領(lǐng)域通常指的是圖像中對(duì)表情分類起主要作用的區(qū)域。眼睛、鼻子和嘴巴三個(gè)區(qū)域幾乎涵蓋了所有表情的重要特征，所以本文在Gabor 和LBP 特征提取中只選取這三部分特征作為BP 分類器的輸入。

在表情庫并不是太大的情況下，ROI 區(qū)域的選取采用手動(dòng)獲取將會(huì)更加準(zhǔn)確。圖1 展現(xiàn)了ROI 獲取過程，算法采用四點(diǎn)標(biāo)注依次來選取眼睛、鼻子以及嘴巴三個(gè)區(qū)域并用矩形表示，獲取后的區(qū)域切割后進(jìn)行保存并提取相應(yīng)Gabor 以及LBP 特征。

圖1：ROI 獲取過程示意圖

3 方向均值LBP

3.1 經(jīng)典LBP算法及分析

LBP 算子主要用來描繪圖像的局部紋理細(xì)節(jié)。如圖2所示，原始的LBP 算子設(shè)定為窗口大小3*3 內(nèi)，3*3 的中間像素值為閾值，將周邊8 個(gè)像素依次與中心像素進(jìn)行比較，若大于閾值則該像素點(diǎn)記為1，否則記為0。這樣，按照一定的順序（如順時(shí)針或逆時(shí)針）將0、1 組成一組8 位二進(jìn)制數(shù)，將該二進(jìn)制轉(zhuǎn)換成十進(jìn)制即代表中心像素的LBP 值，且用該值表示圖像局部紋理信息。

圖2：LBP 編碼過程

經(jīng)典LBP 算法可以描繪圖像的局部紋理信息，用周圍像素來表征中心像素。但其總是從中心像素特定方向位置開始生成表征LBP 值得二進(jìn)制編碼，如圖2所示，圖像中每一個(gè)中心像素二進(jìn)制編碼計(jì)算都是從左上方的0 或1 開始，最終中心像素左上方總是處于二進(jìn)制編碼的最高位，最終導(dǎo)致生成的二進(jìn)制陷入局部方向特征。在特定位置總賦予固定編碼位，最終的LBP 特征呈現(xiàn)出加強(qiáng)或減弱特定方向的特征信息，影響算法識(shí)別速度與精度。

3.2 方向均值LBP計(jì)算方法

針對(duì)3.1 節(jié)提出的經(jīng)典LBP 算法的缺陷，提出改進(jìn)的方向均值LBP。該方法為避免 LBP 算子陷入方向特征信息，采用相對(duì)于中心像素不同位置的周圍像素依次作為二進(jìn)制編碼最高位，按照順時(shí)針方向依次生成8 個(gè)二進(jìn)制LBP 編碼，最后將二進(jìn)制編碼轉(zhuǎn)換成十進(jìn)制，并取它們的均值，即得出方向均值LBP 編碼如圖3所示。分別從編號(hào)（①②…）按照順時(shí)針方向開始記錄二進(jìn)制編碼并轉(zhuǎn)換成十進(jìn)制，即得到8 個(gè)LBP 編碼，將8 個(gè)LBP 編碼取平均且取整，得到最終表示中心像素的方向均值LBP 編碼。

圖3：方向均值LBP 編碼

4 實(shí)驗(yàn)與分析

本文基于改進(jìn)方向均值LBP 和Gabor 感興趣方向的人臉表情特征提取方法采用JAFFE 人臉表情庫進(jìn)行實(shí)驗(yàn)，該庫總計(jì)213 張表情圖片。其中包含日本10 名女性的7 種表情，每種表情涵蓋2-4張圖片，實(shí)驗(yàn)環(huán)境為MatLab。實(shí)驗(yàn)的運(yùn)行平臺(tái)性能如表1所示。

表1：測(cè)試平臺(tái)

表2給出了在不同算法同一JAFFE 表情庫下的表情識(shí)別率。從表中可以看出，本文算法相比于直接運(yùn)用Gabor 和LBP 進(jìn)行特征提取提高了一個(gè)百分點(diǎn)，因?yàn)楦倪M(jìn)的LBP 克服了經(jīng)典LBP 算子易陷入局部特征方向的缺陷，使領(lǐng)域像素更能清晰的表示中心像素，提高算法識(shí)別率。其次，對(duì)于感興趣區(qū)域的人臉眼睛、鼻子以及嘴巴進(jìn)行特征提取而不是將整個(gè)人臉進(jìn)行提取，有效的降低了特征維數(shù)提高算法效率。

表2：不同算法下的識(shí)別率對(duì)比

5 總結(jié)

總而言之，本文提出改進(jìn)的方向均值LBP，將中心像素和領(lǐng)域像素作差得到特征符號(hào)后，再分別以各領(lǐng)域像素占據(jù)局部二值編碼的最高位，將八個(gè)局部二值編碼取平均得到中心像素的特征表示。最后將圖像子區(qū)域方向均值LBP 特征與Gabor 特征結(jié)合，用于BP神經(jīng)網(wǎng)絡(luò)分類的輸入特征數(shù)據(jù)。本文方法在JAFFE 表情庫上進(jìn)行實(shí)驗(yàn)并與原有LBP 和Gabor 結(jié)合進(jìn)行比較，驗(yàn)證了本文算法的有效性。本文表情識(shí)別結(jié)果可用于預(yù)測(cè)可疑人員情緒判斷其行為，提高城市公共安全。

從研究的視角來看，本文提出的基于改進(jìn)方向均值LBP 融合Gabor 感興趣特征的表情特征提取方法。該方法針對(duì)經(jīng)典LBP 算法易陷入局部方向特征的不足進(jìn)行改進(jìn)，并提取人臉的感興趣區(qū)域提取方向均值LBP 和Gabor 的融合特征，有效的避免了LBP 特征陷入方向特征信息并利用僅對(duì)感興趣區(qū)域提取特征降低了算法復(fù)雜度，提高了算法效率。

與此同時(shí)，如何將表情識(shí)別算法應(yīng)用于城市交通監(jiān)測(cè)監(jiān)管設(shè)備，通過檢測(cè)個(gè)體表情或情緒預(yù)測(cè)其行為傾向提高城市公共安全，這將是下一步研究的重點(diǎn)和方向。