紋理與幾何特征視野下人臉表情識別算法研究

劉赟

（無錫汽車工程高等職業(yè)技術(shù)學(xué)校，江蘇 無錫 214000）

0 引言

如今，人臉表情識別已經(jīng)大量運(yùn)用到各個(gè)領(lǐng)域，包含醫(yī)療、教育及輔助駕駛等，逐漸成為視覺領(lǐng)域研究的熱點(diǎn)問題[1]。不同特征所用提取法具有獨(dú)特的優(yōu)勢，同樣具有一定不足，將紋理與幾何特征融合起來，能夠?qū)⒚恳环N特征優(yōu)勢展示出來，對不足進(jìn)行互補(bǔ)，效果還是比較顯著的[2]。因此，探討紋理與幾何特征視野下人臉表情識別算法具有實(shí)用價(jià)值。

1 相關(guān)算法

LBP算法是提取局部紋理特征的常用方法，因其計(jì)算復(fù)雜度低及提取效果好，許多研究者都比較喜歡使用。這種算法通過3×3窗口內(nèi)，以中心像素值作為閥值，把8個(gè)相鄰像素灰度值與其進(jìn)行比較，如果中心像素值小，就標(biāo)記1，反之標(biāo)記0；3×3鄰域內(nèi)，周圍8個(gè)像素點(diǎn)與中心像素點(diǎn)共同形成8位制二進(jìn)制數(shù)，從而形成LBP編碼，再把二進(jìn)制轉(zhuǎn)化成十進(jìn)制，所得數(shù)值為LBP值，以此體現(xiàn)出區(qū)域內(nèi)紋理信息[3]。計(jì)算公式如下所示：

在上面公式中，P為周圍像素點(diǎn)個(gè)數(shù)，gc為中心像素點(diǎn)灰度值，gj為周圍像素點(diǎn)灰度值，s(x)表示符號函數(shù)，該公式算法過程如圖1。這種計(jì)算方法是把圖像中每一個(gè)像素點(diǎn)進(jìn)行處理后，得出整副圖像LBP編碼值，從而形成特征圖。對所有編碼值實(shí)施統(tǒng)計(jì)，就可獲得統(tǒng)計(jì)直方圖，從而形成紋理特征的描述向量。

圖1 編碼過程

2 紋理與幾何特征視野下人臉表情識別

2.1 特征融合

在人臉表情識別過程中，無論單獨(dú)采用某種表情特征，還是在姿態(tài)偏轉(zhuǎn)或光照變化下，都極難達(dá)到良好的真實(shí)性[4]。因此，可以同時(shí)采用多種特征進(jìn)行表情特征融合，以此來提高人臉表情識別算法性能。合理采用多種特征相融合的方法，可發(fā)揮多元互補(bǔ)特征，以此來表征目標(biāo)，達(dá)到各種條件的適應(yīng)性。融合表情特征，需要獨(dú)立提取出多種表情特征，比如紋理特征和形變特征等[5]；合理分析各種特征適應(yīng)環(huán)境及優(yōu)缺點(diǎn)，采用綜合決策來實(shí)現(xiàn)表情分類。

2.2 人臉數(shù)據(jù)庫

本文研究采用CK+人臉表情庫，表情庫中包含593個(gè)圖像序列，其中有123個(gè)為不同表情圖像序列，每一個(gè)圖像序列均從自然表情開始，結(jié)合相應(yīng)表情或相應(yīng)臉部動(dòng)作單元[6]。每個(gè)序列所占有時(shí)間存在差異，每個(gè)序列的圖像數(shù)量自然也不相同，但是完整的表情都有一個(gè)過程，那就是從自然表情——目標(biāo)表情——自然表情[7]。如果只是依靠人判斷圖像序列，根本不能實(shí)現(xiàn)客觀性。要提高可靠性，數(shù)據(jù)庫在標(biāo)注表情類別時(shí)就要依據(jù)人臉動(dòng)作單元識別表情。經(jīng)過一系列篩選后，最終有327個(gè)圖像序列保存下來，具體分類見表1。

表1 每種表情圖像序列數(shù)量

2.3 預(yù)處理

在人臉表情識別上，預(yù)處理主要包含三個(gè)步驟，即人臉檢測--主動(dòng)外觀模型--標(biāo)準(zhǔn)化。第一步基于類Haar特征人臉檢測算法對人臉區(qū)域進(jìn)行定位，在該范圍內(nèi)容搜索主動(dòng)外觀模型，確定定位位置，最后對人臉實(shí)施標(biāo)準(zhǔn)化，縮放到統(tǒng)一大小，便于Gabor系數(shù)的提取。本文研究中，人臉區(qū)域縮放大小為48×48[8]。

2.4 紋理特征識別表情

當(dāng)表情圖像經(jīng)過預(yù)處理后，就對標(biāo)準(zhǔn)化圖像使用Gabor小波變換特征提取。這樣每副圖像經(jīng)過處理后就能夠得到40副處理過的圖像。當(dāng)每副輸入圖像被定位到具體的區(qū)域后，就降低到48×48分辨率。所以經(jīng)過Gabor變換后，每副圖像都會獲得一個(gè)921600維特征向量。這種特征維量較高，就采用多類別特征選擇算法。此次實(shí)驗(yàn)結(jié)果來看，當(dāng)把前200維特征選出來，其分類精度比較高。采用紋理特征識別表情，其結(jié)果見表2。從表中可知，大多數(shù)紋理特征表現(xiàn)較好，但是極易把生氣劃分成輕蔑，極易把高興識別成害怕。

表2 紋理特征識別表情的結(jié)果

2.5 幾何特征識別表情

在特征選擇與降維上，常常采用主成分分析法，但人臉各部位自身為線性的，表情變化屬于非線性變化，所以幾何特征無法較好體現(xiàn)表情這種非線性變化。鑒于這種情況，本文采用流形學(xué)習(xí)(Manifold Learning)非線性降維算法把內(nèi)部結(jié)構(gòu)變化體現(xiàn)出來,因人臉在整個(gè)圖像所處位置變化微小，可以視為基本不變，所以就采用定位的特征點(diǎn)位置與最初自然表情進(jìn)行相減，就能夠獲得坐標(biāo)差，每個(gè)坐標(biāo)差就可視為特征向量，在主動(dòng)外形模型中總共有68個(gè)坐標(biāo)點(diǎn)，因此得出136維特征向量。本文研究中，對支持向量機(jī)與修正支持向量機(jī)相結(jié)合進(jìn)行比較研究，采用流形學(xué)習(xí)算法對兩種情況降維后數(shù)據(jù)進(jìn)行比較，發(fā)現(xiàn)降到24維時(shí)分類結(jié)果最好；實(shí)驗(yàn)結(jié)果來看，結(jié)合修正支持向量機(jī)，能有效提高精度，研究結(jié)果見表3和表4。

表3 結(jié)合修正支持向量機(jī)研究結(jié)果

表4 結(jié)合支持向量機(jī)的研究結(jié)果

2.6 兩種算法概率的融合

最后，采用模糊積分把前面兩種算法輸出概率結(jié)合起來，得到表5的結(jié)果。從結(jié)果比較來看，模糊積分對紋理與幾何特征合并方法，識別人臉表情的算法整體精度明顯提高，效果比較顯著。

表5 模糊積分合并結(jié)果

3 結(jié)語

學(xué)校作為我國教育事業(yè)的前線陣地，高效率的課堂是全社會所追求和關(guān)注的。為了督促學(xué)生在課堂上高效地學(xué)習(xí)，老師要經(jīng)常在課堂上對學(xué)生進(jìn)行批評、提醒。但是老師的精力和時(shí)間有限，無法時(shí)時(shí)刻刻提醒學(xué)生。學(xué)?？梢酝ㄟ^監(jiān)控、老師巡邏來加強(qiáng)管控，但這樣做費(fèi)時(shí)費(fèi)力，效率低下，同時(shí)還會造成誤判、漏判等現(xiàn)象。而基于紋理與幾何特征視野下人臉表情識別算法可以在很大程度上解決這一問題。通過該方法，來識別學(xué)生的面部表情，判斷學(xué)生的聽課狀態(tài)，既節(jié)省了人力，又提高了課堂效率，同時(shí)在心理上也能督促學(xué)生認(rèn)真聽課，讓老師把更多的精力放在授課而不是提醒學(xué)生上。該算法準(zhǔn)確率高，誤差小，能夠精確的反映學(xué)生當(dāng)前的聽課狀態(tài)，實(shí)現(xiàn)對學(xué)生聽講的監(jiān)督和提醒，實(shí)現(xiàn)了自動(dòng)化、精確化的目標(biāo)，應(yīng)用市場廣闊。