基于位移特征與個(gè)性化學(xué)習(xí)的動(dòng)態(tài)序列人臉表情識(shí)別方法

耿 濤

(亳州學(xué)院 電子與信息工程系，安徽 亳州 236800)

人工智能識(shí)別技術(shù)在近幾年的新興技術(shù)中脫穎而出，得到了越來越多專家學(xué)者的關(guān)注，并被廣泛應(yīng)用在相關(guān)領(lǐng)域中.人臉識(shí)別與表情分析是智能識(shí)別技術(shù)的主要內(nèi)容，在生活中也發(fā)揮著重要作用，是應(yīng)用范圍最廣泛的技術(shù)之一.例如在身份識(shí)別與身份鑒定中，人臉識(shí)別可有效避免鑒定結(jié)果異常，降低用戶信息的識(shí)別誤差[1-2].為了更好地進(jìn)行人臉智能化識(shí)別，將人臉表情融入到識(shí)別過程成為智能識(shí)別技術(shù)在未來主要的發(fā)展方向.面部表情是人類溝通過程中除去語(yǔ)言后最重要的載體，不僅可以表達(dá)當(dāng)事人的情緒，也可以確定當(dāng)事人的人格特征，可作為人體行為信息對(duì)人的精神狀態(tài)進(jìn)行表達(dá).與此同時(shí)，智能家居、輔助醫(yī)療器械等智能技術(shù)不斷滲透到日常生活中，大量的新興技術(shù)與設(shè)備均需要根據(jù)人的情感作出設(shè)置，這與表情識(shí)別技術(shù)具有直接的聯(lián)系，使得人臉表情識(shí)別技術(shù)具有非常廣闊的發(fā)展前景[3].

由于個(gè)體的差異性，表情的表達(dá)形式多種多樣，如何應(yīng)用計(jì)算機(jī)技術(shù)對(duì)動(dòng)態(tài)序列中的人臉表情作為當(dāng)前人臉識(shí)別領(lǐng)域的研究重點(diǎn).在研究中提出了多種動(dòng)態(tài)序列人臉表情識(shí)別方法.文獻(xiàn)[4]中提出了一種在現(xiàn)有的人臉數(shù)據(jù)集上人為增設(shè)破損樣本集，修復(fù)圖像采集結(jié)果，提高人臉表情識(shí)別效果的方法.此方法對(duì)人臉數(shù)據(jù)采集量的要求較大，應(yīng)用過程復(fù)雜，無法在短時(shí)間內(nèi)完成識(shí)別過程.文獻(xiàn)[5]提出了一種通過情感標(biāo)簽完成人臉表情識(shí)別過程的方法，此方法識(shí)別精度較高，但具有一定的應(yīng)用局限.針對(duì)以上動(dòng)態(tài)序列人臉表情識(shí)別方法存在的問題，本次研究使用位移特征以及個(gè)性化學(xué)習(xí)對(duì)當(dāng)前方法進(jìn)行優(yōu)化，設(shè)計(jì)基于位移特征與個(gè)性化學(xué)習(xí)的動(dòng)態(tài)序列人臉表情識(shí)別方法，以期對(duì)當(dāng)前方法的不足進(jìn)行完善.

1 基于位移特征與個(gè)性化學(xué)習(xí)的動(dòng) 態(tài)序列人臉表情識(shí)別方法

在本次研究展開前，對(duì)當(dāng)前動(dòng)態(tài)序列人臉表情識(shí)別方法的不足展開分析.同時(shí)，對(duì)位移特征與個(gè)性化學(xué)習(xí)技術(shù)的應(yīng)用過程進(jìn)行了全面了解，根據(jù)文獻(xiàn)研究結(jié)果可知，個(gè)性化學(xué)習(xí)方法是一種基于機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法的新型人工智能識(shí)別技術(shù).在其使用過程中需要大量的數(shù)據(jù)運(yùn)算，以此確保識(shí)別結(jié)果精度.

1.1 人臉表情檢測(cè)與預(yù)處理

在對(duì)大量的文獻(xiàn)進(jìn)行分析后，選擇積分圖法獲取動(dòng)態(tài)序列人臉表情圖像[6-7].在當(dāng)前識(shí)別方法中多使用Haar-like方法獲取人臉表情圖像[8]，此方法計(jì)算過程較為復(fù)雜，計(jì)算難度較大，積分圖法可以簡(jiǎn)化其使用過程.在動(dòng)態(tài)序列圖像中，獲取點(diǎn)Z(x,y)的積分值也就是此點(diǎn)上方范圍內(nèi)的像素值c(x,y)之和，將其設(shè)定為call(x,y)，點(diǎn)Z(x,y)為目標(biāo)圖像區(qū)域內(nèi)的任意一點(diǎn).其中，q(x,y)為點(diǎn)Z(x,y)對(duì)應(yīng)列中的像素點(diǎn)之和，則call(x,y)可表示為：

call(x,y)=∑x≤xall,y≤yall(xall,yall).

(1)

式中:xall表示橫坐標(biāo)像素點(diǎn)之和;yall表示縱坐標(biāo)像素點(diǎn)之和.此公式推導(dǎo)后可得到人臉表情積分圖像，具體推導(dǎo)過程如下所示：

(2)

當(dāng)前方法需要對(duì)圖像中的像素點(diǎn)展開頻繁計(jì)算，降低人臉識(shí)別速度[9-10].使用上述公式后，可有效減少計(jì)算量，通過計(jì)算獲取動(dòng)態(tài)序列中的原始人臉圖像，具體人臉圖像檢測(cè)過程設(shè)定如圖1所示.

圖1 人臉檢測(cè)過程

根據(jù)圖1流程，構(gòu)建人臉特征弱分類器，具體公式如下：

(3)

式中:gi(x)表示經(jīng)過公式(1)和公式(2)整合得到的弱分類器，fi(x)表示人臉表情識(shí)別過程中的特征值；αi表示分類器閾值；di表示分類器方向.gi(x)=1說明人臉表情檢測(cè)成功，gi(x)=0說明人臉表情檢測(cè)失敗.使用此分類器獲取人臉圖像，并對(duì)人臉表情圖像展開權(quán)值初始化計(jì)算，具體公式如下：

(4)

使用上述公式，對(duì)獲取的人臉表情圖像賦值，賦值結(jié)果應(yīng)符合后續(xù)處理過程的使用要求.通過歸一化計(jì)算控制賦值結(jié)果的合理性，則有：

(5)

式中:rij表示人臉表情圖像賦值權(quán)重.由上述公式確定權(quán)重賦值的合理性，完成人臉圖像的預(yù)處理過程,將處理后的人臉圖像作為后續(xù)人臉表情識(shí)別的數(shù)據(jù)來源.

1.2 構(gòu)建動(dòng)態(tài)序列人臉表情位移特征提取模型

應(yīng)用公式(3)可得到動(dòng)態(tài)序列中原始人臉圖像，由于動(dòng)態(tài)序列受到時(shí)間序列的影響，人臉中的表情特征點(diǎn)會(huì)發(fā)生相應(yīng)的位移.在本次研究中構(gòu)建動(dòng)態(tài)序列人臉表情位移特征提取模型，提高人臉表情特征提取精度.

設(shè)定β表示模型激活函數(shù)，rs表示原始圖像輸入時(shí)的權(quán)值，li表示當(dāng)前輸入動(dòng)態(tài)序列，li-1為動(dòng)態(tài)序列中第i-1幀的人臉表情信息，將其作為動(dòng)態(tài)序列人臉表情位移特征提取模型中t時(shí)刻的輸入值，rt表示特征輸入時(shí)對(duì)應(yīng)的權(quán)值，gi表示i時(shí)刻的輸入值，則模型原始輸入值可表示為：

w=β(rsli+rtli-1+rtpi-1+gi).

(6)

式中:pi-1表示特征提取模型在上一時(shí)刻的輸入值.為獲取位移數(shù)據(jù)，對(duì)歷史數(shù)據(jù)展開計(jì)算，則有：

wl=β(rlsli+rltli-1+rltpi+1+gl).

(7)

式中:rls表示表示原始圖像輸出時(shí)的權(quán)值;rlt表示特征輸出時(shí)對(duì)應(yīng)的權(quán)值;pi+1表示特征提取模型在上一時(shí)刻的輸出值;gl表示i時(shí)刻的輸出值.根據(jù)此公式得到對(duì)應(yīng)的位移數(shù)據(jù)，從而得到人臉面部表情的特征信息，特征提取過程如下：

gl=wl×tang.

(8)

由上述公式可得到人臉表情圖像中的位移特征數(shù)據(jù)，并對(duì)位移特征數(shù)據(jù)進(jìn)行保存、讀取與重置.如果位移特征數(shù)據(jù)不符合使用要求時(shí)，可以通過更新長(zhǎng)距離的方式獲取新的特征數(shù)據(jù)[11-12].特征數(shù)據(jù)處理過程不是每個(gè)時(shí)刻的位移數(shù)據(jù)都具有同等的重要性，因此，使用公式(7)對(duì)動(dòng)態(tài)序列人臉圖像進(jìn)行多次計(jì)算，設(shè)定相應(yīng)的損失函數(shù)[13-15]，剔除數(shù)據(jù)中的差異性信息，得到最終的表情特征數(shù)據(jù)，并將其設(shè)定為表情標(biāo)簽，為后續(xù)的表情識(shí)別提供幫助.

1.3 動(dòng)態(tài)序列人臉表情識(shí)別

本部分中將使用采集到的表情特征，通過對(duì)位移特征點(diǎn)跟蹤的方式，完成人臉表情識(shí)別過程[16-17].由于研究中的圖像具有動(dòng)態(tài)性，因此在位移特征的原始輸入位置計(jì)算光流，將采集到的表情動(dòng)態(tài)位移作為后續(xù)位置特征輸出的初始值，不斷重復(fù)計(jì)算過程，得到一個(gè)不斷精確的光流估計(jì)數(shù)值.

在研究中，根據(jù)個(gè)性化學(xué)習(xí)算法中的相關(guān)原理作為指導(dǎo)思想，獲取光流估計(jì)值[18].采用下列表達(dá)形式，確定光流向量的取值范圍，使得

R=Q+m.

(9)

式中:Q表示動(dòng)態(tài)序列中未識(shí)別的人臉表情圖像的位移特征點(diǎn)，m表示在預(yù)設(shè)表情圖像中對(duì)應(yīng)的特征點(diǎn)，然后在待檢測(cè)圖像中確定表情定位點(diǎn)k的位置，即

(10)

式中:kx表示圖像中確定表情定位點(diǎn)橫坐標(biāo)，表示ky圖像中確定表情定位點(diǎn)縱坐標(biāo)，T表示轉(zhuǎn)置，q表示系數(shù).根據(jù)獲取到的表情定位點(diǎn)信息，利用L-K迭代算法進(jìn)行多次運(yùn)算得到人臉表情圖像的梯度矩陣E，確定動(dòng)態(tài)序列人臉圖像中的光流[19-20]，其計(jì)算公式為

G=E-1×θ.

(11)

式中:θ表示圖像中的不匹配向量.同時(shí)使用公式(9)與公式(10)進(jìn)行反復(fù)運(yùn)算，得到最終的光流估算值.使用上述計(jì)算過程對(duì)采集到的位移特征點(diǎn)展開計(jì)算，確定人臉表情的動(dòng)態(tài)特征，完成人臉表情識(shí)別工作.

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)準(zhǔn)備

為驗(yàn)證本文方法的識(shí)別效果，選擇兩種識(shí)別方法作為對(duì)照組，使用人臉表情數(shù)據(jù)庫(kù)，完成應(yīng)用實(shí)驗(yàn)分析過程.此次使用的實(shí)驗(yàn)人臉表情庫(kù)通過視頻采集獲取，圖像通過兩組相應(yīng)設(shè)定的相機(jī)同時(shí)拍攝，共獲取600組實(shí)驗(yàn)樣本，其中標(biāo)簽樣本共計(jì)350組，包含生氣、恐懼、喜悅、傷心、厭惡以及好奇六種表情.此實(shí)驗(yàn)表情庫(kù)在使用的過程中不計(jì)入光線條件，僅對(duì)人臉表情進(jìn)行分析.

本實(shí)驗(yàn)過程中涉及圖像識(shí)別以及計(jì)算部分較多，為此對(duì)實(shí)驗(yàn)平臺(tái)設(shè)定，具體參數(shù)如表1所列.

2.2 實(shí)驗(yàn)過程

在完成實(shí)驗(yàn)準(zhǔn)備工作后，對(duì)本實(shí)驗(yàn)的實(shí)施過程進(jìn)行設(shè)定.將文中提出的個(gè)性化學(xué)習(xí)識(shí)別方法與文獻(xiàn)[4]方法、文獻(xiàn)[5]方法所需軟件安裝到實(shí)驗(yàn)平臺(tái)中，對(duì)預(yù)先設(shè)定的人臉表情實(shí)驗(yàn)集進(jìn)行表情識(shí)別.在實(shí)驗(yàn)中將精細(xì)人臉表情劃分、指定表情檢索以及表情細(xì)節(jié)關(guān)鍵點(diǎn)識(shí)別作為實(shí)驗(yàn)的主要內(nèi)容.每一組實(shí)驗(yàn)將進(jìn)行20次，每4次取一次平均值作為實(shí)驗(yàn)結(jié)果輸出.根據(jù)此實(shí)驗(yàn)數(shù)據(jù)，確定個(gè)性化學(xué)習(xí)識(shí)別方法的識(shí)別能力，完成個(gè)性化學(xué)習(xí)識(shí)別方法與當(dāng)前識(shí)別方法的對(duì)比.

表1 實(shí)驗(yàn)參數(shù)表

2.3 實(shí)驗(yàn)結(jié)果分析

2.3.1 人臉表情劃分精度實(shí)驗(yàn)結(jié)果分析

在本實(shí)驗(yàn)中，將人臉表情劃分精度作為實(shí)驗(yàn)的第一組指標(biāo)，確定實(shí)驗(yàn)方法的圖像類別劃分能力.人臉表情化劃分精度結(jié)果如表2所列.

表2 人臉表情劃分精度

根據(jù)表2可知，個(gè)性化學(xué)習(xí)識(shí)別方法的類別劃分性能明顯優(yōu)于當(dāng)前識(shí)別方法.每次實(shí)驗(yàn)中都會(huì)對(duì)預(yù)設(shè)的6種表情進(jìn)行劃分，個(gè)性化學(xué)習(xí)識(shí)別方法在使用后可對(duì)每一種表情展開高精度劃分，確保后續(xù)表情識(shí)別結(jié)果的可靠性.文獻(xiàn)[4]方法和文獻(xiàn)[5]方法對(duì)預(yù)設(shè)的部分表情無法完成高精度劃分，時(shí)常出現(xiàn)部分表情圖像無法歸類的問題，對(duì)后續(xù)的處理會(huì)造成不良影響.綜合上述分析結(jié)果可知，本文個(gè)性化學(xué)習(xí)識(shí)別方法的表情類別劃分能力更強(qiáng).

2.3.2 指定表情檢索實(shí)驗(yàn)結(jié)果分析

在進(jìn)行表情檢索時(shí)不同的識(shí)別方法會(huì)得到不同的結(jié)果，具體結(jié)果如表3所列.

表3 指定表情檢索結(jié)果

在本實(shí)驗(yàn)中，個(gè)性化學(xué)習(xí)識(shí)別方法對(duì)于指定表情的檢索能力較強(qiáng)，可獲取大部分表情圖像，其圖像檢索結(jié)果與表情圖像實(shí)際數(shù)量大致相同.與個(gè)性化學(xué)習(xí)識(shí)別方法相比，文獻(xiàn)方法雖然可以完成指定表情的識(shí)別工作，但是其檢索出的數(shù)量與實(shí)際數(shù)量相差較大，可見其檢索精度較差.通過上述分析結(jié)果可以確定，個(gè)性化學(xué)習(xí)識(shí)別方法的使用效果優(yōu)于當(dāng)前方法.

2.3.3 表情細(xì)節(jié)關(guān)鍵點(diǎn)識(shí)別實(shí)驗(yàn)結(jié)果分析

在此實(shí)驗(yàn)過程中，主要將實(shí)驗(yàn)?zāi)繕?biāo)設(shè)定為隨機(jī)篩選的5張人臉表情圖像，同時(shí)對(duì)此部分圖像中的主要表情識(shí)別點(diǎn)進(jìn)行了分析，使用本文個(gè)性化學(xué)習(xí)識(shí)別方法與當(dāng)前識(shí)別方法對(duì)其進(jìn)行識(shí)別，具體結(jié)果如表4所列.

表4 表情細(xì)節(jié)關(guān)鍵點(diǎn)識(shí)別數(shù)量

通過表4可知，個(gè)性化學(xué)習(xí)識(shí)別方法對(duì)于表情關(guān)鍵點(diǎn)的識(shí)別能力明顯優(yōu)于文獻(xiàn)方法.通過文獻(xiàn)研究可知，面部表情關(guān)鍵點(diǎn)的識(shí)別效果對(duì)人臉表情識(shí)別效果有一定影響.

綜上所述，在本實(shí)驗(yàn)過程中共進(jìn)行了3組實(shí)驗(yàn)，從多個(gè)角度對(duì)個(gè)性化學(xué)習(xí)識(shí)別方法的識(shí)別精度與識(shí)別能力進(jìn)行分析，證實(shí)本文方法的使用效果優(yōu)于當(dāng)前方法.

3 結(jié)論

隨著人工智能技術(shù)的不斷發(fā)展，用戶確定增加情感分析部分已經(jīng)成為云計(jì)算發(fā)展的重要方向.人臉表情識(shí)別作為用戶情感信息交流中的重要手段，其識(shí)別結(jié)果精度對(duì)用戶分析具有重要意義.人臉表情識(shí)別是人臉識(shí)別技術(shù)應(yīng)用的重要環(huán)節(jié)，也是人工智能交互領(lǐng)域中的重要研究課題.本次研究將當(dāng)前動(dòng)態(tài)序列中的表情識(shí)別方法作為設(shè)計(jì)藍(lán)本，使用位移特征及個(gè)性化學(xué)習(xí)方法對(duì)其進(jìn)行優(yōu)化設(shè)計(jì)，在現(xiàn)有基礎(chǔ)上提升識(shí)別精度與使用效果.在今后的研究中，將會(huì)增加信息融合技術(shù)對(duì)所提方法進(jìn)行完善，在表情的基礎(chǔ)上增加語(yǔ)音等信息的識(shí)別過程，使用更加準(zhǔn)確的用戶信息，捕捉用戶的表情類型，進(jìn)一步提升識(shí)別精度.