空洞卷積網(wǎng)絡(luò)下微表情實時識別方法仿真

杜芳芳,王福忠,高繼梅

(1. 黃河交通學(xué)院智能工程學(xué)院,河南 武陟 454950;2. 河南理工大學(xué)電氣工程與自動化學(xué)院,河南 焦作 454000)

1 引言

與普通表情相比,微表情是人類藏匿的特殊情緒只在特殊狀態(tài)下才會被觸發(fā),其表情真實度高,很難偽造及控制,是人類最真實情感的表達(dá),故其在刑偵偵查、醫(yī)療診斷、心理治療等領(lǐng)域具有重要應(yīng)用價值[1-2]。微表情發(fā)生時間在250-500ms,其時間之迅速令人難以識別。傳統(tǒng)微表情識別多采用局部二值法、變換域法、光流法等,但存在識別步驟復(fù)雜、時效性差、識別效果不佳等問題,因此,研究微表情的實時監(jiān)測方法具有重要意義。

朱偉杰等人[3]提出雙流網(wǎng)絡(luò)信息交互機(jī)制下的微表情識別方法,建立人臉三色通道圖像主體網(wǎng)絡(luò),基于優(yōu)化光流輔助網(wǎng)絡(luò)訓(xùn)練過程,通過優(yōu)化光流輔助網(wǎng)絡(luò)完成實時微表情識別。該方法存在識別準(zhǔn)確率低的問題。梁正友等人[4]提出結(jié)合遷移學(xué)習(xí)與可分離三維卷積的微表情識別方法,通過光流法提取人臉微表情,將其輸入到三維卷積網(wǎng)絡(luò)中訓(xùn)練,并優(yōu)化模型微調(diào)參數(shù),基于優(yōu)化的三維卷積網(wǎng)絡(luò)完成人臉微表情識別。該方法存在識別時間長的問題。吳進(jìn)等人[5]提出一種基于CNN與LSTM結(jié)合的微表情識別算法,提取時域空域特征,通過歸一化算法優(yōu)化模型訓(xùn)練速度,采用優(yōu)化后卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶網(wǎng)絡(luò)結(jié)合模型完成微表情識別。該方法存在識別精度不高的問題。

為了解決上述方法中存在的問題,提出基于空洞卷積的實時微表情識別算法。為增強(qiáng)人臉的微表情圖像特征,采用混沌蛙跳算法來處理,通過空洞卷積構(gòu)建卷積神經(jīng)網(wǎng)絡(luò),完成對人臉微表情實時識別。

2 圖像增強(qiáng)

通過混沌蛙跳算法對人臉圖像增強(qiáng)處理[6-7]。

蛙跳算法模仿通過種群間思想傳遞的青蛙覓食狀態(tài),通過局部搜索傳遞個體間信息完成全局信息交換使個體趨于全局最優(yōu)解。在此基礎(chǔ)上引入混沌算法,通過混沌序列擾動蛙跳,使其更好的搜索到蛙跳位置波動,增強(qiáng)擾動幅度的控制能力,在通過Beta函數(shù)的歸一化處理,完成人臉圖像的增強(qiáng)處理。

(1)

混沌序列β可通過Logistic方程產(chǎn)生,其公式表達(dá)如下:

βn+1=l×βn×(1-βn)

(2)

其中,l表示控制參數(shù)。系統(tǒng)混沌狀態(tài)情況可通過迭代次數(shù)獲取,控制參數(shù)大于零且小于4時,混沌狀態(tài)具有隨機(jī)性,在控制參數(shù)等于3時,系統(tǒng)混沌狀態(tài)出現(xiàn)分岔情況,在控制參數(shù)等于4時,該系統(tǒng)處于完全混沌狀態(tài)。

依據(jù)混沌運動的隨機(jī)性原理,考察蛙群的解,以避免搜索局部性的出現(xiàn),進(jìn)而生成蛙群規(guī)模初始數(shù)量值,將蛙群規(guī)模初始數(shù)量值帶入Logistic方程,通過迭代產(chǎn)生混沌變量,映射混沌變量g(x)[8],其公式表達(dá)如下:

(3)

蛙群規(guī)模初始數(shù)量值的二進(jìn)制向量可行解對應(yīng)每個青蛙。

全局最優(yōu)解可通過對尋優(yōu)的青蛙的混沌擾動完成。設(shè)某只尋優(yōu)青蛙用h(xlo)表示,隨機(jī)抽取區(qū)間內(nèi)任一數(shù),迭代后獲取新的隨機(jī)數(shù)ε,擾動后青蛙位置h′(xlo)公式表達(dá)如下:

h′(xlo)=χεh(xlo)

(4)

其中,χ表示擾動系數(shù)。最終良好的青蛙位置波動可通過有效均勻的混動擾動實現(xiàn)。

青蛙擾動需在一個幅度J內(nèi)實行,用l表示混沌映射序列函數(shù)最大值,其公式表達(dá)如下:

J∈[-lg2(ln+1),lg2(ln+1)]

(5)

通過Beta函數(shù)的歸一化處理完成輸入人臉圖像的增強(qiáng)處理,Bate函數(shù)g(γ,η)公式表達(dá)如下:

(6)

其中,γ、η表示非線性函數(shù)變化最優(yōu)值,當(dāng)γ<η時,對人臉圖像的亮部區(qū)域增強(qiáng)處理;當(dāng)兩值相等時,對中間區(qū)域增強(qiáng)處理;當(dāng)γ>η,對人臉圖像暗部區(qū)域增強(qiáng)處理。

原始人臉圖像像素歸一u′ok處理公式表達(dá)如下:

(7)

其中,(o,k)表示像素,uok表示原始灰度值,Zmin表示原始人臉圖像最小灰度值,Zmax表示原始人臉圖像最大灰度值。

歸一化像素增強(qiáng)u″ok處理公式表達(dá)如下:

u″ok=G(u′ok)

(8)

(9)

其中,Z′max表示灰度最大值,Z′min表示灰度最小值。

青蛙尋優(yōu)收斂Q條件公式表達(dá)如下:

(10)

在固定收斂條件范圍內(nèi),圖像對比度及灰度分布均勻度與收斂條件正比,選取最大收斂條件值,獲取更好的人臉圖像增強(qiáng)效果。若不滿足擾動條件則繼續(xù)更新蛙群擾動,直至求得滿足條件的收斂條件,再輸出最終圖像,完成人臉圖像的增強(qiáng)處理。

3 特征提取

通過時間差值算法和局部二值算法提取增強(qiáng)處理后的人臉微表情圖像特征[9-10]。人臉微表情動態(tài)長短不一影響著微表情識別準(zhǔn)確率,動態(tài)短的微表情幀數(shù)少容易出現(xiàn)人臉特征丟失的情況,而動態(tài)多的微表情冗余度大容易降低微表情識別率。時間差值算法視同基于流形的時間插值法歸一化幀數(shù)[11-12],通過固定時間間隔曲線采樣人臉微表情序列。

用連續(xù)函數(shù)Pn來描述人臉微表情序列,最小化映射到一條直線上連續(xù)函數(shù)距離F,即對角矩陣,其公式表達(dá)如下:

(11)

其中,Eo,k表示鄰近矩陣,n表示函數(shù)采樣點個數(shù),y表示映射點。

(12)

其中,e表示轉(zhuǎn)換矩陣,x表示特征向量和均值的差。

用Z表示拉普拉斯算子特征向量,利用奇異值分解方法X分解得到公式如下:

(13)

其中,I表示平均去矢量奇異值分解,W表示轉(zhuǎn)換特征矩陣,S表示是轉(zhuǎn)換向量,ω表示特征向量,μ′表示特征值。

進(jìn)一步推導(dǎo)出公式表達(dá)如下:

ZWTωk=μ′Wωk

(14)

插入新圖像特征向量ψ公式表達(dá)如下:

(15)

通過局部二值算法,將原始數(shù)據(jù)三色通道圖像轉(zhuǎn)換為LBP紋理圖像,以達(dá)到消除光照影響,縮短網(wǎng)絡(luò)運行時間,完成人臉特征的提取。

4 微表情識別

將提取到的人臉圖像特征輸入到結(jié)合空洞卷積的神經(jīng)網(wǎng)絡(luò)模型中,完成人臉微表情的實時識別[13-14]。為了滿足長視頻中微表情分析細(xì)節(jié)不明顯等問題,在神經(jīng)網(wǎng)絡(luò)分析中引入空洞卷積,可擴(kuò)大卷積核感受野效果,實現(xiàn)人臉微表情特征細(xì)節(jié)信息的高精度提取。

空洞卷積即擴(kuò)張卷積,可通過增加權(quán)重為零的卷積像素至卷積核中構(gòu)建,充分改善了神經(jīng)卷積網(wǎng)絡(luò)池化步驟的信息丟失問題,提高卷積神經(jīng)網(wǎng)絡(luò)的精度[15]。引入擴(kuò)張率參數(shù)t值表達(dá)空洞卷積層卷積核數(shù)據(jù)的間距,計算第o層卷積層感受野,其公式表達(dá)如下:

(16)

用d表示卷積滑動步長,輸入特征圖公式表達(dá)如下:

(17)

其中,P表示輸入圖像,A表示卷積填充像素數(shù)目。

進(jìn)一步推導(dǎo)出公式表達(dá)如下:

(18)

卷積神經(jīng)網(wǎng)絡(luò)圖如圖1所示:

圖1 卷積神經(jīng)網(wǎng)絡(luò)圖

在保證卷積神經(jīng)網(wǎng)絡(luò)輸出特征圖及卷積核大小不變的情況下,在神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上,添加系數(shù)分別為2和4的卷積核和大小為3*3的空洞卷積塊,構(gòu)成空洞卷積神經(jīng)網(wǎng)絡(luò)模型,以達(dá)到人臉特征像素點感受野擴(kuò)大為原來5倍的效果。

按照幸福、生氣、悲傷、恐懼、厭惡、驚訝、自然7種表情訓(xùn)練樣本,歸一化softmax分類器的輸出結(jié)構(gòu)為(0,1),獲取第o個多目標(biāo)樣本分類概率P(xo)公式表達(dá)如下

(19)

其中,r表示分類樣本,xo表示數(shù)據(jù)集內(nèi)的訓(xùn)練樣本。

樣本真實分布和模型預(yù)測分布的差異關(guān)系可通過KL散度相對熵衡量,其公式表達(dá)如下:

(20)

(21)

通過權(quán)重的增加實現(xiàn)正負(fù)樣本平衡的控制,對其消除loss干擾處理,其公式表達(dá)如下:

(22)

其中,η表示增加參數(shù),β表示平衡權(quán)重因子。

基于此完成結(jié)合空洞卷積的神經(jīng)網(wǎng)絡(luò)系統(tǒng)構(gòu)建,并通過此模型完成人臉微表情識別。

5 實驗與分析

為了驗證基于空洞卷積的實時微表情識別算法的整體有效性,對其完成如下測試。在Intel Xean 2.10GhzCPU、Geforee GTX1280/16 GB GPU、32GB內(nèi)存的服務(wù)器上搭建Pytorch平臺完成實驗。實驗樣本采用中國科學(xué)院的CASME Ⅱ數(shù)據(jù)集和CASME 數(shù)據(jù)集,CASME Ⅱ數(shù)據(jù)集由26個人物的255個微表情序列組成;CASME 數(shù)據(jù)集由35個人物的195個微表情序列組成,兩數(shù)據(jù)集均包含悲傷其中包括高興、悲傷、驚訝等表情。

1)微表情特征增強(qiáng)效果

采用所提方法、雙流網(wǎng)絡(luò)信息交互機(jī)制下的微表情識別方法和遷移學(xué)習(xí)與可分離三維卷積的微表情識別方法對人臉微表情展開預(yù)處理測試,其結(jié)果如圖2所示:

圖2 三種方法下微表情特征增強(qiáng)效果

分析圖2可知,所提方法較雙流網(wǎng)絡(luò)信息交互機(jī)制下的微表情識別方法和遷移學(xué)習(xí)與可分離三維卷積的微表情識別方法人臉微表情預(yù)處理效果更好,通過增強(qiáng)處理得到方法使人臉微表情圖像更清晰,更利于人臉微表情的識別,表明所提方法的微表情圖像預(yù)處理效果更好。

2)識別準(zhǔn)確率及識別時間

采用所提方法、雙流網(wǎng)絡(luò)信息交互機(jī)制下的微表情識別方法和遷移學(xué)習(xí)與可分離三維卷積的微表情識別方法,對其完成人臉實時微表情識別,識別準(zhǔn)確率及識別時間如表1所示。

分析表1可知,雙流網(wǎng)絡(luò)信息交互機(jī)制下的微表情識別方法的識別準(zhǔn)確率及識別時間數(shù)值波動幅度較大;遷移學(xué)習(xí)與可分離三維卷積的微表情識別方法的識別準(zhǔn)確率較低、識別時間較長;所提方法的識別準(zhǔn)確率在97%以上,且識別時間較短,在0.04ms左右波動,表明所提方法的識別效果更好。

6 結(jié)束語

人臉情緒可通過微表情被直觀反映,在生活中具有多方面應(yīng)用價值,因此提出基于空洞卷積的實時微表情識別算法。通過增強(qiáng)人臉圖像,提取人臉圖像特征,結(jié)合空洞卷積至神經(jīng)網(wǎng)絡(luò)卷積層構(gòu)建空洞卷積神經(jīng)網(wǎng)絡(luò)模型,完成人臉實時微表情識別。解決了傳統(tǒng)方法中存在的問題,獲得了更高的識別準(zhǔn)確率及更簡便的識別方法,為微表情識別領(lǐng)域奠定了基礎(chǔ),具有重要意義。