基于PCA與深度學(xué)習(xí)的表情識(shí)別算法

區(qū) 健 馮開平 羅立宏

1(廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院 廣東 廣州 510006)2(廣東工業(yè)大學(xué)藝術(shù)與設(shè)計(jì)學(xué)院 廣東 廣州 510090)

0 引 言

今天,由于技術(shù)的進(jìn)步和無處不在的傳播,我們大部分時(shí)間都花在了與計(jì)算機(jī)和手機(jī)的交互上。它們?cè)谖覀兊纳钪衅鹬陵P(guān)重要的作用,并且現(xiàn)有的大量軟件接口都是非語(yǔ)言的、原始的和簡(jiǎn)潔的。通過人臉表情識(shí)別期望用戶的感受和情感狀態(tài)可以大大改善人機(jī)交互(HCI)體驗(yàn)[1-2]。

在面部表情識(shí)別中,表情一般分為7類[3],包括生氣、厭惡、害怕、高興、悲傷、驚訝和中性。現(xiàn)在的表情識(shí)別任務(wù)集中在圖像預(yù)處理、特征提取和分類三大塊,從原始數(shù)據(jù)中抽離特征用于分類這一步驟有著至關(guān)重要的作用,它直接影響了表情識(shí)別的性能。傳統(tǒng)的特征提取方法主要有局部特征二值模式(Local Binary Patterns)、主成分分析(Principal Component Analysis)、尺度不變特征變換(Scale-invarialt Feature Transform)等。Ma等[4]提出了一種基于塊LGBP,以接收過完備字典。通過稀疏表示,從每個(gè)最小子塊中的殘差值中獲取類別殘差向量。通過殘差向量類別中的大量最小殘值來測(cè)試表情類別。蔡則蘇等[5]提出了一種基于PCA的特征提取算法,通過PCA提取人臉特征并將特征加入哈希表中進(jìn)行分類,對(duì)復(fù)雜數(shù)據(jù)集進(jìn)行降維并揭示了數(shù)據(jù)集中某些潛在的隱含信息。傳統(tǒng)方法大多采用手工提取,雖然具有較高的準(zhǔn)確率,但是過程中會(huì)包含對(duì)分類沒有作用的特征,或者忽略了對(duì)分類具有重大作用的特征。隨著近些年來深度學(xué)習(xí)的不斷發(fā)展,將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到表情識(shí)別分類的問題引發(fā)了眾多學(xué)者的研究和探討。深度學(xué)習(xí)方法與傳統(tǒng)方法最大的不同就是深度學(xué)習(xí)將特征提取和分類兩大塊結(jié)合在了一起,這極大地減少了因人工干預(yù)而導(dǎo)致的誤差,并且通過局部感知的方法提取特征可以細(xì)化提取出人工提取難以提取到的關(guān)鍵點(diǎn)和特征。Szegedy等[6]提出了GoogLeNet架構(gòu),卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度高達(dá)27層,是ILSVRC2014分類挑戰(zhàn)賽冠軍,將Top5的錯(cuò)誤率降低至6.67%。He等[7]提出了ResNet架構(gòu),在ILSVRC2015中獲得優(yōu)勝,ResNet在其內(nèi)部殘差塊使用了內(nèi)部跳躍連接,緩解了在深度網(wǎng)絡(luò)中增加深度帶來的梯度消失問題。深度學(xué)習(xí)的方法取得了比傳統(tǒng)方法更高的識(shí)別率,但也帶來了一些無法忽視的問題:圖像預(yù)處理過于耗時(shí)、網(wǎng)絡(luò)深度和寬度過高導(dǎo)致計(jì)算復(fù)雜度過大、梯度彌散(梯度越到后面越容易消失),難以優(yōu)化模型、訓(xùn)練數(shù)據(jù)集有限容易產(chǎn)生過擬合。

針對(duì)以上問題,本文提出了一種以主成分分析特征圖作為輸入的改進(jìn)的輕量卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。首先通過主成分分析方法對(duì)圖像進(jìn)行降維重構(gòu),摒棄了自然采集圖像下出現(xiàn)的許多與面部表情無關(guān)的冗余信息,降低預(yù)處理成本;然后本文設(shè)計(jì)了一種輕量卷積網(wǎng)絡(luò)結(jié)構(gòu),降低由于網(wǎng)絡(luò)深度寬度導(dǎo)致的高計(jì)算成本和梯度彌散問題;最后與現(xiàn)有的人臉表情識(shí)別方法進(jìn)行對(duì)比,在與現(xiàn)實(shí)環(huán)境相符合的FER2013公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。結(jié)果表明,本文方法有效地提高了人臉表情的識(shí)別率。

1 基本理論

1.1 主成分分析法

PCA通過線性變換將訓(xùn)練圖像變?yōu)橐唤M各維度都線性無關(guān)的數(shù)據(jù),使得這一組數(shù)據(jù)盡可能多地反映訓(xùn)練圖像的信息[8-9]。PCA的目標(biāo)是找到數(shù)據(jù)中最主要的信息,去除噪聲和冗余,并將復(fù)雜的數(shù)據(jù)降維,發(fā)掘出隱藏在復(fù)雜數(shù)據(jù)背后的簡(jiǎn)易結(jié)構(gòu)。訓(xùn)練圖像可看作一個(gè)復(fù)雜的高維數(shù)據(jù)矩陣,可用PCA對(duì)該圖像進(jìn)行降維重構(gòu),得出降維后的樣本圖像。

PCA的處理步驟如下:

1) 把每幅圖像看作一個(gè)矩陣X,表達(dá)式如下:

2) 求取圖像樣本矩陣的協(xié)方差矩陣S,如下:

3) 求協(xié)方差矩陣的特征值和特征向量:解特征方程|λ-Sr|=0或采用SVD方法(本文采用SVD),求特征值λ1≥λ2≥…≥λl以及對(duì)應(yīng)的特征向量a1,a2,…,al,其中l(wèi)表示特征向量的個(gè)數(shù),協(xié)方差矩陣的特征向量表示為A=(a1,a2,…,an)。

4) 將協(xié)方差矩陣的特征向量按特征值的大小進(jìn)行排列組合,并取前k個(gè)向量作為投影到k維空間的投影矩陣。

5) 投影矩陣與圖像樣本矩陣的點(diǎn)積生成最終的主成分矩陣,訓(xùn)練圖像的主成分矩陣為ATX。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

前饋式網(wǎng)絡(luò)(Feedforward Neural Work,FNN)是一種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò),神經(jīng)元按照各層分布排列,各層神經(jīng)元只和前一層的神經(jīng)元相連。單通道且各層間沒有反饋,是目前發(fā)展最快、應(yīng)用最廣的神經(jīng)網(wǎng)絡(luò)之一。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種特殊的前饋式網(wǎng)絡(luò),它具有深度結(jié)構(gòu)并包含卷積計(jì)算,是深度學(xué)習(xí)的代表算法之一,它包含了卷積層、池化層、全連接層、輸出層等多個(gè)結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)通過端對(duì)端的方式,對(duì)圖像進(jìn)行特征提取和分類,極大減少了人工干預(yù),適用于大規(guī)模的數(shù)據(jù)訓(xùn)練。以下是卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)詳解。

1.2.1卷積層

卷積層由若干個(gè)卷積單元組成,卷積單元通過反向傳播算法得到最佳化參數(shù),用于提取特征圖。將用可訓(xùn)練的卷積核應(yīng)用到上一層的表情特征圖的所有點(diǎn)上,通過將卷積核在輸入特征圖上滑動(dòng),生成經(jīng)過濾波處理的特征圖,并經(jīng)過激活函數(shù)激活后輸出給下一層。表情特征圖的處理公式為:

Ci=f(Ci-1*Ki+bi)

(3)

式中:Ci為第i層輸出的特征圖;f為激活函數(shù);Ki為第i層與第i-1層對(duì)應(yīng)的卷積核;bi為偏置向量。

1.2.2池化層

池化層主要是對(duì)參數(shù)進(jìn)行壓縮,是圖像的下采樣層[10]。池化層一方面能對(duì)特征圖進(jìn)行降維,減少網(wǎng)絡(luò)計(jì)算量,另一方面可以提取主要特征,放棄次要特征,防止網(wǎng)絡(luò)過擬合,提高模型泛化能力。本文采用最大池化與平均池化兩種方式,最大池化是選擇池化區(qū)域中最大的數(shù)作為該池化區(qū)域的輸出,平均池化則是對(duì)池化區(qū)域的所有數(shù)求和取平均值。池化公式為:

Ci=f(down(p(Ci-1)+bi))

(4)

式中:Ci為第i層輸出的特征圖;f為激活函數(shù);p為池化方式;down為下采樣函數(shù);bi為偏置向量。

1.2.3全連接層

全連接層將自身的每一個(gè)神經(jīng)元與上一層的神經(jīng)元進(jìn)行連接,將所有特征排列成一個(gè)向量,作為神經(jīng)網(wǎng)絡(luò)的“分類器”?；谶@個(gè)特性,全連接層的參數(shù)是整個(gè)卷積神經(jīng)網(wǎng)絡(luò)最多的一層,占比高達(dá)80%以上。其計(jì)算公式為:

xout=f(xin*K+b)

(5)

式中:xin為輸入的元素,xout為輸出元素;f為激活函數(shù);K為全連接層的卷積核;b為偏置向量。

1.2.4輸出層

本文采用SoftMax函數(shù)進(jìn)行輸出層的表情分類,SoftMax函數(shù),又稱歸一化函數(shù)。它是邏輯二分類器sigmoid函數(shù)的擴(kuò)展,適用于多分類問題。SoftMax函數(shù)接收全連接層輸出的向量作為輸入,把每一維的數(shù)轉(zhuǎn)換為(0,1)區(qū)間的某一實(shí)數(shù),進(jìn)行分類。對(duì)于輸入圖像x,其是類別i的概率公式為:

式中:p表示x是類別i的概率;w表示權(quán)重值;k表示總的類別數(shù),k∈{0,1,2,3,4,5,6}。

2 算法描述

2.1 圖像預(yù)處理

人臉表情圖像在采集的過程中,會(huì)存在采光過高、背景復(fù)雜、無用冗余信息過多等問題。因?yàn)樵谟镁矸e神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前,需要對(duì)圖像進(jìn)行補(bǔ)光、人臉定位等預(yù)處理。

2.1.1 FER2013數(shù)據(jù)集

FER2013人臉表情數(shù)據(jù)集由35 886幅人臉表情圖片組成,其中,測(cè)試圖包含了28 708幅圖片,驗(yàn)證圖和測(cè)試圖各為3 589幅。每幅圖的尺寸固定為48×48像素,且均為灰度圖像。共有7種表情,分別對(duì)應(yīng)0-6的數(shù)字標(biāo)簽,具體表情對(duì)應(yīng)的標(biāo)簽如下:0,生氣;1,厭惡;2,害怕;3,高興;4,悲傷;5,驚訝;6,中性。該數(shù)據(jù)集的圖像具有不同的角度、光照、姿勢(shì)、遮擋物,并且分辨率較低,使得FER2013對(duì)比其他公開數(shù)據(jù)集數(shù)據(jù)更加齊全,同時(shí)也更加符合生活場(chǎng)景。圖1為FER2013數(shù)據(jù)集中的7種表情圖像例子。

圖1 FER2013數(shù)據(jù)集的7種表情類別圖例

2.1.2 JAFEE數(shù)據(jù)集

JAFEE數(shù)據(jù)集包含213幅圖像,是十位日本女性的7種面部表情(與FER20213數(shù)據(jù)集中的表情標(biāo)簽相同),每個(gè)人每種表情大約有3到4幅圖像[10]。圖像源自于實(shí)驗(yàn)室采集,是像素為256×256的靜態(tài)灰度圖。圖2為JAFEE數(shù)據(jù)集中的7種表情圖像樣例。

圖2 JAFEE數(shù)據(jù)集的7種表情類別圖例

在數(shù)據(jù)集中的預(yù)處理如下:

1) 將數(shù)據(jù)集的原始圖像進(jìn)行PCA降維重構(gòu),獲取表情識(shí)別的關(guān)鍵部分:鼻子、眼睛、嘴巴。忽略掉與表情識(shí)別無關(guān)的面部區(qū)域,去除多余信息,降低模型訓(xùn)練成本。效果如圖3所示。

圖3 PCA降維重構(gòu)圖像

2) 數(shù)據(jù)增強(qiáng)。為了保證訓(xùn)練模型的精度,防止神經(jīng)網(wǎng)絡(luò)過擬合,加強(qiáng)神經(jīng)網(wǎng)絡(luò)的泛化能力,需要對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理。本文采用的數(shù)據(jù)增強(qiáng)方式是旋轉(zhuǎn)變換、上下左右移動(dòng)、隨機(jī)水平翻轉(zhuǎn)、傾斜、縮放的方式,將數(shù)據(jù)集圖片擴(kuò)充到近十倍,具體參數(shù)如表1所示。

表1 數(shù)據(jù)增強(qiáng)參數(shù)

2.2 改進(jìn)的輕量卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

盧官明等[11]設(shè)計(jì)的7層CNN模型在用于人臉表情識(shí)別上要優(yōu)于一般的傳統(tǒng)方法,但識(shí)別率與其他深層的卷積模型相比依然達(dá)不到一個(gè)理想的效果,而在GoogLeNet與VGG16等分別具有27層與16層,在數(shù)據(jù)量小的數(shù)據(jù)集中會(huì)導(dǎo)致特征圖分辨率降低,出現(xiàn)梯度彌散、學(xué)習(xí)特征不夠魯棒等問題,而且深度過高導(dǎo)致計(jì)算成本過大,實(shí)時(shí)性不足。

為此,本文提出了一種改進(jìn)的輕量卷積神經(jīng)模型:

1) 在輸入層加一層步長(zhǎng)為1的1×1卷積。

2) Conv2-1層和Conv2-2層的卷積核為64個(gè),Conv2-1和Conv2-2層的卷積核尺寸為5×5;Conv3-1層和Conv3-2層的卷積核為64個(gè),Conv3-1層和Conv3-2層層的卷積核尺寸為5×5。

3) 池化層不包含學(xué)習(xí)參數(shù),P4層采用最大值池化(MaxPooling2D),P7層采用平均池化(AveragePooling2D),池化核大小均為(2,2),池化步長(zhǎng)為2。

4) 在每個(gè)卷積層的后邊均加入PReLU激活函數(shù)[12]。全連接層Fc1和Fc2后均添加Dropout函數(shù),參數(shù)設(shè)置為0.5。

輕量神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 輕量神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

該網(wǎng)絡(luò)結(jié)構(gòu)一共含有9層,包括5層卷積層、2層池化層和2層全連接層,受文獻(xiàn)[13]的啟發(fā),網(wǎng)絡(luò)在輸入層中加入一層1×1的卷積層增加非線性表示,增加網(wǎng)絡(luò)深度,提高模型特征表達(dá)能力;該模型在初始層較大的堆疊卷積層使用5×5卷積核,在后兩層堆疊卷積層使用3×3卷積核,可有效降低參數(shù)量并保證模型空間特征信息的提取能力;在堆疊卷積層中加入PReLU函數(shù),在ReLU激活函數(shù)的基礎(chǔ)上加入?yún)?shù),參數(shù)由模型訓(xùn)練得出,可提高網(wǎng)絡(luò)的非線性表征,解決梯度彌散問題,加快模型收斂速度。對(duì)最后一層卷積得出的深度卷積采用平均全局池化操作(Golbal Average Pooling),最大程度保留局部信息,替代一層1×4 096的全連接層,減少參數(shù)量,降低計(jì)算成本;剩余兩層連接層神經(jīng)元個(gè)數(shù)分別為2 048、1 024。全連接層中加入一層參數(shù)為0.5的Dropout層[13]。全連接層神經(jīng)元經(jīng)過dropout之后,一半的神經(jīng)元個(gè)數(shù)置0,可有效防止過擬合現(xiàn)象,加快訓(xùn)練速度,增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型的泛化能力,最后輸入到輸出層,實(shí)現(xiàn)人臉表情的分類。

該網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置如表2所示。

表2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

本文方法使用硬件信息如下:GPU是NVIDA GeForce GTX960,CPU為Intel(R)Core(TM) i5-2300@2.80Hz,內(nèi)存為8 GB;實(shí)驗(yàn)基于Python3.6.5下的TensorFlow2.0深度學(xué)習(xí)框架來進(jìn)行,操作系統(tǒng)為Windows 10。為了保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性,實(shí)驗(yàn)采用的是十折交叉驗(yàn)證法,將經(jīng)過擴(kuò)充的公開數(shù)據(jù)集分為10份,9組作為訓(xùn)練集,1組作為測(cè)試集,進(jìn)行10次實(shí)驗(yàn),將10次實(shí)驗(yàn)結(jié)果取平均值。這樣既保證了實(shí)驗(yàn)結(jié)果的有效性,也可以讓每份樣本都可以作為測(cè)試集和訓(xùn)練集,避免某些數(shù)據(jù)噪聲過大而影響最終的識(shí)別效果。作為CNN中的超參數(shù)設(shè)置如表3所示。

表3 CNN超參數(shù)

3.2 實(shí)驗(yàn)結(jié)果與分析

經(jīng)過200個(gè)epoch的訓(xùn)練后,計(jì)算十折交叉驗(yàn)證后,FER2013數(shù)據(jù)集上的準(zhǔn)確率為69.07%,得到的識(shí)別率曲線圖5所示,JAFFE數(shù)據(jù)集上的準(zhǔn)確率為98.23%,得到的識(shí)別率曲線如圖6所示。

圖5 FER2013數(shù)據(jù)集的準(zhǔn)確率曲線圖

圖6 JAFFE數(shù)據(jù)集的準(zhǔn)確率曲線圖

由圖5、圖6可以看出,經(jīng)過大概40個(gè)epoch之后,模型就達(dá)到了一個(gè)比較好的識(shí)別效果。經(jīng)過200個(gè)epoch之后,識(shí)別率保持一個(gè)穩(wěn)定的狀態(tài),不再發(fā)生太大的波動(dòng),說明此時(shí)模型得到了充分的收斂。由圖中改進(jìn)CNN與輕量CNN的曲線對(duì)比可知,經(jīng)過結(jié)構(gòu)改進(jìn)的CNN識(shí)別率上優(yōu)于輕量CNN。而經(jīng)過PCA和數(shù)據(jù)增強(qiáng)的預(yù)處理之后,本文方法識(shí)別率要高于改進(jìn)的純輕量CNN方法。

為了比較本文所提出的方法性能,與其他現(xiàn)有的主流模型和方法進(jìn)行了對(duì)比實(shí)驗(yàn)。FER2013數(shù)據(jù)集的對(duì)比結(jié)果如表4所示。

表4 不同算法在FER2013數(shù)據(jù)集的識(shí)別率結(jié)果對(duì)比

在FER2013數(shù)據(jù)集中,文獻(xiàn)[14]采用的是類VGG結(jié)構(gòu)網(wǎng)絡(luò),通過不斷堆疊卷積層和池化層構(gòu)建深度網(wǎng)絡(luò),但因其結(jié)構(gòu)只有10層,未達(dá)到VGG-16的深度和寬度,導(dǎo)致難以精確地提取人臉表情特征,識(shí)別率較低。文獻(xiàn)[15]是采用了8×8的卷積核的深度網(wǎng)絡(luò)結(jié)構(gòu),達(dá)到了肉眼識(shí)別65±5%[20]的效果,但選用的卷積核過大導(dǎo)致提取空間特征信息能力下降,識(shí)別率不夠理想。文獻(xiàn)[16-18]采用的均是多網(wǎng)絡(luò)融合的深度網(wǎng)絡(luò)框架,與單網(wǎng)絡(luò)相比,性能并沒有提升。說明針對(duì)FER2013數(shù)據(jù)集,多網(wǎng)絡(luò)融合并不是一個(gè)很好的選擇,使用單網(wǎng)絡(luò)反而能取得較好的識(shí)別率。文獻(xiàn)[19]提出了一種緊湊型的深度學(xué)習(xí)框架,使用了更少的參數(shù)情況下達(dá)到了較好的識(shí)別效果,達(dá)到66.51%。

為了進(jìn)一步驗(yàn)證模型的有效性和泛化能力,本文給出了JAFEE數(shù)據(jù)集中與其他現(xiàn)有模型的對(duì)比,如表5所示。

表5 不同算法在JAFFE數(shù)據(jù)集的識(shí)別率結(jié)果對(duì)比

在JAFFE數(shù)據(jù)集中,主流方法文獻(xiàn)中大多采用的是特征融合的深度網(wǎng)絡(luò)結(jié)構(gòu),文獻(xiàn)[22]采用的是多分辨率特征融合的方法,文獻(xiàn)[23]采用的是局部特征融合的方法,文獻(xiàn)[24]采用的是LBP特征與CNN卷積層融合的方法,文獻(xiàn)[23]和文獻(xiàn)[24]的方法原理上相似,均為通過擯棄與表情特征無關(guān)的一些特征向量以達(dá)到提高表情識(shí)別率的目的,而通過調(diào)整分辨率的方法則無法去除這些冗余的信息,因此文獻(xiàn)[23]和文獻(xiàn)[24]的識(shí)別率提升明顯,達(dá)到了97%。從表4、表5的識(shí)別率對(duì)比可以看出,本文提出的通過PCA降維重構(gòu)獲得主成分特征圖像作為輸入,并通過輕量CNN訓(xùn)練實(shí)現(xiàn)特征提取與分類的表情識(shí)別算法,具有更好的表情識(shí)別能力,一定程度上提高了表情識(shí)別率,在FER2013數(shù)據(jù)集和JAFFE數(shù)據(jù)集上達(dá)到了69.07%和98.23%的識(shí)別率。表6、表7分別為本文方法在FER2013數(shù)據(jù)集和JAFFE數(shù)據(jù)集上的混淆矩陣。

表6 FER2013數(shù)據(jù)集混淆矩陣

表7 JAFFE數(shù)據(jù)集混淆矩陣

表6、表7的混淆矩陣顯示了害怕、生氣、悲傷這三類表情的識(shí)別率明顯比其他四類表情低。輕微的生氣臉部會(huì)有輕微變動(dòng),無表情易于中性混淆;過分的生氣則會(huì)伴隨嘴巴張大、眉毛緊鎖和鼻子皺起等現(xiàn)象,與害怕和悲傷產(chǎn)生混淆。而害怕與悲傷最容易混淆,亦是兩表情中具有相同的眉毛特性、嘴角向兩邊拉伸以及眼睛緊緊閉起等特征。高興和驚訝最具識(shí)別率是因?yàn)樗鼈兏髯跃哂歇?dú)特的標(biāo)識(shí):高興表情大部分嘴角翹起,眼瞼收縮;驚訝表情則會(huì)眼睛睜大,嘴巴張開。由于JAFFE數(shù)據(jù)集是在實(shí)驗(yàn)室的環(huán)境中進(jìn)行,所以高興、驚訝這兩類非常具有辨識(shí)度的表情達(dá)到了最高識(shí)別率,而FER2013數(shù)據(jù)集是競(jìng)賽數(shù)據(jù)集,數(shù)據(jù)來源復(fù)雜,并不能達(dá)到實(shí)驗(yàn)數(shù)據(jù)集的精度,而且數(shù)據(jù)集中一些復(fù)雜的表情圖像亦帶來了一些混淆,如驚訝般的高興、害怕般的厭惡等,增大了表情識(shí)別的難度。

4 結(jié) 語(yǔ)

本文方法在圖像預(yù)處理上采用了PCA降維重構(gòu)法,去除與表情無關(guān)的冗余特征,降低了深度模型在特征提取上的預(yù)處理時(shí)間成本,并用數(shù)據(jù)增強(qiáng)的方法擴(kuò)充了數(shù)據(jù)集,加強(qiáng)了模型的泛化能力并防止過擬合。設(shè)計(jì)了改進(jìn)的輕量級(jí)神經(jīng)網(wǎng)絡(luò),降低深度模型的深度和寬度,在FER2013、JAFEE公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),分別取得了69.07%和98.23%的識(shí)別率,一定程度上提高了表情識(shí)別率,并與其他主流方法進(jìn)行對(duì)比,證明了其有效性。后續(xù)將用本方法在不同數(shù)據(jù)集中應(yīng)用,并進(jìn)一步調(diào)整網(wǎng)絡(luò)的內(nèi)部框架和參數(shù),提高神經(jīng)網(wǎng)絡(luò)的泛化能力。