基于遷移卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別

劉倫豪杰 王晨輝 盧慧 王家豪

摘要：人臉表情識(shí)別在計(jì)算機(jī)視覺(jué)領(lǐng)域引起廣泛關(guān)注，為了解決實(shí)際應(yīng)用中出現(xiàn)的小數(shù)據(jù)集和硬件限制問(wèn)題，引入遷移學(xué)習(xí)方法，將Image-Net上訓(xùn)練好的Inception_v3網(wǎng)絡(luò)遷移到表情識(shí)別任務(wù)中，使用FER2013數(shù)據(jù)集進(jìn)行參數(shù)學(xué)習(xí)完成表情識(shí)別任務(wù)，識(shí)別率達(dá)到了80.4%，且無(wú)過(guò)擬合現(xiàn)象，網(wǎng)絡(luò)泛化效果好。基于遷移網(wǎng)絡(luò)處理的是復(fù)雜度更大的分類(lèi)問(wèn)題，提取的抽象信息并不都對(duì)表情識(shí)別任務(wù)有利，進(jìn)一步在遷移學(xué)習(xí)網(wǎng)絡(luò)后加入了卷積層和池化層進(jìn)行表情特征提取和冗余信息篩除，識(shí)別率提高到了87.5%。

關(guān)鍵詞：表情識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；遷移學(xué)習(xí) ；CK+ ；FER2013

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）07-0191-04

Abstract： Facial expression recognition has attracted widespread attention in the field of computer vision， and it has played an important role in applications such as human-computer interaction. At the same time， the convolutional neural network method performs well in the graphics recognition task. Therefore， this paper firstly designs a convolutional neural network to complete the expression recognition task. The experimental results show that the recognition rate of the network on the CK+ dataset reaches 99.6%， but the recognition rate on the generalization set is only 21%， showing strong Fitting the phenomenon. In order to avoid over-fitting， the larger fer2013 database is used for training. Under the constraints of hardware conditions， convergence cannot be achieved， and the recognition rate is only 51.7%. In order to solve the small data set and hardware limitation problems in practical applications， this paper introduces the migration learning method， migrates the trained Inception_v3 network on Image-Net to the expression recognition task， modifies the final fully connected layer， and uses the FER2013 data set to perform parameters. After learning to complete the expression recognition task， the experimental results show that the recognition rate reaches 80.4%， and there is no over-fitting phenomenon， and the network generalization effect is good. However， the migration network deals with a more complex classification problem， and the extracted abstract information is not all beneficial to the expression recognition task. Based on this， the migration convolutional neural network designed in this paper adds the convolutional layer and the pooling layer to the expression feature extraction and redundant information screening after the migration learning network. The experimental results show that the recognition rate is increased to 87.5%.

Key words： Expression recognition； Convolutional neural network； Migration learning； CK+； FER2013

人臉表情識(shí)別是人機(jī)交互與情感計(jì)算研究中的重要組成部分。隨著人工智能的發(fā)展和機(jī)器人制造體系的成熟，人機(jī)交互領(lǐng)域顯現(xiàn)出巨大的市場(chǎng)和應(yīng)用前景。

最早的人臉表情識(shí)別研究方法主要基于幾何特征，對(duì)人的眼睛、眉毛、嘴等位置變化特征進(jìn)行表情識(shí)別。Lanitis[1]提取14個(gè)臉部特征點(diǎn)，建立可變形模型，通過(guò)特征點(diǎn)的位置和形狀對(duì)人臉表情進(jìn)行識(shí)別，達(dá)到74%的識(shí)別率。隨著小波理論在圖像識(shí)別逐漸成熟，日本九州大學(xué)[2]利用Gabor小波對(duì)面部表情信息進(jìn)行壓縮編碼。美國(guó)CMU[3]采用隱馬爾可夫模型（HMM）對(duì)人臉表情的細(xì)微變化分析，運(yùn)用了特征點(diǎn)跟蹤、流跟蹤和邊緣檢測(cè)實(shí)現(xiàn)了面部表情信息的自動(dòng)識(shí)別。以上傳統(tǒng)的表情識(shí)別方法都需要人為設(shè)定特征，提取特征的信息量相當(dāng)局限，準(zhǔn)確率難以達(dá)到應(yīng)用要求。

隨著高性能服務(wù)器的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法廣泛應(yīng)用到了計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛等領(lǐng)域中，取得了很好的效果?；诰矸e神經(jīng)網(wǎng)絡(luò)的表情識(shí)別方法[4]通過(guò)數(shù)據(jù)驅(qū)動(dòng)，構(gòu)建卷積層從表情數(shù)據(jù)庫(kù)中學(xué)習(xí)提取抽象的特征信息，最后使用全連接層分類(lèi)。然而，深度卷積網(wǎng)絡(luò)依賴(lài)于數(shù)據(jù)驅(qū)動(dòng)，很多數(shù)據(jù)集中的靜態(tài)面部表情圖片太少，在無(wú)法得到上百萬(wàn)大規(guī)模數(shù)據(jù)集時(shí)，直接訓(xùn)練效果不夠理想，容易產(chǎn)生過(guò)擬合，識(shí)別的泛化效果很差?；诖耍岢隽嘶谶w移卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別方法，將在Iamge-net大數(shù)據(jù)集上訓(xùn)練好的inception_v3圖像分類(lèi)網(wǎng)絡(luò)遷移到人臉表情識(shí)別網(wǎng)絡(luò)中，并在網(wǎng)絡(luò)中加入了一層卷積層和池化層，再對(duì)人臉表情數(shù)據(jù)庫(kù)的圖片進(jìn)行學(xué)習(xí)，取得了很好的效果。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種特殊的前饋神經(jīng)網(wǎng)絡(luò)，因主要功能單元卷積層實(shí)現(xiàn)特征提取而與普通全連接神經(jīng)網(wǎng)絡(luò)區(qū)分開(kāi)來(lái)。神經(jīng)元之間的連接模擬了動(dòng)物的視皮層，在計(jì)算機(jī)視覺(jué)領(lǐng)域表現(xiàn)良好。CNN主要由卷積層、池化層和全連接層組成。

1.1卷積層

卷積層和傳統(tǒng)的全連接層不同，該層包含一組濾波器，又稱(chēng)為卷積核。卷積核的大小一般為3x3或者5x5，這些卷積核在表示輸入圖像的三維矩陣上面滑動(dòng)應(yīng)用卷積，計(jì)算出卷積核和輸入矩陣之間的點(diǎn)積，并生成二維激活映射，使得網(wǎng)絡(luò)學(xué)習(xí)到因?yàn)閭蓽y(cè)到輸入位置空間上特定種類(lèi)的特征而激活的卷積核。卷積核將通過(guò)上述滑動(dòng)操作對(duì)整個(gè)圖像進(jìn)行掃描實(shí)現(xiàn)對(duì)圖像信息的遍歷，利用共享權(quán)值實(shí)現(xiàn)對(duì)圖像特征的提取，不同的卷積核分別提取圖像的不同特征。

卷積層試圖將神經(jīng)網(wǎng)絡(luò)的每一小塊進(jìn)行深入的分析而得到抽象程度更高的特征，一般來(lái)說(shuō)，經(jīng)過(guò)卷積處理過(guò)的節(jié)點(diǎn)矩陣會(huì)變得更深，從圖片中學(xué)習(xí)到的特征信息也更加豐富抽象。

1.2池化層

池化層也稱(chēng)下采樣層，是對(duì)上一層提取的特征進(jìn)行降維處理，可以在保留最重要特征的同時(shí)削減卷積輸出，避免全連接層出現(xiàn)過(guò)擬合現(xiàn)象。池化中最經(jīng)典的操作包括最大池和平均池化，本文采用最大池化，保留窗口中的最大值。最常見(jiàn)的池化大小是2x2，步幅為2，能夠從輸入映射中去除75%的激活，見(jiàn)圖1。

1.3 全連接層

經(jīng)過(guò)多輪卷積層和池化層處理后，圖像中的信息已經(jīng)被高度抽象為信息含量更高的特征，對(duì)于這些特征，利用全連接層完成分類(lèi)任務(wù)。全連接層也稱(chēng)多層感知機(jī)，它的每一個(gè)神經(jīng)節(jié)點(diǎn)都與前一層和后一層的所有節(jié)點(diǎn)相互連接，在不斷的學(xué)習(xí)中，優(yōu)化損失，反饋調(diào)節(jié)權(quán)重。

2 遷移學(xué)習(xí)

深度卷積神經(jīng)網(wǎng)絡(luò)CNN在每年一度的ImageNet圖像識(shí)別大賽上大放光彩，其他傳統(tǒng)機(jī)器學(xué)習(xí)方法逐漸被邊緣化。但是該比賽和眾多神經(jīng)網(wǎng)絡(luò)項(xiàng)目都是基于互聯(lián)網(wǎng)產(chǎn)生，樣本數(shù)量龐大，足以支撐深度學(xué)習(xí)的訓(xùn)練。對(duì)于數(shù)據(jù)集較少的應(yīng)用領(lǐng)域如人臉表情識(shí)別，數(shù)據(jù)集中包含的標(biāo)注樣本即使通過(guò)圖像增強(qiáng)與補(bǔ)償技術(shù)也十分有限，構(gòu)建大規(guī)模人臉數(shù)據(jù)成本也較高，不具有實(shí)際可操作性?；诖?，將在大規(guī)?；ヂ?lián)網(wǎng)數(shù)據(jù)上訓(xùn)練的CNN遷移到小樣本目標(biāo)數(shù)據(jù)集中的遷移學(xué)習(xí)方法成了圖像研究領(lǐng)域的熱門(mén)。

2.1 遷移學(xué)習(xí)概述

遷移學(xué)習(xí)的思路是將一個(gè)環(huán)境中學(xué)習(xí)到的知識(shí)來(lái)幫助完成新環(huán)境中的學(xué)習(xí)任務(wù)[5]。遷移學(xué)習(xí)定義為：給定一個(gè)源領(lǐng)域Ds和學(xué)習(xí)任務(wù)Ts，一個(gè)目標(biāo)領(lǐng)域Dr和學(xué)習(xí)任務(wù)Tr，遷移學(xué)習(xí)通過(guò)學(xué)習(xí)任務(wù)Ts在源領(lǐng)域Ds中獲取的知識(shí)，幫助學(xué)習(xí)任務(wù)Tr在目標(biāo)領(lǐng)域Dr中的學(xué)習(xí)[5]。

2.2遷移學(xué)習(xí)在表情識(shí)別的應(yīng)用

人臉表情識(shí)別數(shù)據(jù)集都十分有限，引入遷移學(xué)習(xí)將使得基于深度卷積神經(jīng)網(wǎng)絡(luò)的表情識(shí)別任務(wù)可以在已有的少量人臉數(shù)據(jù)集中訓(xùn)練學(xué)習(xí)到很好的效果。具體地，利用在ImageNet圖像數(shù)據(jù)集上訓(xùn)練好的大型神經(jīng)網(wǎng)絡(luò)Inception_v3，修改其輸出層，改用三層全連接網(wǎng)絡(luò)，在任務(wù)數(shù)據(jù)集上訓(xùn)練，實(shí)現(xiàn)七分類(lèi)問(wèn)題。此外，源網(wǎng)絡(luò)的任務(wù)是對(duì)兩萬(wàn)多種事物進(jìn)行分類(lèi)，比七種表情識(shí)別任務(wù)復(fù)雜程度更高，因此Inception_v3抽象出的大量信息并不是都對(duì)表情識(shí)別起著積極作用，可能存在負(fù)遷移的破壞性影響。基于此，在全連接層前設(shè)計(jì)一層卷積層和池化層能夠起到提取表情特征信息，剔除多余信息的作用，學(xué)習(xí)效果更好。

3 數(shù)據(jù)準(zhǔn)備

3.1 數(shù)據(jù)來(lái)源

本文的實(shí)驗(yàn)數(shù)據(jù)選用fer2013人臉表情庫(kù)和CK+人臉表情庫(kù)。

fer2013數(shù)據(jù)集來(lái)自數(shù)據(jù)科學(xué)競(jìng)賽kaggle，該表情庫(kù)由訓(xùn)練集、測(cè)試集與驗(yàn)證集三部分構(gòu)成，其中訓(xùn)練集共包含28，709張48[×48]的灰度圖像，將人臉表情分為生氣、厭惡、恐懼、高興、悲傷、驚訝和中性這7種。其構(gòu)成如下：

CK+數(shù)據(jù)集由Cohn Kanade 表情庫(kù)擴(kuò)展而來(lái)，與fer2013相比，其類(lèi)別稍有不同，并且僅包含共988張人臉表情，其構(gòu)成如下：

此外，選取來(lái)自其他數(shù)據(jù)集的一小部分人臉表情集作為泛化集，用來(lái)測(cè)試網(wǎng)絡(luò)的泛化能力。

3.2 數(shù)據(jù)處理

相較于fer2013數(shù)據(jù)集，CK+的數(shù)據(jù)集太小，容易產(chǎn)生過(guò)擬合。對(duì)此采用數(shù)據(jù)增強(qiáng)來(lái)對(duì)CK+數(shù)據(jù)集進(jìn)行拓展，本文利用隨機(jī)裁剪的方式，在48x48的圖片上四個(gè)角和中心裁剪出5個(gè)42x42的圖片，再進(jìn)行一次鏡像操作，實(shí)現(xiàn)了數(shù)據(jù)集擴(kuò)增10倍的目的。除此之外，在訓(xùn)練之前，還應(yīng)該對(duì)數(shù)據(jù)庫(kù)圖像進(jìn)行尺寸大小和深度調(diào)整以符合網(wǎng)絡(luò)的輸入條件。本文在tensorflow框架上利用openvc的resize函數(shù)將42x42x1的灰度圖像轉(zhuǎn)化為適合卷積神經(jīng)網(wǎng)絡(luò)輸入的227x227x3的圖像和卷積遷移網(wǎng)絡(luò)輸入的229x229x3的圖像。

4 人臉表情識(shí)別方法

4.1 卷積神經(jīng)網(wǎng)絡(luò)模型

本文設(shè)計(jì)一種包含5個(gè)卷積層和3個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖x所示。輸入為預(yù)處理完成的227*227*3的三通道圖片，卷積層1的卷積核大小為11*11，步長(zhǎng)為4，卷積層2的卷積核大小為5*5，步長(zhǎng)為1，另外三個(gè)卷積層卷積核均為3*3，步長(zhǎng)均為1，經(jīng)過(guò)卷積層的輸出特征圖像大小為6*6*256，再通過(guò)3個(gè)全連接層，最終輸出一個(gè)7*1的向量，完整的網(wǎng)絡(luò)參數(shù)如表3。該網(wǎng)絡(luò)設(shè)置學(xué)習(xí)率為0.001，權(quán)重衰減率為0.8，迭代次數(shù)為2000次。在訓(xùn)練數(shù)據(jù)不夠多時(shí)，或者過(guò)度訓(xùn)練時(shí)，經(jīng)常會(huì)導(dǎo)致過(guò)擬合。其直觀(guān)的表現(xiàn)為，隨著訓(xùn)練過(guò)程的進(jìn)行，模型復(fù)雜度添加，訓(xùn)練集上的損失函數(shù)逐漸減小。但在驗(yàn)證集上的準(zhǔn)確率卻反而逐漸增大，為解決該問(wèn)題采取了學(xué)習(xí)率隨迭代次數(shù)衰減的機(jī)制，迭代一百次學(xué)習(xí)率衰減0.01。并選擇Relu激活函數(shù)、交叉熵?fù)p傷函數(shù)和隨機(jī)梯度優(yōu)化器的組合對(duì)網(wǎng)絡(luò)進(jìn)行反饋學(xué)習(xí)，調(diào)整網(wǎng)絡(luò)權(quán)重參數(shù)。Relu作為激活函數(shù)解決了Sigmoid在網(wǎng)絡(luò)較深時(shí)的梯度彌散導(dǎo)致迭代一段時(shí)間后無(wú)法收斂的問(wèn)題。此外，使用L1正則化，在損失函數(shù)后面再加上一個(gè)正則化項(xiàng)來(lái)不斷削弱權(quán)重系數(shù)。訓(xùn)練時(shí)還在全連接層采用了Dropout隨時(shí)忽略部分神經(jīng)元，dropout值設(shè)置為0.8，每次隨機(jī)忽略80%的神經(jīng)元，一定程度上避免了過(guò)擬合。

將處理過(guò)的CK+數(shù)據(jù)集置于該網(wǎng)絡(luò)中訓(xùn)練，使用mini-batch梯度下降算法對(duì)損失函數(shù)進(jìn)行優(yōu)化，該算法先將整個(gè)大的訓(xùn)練集劃分為若干個(gè)小的訓(xùn)練集，稱(chēng)為 mini-batch，本文中設(shè)置為256，再分別對(duì)每一個(gè)batch進(jìn)行梯度下降。使用 mini-batch梯度下降算法，一方面更新參數(shù)更快，有于更魯棒地收斂，避免局部最優(yōu)；另一方面，計(jì)算效率更高，可以幫助快速訓(xùn)練模型。

利用Nvidia GTX 1080 GPU在tensorflow框架下進(jìn)行運(yùn)算，調(diào)參訓(xùn)練后發(fā)現(xiàn)其在測(cè)試集中的準(zhǔn)確率高達(dá)99.6%，而在泛化集中的準(zhǔn)確率僅有21%。這是由于數(shù)據(jù)集中圖片數(shù)量過(guò)少，網(wǎng)絡(luò)參數(shù)過(guò)多，不可避免地產(chǎn)生了過(guò)擬合現(xiàn)象，因而不具備較好的泛化能力。

基于以上原因，采用數(shù)據(jù)量更大的FER2013訓(xùn)練該網(wǎng)絡(luò)，結(jié)果顯示其在測(cè)試集中的準(zhǔn)確率僅能達(dá)到51.7%，并且損失值呈明顯的上下震蕩，無(wú)法收斂。

反復(fù)調(diào)參后發(fā)現(xiàn)，小數(shù)據(jù)集在batch-size為256時(shí)便能達(dá)到較好的收斂效果和準(zhǔn)確率，而對(duì)于數(shù)據(jù)量較大的數(shù)據(jù)集則需要更大的batch-size，當(dāng)batch-size到達(dá)1024時(shí)，計(jì)算機(jī)內(nèi)存已達(dá)到瓶頸，此時(shí)的最高準(zhǔn)確率為57.8%，需要尋找新的方法來(lái)彌補(bǔ)硬件性能的不足。

4.2 遷移網(wǎng)絡(luò)模型

在計(jì)算機(jī)性能限制網(wǎng)絡(luò)訓(xùn)練能力的情況下，借助遷移學(xué)習(xí)能夠取得較好的效果?？梢赃x擇一個(gè)已經(jīng)經(jīng)大量數(shù)據(jù)訓(xùn)練好的網(wǎng)絡(luò)層數(shù)龐大的卷積神經(jīng)網(wǎng)絡(luò)及其參數(shù)學(xué)習(xí)人臉表情集，獲取抽象的、深層的表情特征，通過(guò)對(duì)輸出特征的進(jìn)一步提取與分類(lèi)，更為簡(jiǎn)單準(zhǔn)確地實(shí)現(xiàn)了人臉表情的識(shí)別工作。

在ImageNet數(shù)據(jù)集中訓(xùn)練好的Inception-v3網(wǎng)絡(luò)中可以很好地區(qū)分兩萬(wàn)種類(lèi)別的圖像，所以有理由認(rèn)為該網(wǎng)絡(luò)中每一個(gè)節(jié)點(diǎn)可以作為其他任何圖像的一個(gè)更加精簡(jiǎn)且表達(dá)能力更強(qiáng)的特征向量。基于此，直接利用這個(gè)訓(xùn)練好的Inception-v3網(wǎng)絡(luò)對(duì)人臉表情圖像進(jìn)行特征提取，然后再將提取得到的特征向量作為輸入來(lái)訓(xùn)練一個(gè)七分類(lèi)問(wèn)題。在實(shí)際操作中，保留訓(xùn)練好的Inception-v3模型中所有卷積層的參數(shù)，只是替換最后一層全連接層，將輸出神經(jīng)元由1000個(gè)調(diào)整為7個(gè)。

結(jié)果顯示，F(xiàn)ER2013測(cè)試集中的準(zhǔn)確率達(dá)到80.4%，在時(shí)間和準(zhǔn)確度上都有顯著的提升。

4.3 遷移卷積網(wǎng)絡(luò)模型

一般來(lái)說(shuō)，遷移學(xué)習(xí)所需訓(xùn)練時(shí)間與硬件要求遠(yuǎn)小于訓(xùn)練完整模型，但其訓(xùn)練效果不如完全重新訓(xùn)練，為進(jìn)一步提高分類(lèi)準(zhǔn)確率，設(shè)計(jì)在Inception-v3后連接上新的網(wǎng)絡(luò)，見(jiàn)圖2。經(jīng)過(guò)Inception-v3的輸出數(shù)據(jù)為8*8*2048，通過(guò)一個(gè)卷積核為3*3，步長(zhǎng)為1，全零填充的卷積層對(duì)表情特征進(jìn)行提取，再通過(guò)一個(gè)過(guò)濾器為2*2，步長(zhǎng)為2的最大池化層實(shí)現(xiàn)冗余信息的篩除，最后通過(guò)一個(gè)7個(gè)神經(jīng)元的全連接層完成表情分類(lèi)任務(wù)。實(shí)驗(yàn)發(fā)現(xiàn)，改進(jìn)后的遷移卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉表情的分類(lèi)能力得到明顯提升，測(cè)試集準(zhǔn)確率達(dá)到了87.5%，泛化集準(zhǔn)確率也達(dá)到了80%以上，不會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，能夠很好地解決樣本數(shù)量較少的圖像數(shù)據(jù)集分類(lèi)問(wèn)題。

4.4 結(jié)果分析

使用最初設(shè)計(jì)的包含5個(gè)卷積層與3個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)，CK+測(cè)試集的準(zhǔn)確率高達(dá)99.6%，但其泛化能力較差，在泛化集中的準(zhǔn)確率僅為21%，這是由于CK+訓(xùn)練集數(shù)據(jù)有限，而網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜，參數(shù)過(guò)多，出現(xiàn)了過(guò)擬合的現(xiàn)象；基于此選擇數(shù)據(jù)量更大的fer2013作為訓(xùn)練集，結(jié)果顯示，測(cè)試集上的準(zhǔn)確率受限于計(jì)算機(jī)性能，最高只能達(dá)到51.7%，基于此，最終選擇已經(jīng)在數(shù)據(jù)量龐大的數(shù)據(jù)集Imagenet上訓(xùn)練完成的Inception-v3進(jìn)行遷移學(xué)習(xí)，結(jié)果顯示，F(xiàn)ER2013測(cè)試集的準(zhǔn)確率達(dá)到80.4%。為避免負(fù)遷移的破壞性影響，設(shè)計(jì)改進(jìn)的遷移卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步將準(zhǔn)確率提高到了87.5%，并在泛化集上也取得了很好的效果，說(shuō)明設(shè)計(jì)的遷移卷積神經(jīng)網(wǎng)絡(luò)能夠很好地應(yīng)用于小樣本分類(lèi)問(wèn)題，且不會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，擴(kuò)大了CNN的應(yīng)用范圍，具有實(shí)際的應(yīng)用價(jià)值。

為了驗(yàn)證本文提出的遷移卷積網(wǎng)絡(luò)的有效性，將本文算法的人臉表情識(shí)別準(zhǔn)確率與其他已有算法在fer2013數(shù)據(jù)集上的準(zhǔn)確率進(jìn)行對(duì)比，包括隱馬爾可夫模型（HMM）、支撐向量機(jī)（SVM）[6]、Gabor小波變換[7]、深度置信網(wǎng)絡(luò)（DBN）、只包含一層3*3的卷積層的卷積神經(jīng)網(wǎng)絡(luò)（N1）、包含多層3*3及5*5的卷積神經(jīng)網(wǎng)絡(luò)（N2）、判別學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)[8]（DLCNN）（見(jiàn)表4）。結(jié)果表明，本文改進(jìn)的遷移卷積神經(jīng)網(wǎng)絡(luò)算法平均識(shí)別率提高了8.3%。

5 總結(jié)

本文首先利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建出卷積網(wǎng)絡(luò)模型完成人臉表情識(shí)別任務(wù)，在CK+數(shù)據(jù)集上進(jìn)行訓(xùn)練，通過(guò)調(diào)參，測(cè)試集達(dá)到了99.6%的準(zhǔn)確率，但是由于CK+數(shù)據(jù)集非常小，容易產(chǎn)生過(guò)擬合現(xiàn)象，主要表現(xiàn)在泛化集上的識(shí)別率僅有21%?；诖耍x擇了fer2013數(shù)據(jù)集進(jìn)行訓(xùn)練，在硬件設(shè)備的制約下，batch-size最大調(diào)節(jié)到1024，反復(fù)調(diào)節(jié)參數(shù)，網(wǎng)絡(luò)無(wú)法達(dá)到收斂，最高僅能達(dá)到57.8%。因此，為了使人臉表情識(shí)別技術(shù)應(yīng)用于小樣本數(shù)據(jù)集中采用了遷移網(wǎng)絡(luò)的學(xué)習(xí)方法，將在超大網(wǎng)絡(luò)數(shù)據(jù)集ImageNet上訓(xùn)練完成的大型網(wǎng)絡(luò)Inception_v3的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)遷移到人臉表情識(shí)別任務(wù)，修改全連接層完成七種表情的分類(lèi)，實(shí)驗(yàn)結(jié)果表明在FER2013數(shù)據(jù)集上的識(shí)別率達(dá)到了80.4%。進(jìn)一步，后設(shè)計(jì)了遷移卷積神經(jīng)網(wǎng)絡(luò)，在遷移網(wǎng)絡(luò)增加設(shè)計(jì)好的卷積層和池化層提取出和表情識(shí)別有關(guān)的信息，實(shí)驗(yàn)結(jié)果表明識(shí)別率提高到了87.5%。

參考文獻(xiàn)：

[1] Lanitis A.，IEEE Trans.PAMI， 1997， 19（7）：743-756.

[2] Bradski G R，IEEE Workshop Application of Computer Vision，1998：214-219.

[3] Lien J J J，CMU- RI- TR- 98- 31，Ph.D.dissertation，1998.

[4] 李思泉，張軒雄. 基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別研究[J].軟件導(dǎo)刊，2018（1）：28-31.

[5] Pan S J，Yang Q.A Survey onTransferLearning[J].IEEETransactions on Knowledge & Data Engineering，2010，22（10）：1345-1359.

[6] 陳偉宏. 基于SVM的人臉表情識(shí)別[J]. 科學(xué)技術(shù)與工程，2008， 8（21）：5850-5853.

[7] 王沖， 李一民. 基于Gabor小波變換的人臉表情識(shí)別[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2009，30（3）：643-646.

[8] Li Z.A discriminative learning convolutional neural network for facial expression recognition[C]//2017 3rd IEEE International Conference on Computer and Communications （ICCC）， Chengdu， 2017：1641-1646.

【通聯(lián)編輯：唐一東】