基于卷積神經(jīng)網(wǎng)絡的微表情識別

薛天坤

摘 要：卷積神經(jīng)網(wǎng)絡（CNN）是一類人工神經(jīng)網(wǎng)絡，對于處理復雜的人工智能問題展現(xiàn)了高效的特性，而對于微表情這類持續(xù)時間短，動作幅度小的模式識別提供了新契機。本文闡述了CNN在微表情模式識別上的應用，進行了不同構(gòu)建模型對該任務的特性分析，并開展了CNN在CPU下的優(yōu)化形式的特征分析。這包括了對整個網(wǎng)絡結(jié)構(gòu)的見解、卷積內(nèi)在算法的強度、不同的訓練方式對于網(wǎng)絡影響、其可擴展的特性以及運行的動態(tài)特性。在特征分析中，我們給出了自動網(wǎng)絡架構(gòu)優(yōu)化，這包括了高效的并行執(zhí)行和兩個卷積核傳播器，并且利用了此種卷積網(wǎng)絡在微表情應用上展現(xiàn)了較好的結(jié)果。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡；深度學習；微表情識別

中圖分類號：TP391 文獻標志碼：A

0 引言

微表情是當人受到某種情緒影響時做出的一種下意識動作，它反映了人最真實的感情，常常使人在不知不覺中暴露自己的內(nèi)在想法，從而讓謊言無處可逃，它是一種非常有效的非語言線索.一些了解測謊原理的人有可能很容易就能經(jīng)過測謊儀的考驗，但他們在經(jīng)過微表情檢測時，往往束手無策。

傳統(tǒng)方法對微表情識別率低，圖片預處理復雜。而深度學習能夠完成對數(shù)據(jù)的抽象，將底層特征組合映射到高層特征，在滿足可分性的同時具有更強的表征能力； CNN作為一種常見的深度學習結(jié)構(gòu)，是前沿的識別任務中常用的一種方法。隨著大量訓練數(shù)據(jù)的應用以及計算機運算能力的提高，CNN處理問題的結(jié)果顯得十分理想。CNN能自主進行特征提取以及識別精確性高且速度快，可以滿足實時性的要求。

CNN計算是密集的，特別是面對具有挑戰(zhàn)性任務。例如我們每次計算會有數(shù)以億計的浮點數(shù)計算，給我們帶來極大計算量，每次訓練需要迭代多次，因而可能完成整個過程需要幾天或者一周。本文通過不同的計算方式計算，不同的訓練模式測試，尋找最高效的網(wǎng)絡拓撲結(jié)構(gòu)；并且采取了并行CPU運行方式，Stencil-核和Sparse-核分析CNNs高性能的執(zhí)行方式，比較分析CNN的可擴展性能、輸出特性、計算強度特性。

1 傳統(tǒng)方法

目前已經(jīng)提出了多種應用于微表情識別的有效方法，如光流法，SVM、BP、CNN等。BP算法是一種局部搜索的優(yōu)化算法，但它要解決復雜函數(shù)的全局最優(yōu)解，因此效率低；Vapnik等人在多年研究統(tǒng)計學習理論的基礎上對線性分類器提出了一種新設計準則，支持向量機。支持向量機具有很好的推廣能力。但是SVM計算量過大，分類時間越長。而一張表情圖像的樣本數(shù)量常常數(shù)以萬計，因此它一般不能滿足實時性的要求；光流法應用于微表情識別，該方法能夠成功地捕獲微小表情變化、探測和區(qū)分宏表情和微表情。但值得注意的是，基于光流的方法需要一個恒定的光照條件，光流法計算量大，耗時長，在對實時性要求苛刻的情況下并不適用?？傊畟鹘y(tǒng)神經(jīng)網(wǎng)絡缺陷在于它們是基于啟發(fā)式特征提取的方法，需要設計者具備足夠的先驗知識，提取的特征往往是提取在研究對象中比較感興趣的部分，具有片面性，損失了大量的信息。

2 卷積神經(jīng)網(wǎng)絡

傳統(tǒng)的神經(jīng)網(wǎng)絡，是對于輸入的浮點數(shù)據(jù)陣列傳遞到每一層之中，層與層之間通過全連接權(quán)值相乘累加，再通過相應的非線性函數(shù)得到輸出結(jié)果。卷積神經(jīng)網(wǎng)絡建立在傳統(tǒng)神經(jīng)網(wǎng)絡基礎上。其與傳統(tǒng)神經(jīng)網(wǎng)絡不同之處在于，CNN每一層只和小區(qū)域相連接，被分為一組一組特征圖，所有特征圖對應相同輸入。由于使用該網(wǎng)絡不需要對原始圖像進行復雜的預處理，所以目前已在字符識別、圖像識別、表情分類等領(lǐng)域廣泛應用。它通過3種方式使網(wǎng)絡學習到的特征更具有魯棒性：局部感受野、權(quán)值共享和下采樣。

3 實驗設計

3.1 BP與SGD

在反向傳播算法提出之前人們應該想到了使用SGD學習模型，也想到了一些辦法求解網(wǎng)絡模型的偏導數(shù)，但這些算法求解效率比較低，所以提出反向傳播算法來更高效的計算偏導數(shù)。反向傳播利用鏈式法則，極大地加速了學習速度。

梯度下降（GD）是最小化損失函數(shù)的一種常用方法。隨機梯度下降（SGD）通過每個樣本來迭代更新一次。如果是樣本量很大的情況（例如幾十萬），對比批量梯度下降，迭代一次需要用到十幾萬訓練樣本，一次迭代不可能最優(yōu)，如果迭代10次的話就需要遍歷訓練樣本10次。

3.2 對每層特征的分析

下面通過對一張微表情圖像通過不同數(shù)量卷積池化層得到的輸出圖像進行特征分析與對比分析。經(jīng)過多次卷積、池化，得到了高級特征要點。這說明卷積池化結(jié)構(gòu)對微表情特征提取是有效的，成功測試了卷積神經(jīng)網(wǎng)絡應用于微表情特征提取時的高效性。

3.3 交叉訓練與非交叉訓練

在利用反向傳播對CNN的卷積核權(quán)重等進行訓練時，一般基于兩種方法，交叉訓練與非交叉訓練。非交叉訓練即在反向訓練時，一部分數(shù)據(jù)只用來訓練，另一部分數(shù)據(jù)只用來測試；而交叉訓練則是數(shù)據(jù)中有一部分既用來訓練，又用來測試。下面通過圖像來展示交叉訓練的優(yōu)勢。

3.4 卷積神經(jīng)網(wǎng)絡最佳層數(shù)尋找

對于一般的卷積神經(jīng)網(wǎng)絡，隨著卷積層數(shù)的增加，網(wǎng)絡復雜度增大，意味著最終提取出的數(shù)據(jù)會更加抽象和高級，能夠完成更大規(guī)模的學習，對原始圖像識別的準確率更高。若要增加層數(shù)使網(wǎng)絡更復雜，增加隱層的數(shù)目和單純的增加隱層神經(jīng)元的個數(shù)都可達到目的，但增加隱層的數(shù)目比增加隱層神經(jīng)元數(shù)目更加有效，因為增加隱層數(shù)目不僅增加了擁有激活函數(shù)的神經(jīng)元個數(shù)，還增加了激活函數(shù)嵌套的層數(shù)；但是，隨著層數(shù)增加，所需的卷積核權(quán)重，也就是所需的訓練參數(shù)變多，這需要更長訓練時間，甚至會使計算復雜化，降低正確率。針對這個矛盾的問題，下面進行實驗，通過比較隨層數(shù)增多，識別錯誤率的變化情況以及所需訓練時間長短，試圖尋找最優(yōu)層數(shù)方案。

表1設計了四組實驗對照，分別代表4種復雜程度不同的網(wǎng)絡結(jié)構(gòu)，前兩組都有3個卷積層和3個池化層，但兩組每層卷積核幅數(shù)不同；后兩組都有兩個卷積層和兩個池化層，兩組每層卷積核幅數(shù)也不同。對比各組實驗結(jié)果不難看出，最優(yōu)的神經(jīng)網(wǎng)絡模型是第一組。而且也可以發(fā)現(xiàn)：過于簡單的模型，因為參數(shù)較少，無法擬合訓練數(shù)據(jù)；過于復雜的模型，因為參數(shù)太多，容易過度擬合訓練數(shù)據(jù)，降低泛化能力。

我們再看下一個小實驗的結(jié)果，如圖1所示，虛線代表了出現(xiàn)錯誤的個數(shù)，通過觀察其走勢，我們發(fā)現(xiàn)，當層數(shù)達到5層～10層中某一層時，隨著訓練時間增加，識別錯誤的概率減小得越來越慢，最后甚至不再減小。說明層數(shù)增加到這一層時，已經(jīng)達到了較高正確率，且該正確率幾乎不再隨層數(shù)增加而變化，那么這時再試圖通過增加層數(shù)來提高正確率，就沒有意義了。

4.5 卷積加速

通過了GEMM-IN-Parallel，通過多核提高了卷積計算在硬件上的可擴展特性，實現(xiàn)了多工作單線程工作，實現(xiàn)了并行的運算方式，每個核心之間是相互獨立的。我們分析了每個核心數(shù)的并行特性，增加了核的數(shù)量，觀察計算伸縮性能的變化。表明了隨著核增加計算性能的變化，表明了隨著核增加計算加速情況。圖1是沒加速地隨著核增加計算性能比較。

結(jié)語

本文首先比較了深度學習中卷積神經(jīng)網(wǎng)絡相對于傳統(tǒng)神經(jīng)網(wǎng)絡在微表情識別特征提取的優(yōu)勢，即通過權(quán)值共享、局部感受野、下采樣過程使特征提取有更高的魯棒性和正確率。

利用了基礎的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，對深度學習在微表情識別領(lǐng)域進行了探索和實驗，主要基于4個方面對算法進行討論和認知：（1）BP和SGD算法優(yōu)勢簡述；（2）通過比較交叉訓練和非交叉訓練，展示了交叉訓練的優(yōu)勢；（3）構(gòu)建不同規(guī)模、不同復雜程度的CNN模型進行訓練；（4）實驗通過加入兩個不同的計算核提高了計算速率并保證了計算正確率。實驗結(jié)果表明，相比于傳統(tǒng)算法，本文的方法對微表情識別這一任務有更優(yōu)秀的表現(xiàn)。本文中CNN模型高度適用于一幀幀圖像的識別，但對于較長的視頻識別能力弱，也就是說，CNN對于短至幾微秒的微表情識別水平高，但遇到持續(xù)時間較長的微表情或動作則表現(xiàn)不優(yōu)秀。

參考文獻

[1]劉宇灝.微表情識別的理論和方法研究[D].江蘇：東南大學，2016.

[2]賁晛燁，楊明強，張鵬，等.微表情自動識別綜述[J].計算機輔助設計與圖形學學報，2014，26（9）：1385-1395.

[3]施徐敢.基于深度學習的人臉表情識別[D].浙江：浙江理工大學，2015.

[4]牛新亞.基于深度學習的人臉表情識別研究[D].廣東：華南理工大學，2016.

[5]陶勤勤.基于卷積神經(jīng)網(wǎng)絡和改進支持向量機的人臉檢測[D].安徽：合肥工業(yè)大學，2016.

[6]唐爽.基于深度神經(jīng)網(wǎng)絡的微表情識別[J].電子技術(shù)與軟件工程，2017（3）：93-95.

[7]羅翔云，周曉慧，付克博.基于深度學習的人臉表情識別[J].工業(yè)控制計算機，2017，30（5）：92-93.