結(jié)合多特征和跨連通道加權(quán)的面部表情識(shí)別

柳 璇，唐穎軍，黃淑英

(江西財(cái)經(jīng)大學(xué) 軟件與物聯(lián)網(wǎng)工程學(xué)院，南昌 330032)

1 引 言

面部表情能夠傳遞人內(nèi)在的情感信息，是人類表達(dá)情感的主要方式.由于人的面部表情比其他情感信號(hào)更易獲得，因此面部表情識(shí)別一直是備受關(guān)注的研究熱點(diǎn)，并且應(yīng)用到心理分析、臨床醫(yī)學(xué)、車輛監(jiān)控、遠(yuǎn)程教育等領(lǐng)域.

面部表情識(shí)別的過程可分為圖像預(yù)處理、特征的提取、表情分類3個(gè)步驟.其中特征的提取是面部表情識(shí)別過程中的關(guān)鍵步驟.傳統(tǒng)的表情特征提取方法主要分為兩類，紋理特征提取和幾何特征提取.紋理特征提取方法有Gabor 小波變換[1]、尺度不變的特征變換(SIFT)[2]和局部二值模式(LBP)[3]等.幾何特征提取方法主要利用面部動(dòng)作單元變化較大的特征點(diǎn)來描述幾何變化.但是人工提取特征存在識(shí)別性能有限，并且泛化能力不足的問題.

隨著深度學(xué)習(xí)的快速發(fā)展，面部表情識(shí)別的研究出現(xiàn)了許多新的方法.在大多數(shù)情況下，卷積神經(jīng)網(wǎng)絡(luò)CNN需要大量的訓(xùn)練數(shù)據(jù)才能提取有效的特征.但是目前面部表情數(shù)據(jù)集數(shù)量有限，而手工特征的提取不需要大規(guī)模數(shù)據(jù)的訓(xùn)練，因此將手工特征和深度學(xué)習(xí)結(jié)合起來的方法受到關(guān)注.Connie等[4]將SIFT特征與CNN 特征相結(jié)合取得了較好的性能.但是，對(duì)于模糊的圖像而言，SIFT特征檢測(cè)出的特征點(diǎn)過少，有可能降低該類方法識(shí)別的精度.Yang等[5]提出一個(gè)基于面部灰度圖和LBP特征圖的雙通道網(wǎng)絡(luò).將面部灰度圖像輸入預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)，LBP特征圖輸入淺層CNN網(wǎng)絡(luò),兩個(gè)通道的輸出以加權(quán)方式融合成最后的特征進(jìn)行分類.Kim等[6]提出了一種可以對(duì)結(jié)果(最常見的2個(gè)錯(cuò)誤情感)進(jìn)行重新分類的分層深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).這個(gè)結(jié)構(gòu)主要分為基于外觀特征和基于運(yùn)動(dòng)特征的網(wǎng)絡(luò).基于外觀特征的網(wǎng)絡(luò)使用LBP圖像來學(xué)習(xí)整體特征，基于運(yùn)動(dòng)特征的網(wǎng)絡(luò)學(xué)習(xí)面部特征點(diǎn)的變化.夏添等[7]提出了一種利用面部特征點(diǎn)識(shí)別表情序列的方法，該方法將特征點(diǎn)坐標(biāo)輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在降低時(shí)間復(fù)雜度的同時(shí)取得了較好的識(shí)別效果.神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率受訓(xùn)練樣本的影響，當(dāng)訓(xùn)練樣本不充足時(shí)會(huì)影響最終的識(shí)別效果.手工特征與深度學(xué)習(xí)相結(jié)合可以使神經(jīng)網(wǎng)絡(luò)在小樣本數(shù)據(jù)集上也有較好的表現(xiàn).

雖然神經(jīng)網(wǎng)絡(luò)依據(jù)輸入的樣本可以自動(dòng)學(xué)習(xí)表情特征，但是表情特征的提取依然受多種因素的影響.考慮到場(chǎng)景、主體身份、不同尺度和層次等因素影響下表情特征的特點(diǎn)可以提高面部表情識(shí)別算法的魯棒性和準(zhǔn)確率.Zhang等[8]提出了一種基于多尺度的全局圖像和局部面部圖像的方法,顯著提高了面部表情識(shí)別的性能.Jan等[9]提出了一種融合面部不同部分特征的方法，提取眉毛、眼睛、鼻子、嘴4個(gè)部分的紋理圖和深度圖，分別通過四個(gè)預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)最后進(jìn)行特征融合.該方法在3D表情數(shù)據(jù)庫上取得了不錯(cuò)的識(shí)別率.李勇等[10]提出了用一種跨層連接的改進(jìn)LeNet-5模型，該方法將低層次特征與高層次特征進(jìn)行了結(jié)合，但是產(chǎn)生了大量冗余特征.Yang等[11]提出了一種利用條件生成式對(duì)抗網(wǎng)絡(luò)CGAN生成輸入圖像對(duì)應(yīng)的基本表情圖像，在特征空間判斷輸入圖像與生成圖像距離進(jìn)而實(shí)現(xiàn)分類的方法.但是該方法要求數(shù)據(jù)集有配對(duì)的圖像.Li[12]等提出了一種面部遮擋情況下表情識(shí)別的方法，該方法利用注意力機(jī)制使網(wǎng)絡(luò)關(guān)注未遮擋的部分從而提高識(shí)別效果.

綜上所述，本文設(shè)想提出一種結(jié)合手工特征和深度學(xué)習(xí)特征的方法，首先獲取表情圖像的灰度圖、LBP特征圖和Sobel算子特征圖，合并為三通道特征圖作為網(wǎng)絡(luò)的輸入.將灰度圖與兩種手工特征圖合并輸入可以避免完全依賴手工特征的提取進(jìn)而影響分類效果的問題，也可減輕神經(jīng)網(wǎng)絡(luò)需要大規(guī)模訓(xùn)練數(shù)據(jù)才能有效提取特征的弊端.此外，本文設(shè)想提出一種跨連通道加權(quán)模塊，該模塊以深度可分離卷積[13]為基礎(chǔ)，利用通道加權(quán)建模不同通道特征之間的關(guān)系.通過將不同的層次和不同通道之間權(quán)重不同的特征進(jìn)行連接，更加高效地進(jìn)行不同卷積層之間和不同通道之間特征的融合.

2 相關(guān)工作

2.1 深度可分離卷積

卷積核的主要作用是提取輸入樣本的特征.標(biāo)準(zhǔn)的卷積使用的是三維的卷積核.深度可分離卷積將標(biāo)準(zhǔn)的卷積分為兩個(gè)過程，深度卷積和點(diǎn)卷積，如圖1所示.深度卷積首先保持通道之間獨(dú)立，在空間維度上進(jìn)行卷積，從而獲得了每個(gè)通道的空間特征.點(diǎn)卷積是按照深度方向進(jìn)行卷積，得到新的通道空間.

圖1 標(biāo)準(zhǔn)卷積與深度可分離卷積結(jié)構(gòu)Fig.1 Standard convolution and depth separable convolution structure

假設(shè)輸入圖的尺寸為H×W×C,卷積核大小為K×K，數(shù)量為N，進(jìn)行標(biāo)準(zhǔn)卷積所需要的參數(shù)量為K×K×C×N×H×W，進(jìn)行深度可分離卷積所需要的參數(shù)量為K×K×1×C×H×W+1×1×C×N×H×W，由于輸入圖像H和W相等，則可得出深度可分離卷積與標(biāo)準(zhǔn)卷積參數(shù)量之比為

由此可見，深度可分離卷積與標(biāo)準(zhǔn)卷積相比大大減少了參數(shù)量，可以提高運(yùn)算效率，減少訓(xùn)練和識(shí)別的時(shí)間.因此，本文設(shè)想使用深度可分離卷積代替標(biāo)準(zhǔn)卷積.

2.2 SE模塊

SE(Squeeze-and-Excitation)模塊[14]可以建模特征圖各個(gè)通道之間的依賴關(guān)系，從而提升網(wǎng)絡(luò)的特征學(xué)習(xí)能力.該模塊結(jié)構(gòu)如圖2所示，首先通過全局平均池化獲得全局信息，其次利用兩個(gè)全連接層進(jìn)行學(xué)習(xí)并融合各通道的信息，學(xué)習(xí)每個(gè)通道的重要程度，然后經(jīng)過sigmoid得到各通道的權(quán)重，最后與原圖進(jìn)行相乘輸出，得到最終的通道加權(quán)的特征圖.

圖2 SE結(jié)構(gòu)Fig.2 Squeeze-and-excitation module

在網(wǎng)絡(luò)中引入SE模塊，可以在增加有限計(jì)算量的同時(shí)對(duì)不同的通道特征按照重要程度分配不同的權(quán)重，有選擇性地增強(qiáng)有價(jià)值的特征.因此本文設(shè)想采用SE模塊來提高對(duì)不同通道特征的利用率，通過神經(jīng)網(wǎng)絡(luò)對(duì)灰度圖、LBP特征圖和Sobel算子特征圖構(gòu)成的三通道特征圖進(jìn)行權(quán)值的學(xué)習(xí)和分配，以實(shí)現(xiàn)手工特征和深度學(xué)習(xí)特征之間的結(jié)合.

3 本文工作

神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過程中會(huì)產(chǎn)生不同層次的特征，跨層連接的網(wǎng)絡(luò)實(shí)現(xiàn)了不同層次特征的有效復(fù)用，然而沒有考慮到不同通道之間重要程度的差異，本文設(shè)想將不同通道和層次的特征充分利用，同時(shí)結(jié)合手工特征與深度學(xué)習(xí)的優(yōu)勢(shì)，設(shè)計(jì)基于跨連通道加權(quán)模塊的深度可分離卷積網(wǎng)絡(luò).首先通過面部檢測(cè)去除表情圖片中與主體無關(guān)的背景信息.其次對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)，從而減輕小數(shù)據(jù)集產(chǎn)生過擬合現(xiàn)象的可能性.然后對(duì)面部表情圖像進(jìn)行人工特征提取與融合，將灰度圖與兩個(gè)手工特征圖合并為三通道特征圖作為最終的網(wǎng)絡(luò)輸入.最后將融合的特征圖輸入跨連通道加權(quán)網(wǎng)絡(luò)，訓(xùn)練得到最終的面部表情分類模型.

3.1 數(shù)據(jù)集預(yù)處理

3.1.1 面部檢測(cè)

面部表情的產(chǎn)生主要由眉毛、眼睛、鼻子、嘴巴及其周圍的動(dòng)作變化而形成.因此，面部表情的識(shí)別主要集中在對(duì)這四個(gè)部位及其周圍的特征的識(shí)別.一張圖像往往包含較多與面部無關(guān)的背景信息，直接輸入進(jìn)網(wǎng)絡(luò)會(huì)造成對(duì)表情識(shí)別的效果造成干擾，所以首先對(duì)圖片利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)MTCNN對(duì)人臉進(jìn)行的識(shí)別和裁剪，去除與主體無關(guān)的信息，如圖3所示.

圖3 面部檢測(cè)示例Fig.3 Face detection example

3.1.2 數(shù)據(jù)集增強(qiáng)

面部表情數(shù)據(jù)集樣本數(shù)量有限，訓(xùn)練時(shí)數(shù)據(jù)量太小可能造成網(wǎng)絡(luò)過擬合，導(dǎo)致在實(shí)際測(cè)試過程中達(dá)不到良好的效果.因而將從模擬真實(shí)情景方面著手,對(duì)圖像進(jìn)行預(yù)處理提高數(shù)據(jù)集數(shù)量.通過對(duì)圖像不同區(qū)域裁切生成新圖像，將對(duì)比度、亮度以及銳度以特定參數(shù)進(jìn)行縮放，將圖像進(jìn)行左右翻轉(zhuǎn)等方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，如圖4所示.

圖4 數(shù)據(jù)集增強(qiáng)示例Fig.4 Dataset enhancement example

3.2 人工特征提取與融合

面部表情識(shí)別的關(guān)鍵是特征的提取，特征提取的優(yōu)劣直接影響著最終的識(shí)別結(jié)果.不同的特征提取算子具有不同的優(yōu)點(diǎn).LBP特征具有灰度不變性，在描述紋理特征方面具有良好的性能.Sobel算子方法簡(jiǎn)單，能夠較快地得到光滑且連續(xù)的邊緣.單一使用某種特征無法應(yīng)對(duì)亮度、尺度等問題，將表情的不同特征進(jìn)行融合可以有效的解決這個(gè)問題.

在輸入網(wǎng)絡(luò)之前，如果表情圖像為RGB圖像，則首先獲得圖像的灰度圖，灰度圖有利于面部整體信息的獲取.在灰度圖的基礎(chǔ)上獲得LBP特征和Sobel算子特征兩個(gè)手工特征.LBP特征圖可以使面部與表情相關(guān)的區(qū)域的特征更加顯著，有利于圖像中面部表情細(xì)節(jié)信息的獲取.Sobel算子特征補(bǔ)充邊緣信息.將這3個(gè)圖像分別作為RGB三個(gè)通道后進(jìn)行合并得到最終的特征圖，如圖5所示，使得網(wǎng)絡(luò)更傾向于獲得與表情變化相關(guān)的特征.

圖5 人工提取特征的融合Fig.5 Fusion of artificial features

3.3 基于跨連通道加權(quán)網(wǎng)絡(luò)設(shè)計(jì)

3.3.1 跨連通道加權(quán)模塊

在網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)計(jì)圖6所示跨連通道加權(quán)模塊，可以調(diào)整通道之間的依賴關(guān)系，提高網(wǎng)絡(luò)對(duì)不同通道特征的表達(dá)能力和對(duì)不同層次特征學(xué)習(xí)能力.該模塊以深度可分離卷積和通道加權(quán)結(jié)構(gòu)為基礎(chǔ).首先對(duì)輸入圖像進(jìn)行深度可分離卷積，對(duì)通道數(shù)進(jìn)行擴(kuò)大，假設(shè)輸入圖X，大小為W×H，通道數(shù)為N，進(jìn)行深度可分離卷積后得到S，大小為W×H，通道數(shù)為C.輸入圖像進(jìn)行卷積后分為兩個(gè)分支，一支為通道加權(quán)部分，一支為特征提取部分.

圖6 跨連通道加權(quán)模塊Fig.6 Cross-connect weighted channel module

通道加權(quán)部分以SE模塊為基礎(chǔ)，首先進(jìn)行全局平均池化得到各個(gè)通道的全局信息，那么對(duì)于特征圖上的任意通道C，可得到如公式(1)所示:

(1)

然后通過全連接層1縮小4倍通道數(shù)、ReLU激活函數(shù)、全連接層2擴(kuò)大至原來的通道數(shù)，通過學(xué)習(xí)不同通道之間的關(guān)系，獲得不同通道之間重要程度的權(quán)重.隨后經(jīng)過sigmoid函數(shù)激活，可得到如公式(2)所示，將各個(gè)通道的權(quán)值范圍控制在0-1范圍內(nèi).

M=σ(W2ReLU(W1K))

(2)

最后與原始特征S相乘，得到通道加權(quán)后的特征圖，對(duì)于任意通道可得到如公式(3)所示:

(3)

經(jīng)過SE模塊后，進(jìn)行最大池化，在減小特征的同時(shí)保留紋理信息，輸出為如公式(4)所示:

S′(maxpool)=Maxpooling2×2(S′)

(4)

特征提取部分以深度可分離卷積為基礎(chǔ).對(duì)輸入圖像S池化后進(jìn)行深度可分離卷積，將通道數(shù)擴(kuò)大至原來的兩倍，提高網(wǎng)絡(luò)的表達(dá)能力，然后利用ReLU函數(shù)進(jìn)行激活.最后輸出Z，大小為W/2×H/2，通道數(shù)為2C.

Y=Concatenate[S′(maxpool),Z]

(5)

3.3.2 網(wǎng)絡(luò)模型設(shè)計(jì)

本文所采用模型如圖7所示，其中輸入為面部表情圖像，輸出為每種基本表情的概率，最終確定概率最大的表情為預(yù)測(cè)表情.該模型主要由跨連通道加權(quán)模塊、全連接層以及softmax層構(gòu)成，網(wǎng)絡(luò)共包含4個(gè)深度可分離卷積層、5個(gè)池化層、2個(gè)特征加權(quán)模塊(SE模塊)、2個(gè)全連接層、1個(gè)softmax層.對(duì)于不同的表情圖像，均輸入經(jīng)過人工特征融合的三

圖7 基于跨連通道加權(quán)網(wǎng)絡(luò)Fig.7 Cross-connect weighted channel network

通道特征圖，大小為256×256.卷積核大小均為3×3，相較于使用大的卷積核可以獲得更多的特征信息.每次進(jìn)行深度可分離卷積后使用ReLU激活函數(shù)進(jìn)行激活.第一層全連接層共包含512個(gè)神經(jīng)元，第2層全連接層共包含128個(gè)神經(jīng)元.最后一層輸出經(jīng)由softmax輸出6個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，即每個(gè)基本表情的概率大小.

4 實(shí)驗(yàn)結(jié)果分析與比較

4.1 實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)在Windows平臺(tái)下基于TensorFlow框架對(duì)所提出的算法進(jìn)行實(shí)驗(yàn)分析，計(jì)算及配置為Intel i7處理器、16G內(nèi)存、NVIDIA GeForce MX150顯卡、2G顯存，并安裝有Python3.6.

4.2 數(shù)據(jù)集

為了使實(shí)驗(yàn)結(jié)果更加準(zhǔn)確，本文采用CK+數(shù)據(jù)集[15]和JAFFE[16]數(shù)據(jù)集進(jìn)行分析.

CK+數(shù)據(jù)集：該數(shù)據(jù)庫包括來自123個(gè)被試者的593個(gè)圖像序列，其中327個(gè)序列有表情標(biāo)簽.本文選擇有表情標(biāo)簽的序列中6種基本表情的三個(gè)峰值圖像，共927張圖像.采用數(shù)據(jù)增強(qiáng)策略對(duì)樣本擴(kuò)充至原來的10倍，得到9270張圖像.

JAFFE數(shù)據(jù)集：該數(shù)據(jù)庫包括來自10個(gè)被試者的6種基本表情以及中性表情，本文選擇6種基本表情中的圖像，共183張圖像.采用數(shù)據(jù)增強(qiáng)策略，對(duì)樣本擴(kuò)充至原來的60倍，得到10980張圖像.

4.3 實(shí)驗(yàn)結(jié)果分析

面部表情識(shí)別實(shí)驗(yàn)在訓(xùn)練過程中采用隨機(jī)初始化權(quán)重和偏置的方法，初始學(xué)習(xí)率為0.001.CK+數(shù)據(jù)庫和JAFFE數(shù)據(jù)庫都采用了十折交叉驗(yàn)證的方法，將數(shù)據(jù)集樣本分為10份，每次取其中的9份作為訓(xùn)練集，剩下的1份作為測(cè)試集，對(duì)10次測(cè)試的準(zhǔn)確率求平均值作為整個(gè)數(shù)據(jù)集的最終結(jié)果，以混淆矩陣形式呈現(xiàn).

由表1可知，在CK+數(shù)據(jù)集上關(guān)于憤怒和高興的識(shí)別率達(dá)到了100%，而厭惡、恐懼、悲傷和驚訝的識(shí)別率則出現(xiàn)了不同程度的下降.由表2可知，在JAFFE數(shù)據(jù)集上，憤怒的識(shí)別率最高，而厭惡、高興和悲傷出現(xiàn)了一定程度的交叉，恐懼的識(shí)別率最低.由于JAFFE數(shù)據(jù)集樣本數(shù)量少，進(jìn)行擴(kuò)充也容易產(chǎn)生過擬合現(xiàn)象，這可能是導(dǎo)致最終準(zhǔn)確率低于CK+數(shù)據(jù)集的原因.根據(jù)混淆矩陣六種基本表情的識(shí)別率表明，提出的跨連通道加權(quán)網(wǎng)絡(luò)能夠很好地學(xué)習(xí)到CK+數(shù)據(jù)集和JAFFE數(shù)據(jù)集的特征，保持了較高的準(zhǔn)確率.

表1 CK+數(shù)據(jù)集混淆矩陣Table 1 CK+ dataset confusion matrix

表2 JAFFE數(shù)據(jù)集混淆矩陣Table 2 JAFFE dataset confusion matrix

4.4 模塊有效性分析

為了證明將三通道特征圖與跨連通道加權(quán)模塊相結(jié)合在表情識(shí)別方法上的作用，本文做了一組對(duì)比實(shí)驗(yàn)，分別為將灰度圖輸入跨連通道加權(quán)網(wǎng)絡(luò)和三通道特征圖輸入跨連通道加權(quán)網(wǎng)絡(luò).訓(xùn)練步數(shù)為1000次，batch大小為100，學(xué)習(xí)率為0.001，圖8和圖9為兩種方法隨著步數(shù)變化的準(zhǔn)確率的對(duì)比，可以看出，在一定迭代次數(shù)內(nèi)，采用三通道的方法準(zhǔn)確率得到了更加快速的提升，說明本文結(jié)合三通道特征和跨連通道加權(quán)模塊的方法比原來使用灰度圖輸入網(wǎng)絡(luò)的方法更加高效.

在CK+數(shù)據(jù)集上將單通道灰度圖像輸入網(wǎng)絡(luò)，進(jìn)行十折交叉驗(yàn)證，各個(gè)表情分類的最終準(zhǔn)確率與三通道特征圖對(duì)比如圖10所示.在恐懼和悲傷這兩類易錯(cuò)表情上，正確分類的概率有了明顯的提高.可以看出，將三通道特征圖輸入跨連通道加權(quán)網(wǎng)絡(luò)有利于表情分類準(zhǔn)確率的提升.

圖8 灰度圖準(zhǔn)確率 變化曲線Fig.8 Grayscale accuracy curve圖9 三通道特征圖準(zhǔn)確率變化曲線Fig.9 Three-channel feature mapaccuracy curve

圖10 灰度圖與三通道準(zhǔn)確率對(duì)比Fig.10 Comparison of grayscale and three-channel accuracy

4.5 實(shí)驗(yàn)結(jié)果對(duì)比

為了證明本文方法具有有效性，將近期不同方法在CK+和JAFFE數(shù)據(jù)集上的準(zhǔn)確率與本文方法進(jìn)行對(duì)比，如表3和表4所示.在CK+數(shù)據(jù)集上，本文與基于跨連接的LeNet-5網(wǎng)絡(luò)[10]和基于Inception結(jié)構(gòu)的網(wǎng)絡(luò)[17]相比，識(shí)別效果取得了較大的提升.譚小慧等[18]采用多尺度細(xì)節(jié)增強(qiáng)的方法準(zhǔn)確率達(dá)98.19%.Connie等人[4]提出CNN和SIFT結(jié)合的方法達(dá)到99.1%左右.本文方法6類基本表情識(shí)別率達(dá)99.77%.

表3 CK+數(shù)據(jù)集準(zhǔn)確率對(duì)比Table 3 Comparison of CK+ dataset accuracy

表4 JAFFE數(shù)據(jù)集準(zhǔn)確率對(duì)比Table 4 Comparison of JAFFE dataset accuracy

在JAFFE數(shù)據(jù)集上，與基于跨連接的LeNet-5網(wǎng)絡(luò)[10]相比，取得了不錯(cuò)的識(shí)別效果.胡敏等人[19]提出的融合局部紋理和形狀特征的方法，準(zhǔn)確率達(dá)到98.10%.張瑞等[20]基于稀疏特征挑選和概率線性判別分析的方法達(dá)到98.57%，He等[21]基于幾何和紋理特征的方法達(dá)到98.75%.本文方法6類基本表情識(shí)別率達(dá)99.48%.由表3和表4可知，本文方法具有一定的優(yōu)勢(shì).本文方法將手工特征與深度學(xué)習(xí)特征相結(jié)合，通過跨連通道加權(quán)模塊實(shí)現(xiàn)對(duì)特征的有效利用.

5 結(jié)束語

本文提出了一種結(jié)合多特征和跨連通道加權(quán)的表情識(shí)別方法.將多通道特征圖作為網(wǎng)絡(luò)的輸入，以跨連通道加權(quán)模塊為基礎(chǔ)構(gòu)建網(wǎng)絡(luò)，減少了網(wǎng)絡(luò)層數(shù).實(shí)驗(yàn)表明，該方法在CK+、JAFFE數(shù)據(jù)集上識(shí)別率實(shí)現(xiàn)了提升.然而當(dāng)前工作中采用的數(shù)據(jù)集多為正面清晰的表情圖像，在今后的工作中，將利用多尺度信息進(jìn)一步實(shí)現(xiàn)復(fù)雜情境下面部表情識(shí)別的研究.