基于生成對(duì)抗網(wǎng)絡(luò)的遮擋人臉表情識(shí)別方法研究

陳 姣，劉小紅

（湖南信息學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院軟件工程系，長沙 410151）

0 引言

人臉表情是生活中最常見的一種信息傳遞方式，在有關(guān)情感的信息中，面部表情占總體表情量的55%，面部表情蘊(yùn)含著人物的內(nèi)心深處的心理活動(dòng)變化，所謂的 “察言觀色” 就表明人臉表情包含了非常多的信息，通過人臉表情就能很直觀地獲取別人的情感狀態(tài)。

人臉表情識(shí)別（FER）是近幾年人工智能領(lǐng)域的熱門話題，F(xiàn)ER 在虛擬現(xiàn)實(shí)、計(jì)算機(jī)視覺、人臉支付、視頻會(huì)議和心理學(xué)等領(lǐng)域具有廣泛的應(yīng)用。比如：通過實(shí)時(shí)表情監(jiān)測(cè)可以判斷駕駛員是否處于疲勞狀態(tài)，應(yīng)時(shí)發(fā)出相關(guān)提醒，以減少交通事故發(fā)生。 自動(dòng)人臉表情識(shí)別（AFER）通過監(jiān)測(cè)人臉表情，來判斷用戶的情感狀態(tài)，并且以此為依據(jù)來創(chuàng)建自適應(yīng)環(huán)境，比如：遠(yuǎn)程教學(xué)中可以通過監(jiān)測(cè)學(xué)生的表情，獲得當(dāng)時(shí)比較真實(shí)的學(xué)習(xí)狀態(tài)，輔助學(xué)生和老師更好地掌握學(xué)習(xí)情況。又如在審訊過程中警察也可以通過表情來檢測(cè)，排除一些潛在性的欺騙。在解決心理困擾時(shí)，可以通過分析表情來獲取更為真實(shí)的信息［1］。

當(dāng)下人臉表情識(shí)別多是在無遮擋的表情庫中進(jìn)行分析的，如果想結(jié)合實(shí)際生活來研究表情識(shí)別技術(shù)并推廣到日常生活，就必須要考慮現(xiàn)實(shí)中人臉遮擋的問題。有些人覺得戴上口罩或墨鏡就可以遮擋住自己面部的某些器官，在此情況下就無法得到表情的全部特征，因此可以隱藏自己的內(nèi)心世界。但越來越多人員開始對(duì)人臉去遮擋情況進(jìn)行研究，即使遮擋物隱藏掉了面部的部分內(nèi)容，還是可以通過算法進(jìn)行還原。

1 直接舍棄和填補(bǔ)

目前去遮擋的思想有兩種：直接舍棄和填補(bǔ)。

關(guān)于舍棄法，如果是圖像邊緣或者是無關(guān)信息的背景缺失，舍棄法則完全不會(huì)影響識(shí)別結(jié)果，但是，很多時(shí)候圖像中缺失的區(qū)域很有可能是決定表情類別的五官關(guān)鍵所在，例如眼睛、眉毛、嘴巴和鼻子等。那么舍棄法會(huì)直接導(dǎo)致表情特征的大部分流失，這樣的圖像無論有多么精準(zhǔn)的特征提取以及分類算法都無濟(jì)于事。因此，以舍棄法為基礎(chǔ)的遮擋圖像表情識(shí)別系統(tǒng)不可能達(dá)到一個(gè)較高的識(shí)別率。與之相比，填補(bǔ)法就可靠很多，填補(bǔ)法更多是以某種學(xué)習(xí)算法為基礎(chǔ)，通過學(xué)習(xí)殘缺圖像中的像素信息和圖像結(jié)構(gòu)信息來還原缺失部分，最具有代表性的是卷積神經(jīng)網(wǎng)絡(luò)［2］，以此為基礎(chǔ)的識(shí)別系統(tǒng)能夠處理還原后的整張人臉圖像，當(dāng)殘缺區(qū)域面積合適時(shí)，用填補(bǔ)法有較高的識(shí)別結(jié)果［3?4］。

但是，卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和還原圖像的能力受到了遮擋區(qū)域的大小限制，當(dāng)遮擋區(qū)域過大時(shí)，學(xué)習(xí)網(wǎng)絡(luò)將不能捕捉到正確的像素和結(jié)構(gòu)信息，這種情況下能夠還原的情緒狀態(tài)或是五官形狀與原始圖像相比較都存在很大差別。2014 年，創(chuàng)新又實(shí)用的生成對(duì)抗網(wǎng)絡(luò)（GAN）的生成算法為人工智能技術(shù)帶來了新的突破。該算法將博弈論引入到損失函數(shù)中，在不斷對(duì)抗的過程中逐漸形成了系統(tǒng)的學(xué)習(xí)和生成能力，由于其出色的表現(xiàn)力，近年來在圖像生成、重建圖像高分辨率、圖像復(fù)原等領(lǐng)域被廣泛應(yīng)用。

本文認(rèn)為用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行人臉去遮擋會(huì)取得更好的效果，所以將生成對(duì)抗網(wǎng)絡(luò)作為遮擋圖像填補(bǔ)算法的基礎(chǔ)，通過分析其原理與不足設(shè)計(jì)出改進(jìn)方案。

2 生成對(duì)抗網(wǎng)絡(luò)的基本原理

生成對(duì)抗網(wǎng)絡(luò)是博弈論和機(jī)器學(xué)習(xí)相結(jié)合的產(chǎn)物，在2014年由Goodfellow 等［5］提出，一經(jīng)問世即廣受歡迎，可見人們對(duì)于這種算法的認(rèn)可。如果要更詳細(xì)地了解GAN，就需要知道它是怎么來的，以及這種算法能體現(xiàn)什么價(jià)值，存在的意義是什么。研究者最初想法是通過它完成計(jì)算機(jī)自動(dòng)生成數(shù)據(jù)的功能，例如通過訓(xùn)練某種算法模型，使該模型通過學(xué)習(xí)一些蘋果的圖片，然后自動(dòng)生成蘋果的圖片，具備這些功能的算法被認(rèn)為具有生成功能。但GAN 不是第一個(gè)生成算法，而是以往的生成算法在衡量生成圖片與真實(shí)圖片之間的差距時(shí)采用均方誤差作為損失函數(shù)，但是研究者發(fā)現(xiàn)有時(shí)均方誤差一樣的兩張生成圖片的效果卻大相徑庭。針對(duì)此不足， Goodfellow等［5］提出了GAN。

如圖1所示，GAN 由兩個(gè)模型組成：生成模型G和判別模型D。首先第一代生成模型1G的輸入是隨機(jī)噪聲z，然后生成模型會(huì)生成一張初級(jí)照片，訓(xùn)練一代判別模型1D并進(jìn)行二次分類操作，將生成的圖片判別為0，而真實(shí)圖片判別為1；為了隱瞞一代判別器，一代生成模型開始進(jìn)行優(yōu)化，然后進(jìn)階成二代模型，當(dāng)它生成的數(shù)據(jù)成功隱瞞1D時(shí)，判別模型也會(huì)優(yōu)化更新，進(jìn)而升級(jí)為2D，按照相同的過程會(huì)不斷更新出N代的G和D。直到最后一代D再也區(qū)分不出生成圖片和真實(shí)圖片，就意味著模型訓(xùn)練成功，以上過程就是GAN訓(xùn)練過程的通俗理解。

圖1 GAN網(wǎng)絡(luò)循環(huán)訓(xùn)練過程

3 基于改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)的遮擋人臉表情識(shí)別方法框架

該方法主要實(shí)現(xiàn)遮擋人臉圖像中去遮擋和表情識(shí)別的兩個(gè)功能，能夠有效補(bǔ)全含有復(fù)雜表情信息的人臉遮擋圖像，緩解局部遮擋區(qū)域?qū)τ谡趽醣砬樽R(shí)別算法的影響，提高圖像識(shí)別準(zhǔn)確率和分辨率。方法以Wasserstein 生成對(duì)抗網(wǎng)絡(luò)（Wasserstein Generative Adversarial Network，WGAN）模型為基礎(chǔ)，該方法由一個(gè)生成器和一個(gè)判別器組成。

基于WGAN 的遮擋表情識(shí)別方法一共包含三個(gè)部分，第一部分為人臉表情的圖像預(yù)處理，具體包含人臉監(jiān)測(cè)、人臉校準(zhǔn)、圖像尺度歸一化和圖像像素值的歸一化。第二部分為圖像遮擋區(qū)域的生成處理，從中提出加權(quán)重構(gòu)損失函數(shù)Kwr、三連子損失函數(shù)Kt 和對(duì)抗損失函數(shù)Ka對(duì)生成器進(jìn)行約束。并且，輸入原始未遮擋圖像、生成的補(bǔ)全圖像以及無關(guān)區(qū)域遮擋圖像對(duì)判別器進(jìn)行訓(xùn)練，充分利用遮擋圖像中未遮擋區(qū)域的像素信息，被遮擋圖像、生成圖像和原始未遮擋圖像之間的結(jié)構(gòu)信息來對(duì)輸入的遮擋表情圖像進(jìn)行填補(bǔ)修復(fù)，使補(bǔ)全圖像更加逼真和自然。第三部分在WGAN 網(wǎng)絡(luò)判別器的基礎(chǔ)上，使用其部分卷積層和池化層完成特征提取步驟，通過Wasserstein 距離構(gòu)建原始未遮擋圖像、生成圖像以及無關(guān)區(qū)域遮擋圖像之間的對(duì)抗損失Ka 來提升系統(tǒng)的特征提取能力。另外加入全連接層和Sigmoid 層完成真假圖像的判別，同時(shí)將全連接層和Softmax 層相連接構(gòu)成表情分類器。本文提出用原始未遮擋圖像、無關(guān)區(qū)域遮擋圖像、去遮擋的生成圖像來共同完成分類器的訓(xùn)練，從而完成表情分類與識(shí)別。

方法框架如圖2所示，其中G和D分別代表生成器和判別器，G代表去遮擋的生成圖像，X（i,j）代表遮擋圖像， Kwr 和Kt 分別代表生成器的加權(quán)重構(gòu)損失函數(shù)和三連子損失函數(shù)，Ka 代表對(duì)抗損失函數(shù)，Kc代表分類損失函數(shù)。

圖2 基于改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)的遮擋人臉表情識(shí)別方法框架

4 結(jié)語

根據(jù)對(duì)現(xiàn)有遮擋面部表情識(shí)別分析和研究，目前還沒有發(fā)現(xiàn)一個(gè)成熟的、通用的、數(shù)據(jù)豐富的真實(shí)遮擋面部表情數(shù)據(jù)庫。除此之外，真實(shí)的遮擋圖像實(shí)際處理起來要困難很多，因?yàn)樗惶菀妆粰z測(cè)為遮擋，也不太容易同時(shí)獲得無遮擋與遮擋這兩個(gè)結(jié)果的訓(xùn)練表情圖像。所以，目前對(duì)遮擋表情的識(shí)別主要是研究人員在自己建立的遮擋模擬數(shù)據(jù)庫上進(jìn)行研究。大多數(shù)研究人員使用掩模圖像（如膠片、黑色方形、濾光片、底片等圖像）與未遮擋的表情圖像進(jìn)行拼接，以合成模擬的遮擋數(shù)據(jù)。

對(duì)于真實(shí)的遮擋表情圖像，本文研究方法的去遮擋效果并不太理想，仍有改進(jìn)空間。這是由于本研究是通過在人臉表情圖像的不同位置增加大小不同的黑色矩形來模擬現(xiàn)實(shí)中可能存在的遮擋情況，并使用模擬數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集。此研究缺乏一些真實(shí)遮擋表情圖像作為訓(xùn)練數(shù)據(jù)。因此，在測(cè)試真實(shí)遮擋圖像時(shí)，不能有效地還原遮擋區(qū)域，如手遮擋、太陽鏡和膠帶等。對(duì)于現(xiàn)有的面部遮擋表情識(shí)別，不管研究人員使用哪種掩模圖像來模擬遮擋圖像，其結(jié)果都與真實(shí)遮擋的面部表情圖像的效果區(qū)別較大。沒有充足的真實(shí)遮擋訓(xùn)練數(shù)據(jù)為基礎(chǔ)，任何方法都不能有效地處理真實(shí)遮擋的面部表情圖像。因此，建立一個(gè)公開、完善、真實(shí)的遮擋表情數(shù)據(jù)庫，并利用真實(shí)數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)是今后的研究方向和努力目標(biāo)。