表情識別技術(shù)發(fā)展研究

齊特 張志剛 西安財經(jīng)大學(xué) 信息學(xué)院

1 概述

人類的語言分為自然語言和形體語言兩類，面部表情是形體語言的一部分，面部表情是由人臉肌肉的運動形成的，是情感變化在面部可觀察到的表現(xiàn)。隨著服務(wù)機器人產(chǎn)業(yè)的興起，模式識別走進大眾視野，人們對表情的研究也逐漸增多：一些心理學(xué)家研究發(fā)現(xiàn)在人類進行會話交流傳遞信息時：話語內(nèi)容7%+說話聲音38%+表情55%，因此表情在人類交往活動中起到了重要的作用，對面部表情的識別與分析有著重要的意義。

作為一門多學(xué)科交叉的研究課題，人臉表情識別技術(shù)涉及到心理學(xué)、生理學(xué)、計算機科學(xué)、認(rèn)知學(xué)等多個學(xué)科的知識。從目前的研究現(xiàn)狀來看，表情識別技術(shù)進入一個研究的高潮與三個方面的推動因素有直接的關(guān)系：第一是新一代人機交互界面的構(gòu)建推動了人臉表情識別技術(shù)的發(fā)展；第二是情感計算與情感智能的提出推動了人臉表情識別技術(shù)的發(fā)展；最后是與人臉表情識別相關(guān)的技術(shù)的成熟推動了人臉表情識別技術(shù)的發(fā)展。事實上，計算機本身計算性能的提高也促進了表情識別技術(shù)的進步。另外，在表情識別研究過程中，人臉識別、定位、跟蹤技術(shù)中有許多成熟的算法都可以應(yīng)用到表情識別研究中，從而推動了表情識別技術(shù)的發(fā)展。

2 國內(nèi)外發(fā)展現(xiàn)狀

目前國際上關(guān)于面部表情的分析與識別的研究工作可分為基于心理學(xué)和計算機兩類。其中美國心理學(xué)家Ekman 和Friesen 定義了6 種基本表情：生氣、厭惡、害怕、傷心、高興和吃驚，并開發(fā)了面部動作編碼系統(tǒng)FACS(Facial Action Coding System)來檢測面部表情的細(xì)微變化。系統(tǒng)將人臉劃分為若干個運動單元AU(Action Unite)來描述面部動作，這些運動單元顯示了人臉運動與表情的對應(yīng)關(guān)系。計算機方面，Suwa 和Sugie 根據(jù)一段臉部視頻變化抽取表情特征與典型模式比較進行表情識別，terzopoulous 和Waters 運用了簡化的Ekman-Friesen 模型，用計算機產(chǎn)生人臉動畫。

國內(nèi)在該領(lǐng)域的研究還是個較新的課題，清華大學(xué)的清華人臉表情數(shù)據(jù)庫包含常見的8 種感情類表情和中文語音發(fā)音的說話類表情。北京航空航天大學(xué)毛峽教授等人建立了基于多種情感的北航人臉表情數(shù)據(jù)庫，包含了18 種單一表情、3 種混合表情和4 種復(fù)雜表情，具有多種在其他人臉數(shù)據(jù)庫中未曾出現(xiàn)的情感表情。中國科學(xué)院計算技術(shù)研究所的CAS-PEAL 人臉數(shù)據(jù)庫包含了7 種類別（姿勢、表情、光照、背景、距離和時間）的人臉圖像。其中表情子數(shù)據(jù)集包括包含微笑皺眉驚訝閉眼和張嘴等。盡管取得了一些成績，但是和國外相比，國內(nèi)的研究處于起步階段，和發(fā)達(dá)國家相比還有很大的差距。

3 主要應(yīng)用領(lǐng)域

表情識別技術(shù)已經(jīng)在生活中得到應(yīng)用，主要包括人機交互、安全、通信、機器人、交通、面部神經(jīng)分析等六個領(lǐng)域，在人機交互當(dāng)中，計算機利用人臉表情作為控制命令指示計算機操作，通過事先訓(xùn)練，當(dāng)計算機實時監(jiān)控人臉表情變化并發(fā)現(xiàn)作為控制命令出現(xiàn)的表情信息時，計算機就會按照既定的程序做出反映；在安全領(lǐng)域，可以通過識別指紋或是人臉檢測等生物信息來進行身份驗證；在通信領(lǐng)域，通話的雙方都建立一個虛擬人頭部模型，僅僅通過網(wǎng)絡(luò)傳遞對方的語言和面部表情，并且利用面部表情信號驅(qū)動虛擬人頭部模型進行相應(yīng)的表情變化，大大節(jié)省了帶寬，并盡可能地傳遞對方要表達(dá)的信息；在機器人制造領(lǐng)域，表情識別技術(shù)使得機器人不再是一個簡單的、按照給定程序工作的機器，而是一個開始學(xué)習(xí)去理解人的想法，以便更好地為人類服務(wù)的“智能人”；在交通應(yīng)用領(lǐng)域，通過設(shè)計安裝在汽車上用來檢測司機疲勞的狀態(tài)，以提醒司機需要注意安全的設(shè)備；在面部神經(jīng)癱瘓分析方面，可以通過機器來進行人臉圖像實時傳輸和人臉圖像合成與動畫。

4 關(guān)鍵技術(shù)

用計算機來自動分析、識別面部表情是一個非常復(fù)雜的問題，關(guān)鍵在于建立一個合理的人類情緒(human emotions)模型并將它與人臉面部特征及表情的變化特征聯(lián)系起來[6-7]。表情識別主要依賴幾個方面的因素：1.對人臉的熟悉程度，能使對表情的理解變得更加深入和精細(xì)。2.對各種表情的體驗需要結(jié)合心理學(xué)方面的知識，這是表情識別的難點所在。3.實時獲得人臉面部變化的完整信息，或者采用合理的補償方法進行補償也是表情識別系統(tǒng)中需要處理的難題。4.化妝、眼鏡、遮擋等非視覺因素，對表情識別將帶來困難。5.采集自然表情的難度加大。6.外部環(huán)境等干擾因素會直接導(dǎo)致識別出現(xiàn)錯誤。

5 發(fā)展趨勢

從表情識別目前的發(fā)展情況來看，未來將會有以下幾個熱點及趨勢：(1)提高表情識別的效率和速率，不斷有新的表情識別方法和改進方案被提出；(2)解放以往需要人工輔助的工作。以實現(xiàn)表情識別的自動化；(3)從對靜態(tài)圖像轉(zhuǎn)向動態(tài)視頻表情序列的研究，以充分利用表情的時空信息；(4)隨著3維人臉模型在人臉識別中的成功應(yīng)用，表情識別研究也從2 維向3 維空間發(fā)展；(5)從對基本表情的識別逐漸轉(zhuǎn)向更為復(fù)雜的精細(xì)表情、混合表情及非基本表情的識別；(6)與人臉跟蹤、識別及合成等技術(shù)相結(jié)合來構(gòu)建各種實時的表情識別系統(tǒng)。

6 結(jié)語

現(xiàn)今，人臉識別系統(tǒng)已經(jīng)推向商業(yè)應(yīng)用，而表情識別系統(tǒng)仍難以滿足實際需要。未來的人機交互中，情感將是不可忽視的因素，而表情又是情感交流的門戶，表情識別必將在情感化人機交互中占有重要地位。所以，在當(dāng)今科學(xué)高度發(fā)展、智能識別技術(shù)日益進步的條件下，需要以勇氣與智慧來挑戰(zhàn)表情識別的難點問題，并進行創(chuàng)新性研究，以便早日使機器接近人類的情感智能水平。