一種面向機器的人工情感模擬框架研究

陳俊浩 ，姜大志 ，2

（1.汕頭大學(xué)工學(xué)院計算機系，廣東 汕頭 515063 2.智能制造技術(shù)教育部重點實驗室（汕頭大學(xué)），廣東 汕頭 515063）

0 引言

人工智能是指利用計算機、機器人等設(shè)備搭建的系統(tǒng)所表現(xiàn)出的智能.隨著深度學(xué)習(xí)技術(shù)、知識規(guī)則庫表達技術(shù)、自然語言處理技術(shù)的發(fā)展，人工智能學(xué)者慢慢認識到客觀上存在著人類認知的不確定性，于是開始對不確定性處理進行研究.至此，人工智能跨入了與哲學(xué)、心理學(xué)等學(xué)科相結(jié)合的綜合型智能時代.

人工情感計算是人工智能領(lǐng)域一個重要研究方向，麻省理工學(xué)院的Picard教授于1995年首次提出情感計算的概念，并在兩年后出版的《Affective Computing》[1]把情感計算定義為是一種與情感有關(guān)、源自于情感的或可能對情感附有影響的計算.

2008年，麻省理工學(xué)院研究團隊設(shè)計出首個情感機器人“Nexi”，“Nexi”能理解人說出的語言，還能對不同人的不同語言做出相應(yīng)的反應(yīng)，通過轉(zhuǎn)動身體，皺眉，閉上眼睛和打手勢等行為表達情感.2017年，清華大學(xué)的研究團隊提出情緒聊天機，第一次解決了大規(guī)模會話生成中的情感因素的工作[2].我國也對人工情感有深入的研究.臉部運動編碼系統(tǒng)首次實現(xiàn)人臉識別；“MPEG-4V2視覺標準”使用一定數(shù)量的表情組合用于模擬日常人類的表情.

人工情感計算通過創(chuàng)建并更新記憶庫，使用深度學(xué)習(xí)、建立情感轉(zhuǎn)移模型等技術(shù)對記憶庫和外在事件的分析從而綜合得出機器情感并進行表達.在此領(lǐng)域中，格林大學(xué)完成了基于記憶的專家系統(tǒng)情感設(shè)計的機器解釋[3].人工情感計算通過賦予機器表達、識別、理解、人的情感的能力以建立和諧的人機環(huán)境，使計算機智能化全方位地增強，它對計算機科學(xué)的發(fā)展具有十分深遠的意義.如果說傳統(tǒng)計算機只是反映了理性思維，也就是重現(xiàn)了人類的“腦”.那么，人工情感計算將為它增添了感性思維，也就是重現(xiàn)了人類的“心”.人工情感擴展并包容了情感智能，而情感智能則是人類智能思維中的一種高層次的智能.人工情感的應(yīng)用前景非常廣泛，可以為有情感、意識和智能的服務(wù)機器人的設(shè)計提供技術(shù)支持；可以促進搜索引擎的人性化；可以讓人機交互系統(tǒng)變得更加和諧等.

然而，腦科學(xué)對于人腦記憶的海馬、杏仁核等區(qū)域研究也沒有完全研究透徹，因此人工情感模擬現(xiàn)在存有一些未曾解決的問題.現(xiàn)有人工情感模擬很少結(jié)合回憶進行分析，只是根據(jù)當前的經(jīng)歷來調(diào)整情緒，與人類的實際表現(xiàn)不符；另外，同一套人工情感計算模型的不同機器的不具有明顯的差異化.

Bower[4]提出的情緒一致性理論有助于對人工情感的構(gòu)建.本文主要以人工機器的情緒分析為研究對象，結(jié)合回憶庫的建立和基于情緒一致性的情緒隨機變化機制，提出了“基于回憶庫的回憶機制和隨機機制模型”，應(yīng)用回憶機制和不確定性機制模型為情感的變化進行分析和擬合，以達到符合人類直覺和認知概念的情感感知機理，通過研究模型對輸入事件的情緒改變來實現(xiàn)并進行通用性評估，來驗證本文的理論模型的正確性.

本文的主要創(chuàng)新點如下：

創(chuàng)新點一：把情緒一致性的心理學(xué)理論應(yīng)用到人工情感分析中.目前的人工情感分析問題，多為針對特定應(yīng)用背景下情感模型轉(zhuǎn)換，而很少對回憶進行分析.本文首先介紹情緒一致性的含義，然后建立一套基于情緒一致性的不確定性情緒影響機制，并以此在回憶庫進行情緒仿真實驗.實驗的結(jié)果與現(xiàn)實中人類的情緒變化更為接近.

創(chuàng)新點二：提出了情緒放大鏡的概念.目前的人工情感分析問題，多為針對輸入事件的分析，沒有結(jié)合自身的情緒對輸入事件的分析方法進行調(diào)整.心理學(xué)已經(jīng)證明了人處于極端情緒時情緒的改變比在心情平和的時候更激烈.基于此理論基礎(chǔ)，本文提出了情緒放大鏡的概念，并應(yīng)用到不確定性情感模型中.

1 理論基礎(chǔ)

情感的產(chǎn)生與變化的復(fù)雜導(dǎo)致人工情感模擬理論進步緩慢.在18世紀，為了解決這個難題，心理學(xué)、生理學(xué)、社會學(xué)等領(lǐng)域的研究者開始對情感的認知和原理進行研究，產(chǎn)生很多相關(guān)理論來描述情感產(chǎn)生的原因.1872年，Darwin首先提出了三原則理論[5].1884年Cannon提出James-Lange理論[6]；著名的Cannon-Bard理論[7]和Lazarus理論[8]也在隨后幾年被提出來.

心理學(xué)中，情感相關(guān)的詞匯有很多，且具有不同的意義，例如emotion、affective、sentiment、affect、mood等，相似的中文翻譯也有感情、情感、情緒、情節(jié)等.從嚴肅的心理學(xué)角度來說，情感、情緒、情節(jié)和感情是4種不同的概念[9-10]，但在計算機科學(xué)的角度里，這些詞語意義相同，并被統(tǒng)一定義為“情感”.描述情感有兩種方式，分別是離散情感狀態(tài)和維度情感空間[9-10].

心理學(xué)的研究證明，扁桃核、丘腦下部和海馬體等部位構(gòu)成的邊緣系統(tǒng)和情感記憶是有關(guān)系的.邊緣系統(tǒng)和大腦皮層共同形成人腦的功能.半個世紀以來，腦科學(xué)、心理學(xué)、認知科學(xué)和智能化科學(xué)等領(lǐng)域在誘發(fā)情感的相關(guān)研究中已經(jīng)有了一定的突破，人類對誘發(fā)情感理論的構(gòu)建也越來越完整.

Bower[4]提出的情緒一致性記憶理論證明情緒對記憶，情緒行為和其他過程有直接影響.該理論說明，個體經(jīng)歷了一種情緒時更傾向于以一種與自身當前情緒相同的方式去解釋這一段經(jīng)歷.也就是說，當前的積極情緒能夠放大積極信息的印象和回憶，而當前的消極情緒能夠放大消極信息的印象和回憶.1986年，Blaney[11]定義情緒一致性記憶為“與提取或編碼時的情感狀態(tài)具有相同的情感的促進作用”.21世紀初，莊錦英把情緒一致性記憶進一步簡述為：人們陷入某種情緒時會更傾向于放大與該種情緒一致的信息[12].

李芳認為，情緒一致性記憶有3種理論模型，即情感滲透模型的認知模型，關(guān)聯(lián)網(wǎng)絡(luò)模型和適當?shù)倪w移處理理論.其中，與情感認知和加工相關(guān)的理論模型是情緒滲透模型.2012年，Eich和Forgas正式提出情緒滲透模型來解釋情緒連貫效應(yīng)的擬合模型，然后將其擴展到其他認知領(lǐng)域，如記憶，選擇和學(xué)習(xí).他們認為，情感會影響個體的學(xué)習(xí)、記憶、選擇等，個體對結(jié)果的情感感知會與當前情緒相同的方向靠近，它的特點是個體感知時間時對當前情緒的額外加工會決定個體最后的情緒.圖1是情緒一致性記憶的理論模型.

2 基于回憶庫的人工情感模型

該模型建立回憶庫，模型遭遇事件輸入后，根據(jù)回憶庫中的回憶事件和當前的情緒值進行回憶機制和不確定性機制的分析，最后得出機器遭遇事件后的情緒值，隨后把該事件作為新的回憶輸入到回憶庫，如圖2.

2.1 回憶機制

實現(xiàn)回憶機制，首先需要為機器建立回憶庫，回憶庫中存儲的是機器經(jīng)歷過的所有事件，事件的存儲方式不限，可以是圖片，也可以是文字或視頻.然后對每一個事件進行情緒值e的標記和權(quán)重w的標記.本模型使用的情緒值的取值范圍是[-1，1]（e∈R）.e＝-1時，代表情緒極差；e＝1時，代表情緒極好.權(quán)重w代表的是該事件在記憶庫中的重要程度，要求所有事件w的和為1.根據(jù)不同的回憶庫建立方法，對回憶庫進行匹配操作，匹配出回憶庫里n個最可能被回憶起的事件（在本文中，n＝3）.由于回憶庫建立的形式不限，這里無法得出統(tǒng)一的匹配算法.在結(jié)論一章本文的實驗里，建立了以圖像形式組織的回憶庫，會給出圖像的相似度匹配方法.

圖2 基于回憶庫的人工情感模型流程

根據(jù)公式1計算出回憶起每張圖的概率：

其中，pi是有可能回憶出的事件的回憶概率（i＝1，2，3）；n是回憶庫的回憶事件總數(shù)；a是回憶常數(shù)，值為xi定義為回憶的重要度，用來衡量該回憶庫的事件，計算公式為：

wi是匹配出的第i個事件在整個回憶庫所占的權(quán)重.算出p1，p2和p3后，分別對三個概率值進行標準化：

對pi的結(jié)果畫出回憶軸，如圖3所示.

圖3 回憶軸

ran為0-1的隨機數(shù)模擬，如圖3所示，若ran落入（p0，p1）區(qū)域時，表明該模型使機器回憶起第一個匹配出的事件；若ran落入（p1，p2）區(qū)域時，表明該模型使機器回憶起第二個匹配出的事件；若ran落入（p2，p3）區(qū)域時，表明該模型使機器回憶起第三個匹配出的事件；若ran落入（p3，1）區(qū)域時，表明該模型在接受事件后沒有產(chǎn)生任何的回憶.

根據(jù)隨機值落入的區(qū)域?qū)η榫w值e進行調(diào)整，調(diào)整的方法如公式（4）所示：

圖4為回憶機制的簡化流程圖.

圖4 回憶機制的簡化流程圖

2.2 不確定性機制

右腦提供的想象力導(dǎo)致人類有時候能被完全與當前情景完全無關(guān)的事情或情緒影響——爬山的時候可能有人會想起恐怖分子的恐怖襲擊；上課的時候可能有學(xué)生想著晚上該吃什么；也有可能是在吃飯的時候，受到了莫名的悲傷情緒影響.

不確定性影響并不是完全的隨機，所有能影響人的隨機因素其實都是存在于人的回憶庫當中，有些化為潛意識[14]，不被人察覺，所以才會給人一種雜亂無章、完全隨機的錯覺.這種現(xiàn)象本文稱之為不確定性影響.因此，不確定性影響的實質(zhì)就是以回憶庫中所有事件作為藍本，若回憶庫當中完全沒有相關(guān)信息，就說明沒有進入人的認知之中，這種情況下是不可能會受到影響的；而情緒的改變，一定是源于回憶庫里的事件.基于此，本文提出了計算不確定性影響的模型.

根據(jù)情緒一致性原理，對回憶庫中所有事件進行權(quán)重w的調(diào)整：情緒值為正時，受到正面影響的概率增加，受到負面影響的概率減少；反之，情緒值為負時，受到負面影響的概率增加，受到正面影響的概率減少，如公式5所示：

心理學(xué)進一步通過大量的實驗證明，人在情緒越極端的時候，受到隨機事件的影響的概率就會比情緒平和的時候更大，原因是人們情緒處于極端狀態(tài)的時候右腦（與想象力有關(guān)）的影響力會大于左腦（與邏輯推理有關(guān)）的影響力.為了讓機器也能表現(xiàn)出這樣的特性，本文提出情緒放大鏡的概念.

情緒放大鏡的值受當前一刻的情緒值影響，計算公式為：

根據(jù)公式（7）和（8），判斷是否受到隨機情緒影響：

ψi是情緒受回憶庫中的第i個事件影響的概率值（其中ψ0＝0），對ψi進行的標準化分析，并用結(jié)果畫出隨機影響軸：

圖5 隨機影響軸

如圖5所示，ran為0-magnifying的隨機數(shù)模擬.若ran落入（ψi-1，ψ）i區(qū)域，表明該模型在接受事件后受到了回憶庫中第i個事件的影響；若ran落入（ψn，1）區(qū)域，表明該模型在接受事件后不受隨機情緒/事件影響.

根據(jù)隨機值落入的區(qū)域?qū)η榫w值e進行調(diào)整，調(diào)整的方法如公式（9）所示：

圖6為不確定性機制的簡化流程圖.

圖6 隨機機制的簡化流程圖

3 仿真實驗

3.1 著名的人工情感圖像數(shù)據(jù)集

人工情感對于圖像的研究需要有人工情感圖像數(shù)據(jù)集作為支撐.它的質(zhì)量直接決定了本模型的測試結(jié)果的準確度.計算機領(lǐng)域內(nèi)存在很多人工情感圖像數(shù)據(jù)庫，但沒有具體的建立標準，圖像情感的分類也沒有進行確切的規(guī)定.比較權(quán)威的圖像情感數(shù)據(jù)集是 ArtPhoto[15]、Abstract[15]、GAPED[16]、IAPS[17]、Tweet[18]等.

本文基于圖像的情感分析[19]，在Python 3.7.1平臺使用Machajdik的Abstract數(shù)據(jù)集[20]進行實驗.Abstract數(shù)據(jù)集內(nèi)有280張圖片，本實驗選用前140張作為程序的回憶庫，即n＝140，后140張圖片作為可輸入事件的備選，用于測試本文提出的兩種機制模型.使用函數(shù)隨機生成每張圖片的權(quán)重w，使得140張圖片的權(quán)值之和為1.由于本模型只涉及高興、悲傷、平和的單維度情緒，因此只提取了Abstract數(shù)據(jù)集中的Amusement和Sad標注，對這兩個屬性進行標準化后得出本實驗的情緒值標注emotion.

3.2 實驗結(jié)果

本實驗分為三組.第一組在初始情緒為積極、消極、平和的3種狀態(tài)中輸入情緒平和的圖片，第二組和第三組在同樣的狀態(tài)下分別輸入情緒積極的圖片和情緒積極的圖片.實驗的對照組設(shè)置為把圖片的emotion標注直接作為事件的情緒改變值.實驗檢驗經(jīng)歷事件后機器的情感變化.

第一組的實驗中，取五張情緒值分別為-0.2、-0.1、0、0.1、0.2的圖片作為事件輸入，每張分別輸入60次于實現(xiàn)了本文模型的程序運行，以及對照組程序運行.設(shè)置事件輸入前的情緒值eorigin分別為-0.5、0和0.5，實驗結(jié)果如圖7～12.

圖7 對照組300張平和的事件輸入eorigin＝－0.5

圖9 對照組300張平和的事件輸入eorigin＝0

圖10 實驗組300張平和的事件輸入eorigin＝0

圖11 對照組300張平和的事件輸入eorigin＝0.5

圖12 實驗組300張平和的事件輸入eorigin＝0.5

第一組實驗表明，說明當機器的事件輸入為既不消極也不積極的事件時，機器的情緒改變?nèi)Q于它的初始情緒值：當機器的初始情緒消極時，變得更消極的概率增加（如圖7和圖8）；反之，機器的初始情緒積極時，變得更積極的概率增加（如圖11和圖12）.

第二組的實驗中，取5張情緒值分別為0.9、0.8、0.7、0.6、0.5的圖片作為事件輸入，每張分別輸入60次實現(xiàn)本文模型的程序運行以及對照組程序運行.設(shè)置事件輸入前的情緒值eorigin分別為-0.5、0和0.5，實驗結(jié)果如圖13～18.

圖13 對照組300張高興的事件輸入eorigin＝－0.5

圖14 實驗組300張高興的事件輸入eorigin＝－0.5

圖15 對照組300張高興的事件輸入eorigin＝0

圖16 實驗組300張高興的事件輸入eorigin＝0

圖17 對照組300張高興的事件輸入eorigin＝0.5

圖18 實驗組300張高興的事件輸入eorigin＝0.5

如圖13和圖14所示的模擬結(jié)果，當給定的輸入都是較為積極的事件的時候，當初始情緒值為低時，仍然更容易受到消極影響，即機器在心情不好的時候，遇到使得心情好轉(zhuǎn)的事情時，情緒值仍然偏低，與人類在悲傷時遇到高興的事情也不容易走出悲傷的這一現(xiàn)象符合.圖15和圖16體現(xiàn)了情緒一致性原理：當情緒值高時以更積極的態(tài)度看待輸入的事件.需要特別說明的是，圖17所有時間輸入后的情緒值都是1的原因是當eorigin＝0.5時，所有大于0.5的事件輸入都使情緒值大于1，而本模型的e的取值范圍是（-1，1），因此所有超過1的值都按值為1處理.圖18的結(jié)果并沒有違反了情緒一致性，因為本模型的情緒值e設(shè)置的最大值是1，所有的積極隨機反應(yīng)都無法表現(xiàn)在圖像上，圖上的13個凸點都是消極隨機反應(yīng)的結(jié)果，僅占3.6%.

第三組的實驗中，取五張情緒值分別為-0.9、-0.8、-0.7、-0.6、-0.5的圖片作為事件輸入，每張分別輸入60次實現(xiàn)本文模型的程序運行以及對照組程序運行.設(shè)置事件輸入前的情緒值eorigin分別為-0.5、0和0.5，實驗結(jié)果如圖19～24.

圖19 對照組300張悲傷的事件輸入eorigin＝－0.5

圖20 實驗組300張悲傷的事件輸入eorigin＝－0.5

圖21 對照組300張悲傷的事件輸入eorigin＝0

圖22 實驗組300張悲傷的事件輸入eorigin＝0

圖23 對照組300張悲傷的事件輸入eorigin＝ 0.5

圖24 實驗組300張悲傷的事件輸入eorigin＝0.5

第三組實驗表明，當初始情緒值為低時再遇到消極的事件輸入時，機器的情緒幾乎沒有好轉(zhuǎn)的可能，這與人類的遇到使得心情更差的事情時，往往會表現(xiàn)得一蹶不振的這一表現(xiàn)更符合.圖19和20、圖21和圖22的對比中也充分體現(xiàn)了情緒一致性原理：當情緒值低時更以消極的態(tài)度看待輸入的事件.

3組實驗都有事件的重復(fù)輸入，機器能遵循本模型的條件下，有不同的情緒表現(xiàn)，解決了在同一套人工情感計算模型中，不同機器不具有明顯的差異化的問題；本模型基于情緒一致性原理，建立回憶庫，使得機器能根據(jù)自身經(jīng)歷的事件不同而對同一事件有不同表現(xiàn)，解決了現(xiàn)有人工情感模擬很少結(jié)合回憶進行分析，只是根據(jù)當前的經(jīng)歷來調(diào)整情緒的問題.

4 結(jié)論

現(xiàn)有人工情感模擬并不注重結(jié)合回憶進行分析，只是根據(jù)當前的經(jīng)歷來調(diào)整情緒；在同一套人工情感計算模型的不同機器中往往不具有明顯的差異化.本文為了解決這兩個問題，提出了不確定性影響、情緒放大鏡等概念，采用回憶機制和不確定性機制模型，前者利用回憶事件的重要度計算出事件的回憶概率，后者利用情緒一致性的原理用情緒放大鏡來進一步貼合人的心理模式，使得機器人在與環(huán)境交互過程中的情感表現(xiàn)更貼近人類.本模型屬于一種假設(shè)性的嘗試，使機器的擬人度稍微提升，但由于人類的情緒變化過程非常復(fù)雜，影響這個過程的因素十分繁雜，包含了大量的內(nèi)部條件和交互過程中涉及的外部環(huán)境條件，很難全面地去考慮.因此本文僅考慮了少量較為明顯、影響較大的因素，用于模型和仿真實驗的實現(xiàn).在后續(xù)研究中，根據(jù)情緒心理學(xué)理論進行情緒表現(xiàn)模型的深入研究，結(jié)合深度學(xué)習(xí)技術(shù)對機器的情感進行差異化的模擬是人工情感研究的主要內(nèi)容之一；加深對環(huán)境的感知從而精確地獲得外界信息的輸入，為大數(shù)據(jù)的分析做更充足的準備，進一步模擬更精確的機器情感.