不同情緒影響下的人類認(rèn)知行為建模與仿真

楊孝敬, 楊 陽,鐘 寧,4

(1.北京工業(yè)大學(xué) 國際WIC研究院，北京 100124; 2.磁共振成像腦信息學(xué)北京市重點(diǎn)實驗室，北京 100124;3.腦信息智慧服務(wù)北京市國際科技合作基地，北京 100124; 4.前橋工業(yè)大學(xué) 生命科學(xué)與信息工程系，前橋 371-0816)

不同情緒影響下的人類認(rèn)知行為建模與仿真

楊孝敬1,2,3, 楊 陽1,2,3,鐘 寧1,2,3,4

(1.北京工業(yè)大學(xué) 國際WIC研究院，北京 100124; 2.磁共振成像腦信息學(xué)北京市重點(diǎn)實驗室，北京 100124;3.腦信息智慧服務(wù)北京市國際科技合作基地，北京 100124; 4.前橋工業(yè)大學(xué) 生命科學(xué)與信息工程系，前橋 371-0816)

針對不同情緒刺激下加法計算的認(rèn)知加工過程差異問題，提出了不同情緒刺激下加法計算的認(rèn)知假設(shè)模型，驗證了不同情緒刺激對加法計算的影響機(jī)制;以正性、中性、負(fù)性情緒圖片刺激下沒有進(jìn)位的二位數(shù)加法計算為實驗范式，依據(jù)被試事前事后問卷調(diào)查及行為實驗結(jié)果，采用行為實驗與ACT-R認(rèn)知仿真實驗相結(jié)合的方法進(jìn)行研究;通過行為實驗測試了24名被試在不同情緒刺激下加法計算的行為實驗結(jié)果；認(rèn)知仿真實驗以不同情緒刺激下加法計算的行為結(jié)果及相關(guān)研究結(jié)果為假設(shè)，提出了不同情緒下加法計算認(rèn)知過程的假設(shè)模型;結(jié)果顯示正性情緒刺激下加法計算的模擬反應(yīng)時間2 040 ms與真實反應(yīng)時間2 077 ms±107，偏差37 ms；中性情緒刺激下加法計算的模擬反應(yīng)時間2 106 ms與真實反應(yīng)時間2 090 ms±98，偏差16 ms；負(fù)性情緒刺激下加法計算的模擬反應(yīng)時間2 264 ms與真實反應(yīng)時間2 218 ms±52，偏差46 ms;結(jié)果表明，正性情緒刺激對認(rèn)知計算具有促進(jìn)作用，負(fù)性情緒刺激對加法計算具有抑制作用；認(rèn)知模型的模擬反應(yīng)時間與真實反應(yīng)時間非常接近，假設(shè)模型的合理性在反應(yīng)時數(shù)據(jù)上得到有效驗證；同時模型輸出的認(rèn)知信息加工過程序列模塊的協(xié)同工作機(jī)制與分析過程一致，從而使得模型在邏輯合理性得到了有效解釋。

不同情緒刺激; 認(rèn)知計算; 認(rèn)知模型; ACT-R

0 引言

情緒是人類最重要的高級認(rèn)知活動之一。盡管目前針對認(rèn)知任務(wù)加工過程的計算機(jī)建模與仿真研究較多，相對來說對情緒刺激影響下認(rèn)知任務(wù)的計算機(jī)建模和仿真研究較少。對情緒刺激與認(rèn)知分開研究的文獻(xiàn)比較多[1-4]，相比之下情緒結(jié)合認(rèn)知任務(wù)的實驗設(shè)計來研究大腦認(rèn)知加工過程的較少；有關(guān)情緒或認(rèn)知活動的行為實驗研究較多[5-7]。Segerstrom等研究發(fā)現(xiàn)樂觀被試者存在正性情緒偏向[1]，同時有研究者利用正性情緒圖片刺激任務(wù)對健康老年人和年輕人進(jìn)行了研究，并發(fā)現(xiàn)老年人更偏好正性情緒刺激[2]。Koster等提出再分析方法發(fā)現(xiàn)高度焦慮癥患者在威脅情緒刺激下存在注意滯留[3]，同時Amir等發(fā)現(xiàn)正常對照組在負(fù)性情緒刺激下也存在注意滯留現(xiàn)象[4]。Herbert A.Simon等通過行為實驗相繼提出了“信息加工理論”。梁佩鵬等采用ACT-R的方法模擬了數(shù)字序列和字母序列認(rèn)知加工過程的差異[5]，賈秀琴等對四方趣題的歸納推理研究發(fā)現(xiàn)不同的任務(wù)設(shè)計對應(yīng)不同的激活腦區(qū)[6]，王日鳳等采用fMRI結(jié)合ACT-R對問題解決中的啟發(fā)式規(guī)則進(jìn)行了研究[7]。

本文以不同情緒刺激下沒有進(jìn)位的二位數(shù)加法計算為實驗范式，采用ACT-R的方法建立不同情緒刺激下加法計算的認(rèn)知過程假設(shè)模型與仿真。根據(jù)感興趣腦區(qū)對應(yīng)8個ACT-R功能模塊及協(xié)同工作原理[8-10]，提出模塊加工的假設(shè)模型，建立具體認(rèn)知加工過程并解釋。通過調(diào)整對應(yīng)ACT-R模塊加工的持續(xù)時間間接反映情緒對認(rèn)知計算的影響程度[11-12]。由于本研究屬于探索性研究，可能存在某方面不足。

1 實驗范式及任務(wù)設(shè)計

1.1 范式選取——沒有進(jìn)位二位數(shù)加法等式

簡單四則運(yùn)算自然配對，最簡單、最常用并具有一定相關(guān)，一位數(shù)的乘法與加法容易從知識庫中直接提取，除法運(yùn)算與有進(jìn)位的加法比較復(fù)雜有一定困難，因而本研究選擇沒有進(jìn)位的二位數(shù)加法計算等式作為實驗范式，為了考察不同情緒刺激下加法計算認(rèn)知加工過程的差異，在加法計算等式出現(xiàn)前增加了正性、中性、負(fù)性情緒圖片刺激。以正性情緒刺激為例的實驗設(shè)計如圖1所示，被試只需要在情緒圖片刺激下對沒有進(jìn)位的二位數(shù)加法進(jìn)行計算并得出計算結(jié)果，同時對屏幕顯示的等式正誤進(jìn)行判斷，如果計算結(jié)果正確按下左鍵，錯誤按右鍵。

1.2 任務(wù)設(shè)計

任務(wù)中設(shè)計3個刺激的BLOCK，分別為正性情緒刺激下加法18個任務(wù)，中性情緒刺激下加法18個任務(wù)，負(fù)性情緒刺激下加法18個任務(wù)。以正性情緒刺激下加法為例，首先在等式出現(xiàn)之前呈現(xiàn)一個正性情緒圖片，圖片與等式交替呈現(xiàn)，每個圖片呈現(xiàn)2 s，接著呈現(xiàn)一個加法等式，等式呈現(xiàn)時間為4 s。如圖1所示。

圖1 行為實驗程序

2 行為實驗

2.1 實驗?zāi)康?/p>

行為實驗的目的在于獲取被試在不同情緒刺激下加法計算的行為數(shù)據(jù)，包括在正性、中性、負(fù)性情緒刺激下加法計算的正確率(Accuracy)和反應(yīng)時間(Response time，RT)。

2.2 實驗程序

實驗程序如下：1)被試在實驗前進(jìn)行做題訓(xùn)練，目的是熟悉做題過程以達(dá)到有效的正確率；2)被試正式做題，通過電腦顯示屏首先看到一個情緒刺激圖片接著看到一道計算等式，并判斷等式正誤，正確按左鍵，錯誤按右鍵。共采集24個健康被試(均為北京工業(yè)大學(xué)在校大學(xué)生，年齡在23～26歲，均為右利手)的行為數(shù)據(jù)。

2.3 實驗結(jié)果

實驗結(jié)果統(tǒng)一取答題正確率高于85%的被試數(shù)據(jù)來進(jìn)行統(tǒng)計分析。經(jīng)過數(shù)據(jù)統(tǒng)計，24個被試答題的統(tǒng)計結(jié)果如表1所示。在正性情緒刺激下加法計算的正確率為96%，反應(yīng)時為2 077 ms±107；中性情緒刺激下加法計算的正確率為93%，反應(yīng)時為2 090 ms±98；負(fù)性情緒刺激下加法計算的正確率為89%，反應(yīng)時為2 218 ms±52，如表1所示。

表1 不同情緒刺激下加法計算的正確率與反應(yīng)時

3 仿真實驗

3.1 實驗?zāi)康?/p>

由行為實驗結(jié)果可知，正確率：被試在正性情緒刺激下加法計算高于中性情緒刺激下加法計算，中性情緒刺激下加法高于負(fù)性情緒刺激下加法計算；反應(yīng)時：正性情緒刺激下加法計算小于中性情緒刺激下加法計算，中性情緒刺激下加法計算小于負(fù)性情緒刺激下加法計算。本實驗?zāi)康氖峭ㄟ^認(rèn)知仿真實驗正確模擬被試在不同情緒刺激下進(jìn)行加法計算的加工過程，找出被試在不同情緒刺激下加法計算背后的原因以解釋為何被試在不同情緒刺激下進(jìn)行加法計算之間的差異。

3.2 ACT-R

本文采用ACT-R (adaptive control of thought- rational)對認(rèn)知任務(wù)加工過程進(jìn)行建模和仿真，ACT-R是有美國卡內(nèi)基梅隆大學(xué)教授J.R.Anderson研究團(tuán)隊開發(fā)，是基于Lisp語言的計算機(jī)模擬與仿真平臺[8-9]。ACT-R結(jié)合連接主義和符號加工學(xué)派的特點(diǎn)，結(jié)合腦信息學(xué)和認(rèn)知心理學(xué)的研究成果，可以全面模擬人腦進(jìn)行的各種認(rèn)知活動的信息處理過程[10]。ACR-R是有與人腦認(rèn)知活動相對應(yīng)的8個認(rèn)知模塊組成(如表2所示)。行為的模型假設(shè)：人腦的信息處理過程是由改變模塊緩沖區(qū)加工或者產(chǎn)生式調(diào)用的過程。

表2 ACT-R對應(yīng)神經(jīng)基礎(chǔ)

用ACT-R對特定任務(wù)進(jìn)行建模的步驟：1)對任務(wù)對象進(jìn)行分析，提出特定認(rèn)知任務(wù)的處理過程假設(shè); 2)定義程序性知識與陳述性知識; 3)調(diào)試假設(shè)模型并設(shè)置假設(shè)模型參數(shù); 4)結(jié)果分析與對比，對假設(shè)模型的合理性與有效性進(jìn)行判斷。

3.2 任務(wù)分析及模型假設(shè)

任務(wù)分析是對被試在不同情緒圖片刺激影響下進(jìn)行加法計算的過程進(jìn)行詳細(xì)分解[12-14]，對被試在計算任務(wù)解決時的高級認(rèn)知計算活動進(jìn)行分析，以此作為依據(jù)，提出相應(yīng)的認(rèn)知計算假設(shè)模型如圖2。

圖2 不同情緒刺激下加法計算的ACT-R信息處理過程

在進(jìn)行加法計算任務(wù)前，首先確定是正性、中性、還是負(fù)性情緒刺激，然后在此情緒影響下進(jìn)行加法計算并得出結(jié)果，最后判斷圖片顯示的計算等式正確與否。通過行為實驗數(shù)據(jù)的統(tǒng)計結(jié)果表明，被試在正性情緒刺激下加法計算的正確率高于中性情緒刺激下加法計算，中性情緒刺激下加法計算的正確率高于負(fù)性情緒刺激下加法計算；反應(yīng)時方面：正性情緒刺激下加法計算的反應(yīng)時少于中性情緒刺激下加法計算的反應(yīng)時，中性情緒刺激下加法計算的反應(yīng)時少于負(fù)性情緒刺激下加法計算。任務(wù)分析要解決的問題就是要找出這種結(jié)果的原因。根據(jù)對情緒影響下認(rèn)知計算的研究結(jié)果[15-18]，正性情緒促進(jìn)人類高級認(rèn)知計算，負(fù)性情緒抑制高級認(rèn)知計算，本文稱此結(jié)論為情緒主效應(yīng)。通過分析發(fā)現(xiàn)， 這個結(jié)論同樣適用于不同情緒刺激影響下加法計算任務(wù)。不同情緒刺激下加法計算主要在陳述性記憶提取速度和信息處理過程不同。例如相對于中性情緒刺激下加法計算：在正性情緒刺激下，被試在看到圖片后感到心情愉悅和舒服，對接下來的加法計算過程及結(jié)果判斷有促進(jìn)作用；在看到負(fù)性情緒刺激圖片時會感覺到心情難過或者反感，因而對接下來的加法計算過程及結(jié)果判斷有抑制作用。 行為實驗結(jié)果也說明了這一點(diǎn)。因此，突出顯示正性情緒圖片刺激更有利于認(rèn)知計算及等式判斷，人在心情愉悅及開心時，有利于視覺的選擇性注意尋找目標(biāo)，心情愉悅時一旦大腦中有了目標(biāo)，可以較快的指導(dǎo)眼睛對視覺范圍內(nèi)的目標(biāo)進(jìn)行選擇性搜索。根據(jù)以上分析，提出了如下假設(shè)：被試在不同情緒刺激下進(jìn)行加法計算及對結(jié)果進(jìn)行判斷，正性情緒刺激可以使被試在進(jìn)行計算及判斷前心情輕松愉悅，有利于快速定位及對運(yùn)算結(jié)果判斷，負(fù)性情緒圖片刺激下被試進(jìn)行定位及運(yùn)算判斷作用相反。除了行為實驗中不同情緒刺激下加法計算的行為數(shù)據(jù)正確率和反應(yīng)時間差異為此假設(shè)提供依據(jù)之外，陳述性記憶提取模塊和映像表征模塊的協(xié)同工作機(jī)制同樣為本研究提出的認(rèn)知計算模型假設(shè)提供依據(jù)[19]。依據(jù)以上假設(shè)，模擬了被試在不同情緒圖片刺激下加法計算的信息加工過程[20]。

3.3 結(jié)果與分析

基于以上理論假設(shè)，建立了不同情緒刺激下加法計算的認(rèn)知模型， 并在ACT-R6.0開發(fā)系統(tǒng)平臺上進(jìn)行了計算機(jī)仿真實驗，結(jié)果如表3。文獻(xiàn)[11,12]有關(guān)ACT-R擴(kuò)展模型的思想是本文假設(shè)模型的理論依據(jù)。以中性情緒刺激下加法計算為基線，根據(jù)正性情緒刺激對認(rèn)知加工過程有促進(jìn)作用，負(fù)性情緒刺激對認(rèn)知加工過程有抑制作用，通過調(diào)整加數(shù)、被加數(shù)及加法呈現(xiàn)時間來提出正性情緒刺激下加法和負(fù)性情緒刺激下加法的假設(shè)模型。首先目標(biāo)狀態(tài)是尋找情緒刺激圖片，視覺模塊在此目標(biāo)驅(qū)動下執(zhí)行搜索任務(wù)，通過全局尋找找到了目標(biāo)情緒刺激圖片并進(jìn)行編譯；然后，目標(biāo)狀態(tài)更改為尋找被加數(shù)的個位數(shù)字并編譯；接下來，目標(biāo)狀態(tài)更改為尋找加數(shù)的個位數(shù)字并編譯；再接下來，目標(biāo)狀態(tài)更改為尋找加法識別并編譯；同樣重復(fù)個位數(shù)加法過程得到十位數(shù)加法求和并編譯；將個位數(shù)與十位數(shù)的求和結(jié)果進(jìn)行組合并與真實結(jié)果進(jìn)行對比判斷；最后進(jìn)行按鍵。

表3 模擬數(shù)據(jù)與真實數(shù)據(jù) ms

正性情緒中性情緒負(fù)性情緒ACT-R模擬數(shù)據(jù)204021062264真實數(shù)據(jù)207720902218

認(rèn)知計算模型仿真的真正目的是正確理解并合理解釋人腦進(jìn)行認(rèn)知任務(wù)加工的過程，接近真實認(rèn)知計算加工過程的程度是判斷一個認(rèn)知計算模型成功與否的標(biāo)準(zhǔn)。一個正確的模型不僅體現(xiàn)在假設(shè)模型仿真結(jié)果與真實數(shù)據(jù)結(jié)果盡可能的接近，更重要的是能夠?qū)δＰ瓦M(jìn)行合理解釋?；诓煌榫w刺激下加法計算的認(rèn)知模型在反應(yīng)時間上與實驗的真實反應(yīng)時很接近， 從而在數(shù)據(jù)有效性方面上驗證了模型假設(shè)的合理性；同時模型輸出的認(rèn)知計算信息加工過程序列模塊協(xié)同加工過程與分析過程一致， 因此在邏輯上得到了合理解釋。

4 結(jié)論

本文研究結(jié)果表明，正性情緒促進(jìn)高級認(rèn)知計算；負(fù)性情緒抑制高級認(rèn)知計算，符合并進(jìn)一步驗證了以往相關(guān)研究結(jié)果[17-18]，人在不同情緒影響下加法計算主要以以下兩方面進(jìn)行解釋： 一方面，人在正性情緒下心情愉悅，思維輕松，有利于對目標(biāo)進(jìn)行視覺定位及提高知識提取速度，使認(rèn)知資源得到合理利用及有效分配，信息加工處理得到優(yōu)化；另一方面，負(fù)性情緒下心情難過或者害怕，思維加工受到抑制，從而不利于視覺定位及從記憶庫中提取知識，使得認(rèn)知資源無法得到有效利用及合理分配、認(rèn)知負(fù)擔(dān)進(jìn)一步加重，從而使信息處理過程減慢。因此，正性情緒刺激促進(jìn)加法計算，負(fù)性情緒刺激對加法認(rèn)知計算起抑制作用。本研究首次采用fMRI結(jié)合ACT-R的方法對情緒影響下加法計算進(jìn)行建模與仿真，豐富了以往對情緒和認(rèn)知方面的研究成果及計算機(jī)建模仿真內(nèi)容，對進(jìn)一步更加真實的采用計算機(jī)模擬與仿真的方法研究人類進(jìn)行認(rèn)知任務(wù)具有重要的理論意義及研究價值。由于時間和實驗條件限制，本文僅建立正常人不同情緒刺激下加法計算假設(shè)模型與仿真，正常人不同情緒下加法計算與減法計算差異性建模與仿真，以及正常人不同情緒下加減法計算與抑郁癥患者在不同情緒刺激下加減法計算的加工過程的差異性建模與仿真有待進(jìn)一步設(shè)計合理的實驗、采集相應(yīng)數(shù)據(jù)并分析及建模仿真驗證實驗數(shù)。

[1] Segerstrom, S C. Optimism and attentional bias for negative and positive stimuli[J]. Personality and Social Psychology Bulletin, 2001, 8(27):1334-1343.

[2] Isaacowitz D M, Wadlinger H A, Goren D, et al. Is there an age-related positivity effect invisual attention? A comparison of two methodologies[J]. Emotion, 2006, 6(3): 511-516.

[3] Koster E H, Crombez G, Verschuere B, et al. Selective attention to threat in the dot probe paradigm: Differentiating vigilance and difficulty to disengage[J]. Behaviour Research and Therapy, 2004, 9(42):1183-1192.

[4] Amir N, Elias J, Klumpp H, et al. Attentional bias to threat in social phobia:Facilitated processing of threat or difficulty disengaging attention from threat[J], Behaviour Research and Therapy,2003, 4(26): 1325-1335.

[5] Liang P P, Jia X Q, Taatgen N A, et al. Different strategies in solving series completion inductive reasoning problems: An fMRI and computational study[J]. International Journal of Psychophysiology, 2014, 2(93):253-260.

[6] Jia X Q, Liang P P, et al. Common and dissociable neural correlates associated with component processes of inductive reasoning[J]. Neuroimage , 2011,6(56):2292-2299.

[7] 王日鳳, 鐘 寧. 問題解決中啟發(fā)規(guī)則選擇機(jī)制及認(rèn)知模型[J]. 北京工業(yè)大學(xué)學(xué)報, 2012, 7(38):1104-1108.

[8] Anderson J R. Human symbol manipulation within an integrated cognitive architecture[J]. Cognitive Science, 2005, 5(29): 313-341.

[9] Anderson J R, Bothell D, Byrne M D, et al. An integrated theory of Mind[J]. Psychological Review, 2004, 2(11): 1036-1060.

[10] Anderson J R, Fincham J M, Qin Y L, et al. A Central circuit of the mind[J]. Trends in Cognitive Science, 2008, 4(12): 136-143.

[11] Jo S, Myung R, Yoon D. Quantitative prediction of mental workload with the ACT-R cognitive architecture[J]. International Journal of Industrial Ergonomics, 2012, 4(42):359-370.

[12] Oh H, Jo S, Myung R. Computational modeling of human performance in multiple monitor environments with ACT-R cognitive architecture[J]. International Journal of Industrial Ergonomics, 2014, 6(44):857-865.

[13] Anderson J R, Fincham J M, Qin Y. A central circuit of the mind[J]. Trends Cogn. Sci., 2008,12(4):136-143.

[14] Amir N, Elias J, Klumpp H, et al. Attentional bias to threat in social phobia: Facilitated processing of threat or difficulty disengaging attention from threat[J]. Behaviour Research and Therapy, 2003, 4(41): 1325-1335.

[15] Becker E S,et al The emotional Stroop effect in anxiety disorders-general emotionality or disorder specificity [J]. Journal of Anxiety Disorders, 2001, 5(45): 147-159.

[16] Yiend J,Mathews, A. Anxiety and attention to threatening pictures[J]. The Quarterly Journal of Experimental Psychology, 2001, 54A, 665-681.

[17] Salemink E, van den Hout M A, Kindt M. Selective attention and threat: Quick orienting versus slow disengagement and two versions of the dot probe task[J]. Behaviour Research and Therapy, 2007, 7(45):607-615.

[18] Rinck M, Becker E S, Kellermann J, et al. Selective attention in anxiety: distraction and enhancement in visual search[J]. Depression and Anxiety, 2003, 4(18): 18-28.

[19] Piaget J. The child's conception of number, routledge New York,1997:175-202.

[20] Jian K, Chunmao W, Kenneth K, et al. The neural substrate of arithmetic operations and procedure complexity[J]. Cognitive Brain Research,2005,22:397-405.

Model and Simulation of Addition under Different Emotional Stimuli

Yang Xiaojing1,2,3,Yang Yang1,2,3,Zhong Ning1,2,3,4

(1.Institute of International WIC, Beijing University of Technology, Beijing 100124, China; 2.Beijing Key Laboratory of Magnetic Resonance Imaging and Brain Informatics, Beijing 100124, China; 3.Beijing International Collaboration Base on Brain Informatics and Wisdom, Services, Beijing 100124, China; 4.Dept.Of Life Science and Informatics, Maebashi Institute of Technology, Maebashi 371-0816,Japan)

In order to find out the mechanism of the calculation under emotional influence, we proposed a cognitive mechanism of simple calculation under different emotional stimuli. By using a paradigm of simple calculation influenced by affective images with positive, neutral, and negative valences, respectively, a contrast between the behavioral experiment and ACT - R cognitive simulation experiment was performed. Twenty-four subjects’ results of simple addition were tested under the different emotional stimuli during the behavioral experiment. Based on the behavioral result, we simulated the cognitive processes of simple calculation under the different emotional influences. As a result, the simulated response time was 2 040 ms during the positive condition, compared with the actual response time of 2 077 ms (deviation = 107 ms); the simulated response time was 2 106 ms during the neutral condition, compared with the actual response time of 2 090 ms (deviation = 98 ms); the simulated response time was 2 264 ms during the negative condition, compared with the actual response time of 2 218 ms (deviation = 52 ms). Our findings indicate that the positive emotional stimuli impose a promoting effect on mental addition, while negative emotional stimuli exert inhibitory effect on mental addition. The simulated response time within our cognitive model is quite close to the actual results, verifying the validity of our hypothesis; the output of information module sequence mutual coordinated process fitted the analysis process, suggesting the logic rationality of our model.

different emotional stimuli; cognitive computing; cognitive model; ACT-R

2016-07-02；

2016-07-18。

國家重點(diǎn)基礎(chǔ)研究發(fā)展計劃(2014CB744600);國家自然科學(xué)基金(61272345，61105118);國家國際科技合作專項(2013DFA32180)。

鐘 寧 (1956-)，男，北京人，教授，博士生導(dǎo)師，主要從事人工智能、網(wǎng)絡(luò)智能、數(shù)據(jù)挖掘方向的研究。

1671-4598(2016)12-0188-03

10.16526/j.cnki.11-4762/tp.2016.12.053

TP 391.9

A