選擇性注意條件下人腦視聽覺空間信息處理機制研究

馮珍，楊菁菁

（長春理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院，長春 130022）

信息時代，人們每天都會獲得各種各樣的信息指導(dǎo)正常的生活、工作和娛樂。大腦是人體進行信息分析處理的“處理器”，通過一定的信息處理機制對各感官獲得的信息進行分析，指導(dǎo)人體活動。其中，視、聽兩通道獲取的信息占比最大，視聽信息整合也因此成為腦信息學(xué)研究的重要內(nèi)容。注意是人腦對客觀事物的指向和集中，注意功能決定了人腦對信息的選擇[1-2]。不同注意條件下人腦信息處理的機理不同?？臻g信息又是影響視聽信息整合的主要因素。

本研究采用選擇性注意行為學(xué)實驗的方式對人腦視聽覺空間信息處理機制進行研究，能保證被試把注意力集中到重要的刺激或刺激的重要方面，排除次要刺激的干擾，得到更有效的數(shù)據(jù)[3]。實驗要求被試判斷注意通道的刺激位置并做按鍵反應(yīng)。對17名被試進行實驗，獲得各實驗任務(wù)下的反應(yīng)時間及正確率，分析實驗數(shù)據(jù)，得到人對視聽兩通道信息處理之間相互影響的規(guī)律。結(jié)論將輔助人腦視聽覺信息整合的研究，對腦機接口技術(shù)、多傳感器數(shù)據(jù)融合、機器人技術(shù)、人機交互技術(shù)的發(fā)展都具有重要意義。

1 實驗介紹

1.1 被試的選擇

實驗選擇17名長春理工大學(xué)在校大學(xué)生作為被試（8男9女，平均年齡22.7歲），被試均為自愿參加實驗，身體狀況良好，沒有視覺聽覺方面的疾??；配合度良好，實驗前保證按時作息，充分了解實驗任務(wù)。

1.2 實驗刺激

實驗刺激共有8種，分別為：左側(cè)視覺刺激（VL）、右側(cè)視覺刺激（VR）、左側(cè)聲音刺激（AL）、右側(cè)聲音刺激（AR）、視覺左聲音左混合刺激（AL?VL）、視覺右聲音右混合刺激（ARVR）、視覺左聲音右混合刺激（ARVL）、視覺右聲音左混合刺激（AL?VR）。前4種（如圖1）為單通道刺激，后4種（如圖2）為雙通道刺激。

圖1 單通道刺激

圖2 雙通道刺激

聽覺刺激由Audacity 2.1.0聲音制作軟件制作，通過左右兩個音響提示；視覺刺激由MATLAB制作的gabor patch，通過19英寸顯示器顯示。使用presentation編寫實驗程序，實現(xiàn)刺激依隨機序列隨機出現(xiàn)，每個刺激持續(xù)時間為40ms，刺激間間隔為800～1500ms的隨機值。

1.3 實驗任務(wù)

（1）視覺判斷任務(wù)（Visual），即判斷圖片位置左右。被試注意隨機出現(xiàn)的視覺圖片刺激，當(dāng)圖片出現(xiàn)在左側(cè)時按鼠標(biāo)左鍵，圖片出現(xiàn)在右側(cè)時按鼠標(biāo)右鍵；

（2）聽覺判斷任務(wù)（Auditory），即判斷聲音的位置左右。被試注意隨機出現(xiàn)的聽覺刺激，當(dāng)聲音發(fā)出位置是左側(cè)音響時按鼠標(biāo)左鍵，聲音由右側(cè)音響發(fā)出時按鼠標(biāo)右鍵。

圖3 實驗裝置示意圖

1.4 實驗環(huán)境

實驗在光線可調(diào)節(jié)的隔音室中進行，確保被試能夠集中注意于實驗。視覺刺激背景為黑色，視覺圖片出現(xiàn)在固視點（顯示器中央的“+”）下4°的水平線上，聽覺刺激由左右音響發(fā)出。圖片出現(xiàn)位置及音響擺放位置為向左和右8°視角位置。被試下巴放在下頜托上，距顯示屏距離為110cm。

1.5 實驗流程

實驗前，向被試發(fā)送被試須知，便于被試簡單了解實驗內(nèi)容、調(diào)整精神狀態(tài)。解答被試疑惑，確保被試充分了解實驗任務(wù)。帶領(lǐng)被試進入隔音室熟悉實驗環(huán)境，并做各實驗任務(wù)下的練習(xí)實驗，簡單統(tǒng)計被試練習(xí)實驗的數(shù)據(jù)，待正確率穩(wěn)定后開始正式實驗。

每次實驗開始前，被試被告知實驗任務(wù)。實驗開始時，首先在屏幕中央呈現(xiàn)注視點“+”3000ms，注視點消失后視覺、聽覺、視聽混合覺刺激隨機出現(xiàn)，被試依據(jù)實驗任務(wù)作出反應(yīng)。每組實驗持續(xù)約5分鐘，共4組，每名被試隨機進行各組實驗，實驗間隔允許被試休息活動。

2 數(shù)據(jù)結(jié)果

2.1 數(shù)據(jù)處理過程

數(shù)據(jù)處理整體過程如圖4所示。

圖4 實驗數(shù)據(jù)處理過程

2.2 個人結(jié)果整理與分析

對每個被試的實驗數(shù)據(jù)進行分別保存，隨后進行數(shù)據(jù)篩選、標(biāo)準(zhǔn)差計算、偏差數(shù)據(jù)剔除、均值及正確率計算等基本處理。將基本處理后的個人數(shù)據(jù)以實驗任務(wù)為單位匯總保存。

2.3 平均結(jié)果整理與分析

各實驗任務(wù)下對每名被試的數(shù)據(jù)進行反應(yīng)時間和正確率進行平均值、標(biāo)準(zhǔn)差和標(biāo)準(zhǔn)誤差的計算，得到如下的數(shù)據(jù)結(jié)果。

圖5 Visual反應(yīng)時間

圖6 Visual正確率

由圖5、6匯總的數(shù)據(jù)結(jié)果可以得出以下結(jié)論：判斷視覺刺激位置左右時，位置相反的聽覺刺激會使被試對該刺激的反應(yīng)時間長于對單通道視覺刺激的反應(yīng)時間，位置相同的聽覺刺激則會使被試反應(yīng)時間略短于單通道視覺刺激的反應(yīng)時間。被試在此實驗任務(wù)下的正確率比較均衡，沒有出現(xiàn)明顯差異。

圖7 Auditory反應(yīng)時間

圖8 Auditory正確率

由圖7、8匯總的數(shù)據(jù)結(jié)果可以得出以下結(jié)論：判斷聽覺刺激位置左右時，單通道刺激與雙通道刺激反應(yīng)時間的差異明顯，被試對包含位置相反圖片的混合刺激反應(yīng)時間明顯長于對視聽位置相同刺激的反應(yīng)時間，說明圖片刺激對被試的反應(yīng)產(chǎn)生了干擾。被試在此實驗任務(wù)下的正確率也出現(xiàn)了明顯的差異，視聽刺激位置相反的混合刺激正確率明顯低于其他類型刺激的正確率，視聽刺激位置相同的混合刺激正確率最高。

2.4 SPSS分析

利用SPSS對匯總后的數(shù)據(jù)進行分別以單一通道刺激空間位置左右、視聽刺激位置是否一致、單/雙通道為依據(jù)的差異分析[4]，結(jié)合各組數(shù)據(jù)均值比較所得的結(jié)果進行科學(xué)的規(guī)律總結(jié)。

Visual反應(yīng)時間SPSS分析結(jié)果顯示：ALVLARVR、ALVR-ARVL對比，p值分別為p=0.001、p=0.007，說明被試對雙通道刺激的反應(yīng)時間左側(cè)和右側(cè)存在差異，結(jié)合反應(yīng)時間平均數(shù)值可以發(fā)現(xiàn)，無論聽覺刺激位置與視覺刺激位置是否一致，對出現(xiàn)在右側(cè)的視覺刺激的反應(yīng)均快于對左側(cè)位置刺激的反應(yīng)時間，這與實驗設(shè)計右手按鍵且按右鍵及人的方位偏好有關(guān)[5]。

ALVR-ARVR的p值=0.015，說明被試注意視覺時，聽覺刺激對右側(cè)出現(xiàn)的圖片刺激影響更明顯。產(chǎn)生這一結(jié)果是因為視覺對位置左右的判斷是非常敏感的，尤其是在右側(cè)，加之在右側(cè)按鍵且鼠標(biāo)按右鍵，所以視覺右側(cè)受聽覺刺激的影響更顯著。Visual正確率SPSS分析結(jié)果無明顯差異。

Auditory反應(yīng)時間SPSS分析結(jié)果顯示：

ALVL-ALVR的p=0，表示視聽兩通道刺激同時存在時，視覺圖片位置與注意的聽覺刺激發(fā)出位置相同或不同對反應(yīng)時間有明顯的影響。

AL-ALVL、AL-ALVR、AR-ARVR對比p值依次為p=0.047、p=0.001、p=0.02，說明視聽雙通道刺激與單獨聽覺刺激相比，前者反應(yīng)時間在視聽刺激位置相同時明顯加快，而在視聽刺激位置不同時則偏慢。

Auditory正確率SPSS分析結(jié)果：ALVL-AL?VR、ARVR-ARVL分別為p=0.001、p=0.007，表示視聽混合刺激中兩通道刺激位置相同與相反時正確率差距明顯。

AL-ALVL、AL-ALVR、AR-ARVR、AR-ARVL結(jié)果分別為p=0.047、p=0.001、p=0.02、p=0.009，說明與單獨聽覺刺激的正確率相比，包含視覺刺激的混合刺激在位置相同和位置相反時均對被試對該刺激的反應(yīng)產(chǎn)生了明顯的影響。結(jié)合正確率均值處理后的數(shù)據(jù)，得到位置相同的視覺刺激提高正確率、位置相反的視覺刺激拉低正確率的結(jié)論。

數(shù)據(jù)處理過程主要是對原始數(shù)據(jù)進行基本的數(shù)據(jù)過濾，剔除無效數(shù)據(jù)和異常數(shù)據(jù)，便于提升下一步分析的準(zhǔn)確性；隨后進行均值、標(biāo)準(zhǔn)差、標(biāo)準(zhǔn)誤差的計算，分類匯總數(shù)據(jù)，進行簡單分析總結(jié)；接著利用SPSS數(shù)據(jù)統(tǒng)計分析方法對數(shù)進行科學(xué)的統(tǒng)計分析，得到更有說服力的數(shù)據(jù)，進而進行結(jié)論的說明和總結(jié)。分析過程中首先使用的excel進行前期的基礎(chǔ)處理，隨后進行柱形圖的繪制，更直觀地展示數(shù)據(jù)、總結(jié)規(guī)律，利用SPSS進行不同參考條件下的差異對比，分析得到最終結(jié)論[6]。

3 討論分析

3.1 注意視覺和注意聽覺的差別

實驗結(jié)果顯示，雙通道刺激對注意聽覺產(chǎn)生的影響比注意視覺的時候更明顯，這說明聽覺注意更加容易受到視覺刺激的影響，而聽覺刺激對視覺注意的影響則相對較弱。

可以發(fā)現(xiàn)，視覺在空間認(rèn)知上更具優(yōu)勢，所以對聽覺的空間判斷影響較大，即聽覺的空間方向認(rèn)知上相對比較弱，所以視覺對其干擾比較大。體現(xiàn)在被試對位置一致的刺激的反應(yīng)明顯快于對單獨聽覺刺激的反應(yīng)，對位置不一致的刺激的反應(yīng)則慢于對單獨聽覺刺激的反應(yīng)，正確率也有相同的變化趨勢；注意視覺位置受聽覺刺激的影響則不明顯。

當(dāng)兩個通道的信號如果都很強、都很容易、只依靠其中某個通道就可以完成實驗任務(wù)時，雙通道信息整合的效果相對不是很明顯[7]。聽覺通道判斷空間能力比較弱，給出一個輔助的視覺通道空間方位的信息的時候，就會更多的依賴于這兩個通道的信息一起作用，一致的時候就促進反應(yīng)，相反的時候就阻礙了反應(yīng)。

3.2 針對不同刺激形式結(jié)果的討論

雙通道刺激位置一致和不一致表現(xiàn)出的影響不同：一致的雙通道刺激會給注意一個正確的提示，使信息更有效地整合，表現(xiàn)為反應(yīng)時間的加快和正確率的提高，不一致的雙通道刺激會誤導(dǎo)對注意通道刺激的判斷，信息整合也收到干擾，使反應(yīng)時間變慢，正確率降低。

4 結(jié)論

本課題通過選擇性注意實驗研究人腦視聽覺信息處理機制，對視聽兩通道信息處理之間的影響規(guī)律進行研究。通過分析實驗數(shù)據(jù)得到了以下結(jié)論：視聽兩通道信息處理進行融合處理，且相互之間存在影響，視覺刺激在空間位置認(rèn)知上要強于聽覺，因此從其他通道干擾的角度來看，視覺注意受聽覺刺激的干擾較小，表現(xiàn)在反應(yīng)時間和正確率上沒有明顯的差別，聽覺相對視覺在空間位置的感知上較弱，因此容易受到來自視覺刺激的影響，使注意聽覺的情況下各種刺激的反應(yīng)時間和正確率落差較大。

總結(jié)這些規(guī)律并加以現(xiàn)實意義，可以便捷人們的日常生活：例如，利用視聽信息處理之間的輔助作用，進行監(jiān)控系統(tǒng)的可視可聽化，可以對監(jiān)控內(nèi)容進行更真實的反應(yīng)；不同通道信息發(fā)出位置的差別可用于車輛?？恳龑?dǎo)裝置，除了顯示屏視覺上的位置提示加上輔助的不同方位的聽覺警告提示，視聽信息共同提示將會起到更好的引導(dǎo)效果。研究腦電信號對規(guī)律進行驗證，可以為腦機接口技術(shù)提供理論依據(jù)，利用腦電信息的特征進行反向的控制，對實現(xiàn)思維控制機械的腦機接口技術(shù)具有重大意義。