視覺刺激的空間信息對聽覺信息處理的影響

楊菁菁，熊偉

（長春理工大學 計算機科學技術(shù)學院，長春 130022）

人腦能夠高效地處理來自多感官通道的信息，這些信息會被聯(lián)合形成統(tǒng)一、穩(wěn)定的認知，這一過程被稱為多感覺信息整合［1，2］。當看電視時，人們會認為聲音是從演員的嘴發(fā)出的而不是從電視的音箱發(fā)出的，這種現(xiàn)象就是典型的腹語術(shù)效果［3］。視覺系統(tǒng)的空間定位明顯優(yōu)于聽覺系統(tǒng)。視覺信息的空間位置會影響聽覺信息的判斷，以往的研究集中于視聽覺通道的信息。在現(xiàn)實生活中很多情況下要求人腦只注意某一通道的信息。注意有關(guān)信息忽視無關(guān)信息是人腦信息選擇處理的重要功能［4，5］。不被注意的視覺刺激的空間位置是否影響聽覺信息的處理尚不明確，如果有影響，這種影響與實驗任務是否相關(guān)也尚不明確。

因此通過設(shè)計聽覺注意實驗，視覺刺激出現(xiàn)在與聽覺刺激一致和不一致的位置，分析不同空間位置的視覺刺激是否影響聽覺信息的處理是非常必要的。為了調(diào)查不同實驗任務的影響設(shè)計兩種實驗任務，分別為判斷聽覺刺激方向和判斷聽覺刺激強度。

1 實驗方法

1.1 被試

19名來自長春理工大學的本科學生參與了實驗（男女各半），年齡在20～24歲（平均22.8歲）。被試皆為右利手，身心健康，視力或者矯正視力正常，聽力正常，所有被試在實驗前均簽署《知情同意書》。實驗前充分了解實驗流程，并進行測試練習，保證被試能正確的完成實驗。

1.2 實驗設(shè)計

實驗包含兩種實驗任務：一組實驗要求被試對聽覺刺激的方向進行判斷，另一組要求被試判斷聽覺刺激的強度。實驗材料包括單獨聽覺刺激和視聽覺刺激，視聽覺刺激的空間位置又分為一致和不一致兩種情況。數(shù)據(jù)分析時，由組內(nèi)變量（空間一致和不一致）的差異，然后再比較組間變量（不同任務）之間的差異。

1.3 實驗材料及任務

1.3.1 實驗①判斷方向

聽覺刺激是1000Hz的正弦純音，聲強95dB，提示時間40ms，其中包括5ms的漸強和漸弱。聽覺刺激由位于顯示器前左右±8°的兩個音箱分別提示，左右的比例均等。聽覺刺激中有一半刺激同時伴隨視覺圖片提示。視覺圖片為大小250×250pixels的Gabor光柵圖像，頻率0.004cycles/pixel，背景黑色，提示時間40ms。視覺圖片出現(xiàn)在固視點（顯示器中央的“+”）下4°的水平線上，水平角度為0°或±8°（即左、中、右）三個位置中的一個。這樣組成的雙通道的視聽覺刺激中，1/3的視聽覺刺激位置一致，2/3位置不一致（1/3視覺刺激在中央而聽覺刺激在左或右，1/3視聽覺刺激左右位置正好相反，見圖1右側(cè)列）。

圖1 實驗刺激示意圖

實驗在一個隔音的暗室中進行。視覺圖片通過17寸顯示器提示，被測人與屏幕距離80cm，下巴放在下頜托上，被試只對聽覺刺激的方向做出判斷，聽到左側(cè)的聽覺刺激按鼠標左鍵，聽到右側(cè)的聽覺刺激按鼠標右鍵。

1.3.2 實驗②判斷強度

實驗刺激與實驗①類似，唯一不同的是，聽覺刺激強度有兩種，一種是95dB（靶刺激），另一種是65dB（標準刺激）刺激組成見圖1。各種刺激隨機提示，比例均等，靶刺激和標準刺激各占50%。實驗任務是被試注意聽覺刺激，聽到高強度的聽覺刺激時按鼠標左鍵，即對聽覺靶刺激按鍵反應，對聽覺的方向和視覺圖片不做反應。每次實驗開始時，先在屏幕中央呈現(xiàn)一個注視點“+”2000ms，注視點消失后隨機呈現(xiàn)空屏800-1400ms，接著聽覺、視聽覺刺激隨機呈現(xiàn)。被試的任務是只注意聽覺通道，當聽到聽覺靶刺激時按鼠標左鍵，記錄被試的反應時及正確率。

1.4 數(shù)據(jù)采集與分析方法

實驗刺激采用Presentation軟件（Version 0.61）編輯呈現(xiàn)。實驗記錄了每種刺激類型的反應時和正確率，對各組數(shù)據(jù)進行統(tǒng)計計算平均值，并剔除超過平均值加減2倍標準偏差的數(shù)據(jù)。通過SPSS進行了成對t檢驗（Paired samples t-test）。

2 結(jié)果分析

2.1 實驗①方向判斷

反應時間記錄的是從刺激提示開始到被試按鍵反應所需的時間，單位是毫秒（ms）。圖2顯示的是各組刺激的平均反應時間。統(tǒng)計分析結(jié)果看到對所有右側(cè)的聽覺刺激的反應要比左側(cè)快，這是因為反應鍵在右側(cè)，對右側(cè)的聽覺刺激判斷更有利。一致的視聽覺刺激的反應時間與單獨通道的無差別（t=1.302，p=0.210），但是位置不一致的雙通道刺激反應時比單通道刺激要慢（視覺中央t=-3.303，p＜0.01，視覺位置相反t=-4.239，p＜0.001）。當視覺刺激位置與聽覺刺激不一致時影響了聽覺刺激的方向判斷。

圖2 方向判斷任務的平均反應時間

正確率的結(jié)果顯示與反應時的結(jié)果類似，位置不一致的視聽覺刺激的正確率要低于單通道刺激和位置一致的視聽覺刺激，如圖3所示。

圖3 方向判斷任務的平均反應正確率

2.2 實驗②強度判斷

實驗要求被試判斷聽覺刺激的強度，這一任務與方向判斷無關(guān)，結(jié)果顯示所有組別的左右結(jié)果無差別（t=-0.504，p=0.578），視聽覺一致刺激的反應比單獨通道的聽覺刺激快（t=4.439，p＜0.001）。視覺圖片在中央的刺激比單獨通道的聽覺刺激快，但無統(tǒng)計學差別（t=1.750，p=0.287），視覺圖片與聽覺刺激位置相反時比單通道反應快（t=3.502，p＜0.001），如圖4所示。

圖4 強度判斷任務的平均反應時間

正確率的結(jié)果與反應時間的結(jié)果趨勢相似，視覺圖片在中央的條件與單通道無差別，視聽覺位置一致和位置完全相反的條件有差別，雙通道的結(jié)果更準確，如圖5所示。

圖5 強度判斷任務的平均反應正確率

如圖6所示，比較兩組試驗任務的反應時間，發(fā)現(xiàn)對于單通道聽覺刺激強度判斷與方向判斷的反應時間無差別。雙通道的反應時間有差別，強度判斷時雙通道刺激都促進了聽覺強度的判斷，而方向判斷的時間比強度判斷的時間慢，并且空間位置的一致與不一致結(jié)果不同。

圖6 反應時間對比圖

兩組實驗中視覺刺激都不要求注意，實驗的任務與視覺刺激無關(guān)，視覺刺激被認為是無關(guān)刺激，但是結(jié)果發(fā)現(xiàn)視覺刺激影響了聽覺信息的處理，而且這種影響與實驗任務相關(guān)。在先行研究中指出，人腦的信息處理與人腦的注意功能有關(guān)，選擇注意是指專注于某些刺激而忽視另外一些刺激［6，7］。當相關(guān)刺激與無關(guān)刺激在某些物理性質(zhì)上有所不同時，可以選擇相關(guān)刺激加以集中注意，而讓其他刺激消失在背景之中。人腦對信息的過濾和選擇是在意識加工前，這樣可以阻止無用信息進入意識干擾信息的處理［8］。實驗提示的視覺刺激的各項物理屬性中時間特性和空間特性被有選擇的注意。在實驗任務與空間位置相關(guān)時，視覺刺激的空間信息被選擇注意，當空間位置一致時促進了聽覺刺激位置的判斷，位置不一致時阻礙判斷；當實驗任務與空位置無關(guān)時，由于視覺刺激和聽覺刺激同時提示，視覺刺激為聽覺的判斷提供了一致的時間信息，視覺刺激的時間信息被選擇注意，這時空間位置信息不被注意，位置的一致與否與判斷無關(guān)，因此在強度判斷實驗中雙通道的刺激促進了聽覺信息的判斷。

綜合實驗結(jié)果不要求注意的視覺通道信息的利用與否取決于實驗任務，實驗任務決定了刺激的相關(guān)物理特性被選擇注意。所以也證實了視覺刺激的空間特性對聽覺信息的影響與實驗任務相關(guān)。注意的選擇性腦機制水平可隨著刺激的性質(zhì)不同、任務的不同發(fā)生變化，這也證實了人腦的注意功能具有可塑性。人腦在處理多通道信息時，多通道信息的時間特性、空間特性和人腦的注意功能三者共同調(diào)節(jié)人腦信息的處理方式。關(guān)于視聽覺雙通道信息處理相互影響的神經(jīng)機理，已成為腦認知科學研究的關(guān)注焦點，還需要進一步采用腦電計測技術(shù)、功能性核磁共振等技術(shù)進行更深入的研究。

3 結(jié)論

通過認知行為學實驗調(diào)查了不要求注意的視覺刺激的空間位置對聽覺信息處理的影響。實驗結(jié)果發(fā)現(xiàn)不被注意的視覺刺激的也會影響聽覺信息處理，這種影響與實驗任務相關(guān)。發(fā)現(xiàn)了實驗任務決定空間信息的選擇注意，從而影響多通道信息的處理。研究人腦信息的處理方式，構(gòu)建人腦多通道信息處理的模型，對多傳感器數(shù)據(jù)融合、腦機接口等技術(shù)的發(fā)展具有重要的理論與現(xiàn)實意義。

［1］Qi Li，Jinglong Wu，Touge Tetsuo.Audiovisual interaction enhances auditory detection in late stage：an event-related potential study ［J］.Neuroreport，2010，21（3）：173-178.

［2］Weiping Yang，Jingjing Yang，Yulin Gao，et al.Effects of sound frequency on audiovisual integration：An event-relatedpotentialstudy［J］.PLoS ONE，2015，10（9）：296-299.

［3］Qi Li，Huamin Yang，F(xiàn)ang Sun，et al.Spatiotemporal relationships among audiovisual stimuli modulate auditory facilitation of visual target discrimination［J］.Perception，2015，44（3）：232-242.

［4］楊菁菁，李奇，李修軍.人腦時間信息處理的性別差異研究［J］.長春理工大學學報：自然科學版，2016，39（6）：119-121.

［5］李奇，楊菁菁，武巖，等.視聽覺信息整合腦機制研究［M］.北京：國防工業(yè)出版社，2014.

［6］Talsma D，Doty TJ，Woldorff MG.Selective attention and audiovisual integration：is attending to both modalities a prerequisite forearly integration［J］.Cereb Cortex，2007，17（3）：679–690.

［7］Thomas Koelewijn，Adelbert Bronkhorst，Jan Theeuwes.Attention and the multiple stages of multisensory integration：A review of audiovisual studies［J］.Acta Psychologica，2010，134（4）：372-384.

［8］羅躍嘉，魏景漢.注意的認知神經(jīng)科學研究［M］.北京：高等教育出版社，2004.