返回抑制對視聽跨通道對應(yīng)的影響*

祖光耀 李舒淇 張?zhí)礻?王愛君 張 明

返回抑制對視聽跨通道對應(yīng)的影響*

祖光耀1李舒淇1張?zhí)礻?王愛君1張 明1

(1蘇州大學(xué)心理學(xué)系, 心理與行為科學(xué)研究中心;2蘇州大學(xué)公共衛(wèi)生學(xué)院, 江蘇 蘇州 215123)

視聽跨通道對應(yīng)(audiovisual crossmodal correspondence)在不同類型的視、聽刺激之間被廣泛發(fā)現(xiàn), 但其發(fā)生階段尚不明確。研究采用線索?靶子范式, 探究返回抑制(inhibition of return, IOR)對于視聽跨通道對應(yīng)的影響。實驗1操縱線索和目標(biāo)之間的空間位置一致性和聽覺音調(diào)與視覺目標(biāo)位置之間的跨通道對應(yīng)一致性, 結(jié)果發(fā)現(xiàn)IOR效應(yīng)和視聽跨通道對應(yīng)存在交互作用, 線索化位置存在穩(wěn)定的視聽跨通道對應(yīng)效應(yīng), 而非線索化位置的視聽跨通道對應(yīng)效應(yīng)消失。實驗2操縱無關(guān)聽覺刺激是否出現(xiàn), 發(fā)現(xiàn)IOR效應(yīng)與單獨的聲音出現(xiàn)與否不存在交互作用, 排除了警覺效應(yīng)對于結(jié)果的混淆。實驗3通過延長線索和目標(biāo)的間隔時間(stimulus onset asynchronies, SOA), 發(fā)現(xiàn)伴隨著IOR效應(yīng)減弱, 線索化位置的視聽跨通道對應(yīng)效應(yīng)也相應(yīng)減弱, 且IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱。研究表明, 僅當(dāng)聽覺刺激與視覺空間位置之間發(fā)生跨通道對應(yīng)時, 才會與同樣發(fā)生在知覺水平的IOR效應(yīng)產(chǎn)生交互, 支持了視聽跨通道對應(yīng)發(fā)生在知覺階段。同時研究結(jié)果支持視聽跨通道對應(yīng)的發(fā)生符合反比效應(yīng)原則。

視聽跨通道對應(yīng), 返回抑制, 線索?靶子范式, 警覺效應(yīng)

1 引言

人類依靠多個感覺通道去感受周圍的壞境, 不同感覺通道間信號的結(jié)合會促進(jìn)人類的行為反應(yīng), 這一現(xiàn)象被稱為多感覺反應(yīng)增強(Frassinetti et al., 2002; Stein et al., 1989)。以往對于多感覺反應(yīng)增強的研究集中于多感覺整合(McCracken et al., 2019; Starke et al., 2017)。多感覺整合是指當(dāng)不同感覺通道的信息具有時空鄰近性時, 個體將這些信息進(jìn)行整合以形成連貫和有意義的表征(彭姓等, 2019; Tang et al., 2016)。視覺和聽覺輸入信息的整合被稱為視聽覺整合(audiovisual integration), 相比于單一視覺或聽覺, 視、聽雙通道的整合會產(chǎn)生冗余效應(yīng)(redundant effect), 促進(jìn)被試對于雙通道刺激的探測和辨別(彭姓等, 2019; 唐曉雨等, 2020; Stein & Stanford, 2008; Talsma & Woldorff, 2005)。如相同位置同時呈現(xiàn)的視覺和聽覺刺激提供了相同的空間和時間信息, 提高了個體的反應(yīng)能力(Spence, 2013)。

以往研究發(fā)現(xiàn), 視、聽刺激除了以一種冗余的方式影響被試的反應(yīng)外, 還能以一種非冗余的方式對被試的反應(yīng)產(chǎn)生影響, 即視、聽刺激提供了兩種不同維度的信息, 但卻相互映射影響當(dāng)前的行為, 這種現(xiàn)象被稱為視聽跨通道對應(yīng)(audiovisual cross- modal correspondence) (Spence, 2011, 2019)。一種常見的視聽跨通道對應(yīng)是聽覺的音調(diào)與視覺的空間位置之間的對應(yīng), 個體傾向于將音調(diào)較高的聲音與高空間位置相映射, 而將音調(diào)較低的聲音與低空間位置相映射。當(dāng)高音伴隨或者先于視覺刺激呈現(xiàn)時, 被試對于高空間位置呈現(xiàn)的視覺刺激的反應(yīng)快于低空間位置呈現(xiàn)的視覺刺激, 反之亦然(Chiou & Rich, 2012; Evans & Treisman, 2010; McCormick et al., 2018; Spence, 2019; Zeljko et al., 2019)。除此之外, 音調(diào)與刺激大小(Brunetti et al., 2018; Parise & Spence, 2008)、音調(diào)與亮度(Maimon et al., 2020; Marks et al., 2003)以及音調(diào)與空間頻率(Evans & Treisman, 2010)都存在視聽跨通道對應(yīng)。不同于視聽覺整合所需要的視覺和聽覺刺激在時間和空間上相鄰呈現(xiàn)(Spence, 2013), 視聽跨通道對應(yīng)發(fā)生時, 視覺刺激和聽覺刺激的呈現(xiàn)位置可以不同, 呈現(xiàn)的時間間隔也可以相對更長(Chiou & Rich, 2012)。視聽跨通道對應(yīng)是一種相對的映射(Chiou & Rich, 2012), 如在音調(diào)與空間位置的跨通道對應(yīng)中, 不存在某個頻率的音調(diào)與某個高度的空間位置之間的絕對的映射, 而是存在兩個音調(diào)中相對較高或較低的音調(diào)與兩個位置中相對較高或較低的位置之間的映射。

現(xiàn)有研究針對視聽跨通道對應(yīng)的發(fā)生階段存在不同觀點。第一種觀點認(rèn)為, 視聽跨通道對應(yīng)發(fā)生在知覺水平, 即視聽跨通道對應(yīng)增加了刺激的感知覺顯著性(Evans & Treisman, 2010)。已有研究發(fā)現(xiàn)當(dāng)被試觀看模糊移動的光柵時, 如果伴隨著音調(diào)的上升, 被試更傾向于知覺到光柵在向上運動, 如果伴隨著音調(diào)的下降, 被試更傾向于知覺到光柵在向下運動(Maeda et al., 2004)。ERP (event-related potential)研究發(fā)現(xiàn)當(dāng)先前呈現(xiàn)的聲音與當(dāng)前視覺符號存在對應(yīng)一致時, 視覺誘發(fā)的早期知覺成分N1的波幅相比于對應(yīng)不一致時更大, 支持了視聽跨通道對應(yīng)是知覺上的增強(Kovi? et al., 2010)。第二種觀點認(rèn)為, 視聽跨通道對應(yīng)發(fā)生在語義層面(Spence, 2011)。研究者發(fā)現(xiàn)在幾乎所有的語言環(huán)境中, 人們都用“高” “低”來描述不同頻率的音調(diào), 而同樣的詞語又對應(yīng)空間位置的高和低, 以及空間頻率的高和低, 因此研究者認(rèn)為視、聽不同維度刺激相同的語義編碼導(dǎo)致了視聽跨通道對應(yīng)的出現(xiàn)(Walker, 2012)。研究者用“高” “低”兩個詞的語音代替高、低頻率的音調(diào), 發(fā)現(xiàn)了語音與空間位置也出現(xiàn)了跨通道對應(yīng), 支持了視聽跨通道對應(yīng)發(fā)生在語義層面的觀點(Gallace & Spence, 2006)。第三種觀點認(rèn)為, 視聽跨通道對應(yīng)發(fā)生在晚期決策水平, 即一個通道與另一個通道的對應(yīng)降低了對于所呈現(xiàn)目標(biāo)刺激的反應(yīng)標(biāo)準(zhǔn)(Spence, 2011)。研究者使用信號檢測論的方法對于視聽跨通道對應(yīng)進(jìn)行研究, 結(jié)果顯示當(dāng)視聽跨通道對應(yīng)發(fā)生時, 被試的知覺敏感性沒有發(fā)生變化, 而對于目標(biāo)的虛報率則上升。研究者認(rèn)為如果視聽跨通道對應(yīng)發(fā)生在知覺層面, 被試反應(yīng)能力的增強不會伴隨虛報率的上升, 因而視聽跨通道對應(yīng)發(fā)生在決策而非知覺水平(Marks et al., 2003)?？傊? 由于所選用的刺激材料和測量指標(biāo)不同, 視聽跨通道對應(yīng)的發(fā)生階段尚無定論(Spence, 2011)。

視、聽刺激的整合或?qū)?yīng)可以提高目標(biāo)的知覺顯著性(Evans & Treisman, 2010; Kovi? et al., 2010; Tang et al., 2019), 促進(jìn)個體的行為反應(yīng), 而注意系統(tǒng)中的返回抑制(inhibition of return, IOR)也會影響人類對于目標(biāo)的知覺(唐曉雨等, 2020; Tang et al., 2019)。IOR是指在線索?靶子范式(cue-target paradigm)中, 當(dāng)線索和目標(biāo)之間的SOA大于約300 ms時, 被試對于線索化位置出現(xiàn)的刺激的反應(yīng)時慢于非線索位置出現(xiàn)的刺激的現(xiàn)象(Posner & Cohen, 1984)。IOR避免了相同位置被重復(fù)搜索, 提高了視覺搜索效率(Redden et al., 2021)。盡管對于IOR的發(fā)生機制存有不同的理論解釋, 但人們普遍認(rèn)為IOR反映了一種知覺抑制, 即注意從線索化位置脫離, 導(dǎo)致線索化位置上目標(biāo)的感知覺顯著性降低, 使得反應(yīng)受到損害(Klein, 2000; Satel et al., 2013)。ERP研究發(fā)現(xiàn)IOR發(fā)生時線索化位置刺激誘發(fā)的早期P1和N1成分波幅低于非線索化位置(Hopfinger & Mangun, 2001; Prime & Jolicoeur, 2009), 支持了IOR效應(yīng)發(fā)生在早期的感知覺階段。以往研究關(guān)注IOR效應(yīng)和多感覺刺激間的相互作用, 這樣的研究集中于視聽覺整合(彭姓等, 2019; Tang et al., 2019; van der Stoep, van der Stigchel, et al., 2015)。研究者在線索?靶子范式中設(shè)置視聽覺目標(biāo), 結(jié)果發(fā)現(xiàn)IOR效應(yīng)對于視聽覺整合產(chǎn)生了調(diào)節(jié)作用。一部分研究者發(fā)現(xiàn)線索化位置的視聽覺整合效應(yīng)更小(彭姓等, 2019; Tang et al., 2019; van der Stoep et al., 2016), 另一部分研究者發(fā)現(xiàn)了相反的結(jié)果, 即線索化位置的視聽覺整合效應(yīng)更大(唐曉雨等, 2020)。不同的研究結(jié)果可能與不同實驗的SOA設(shè)置有關(guān)(唐曉雨等, 2020), 但已有研究都表明, 視聽覺整合發(fā)生在知覺階段(Tang et al., 2019), 因此會受到同樣發(fā)生在知覺加工階段的IOR效應(yīng)的調(diào)節(jié)(彭姓等, 2019; 唐曉雨等, 2020)。

盡管視聽覺整合和視聽跨通道對應(yīng)以不同的方式導(dǎo)致多感覺反應(yīng)增強, 前者通過時間和空間上的臨近提供冗余的信息(Noesselt et al., 2007; Santangelo et al., 2008), 后者通過不同維度信息間的相互映射促進(jìn)當(dāng)前的行為(Chiou & Rich, 2012; McCormick et al., 2018)。但如果視聽跨通道對應(yīng)發(fā)生在知覺階段, 結(jié)合以往研究發(fā)現(xiàn)的多感覺刺激與包括IOR在內(nèi)的注意線索效應(yīng)之間的相互作用(唐曉雨等, 2020; Botta et al., 2017; Chica et al., 2011; Tang et al., 2019), 以及加因素法反應(yīng)時的實驗邏輯(Sternberg, 1969), 則IOR效應(yīng)發(fā)生時, 線索化位置目標(biāo)的感知覺顯著性降低會對于視聽跨通道對應(yīng)產(chǎn)生影響; 而如果視聽跨通道對應(yīng)發(fā)生在語義或者決策水平, 則IOR效應(yīng)不會對于視聽跨通道對應(yīng)產(chǎn)生影響。因此, 本研究將空間線索范式與視聽跨通道對應(yīng)的研究范式相結(jié)合, 對于IOR效應(yīng)和視聽跨通道對應(yīng)之間的關(guān)系進(jìn)行了探究。以往視聽跨通道對應(yīng)的研究中, 視、聽刺激同步呈現(xiàn)(Brunel et al., 2015; Gallace & Spence, 2006; Getz & Kubovy, 2018), 導(dǎo)致所測量到的結(jié)果可能同時包含了視聽覺整合和視聽跨通道對應(yīng)?？紤]到視、聽刺激呈現(xiàn)的時空鄰近性是視聽覺整合發(fā)生的必要條件(Spence, 2011), 已有研究表明當(dāng)視、聽刺激呈現(xiàn)間隔時間超過100 ms時視聽覺整合效應(yīng)消失(van der Stoep, Spence, et al., 2015), 因此本研究在聽覺刺激消失后200 ms呈現(xiàn)視覺目標(biāo), 且聽覺刺激以雙聲道形式呈現(xiàn), 以最小化視聽覺整合的影響。

另外, 先于視覺目標(biāo)呈現(xiàn)的聽覺刺激會對于目標(biāo)產(chǎn)生警覺效應(yīng)(Wiegand & Sander, 2019), 這種警覺效應(yīng)會提高被試對于視覺刺激的知覺能力(Kusnir et al., 2011), 并與目標(biāo)的感知覺顯著性產(chǎn)生交互作用(Botta et al., 2017), 因此目前研究中警覺效應(yīng)可能與外源性線索引發(fā)的IOR效應(yīng)相互作用, 造成不同條件下的警覺效應(yīng)不同。考慮到目前研究是第一個探究IOR效應(yīng)與視聽跨通道對應(yīng)之間關(guān)系的研究, 在實驗中排除可能存在的混淆因素是必要的, 因此本研究設(shè)計了控制實驗, 排除目前范式中警覺效應(yīng)與IOR效應(yīng)產(chǎn)生交互進(jìn)而混淆實驗結(jié)果的可能。最后, 為了進(jìn)一步探究IOR效應(yīng)和視聽跨通道對應(yīng)之間交互作用的機制, 本研究通過操縱線索和目標(biāo)之間的SOA來操縱IOR效應(yīng)的大小(Lupiá?ez et al., 1997), 進(jìn)而探究IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)機制。

綜上, 本研究采用線索?靶子范式, 在視覺目標(biāo)之前呈現(xiàn)聽覺刺激, 考察IOR對于視聽跨通道對應(yīng)的影響。研究分為3個實驗, 實驗1操縱線索和目標(biāo)之間的空間線索有效性和聽覺刺激與視覺目標(biāo)之間的跨通道對應(yīng)一致性, 探究IOR效應(yīng)與視聽跨通道對應(yīng)之間的關(guān)系。實驗1假設(shè), 音調(diào)與空間位置之間的視聽跨通道對應(yīng)發(fā)生在知覺水平, 因此會受到發(fā)生在相同加工階段的IOR效應(yīng)的影響, 出現(xiàn)視聽跨通道對應(yīng)與IOR效應(yīng)之間的交互作用。實驗2通過操縱聽覺刺激是否出現(xiàn), 探究IOR效應(yīng)與單獨的聲音出現(xiàn)與否之間的關(guān)系。實驗2中聽覺刺激只存在一種音調(diào), 而音調(diào)與空間位置之間的跨通道對應(yīng)需要呈現(xiàn)兩個具有高低關(guān)系的音調(diào)才能產(chǎn)生(Chiou & Rich, 2012), 因此只呈現(xiàn)一種音調(diào)不會與視覺目標(biāo)的空間位置產(chǎn)生跨通道對應(yīng)。實驗2的目的一方面是驗證在目前的研究中, 在視覺刺激前單純呈現(xiàn)聽覺刺激不會與IOR效應(yīng)產(chǎn)生交互, 而只有聽覺刺激與視覺目標(biāo)發(fā)生跨通道對應(yīng)才會與IOR效應(yīng)產(chǎn)生交互; 另一方面是排除可能存在的警覺效應(yīng)對于結(jié)果的混淆?；谝酝芯勘砻? 警覺效應(yīng)是以一種自上而下的方式增強對于刺激的感知(Kusnir et al., 2011), 而IOR以自下而上的方式影響被試的知覺(Berdica et al., 2017; Jia et al., 2019), 實驗2假設(shè)IOR效應(yīng)不會與聽覺刺激的出現(xiàn)與否產(chǎn)生交互, 進(jìn)一步支持實驗1的結(jié)果是由IOR效應(yīng)對視聽跨通道對應(yīng)的影響所導(dǎo)致的。實驗3通過操縱線索和目標(biāo)之間的SOA來操縱IOR效應(yīng)的大小, 探究IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)機制。根據(jù)多感覺反應(yīng)增強中的反比效應(yīng)原則(principle of inverse effectiveness) (Meredith & Stein, 1983; van der Stoep et al., 2016), 研究預(yù)期隨著線索和目標(biāo)之間的SOA增加, IOR效應(yīng)變小(Lupiá?ez et al., 1997), 進(jìn)而使得線索化位置的視聽跨通道對應(yīng)效應(yīng)變小, 且IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱。

2 實驗1：IOR效應(yīng)對視聽跨通道對應(yīng)的影響

2.1 方法

2.1.1 被試

采用G*Power 3.1軟件對樣本量進(jìn)行計算(Erdfelder et al., 2009; Faul et al., 2007)。設(shè)置I 類錯誤的概率α error prob為0.05, 檢驗效能Power (1 ? β err prob)為0.8, 效應(yīng)量為中等水平(= 0.25) (Cohen, 1992), 計算被試樣本量為24。招募江蘇省高校在校學(xué)生31名, 其中男生14名, 女生17名, 年齡18～24歲。所有被試均為右利手, 聽力、視力或矯正視力正常, 無神經(jīng)或精神疾病史, 無腦部損傷史。被試在實驗完成后會獲得相應(yīng)的報酬。

2.1.2 實驗儀器與材料

實驗程序使用E-prime 2.0編制, 運行于Dell 3020 MT主機上。實驗刺激呈現(xiàn)在23英寸的液晶顯示器(Dell E2316Hf)上, 屏幕的分辨率為1024 × 768, 刷新率為60 Hz。整個實驗中被試頭部通過下巴托固定, 距離屏幕60 cm。實驗在隔音的暗環(huán)境下進(jìn)行。

所有的視覺刺激材料都在白色的背景上由黑色(RGB: 0, 0, 0)線條繪制。在每個試次中, 3個正方形方框(1.5°× 1.5°)豎直排列在屏幕上, 其中一個方框位于屏幕正中, 另外兩個方框置于上下兩側(cè), 兩個相鄰方框相距視角為4.5°。中央注視點(1° × 1°)呈現(xiàn)在中央方框內(nèi), 線索通過對于注視點上方或者下方的矩形邊框加粗0.5°實現(xiàn), 中央線索通過中央注視點變大為1.5° × 1.5°實現(xiàn)。視覺目標(biāo)為一個圓盤(1° × 1°), 聽覺刺激為250 Hz或2500 Hz的正弦音(50 ms)。聲音刺激通過頭戴式鐵三角耳麥(ATH- WS99)從左右耳雙聲道呈現(xiàn), 音量控制在65 dB。

2.1.3 實驗設(shè)計與流程

實驗1采用2 (空間線索有效性：線索有效vs. 線索無效) × 2 (跨通道對應(yīng)一致性：對應(yīng)一致vs.對應(yīng)不一致)的被試內(nèi)設(shè)計, 因變量為反應(yīng)時和正確率。其中, 跨通道對應(yīng)一致條件是指在高音后呈現(xiàn)高位置的視覺目標(biāo), 在低音后呈現(xiàn)低位置的視覺目標(biāo); 跨通道對應(yīng)不一致條件則與之相反。正式實驗一共5組, 每組53個試次, 其中包含5個捕獲試次, 共265個試次。被試在進(jìn)行正式實驗前完成53個試次的練習(xí)實驗, 整個實驗大約進(jìn)行35分鐘。

實驗1中每個試次的流程如圖1所示。首先, 屏幕中間會呈現(xiàn)注視點“+”, 呈現(xiàn)時間為750 ms。隨后注視點上方或者下方的方框邊框會加粗, 作為線索, 呈現(xiàn)時間為50 ms, 線索對于目標(biāo)的空間位置沒有預(yù)測性。在250 ms的時間間隔后, 注視點加粗作為中央線索呈現(xiàn)。中央線索是空間IOR研究中常用的設(shè)置, 有助于IOR效應(yīng)更穩(wěn)定的出現(xiàn)(Prime et al., 2006)。中央線索呈現(xiàn)50 ms, 之后隨機呈現(xiàn)不同音調(diào)的聽覺刺激。聽覺刺激呈現(xiàn)時間為50 ms, 在200 ms的時間間隔后, 視覺目標(biāo)在注視點上方或者下方的方框內(nèi)呈現(xiàn)100 ms。被試需要在探測到視覺目標(biāo)時進(jìn)行既快又準(zhǔn)的按鍵反應(yīng), 捕獲試次不需要按鍵。如果1000 ms內(nèi)被試沒有按鍵, 則自動進(jìn)入下一個試次。除了練習(xí)實驗, 實驗中沒有給予被試按鍵正確或錯誤的反饋。

2.2 結(jié)果與分析

錯誤反應(yīng)、沒有反應(yīng)和反應(yīng)時異常(100 ms以內(nèi)或超出平均反應(yīng)時正負(fù)3個標(biāo)準(zhǔn)差)的數(shù)據(jù)不計入反應(yīng)時分析, 剔除的數(shù)據(jù)量占總數(shù)據(jù)量的1.09%。實驗1為簡單的探測反應(yīng)任務(wù), 被試的平均正確率達(dá)到98%以上, 因此不針對正確率進(jìn)行進(jìn)一步的統(tǒng)計分析。

對反應(yīng)時進(jìn)行2 (線索有效性：線索有效vs. 線索無效) × 2 (跨通道對應(yīng)一致性：對應(yīng)一致vs. 對應(yīng)不一致)的重復(fù)測量方差分析。結(jié)果如圖2所示, 線索有效性主效應(yīng)顯著,(1, 30) = 122.26,< 0.001, η2p= 0.80, 線索有效條件下的反應(yīng)時(325 ms)顯著慢于線索無效條件(288 ms), IOR效應(yīng)出現(xiàn)。跨通道對應(yīng)一致性主效應(yīng)顯著,(1, 30) = 4.95,= 0.034, η2p= 0.14, 對應(yīng)一致條件下的反應(yīng)時(305 ms)顯著快于對應(yīng)不一致條件(308 ms), 視聽跨通道對應(yīng)效應(yīng)出現(xiàn)。重要的是, 線索有效性和跨通道對應(yīng)一致性的交互作用顯著,(1, 30) = 6.69,= 0.015, η2p= 0.18, IOR效應(yīng)對于視聽跨通道對應(yīng)產(chǎn)生了調(diào)節(jié)作用。簡單效應(yīng)分析表明, 當(dāng)線索有效時, 跨通道對應(yīng)一致條件下的反應(yīng)時(322 ms)顯著快于對應(yīng)不一致條件(327 ms),(30) = 3.26,= 0.003, Cohen’s= 0.59, 95% CI = [?9.29, ?2.13], 出現(xiàn)了視聽跨通道對應(yīng)效應(yīng); 當(dāng)線索無效時, 跨通道對應(yīng)一致條件下的反應(yīng)時(289 ms)和對應(yīng)不一致條件下的反應(yīng)時(288 ms)沒有顯著差異,(30) < 1, 沒有出現(xiàn)視聽跨通道對應(yīng)效應(yīng)。另一個維度的簡單效應(yīng)分析表明, 當(dāng)跨通道對應(yīng)一致時, 線索有效條件下的反應(yīng)時(322 ms)顯著慢于線索無效條件(288 ms),(30) = 10.19,< 0.001, Cohen’s= 1.83, 95% CI = [26.76, 40.19], IOR效應(yīng)出現(xiàn); 當(dāng)跨通道對應(yīng)不一致時, 線索有效條件下的反應(yīng)時(327 ms)顯著慢于線索無效條件(288 ms),(30) = 10.76,< 0.001, Cohen’s= 1.93, 95% CI = [31.79, 40.69], IOR效應(yīng)同樣出現(xiàn)。對于IOR效應(yīng)量(線索有效條件減去線索無效條件的平均反應(yīng)時)進(jìn)行配對樣本檢驗, 結(jié)果發(fā)現(xiàn)跨通道對應(yīng)一致條件下的IOR效應(yīng)量(33 ms)顯著小于不一致條件(39 ms),(30) = 2.59,= 0.015, Cohen’s= 0.47, 95% CI = [?10.31, ?1.21], 視聽跨通道對應(yīng)產(chǎn)生的促進(jìn)作用抵消了部分IOR效應(yīng)。

圖1 實驗1流程圖

圖2 實驗1各個條件下的箱線圖

注：線條自上而下為上限、上四分位數(shù)、中位數(shù)、下四分位數(shù)、下限。散點為個體平均反應(yīng)時。*< 0.05, **< 0.01, ***< 0.001, n.s.代表無顯著差異

2.3 小結(jié)

實驗1的結(jié)果發(fā)現(xiàn), 被試在線索有效條件下的反應(yīng)時慢于線索無效條件, IOR效應(yīng)出現(xiàn), 表明實驗在中央線索后呈現(xiàn)聽覺刺激并沒有影響IOR效應(yīng)的產(chǎn)生。此外, 被試在跨通道對應(yīng)一致條件下的反應(yīng)時快于對應(yīng)不一致條件, 聽覺音調(diào)與視覺空間位置之間的跨通道對應(yīng)出現(xiàn)。重要的是, IOR效應(yīng)與視聽跨通道對應(yīng)產(chǎn)生了交互作用, 線索有效條件下出現(xiàn)了視聽跨通道對應(yīng)效應(yīng), 而線索無效條件下沒有出現(xiàn)視聽跨通道對應(yīng)效應(yīng), 發(fā)生在早期知覺階段的IOR效應(yīng)對于視聽跨通道對應(yīng)產(chǎn)生了調(diào)節(jié)作用。

以往視聽覺整合的研究中, 有研究者發(fā)現(xiàn)IOR效應(yīng)發(fā)生時, 線索有效條件下的視聽覺整合效應(yīng)更大(唐曉雨等, 2020)。研究者通過反比效應(yīng)原則對此加以解釋, 即更弱的視、聽感覺信號輸入引發(fā)了更強的整合(Meredith & Stein, 1983)。目前研究中IOR效應(yīng)發(fā)生時線索化位置的目標(biāo)感知覺顯著性降低, 非線索化位置的目標(biāo)感知顯著性相對提高(Satel et al., 2013), 可能導(dǎo)致了視覺目標(biāo)與聽覺刺激之間的跨通道對應(yīng)僅在線索化位置出現(xiàn)。這意味著反比效應(yīng)原則可能也適用于視聽跨通道對應(yīng), 具體將在總討論中進(jìn)一步論述。實驗1還發(fā)現(xiàn)跨通道對應(yīng)一致條件下的IOR效應(yīng)量更小, 意味著視聽跨通道對應(yīng)部分抵消了IOR效應(yīng)對于目標(biāo)在早期感知覺上的抑制, 這與視聽覺整合研究中的發(fā)現(xiàn)相一致(Tang et al., 2019)。

實驗1的結(jié)果支持了聽覺音調(diào)與視覺空間位置之間的跨通道對應(yīng)與IOR效應(yīng)均發(fā)生在早期的知覺階段, 因而兩者之間會產(chǎn)生交互。但在目前研究中, 先于視覺目標(biāo)呈現(xiàn)的聽覺刺激會產(chǎn)生警覺效應(yīng)(Wiegand & Sander, 2019), 這種警覺效應(yīng)可能在線索化位置和非線索化位置的大小不同(Botta et al., 2017), 進(jìn)而對于實驗結(jié)果產(chǎn)生混淆。為了進(jìn)一步支持實驗1的結(jié)果是由IOR效應(yīng)對于視聽跨通道對應(yīng)進(jìn)行調(diào)節(jié)所導(dǎo)致的, 本研究設(shè)計了實驗2, 實驗2通過操縱聽覺刺激是否出現(xiàn), 探究IOR效應(yīng)與單獨的聲音出現(xiàn)與否之間的關(guān)系。實驗2的目的一方面是驗證在目前的研究中, 在視覺刺激前單純呈現(xiàn)聽覺刺激不會與IOR效應(yīng)產(chǎn)生交互, 而只有聽覺刺激與視覺目標(biāo)發(fā)生跨通道對應(yīng)才會與IOR效應(yīng)產(chǎn)生交互; 另一方面是排除可能存在的警覺效應(yīng)對于結(jié)果的混淆。

3 實驗2：IOR效應(yīng)與聲音呈現(xiàn)與否的關(guān)系

3.1 方法

3.1.1 被試

采用G*Power 3.1軟件對樣本量進(jìn)行計算。設(shè)置I 類錯誤的概率α error prob為0.05, 檢驗效能Power (1 ? β err prob)為0.8, 效應(yīng)量為中等水平(= 0.25) (Cohen, 1992), 計算被試樣本量為24。招募江蘇省高校在校學(xué)生34名, 其中男生15名, 女生19名, 年齡18～24歲。所有被試均為右利手, 聽力、視力或矯正視力正常, 無神經(jīng)或精神疾病史, 無腦部損傷史。被試在實驗完成后會獲得相應(yīng)的報酬。

3.1.2 實驗儀器與材料

實驗2中的聽覺刺激為1600 Hz的正弦音, 其余的實驗儀器與實驗材料與實驗1相同。

3.1.3 實驗設(shè)計和實驗流程

實驗2采用2 (空間線索有效性：線索有效vs. 線索無效) × 2 (聲音呈現(xiàn)：有聲音vs.無聲音)的被試內(nèi)設(shè)計, 因變量為反應(yīng)時和正確率。實驗2與實驗1的不同之處是聽覺刺激為1600 Hz的純音, 可能出現(xiàn)在視覺刺激之前, 也可能不出現(xiàn)。其余實驗流程和試次設(shè)置均與實驗1保持一致。

3.2 結(jié)果與分析

錯誤反應(yīng)、沒有反應(yīng)和反應(yīng)時異常(100 ms以內(nèi)或超出平均反應(yīng)時正負(fù)3個標(biāo)準(zhǔn)差)的數(shù)據(jù)不計入反應(yīng)時分析, 剔除的數(shù)據(jù)量占總數(shù)據(jù)量的1.88%。在實驗2中, 被試的平均正確率達(dá)到98%以上, 因此不針對正確率進(jìn)行進(jìn)一步的統(tǒng)計分析。

圖3 實驗2各個條件下的箱線圖

注：線條自上而下為上限、上四分位數(shù)、中位數(shù)、下四分位數(shù)、下限。散點為個體平均反應(yīng)時。*< 0.05, **< 0.01, ***< 0.001, n.s.代表無顯著差異

對反應(yīng)時進(jìn)行2 (線索有效性：線索有效 vs. 線索無效) × 2 (聲音呈現(xiàn)：有聲音 vs. 無聲音)的重復(fù)測量方差分析。結(jié)果如圖3所示, 線索有效性主效應(yīng)顯著,(1, 33) = 237.78,< 0.001, η2p= 0.88, 線索有效條件下的反應(yīng)時(313 ms)顯著慢于線索無效條件(294 ms), IOR效應(yīng)出現(xiàn)。聲音呈現(xiàn)主效應(yīng)顯著,(1, 33) = 82.34,< 0.001, η2p= 0.71, 有聲音條件下的反應(yīng)時(283 ms)顯著快于無聲音條件(305 ms), 聽覺刺激促進(jìn)被試對于視覺目標(biāo)的反應(yīng)。線索有效性和聲音呈現(xiàn)的交互作用不顯著,(1, 33) < 1, 沒有證據(jù)表明IOR效應(yīng)對于聽覺刺激所產(chǎn)生的促進(jìn)效應(yīng)產(chǎn)生影響。

3.3 小結(jié)

實驗2的結(jié)果顯示, 被試在線索有效條件下的反應(yīng)時慢于線索無效條件, IOR效應(yīng)出現(xiàn)。聲音呈現(xiàn)主效應(yīng)顯著, 提前視覺刺激200 ms呈現(xiàn)的聽覺刺激促進(jìn)了被試對于視覺目標(biāo)的反應(yīng)。但線索有效性和聲音呈現(xiàn)之間的交互作用不顯著。實驗2的結(jié)果表明, 單純的聲音呈現(xiàn)不會與IOR效應(yīng)產(chǎn)生交互, 只有聽覺刺激與視覺目標(biāo)發(fā)生跨通道對應(yīng)才會與IOR效應(yīng)產(chǎn)生交互。實驗2中聽覺刺激對于視覺目標(biāo)的反應(yīng)促進(jìn)主要反映了警覺效應(yīng), 而警覺效應(yīng)沒有和IOR效應(yīng)產(chǎn)生交互。結(jié)合以往研究, 警覺效應(yīng)是以一種自上而下的方式增強對于刺激的感知(Kusnir et al., 2011), 而IOR以自下而上的方式影響被試的知覺(Berdica et al., 2017; Jia et al., 2019), 由于兩種效應(yīng)作用的通路不同, 因此不會產(chǎn)生交互作用。實驗2支持了實驗1中的結(jié)果的確是IOR效應(yīng)對視聽跨通道對應(yīng)的影響所導(dǎo)致的。

為了進(jìn)一步探究IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)機制, 本研究設(shè)計了實驗3, 實驗3通過操縱線索和目標(biāo)間的SOA來操縱IOR效應(yīng)的大小, 探究IOR效應(yīng)的大小對視聽跨通道對應(yīng)的影響。如果反比效應(yīng)原則成立, 則SOA增加所導(dǎo)致的IOR效應(yīng)變小, 會使得線索化位置的視聽跨通道對應(yīng)效應(yīng)減弱, 且IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱。

4 實驗3：不同SOA下IOR效應(yīng)對視聽跨通道對應(yīng)的影響

4.1 方法

4.1.1 被試

采用G*Power 3.1軟件對樣本量進(jìn)行計算。設(shè)置I類錯誤的概率α error prob為0.05, 檢驗效能Power (1 ? β err prob)為0.8, 效應(yīng)量為中等水平(= 0.25) (Cohen, 1992), 計算被試樣本量為16。招募江蘇省高校在校學(xué)生37名, 其中男生9名, 女生28名。剔除被試3 名, 剩余有效被試34名, 其中男生9名, 女生25名, 年齡19～26歲。所有被試均為右利手, 聽力、視力或矯正視力正常, 無神經(jīng)或精神疾病史, 無腦部損傷史。被試在實驗完成后會獲得相應(yīng)的報酬。

4.1.2 實驗儀器與材料

實驗3在實驗1的基礎(chǔ)上, 將線索與目標(biāo)之間的SOA設(shè)置為600 ms和1300 ms兩種水平。600 ms為實驗1中的線索和目標(biāo)間的SOA, 1300 ms是通過延長外源性線索與中央線索之間的間隔時間實現(xiàn)的。其余的實驗儀器與實驗材料與實驗1相同。

4.1.3 實驗設(shè)計和實驗流程

實驗3采用2 (空間線索有效性：線索有效 vs. 線索無效) × 2 (跨通道對應(yīng)一致性：對應(yīng)一致 vs. 對應(yīng)不一致) × 2 (SOA：600 ms vs. 1300 ms)的被試內(nèi)設(shè)計, 因變量為反應(yīng)時和正確率。正式實驗一共6組, 每組69個試次, 其中包含5個捕獲試次, 共414個試次。被試在進(jìn)行正式實驗前完成35個試次的練習(xí)實驗, 整個實驗大約進(jìn)行50分鐘。其余實驗流程均與實驗1保持一致。

4.2 結(jié)果與分析

錯誤反應(yīng)、沒有反應(yīng)和反應(yīng)時異常(100 ms以內(nèi)或超出平均反應(yīng)時正負(fù)3個標(biāo)準(zhǔn)差)的數(shù)據(jù)不計入反應(yīng)時分析, 剔除的數(shù)據(jù)量占總數(shù)據(jù)量的1.22%。實驗3為簡單的探測反應(yīng)任務(wù), 被試的平均正確率達(dá)到99%以上, 因此不針對正確率進(jìn)行進(jìn)一步的統(tǒng)計分析。

4.2.1 反應(yīng)時

對反應(yīng)時(見表1)進(jìn)行2 (線索有效性：線索有效 vs. 線索無效) × 2 (跨通道對應(yīng)一致性：對應(yīng)一致 vs. 對應(yīng)不一致) × 2 (SOA：600 ms vs. 1300 ms)的重復(fù)測量方差分析。結(jié)果顯示, 線索有效性主效應(yīng)顯著,(1, 33) = 89.44,< 0.001, η2p= 0.73, 線索有效條件下的反應(yīng)時(355 ms)顯著慢于線索無效條件(336 ms), IOR效應(yīng)出現(xiàn)?？缤ǖ缹?yīng)一致性主效應(yīng)顯著,(1, 33) = 9.57,= 0.004, η2p= 0.23, 對應(yīng)一致條件下的反應(yīng)時(343 ms)顯著快于對應(yīng)不一致條件(348 ms), 視聽跨通道對應(yīng)效應(yīng)出現(xiàn)。SOA主效應(yīng)不顯著,(1, 33) < 1。SOA和線索有效性的交互作用顯著,(1, 33) = 6.89,= 0.013, η2p= 0.17, SOA對于IOR效應(yīng)產(chǎn)生了調(diào)節(jié)作用。簡單效應(yīng)分析表明, 當(dāng)SOA為600 ms時, 線索有效條件下的反應(yīng)時(356 ms)顯著慢于線索無效條件(334 ms),(33) = 8.34,< 0.001, Cohen’s= 1.43, 95% CI = [16.33, 26.86], IOR效應(yīng)出現(xiàn); 當(dāng)SOA為1300 ms時, 線索有效條件下的反應(yīng)時(354 ms)顯著慢于線索無效條件(339 ms),(33) = 8.52,< 0.001, Cohen’s= 1.46, 95% CI = [12.13, 19.74], IOR效應(yīng)同樣出現(xiàn)。SOA對于IOR效應(yīng)的調(diào)節(jié)體現(xiàn)在SOA為600 ms時IOR效應(yīng)量(22 ms)顯著大于1300 ms時(16 ms),(33) = 2.63,= 0.013, Cohen’s= 0.45, 95% CI = [1.27, 10.05], 隨著SOA的延長, IOR效應(yīng)變小。

表1 實驗3中不同條件下的平均反應(yīng)時(M ± SD)

重要的是, 線索有效性、視聽跨通道對應(yīng)一致性和SOA三因素交互作用顯著,(1, 33) = 6.40,= 0.016, η2p= 0.16。當(dāng)SOA為600 ms時, 線索有效性和跨通道對應(yīng)一致性的交互作用顯著,(1, 33) = 19.45,< 0.001, η2p= 0.37, IOR效應(yīng)對于視聽跨通道對應(yīng)產(chǎn)生了調(diào)節(jié)。簡單效應(yīng)分析表明, 當(dāng)線索有效時, 跨通道對應(yīng)一致條件下的反應(yīng)時(350 ms)顯著快于對應(yīng)不一致條件(361 ms),(33) = 4.97,< 0.001, Cohen’s= 0.85, 95% CI = [?15.36, ?6.43], 出現(xiàn)了視聽跨通道對應(yīng)效應(yīng); 當(dāng)線索無效時, 跨通道對應(yīng)一致條件下的反應(yīng)時(334 ms)和對應(yīng)不一致條件(335 ms)沒有顯著差異,(33) < 1, 沒有出現(xiàn)視聽跨通道對應(yīng)效應(yīng)。當(dāng)SOA為1300 ms時, 跨通道對應(yīng)一致性主效應(yīng)顯著,(1, 33) = 5.41,= 0.026, η2p= 0.14, 對應(yīng)一致條件下的反應(yīng)時(344 ms)顯著快于對應(yīng)不一致條件(349 ms), 視聽跨通道對應(yīng)效應(yīng)出現(xiàn)。線索有效性和跨通道對應(yīng)一致性的交互作用不顯著,< 1, 無論是線索化位置還是非線索化位置都出現(xiàn)了視聽跨通道對應(yīng)效應(yīng), 但值得注意的是, 此時線索化位置的跨通道對應(yīng)效應(yīng)在統(tǒng)計上顯著((33) = 2.11,= 0.042, Cohen’s= 0.36, 95% CI = [?9.73, ?0.19]), 而非線索化位置的跨通道對應(yīng)效應(yīng)達(dá)到邊緣顯著((33) = 1.78,= 0.084, Cohen’s= 0.31, 95% CI = [?9.44, 0.63]), 這意味著在長SOA下, 線索化位置的視聽跨通道對應(yīng)效應(yīng)更加穩(wěn)定。

4.2.2 視聽跨通道對應(yīng)效應(yīng)

首先計算出不同SOA條件下不同線索有效性的視聽跨通道對應(yīng)效應(yīng)量(對應(yīng)不一致減去對應(yīng)一致的平均反應(yīng)時), 再對其進(jìn)行2 (SOA：600 ms vs. 1300 ms) × 2 (線索有效性：線索有效 vs. 線索無效)的重復(fù)測量方差分析。

結(jié)果如圖4所示。線索有效性主效應(yīng)顯著,(1, 33) = 10.45,= 0.003, η2p= 0.24, 線索有效條件下的跨通道對應(yīng)效應(yīng)量(8 ms)顯著大于線索無效條件(3 ms)。SOA主效應(yīng)不顯著,(1, 33) < 1。線索有效性與SOA的交互作用顯著,(1, 33) = 6.40,= 0.016, η2p= 0.16。簡單效應(yīng)分析表明, 在線索有效條件下, SOA為600 ms時的跨通道對應(yīng)效應(yīng)量(11 ms)顯著大于SOA為1300 ms時(5 ms),(33) = 2.20,= 0.035, Cohen’s= 0.38, 95% CI = [0.44, 11.44]; 而在線索無效條件下, SOA為600 ms時的跨通道對應(yīng)效應(yīng)量(1 ms)與1300 ms時(4 ms)沒有顯著差異,(33) = 1.45,= 0.156。另一個維度的簡單效應(yīng)分析表明, 當(dāng)SOA為600 ms時, 線索有效條件下的跨通道對應(yīng)效應(yīng)量(11 ms)顯著大于線索無效條件(1 ms),(33) = 4.41,< 0.001, Cohen’s= 0.76, 95% CI = [5.35, 14.50]; 而當(dāng)SOA為1300 ms時, 線索有效條件下的跨通道對應(yīng)效應(yīng)量(5 ms)與無效條件下(4 ms)沒有顯著差異,(33) < 1。

圖4 實驗3不同SOA條件下不同線索有效性的跨通道對應(yīng)效應(yīng)量的箱線圖

注：線條自上而下為上限、上四分位數(shù)、中位數(shù)、下四分位數(shù)、下限。散點為個體平均跨通道對應(yīng)量。*< 0.05, n.s.代表無顯著差異。

4.2.3 IOR效應(yīng)

首先計算出不同 SOA 條件下不同線索有效性下的 IOR效應(yīng)量, 再對IOR效應(yīng)量進(jìn)行2 (SOA：600 ms vs. 1300 ms) × 2 (跨通道對應(yīng)一致性：對應(yīng)一致 vs. 對應(yīng)不一致)的重復(fù)測量方差分析。

結(jié)果顯示, SOA主效應(yīng)顯著,(1, 33) = 6.89,= 0.013, η2p= 0.17, SOA為600 ms時的IOR效應(yīng)量(22 ms)顯著大于SOA為1300 ms時(16 ms), 隨著SOA的延長, IOR效應(yīng)量顯著降低。跨通道對應(yīng)一致性主效應(yīng)顯著,(1, 33) = 10.45,= 0.003, η2p= 0.24, 跨通道對應(yīng)一致條件下的IOR效應(yīng)量(16 ms)顯著小于對應(yīng)不一致條件(21 ms)。SOA與跨通道對應(yīng)一致性的交互作用顯著,(1, 33) = 6.40,= 0.016, η2p= 0.16。簡單效應(yīng)分析表明, 當(dāng)SOA為600 ms時, 跨通道對應(yīng)一致條件下的IOR效應(yīng)量(17 ms)顯著小于對應(yīng)不一致條件(27 ms),(33) = 4.41,< 0.001, Cohen’s= 0.76, 95% CI = [?14.50, ?5.35], 視聽跨通道對應(yīng)產(chǎn)生的促進(jìn)作用抵消了部分IOR效應(yīng); 當(dāng)SOA為1300 ms時, 跨通道對應(yīng)一致條件下的IOR效應(yīng)量(16 ms)與對應(yīng)不一致條件(16 ms)沒有顯著差異,(33) < 1。

4.3 小結(jié)

實驗3通過操縱線索和目標(biāo)之間的SOA來操縱IOR效應(yīng)的大小, 探究IOR效應(yīng)的大小對視聽跨通道對應(yīng)的影響。對于IOR效應(yīng)量的分析發(fā)現(xiàn), 隨著SOA的延長, IOR效應(yīng)減弱, 這與前人研究結(jié)果相一致(Lupiá?ez et al., 1997)。綜合統(tǒng)計結(jié)果發(fā)現(xiàn), 當(dāng)SOA為600 ms時, IOR效應(yīng)與視聽跨通道對應(yīng)產(chǎn)生了交互作用, 線索有效條件出現(xiàn)了視聽跨通道對應(yīng)效應(yīng), 而線索無效條件下沒有出現(xiàn)視聽跨通道對應(yīng)效應(yīng), 這與實驗1的結(jié)果相一致。隨著SOA延長至1300 ms, 一方面線索有效條件下的視聽跨通道對應(yīng)效應(yīng)相比于SOA為600 ms時顯著減弱, 另一方面IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱, 表現(xiàn)為線索有效性與跨通道對應(yīng)一致性之間交互作用不顯著(線索有效條件下的跨通道對應(yīng)效應(yīng)與線索無效條件沒有顯著差異)。當(dāng)前結(jié)果符合反比效應(yīng)原則(Meredith & Stein, 1983), 即當(dāng)SOA為1300 ms時, IOR效應(yīng)減弱使得線索化位置視覺目標(biāo)的感知覺顯著性相比于SOA為600 ms時增強, 更強的視覺信號輸入引發(fā)了更弱的視聽跨通道對應(yīng); 同時, 由于IOR效應(yīng)減弱, 線索化位置與非線索化位置視覺目標(biāo)的感知覺顯著性間的差異減少, 使得IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱, 導(dǎo)致線索化位置和非線索化位置的視聽跨通道對應(yīng)效應(yīng)沒有顯著差異。不過, 由于在1300 ms條件下IOR效應(yīng)仍然存在, 線索化位置目標(biāo)感知覺顯著性仍然相對較低, 因此統(tǒng)計結(jié)果顯示線索化位置的視聽跨通道對應(yīng)效應(yīng)相比于非線索化位置更加穩(wěn)定。此外, 相比于600 ms條件下, SOA為1300 ms時跨通道對應(yīng)一致條件下的IOR效應(yīng)量與對應(yīng)不一致條件沒有顯著差異, 可能是視聽跨通道對應(yīng)效應(yīng)的減弱導(dǎo)致其對于IOR效應(yīng)的抵抗能力降低。

5 討論

本研究在空間線索?靶子范式的基礎(chǔ)上, 在視覺目標(biāo)前呈現(xiàn)聽覺刺激, 操縱空間線索有效性和視聽跨通道對應(yīng)一致性, 考察IOR效應(yīng)對于視聽跨通道對應(yīng)的影響。實驗1發(fā)現(xiàn)IOR效應(yīng)與視聽跨通道對應(yīng)產(chǎn)生交互, 僅在線索化位置出現(xiàn)了視聽跨通道對應(yīng)效應(yīng)。實驗1的結(jié)果表明, 視聽跨通道對應(yīng)發(fā)生在早期的知覺階段, 因而會與同樣發(fā)生在知覺階段的IOR效應(yīng)產(chǎn)生交互。實驗2中, 當(dāng)聽覺刺激為單一音調(diào)時, IOR效應(yīng)沒有對聽覺刺激對于視覺目標(biāo)的促進(jìn)作用產(chǎn)生影響, 這意味著只有聽覺刺激與視覺刺激發(fā)生跨通道對應(yīng)時才會與IOR效應(yīng)產(chǎn)生交互。此外, 實驗2發(fā)現(xiàn)聲音刺激所引發(fā)的警覺效應(yīng)不會與IOR效應(yīng)產(chǎn)生交互, 進(jìn)一步支持了實驗1的結(jié)果是由IOR效應(yīng)對于視聽跨通道對應(yīng)的影響所導(dǎo)致的。實驗3中, 研究通過操縱線索與目標(biāo)之間的SOA來操縱IOR效應(yīng)的大小, 結(jié)果發(fā)現(xiàn)隨著IOR效應(yīng)的減弱, 線索化位置的視聽跨通道對應(yīng)效應(yīng)變小, 且IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱。這支持了存在于其他多感覺反應(yīng)增強研究中的反比效應(yīng)原則也適用于視聽跨通道對應(yīng)。

實驗1發(fā)現(xiàn)IOR與視聽跨通道對應(yīng)存在交互作用, 根據(jù)加因素法反應(yīng)時的邏輯, 兩個因素存在交互作用則兩個因素作用于同一個加工階段(Sternberg, 1969)。因此, 本研究支持視聽跨通道對應(yīng)發(fā)生在與IOR效應(yīng)相同的知覺加工階段, 這與以往一些研究發(fā)現(xiàn)一致(Kovi? et al., 2010; Maeda et al., 2004)。以往部分研究認(rèn)為視聽跨通道對應(yīng)發(fā)生在語義層面上(Gallace & Spence, 2006; Martino & Marks, 1999), 即視、聽信息激活了相同的語義編碼, 導(dǎo)致跨通道對應(yīng)出現(xiàn)。研究者用“高” “低”兩個詞的語音代替高、低頻率的音調(diào), 發(fā)現(xiàn)了語音與空間位置出現(xiàn)了和聲音頻率與空間位置類似的跨通道對應(yīng)(Gallace & Spence, 2006)。除了直接相關(guān)的語義, 研究者在音調(diào)與亮度的跨通道對應(yīng)中, 將亮度刺激換為“白天” “黑夜”這種語義間接相關(guān)的詞仍然出現(xiàn)了視聽跨通道對應(yīng)(Martino & Marks, 1999)。目前的研究則表明, 視聽跨通道對應(yīng)并不一定要通過語義產(chǎn)生, 而是可以發(fā)生在純知覺層面。這符合一些研究發(fā)現(xiàn), 一些不用“高” “低”描述音調(diào)的種族仍然存在音調(diào)與空間位置的跨通道對應(yīng)(Parkinson et al., 2012), 而一些尚未習(xí)得語言的嬰兒也表現(xiàn)出視聽跨通道對應(yīng)(Dolscheid et al., 2014; Walker et al., 2010)。當(dāng)然目前研究結(jié)果并不否認(rèn)語義編碼可能在跨通道對應(yīng)中發(fā)揮作用。本研究中的跨通道對應(yīng)是兩個基本刺激特征(音調(diào)、空間位置)之間的對應(yīng), 而聲音頻率和視覺空間位置本身就存在自然的相關(guān)性(Spence, 2011), 在自然界中質(zhì)量較重的生物的發(fā)聲頻率往往較低(如牛的叫聲), 而較重的生物不太可能存在于高位置(如空中)。同時, 人類的喉頭在發(fā)出較低的音調(diào)時下降, 在發(fā)出較高的音調(diào)時上升(Parkinson et al., 2012), 這都可能導(dǎo)致音調(diào)和空間位置之間存在感知上的對應(yīng)而不需要通過語義產(chǎn)生。而一些不存在自然相關(guān)性的刺激特征之間, 或是更復(fù)雜的刺激之間的跨通道對應(yīng)可能需要語義編碼來產(chǎn)生(Parise & Spence, 2012)。此外, 以往視聽跨通道對應(yīng)的語義研究中, 實驗任務(wù)鼓勵被試進(jìn)行語義編碼(Martino & Marks, 1999), 也可能導(dǎo)致了語義在跨通道對應(yīng)中的作用增加。

以往有研究者使用信號檢測論的方法對響度與亮度之間的跨通道對應(yīng)進(jìn)行研究, 發(fā)現(xiàn)視聽跨通道對應(yīng)不影響被試的知覺, 只影響被試的決策標(biāo)準(zhǔn)(Marks et al., 2003), 但這一研究與通常所用的視聽跨通道對應(yīng)的范式不同, 被試需要判斷前后兩個刺激的差異, 而非探測或辨別單個刺激, 因此可能造成了行為反應(yīng)更多依賴于決策過程?？傊? 不同刺激之間的視聽跨通道對應(yīng)可能存在不同的機制(Spence, 2011), 不同的實驗任務(wù)也可能產(chǎn)生了不同的結(jié)果。

在實驗1中, 視聽跨通道對應(yīng)僅在線索化位置出現(xiàn), 這與部分視聽覺整合的研究結(jié)果相類似。以往視聽覺整合的研究中, 有研究發(fā)現(xiàn)IOR效應(yīng)發(fā)生時, 線索化位置的視聽覺整合效應(yīng)更大(唐曉雨等, 2020), 研究者使用反比效應(yīng)原則對于結(jié)果進(jìn)行解釋, 即視、聽感覺信號的輸入強度會影響視聽覺整合效應(yīng)的大小。根據(jù)反比效應(yīng)原則(Otto et al., 2013), 視覺或聽覺感覺信號輸入強度弱時, 視聽覺整合效應(yīng)更大; 而視覺或聽覺感覺信號輸入強度強時, 視聽覺整合效應(yīng)更小(Senkowski et al., 2011)。反比效應(yīng)原則最初是在動物的單神經(jīng)元研究中發(fā)現(xiàn)的(Meredith & Stein, 1983; Stein & Meredith, 1993), 行為和神經(jīng)上的研究表明人類被試的多感覺反應(yīng)增強仍然遵循這一原則(Rach et al., 2011; Senkowski et al., 2011; van de Rijt et al., 2019)。反比效應(yīng)原則本質(zhì)上反映的是更弱的冗余性信息引發(fā)了更強的整合。本研究的視聽跨通道對應(yīng)中, 盡管視、聽刺激在形式上是非冗余性的, 但有研究者認(rèn)為這些刺激處于心理坐標(biāo)中的相同一端, 如高音和高空間位置都意味著相比于低音和低空間位置更“高”的一端(McCormick et al., 2018), 因此可能存在共同的神經(jīng)編碼, 產(chǎn)生了冗余性, 因而反比效應(yīng)原則可能也適用于視聽跨通道對應(yīng)。當(dāng)IOR效應(yīng)發(fā)生時, 線索化位置的目標(biāo)感知覺顯著性降低(Slagter et al., 2016), 視覺信號輸入減弱, 因而產(chǎn)生了穩(wěn)定的視聽跨通道對應(yīng)效應(yīng), 而非線索化位置相對高的目標(biāo)感知覺顯著性沒有產(chǎn)生視聽跨通道對應(yīng)效應(yīng)。

實驗3的結(jié)果發(fā)現(xiàn), 隨著IOR效應(yīng)減弱, 線索化位置的視聽跨通道對應(yīng)效應(yīng)也相應(yīng)減弱, 同時, IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱, 表現(xiàn)為線索有效性與跨通道對應(yīng)一致性之間的交互作用不顯著(線索有效條件下的跨通道對應(yīng)效應(yīng)與線索無效條件沒有顯著差異), 直接驗證了反比效應(yīng)原則對于視聽跨通道對應(yīng)的適用性。在多感覺反應(yīng)增強的研究中, 反比效應(yīng)原則不僅存在于無意義的視、聽刺激整合中(Senkowski et al., 2011), 也存在于多感覺輸入下的言語知覺中(van de Rijt et al., 2019), 研究者發(fā)現(xiàn)無論是聽覺輸入還是視覺輸入, 更難以感知的單詞輸入引發(fā)了更大的多感覺反應(yīng)增強。目前的研究結(jié)果支持視聽跨通道對應(yīng)的發(fā)生也符合反比效應(yīng)原則, 擴(kuò)展了反比效應(yīng)原則在多感覺反應(yīng)增強領(lǐng)域的適用范圍。

研究同樣發(fā)現(xiàn), 視聽跨通道對應(yīng)也對IOR效應(yīng)產(chǎn)生了影響。具體來講, 當(dāng)SOA為600 ms時, 無論在實驗1還是實驗3中, 跨通道對應(yīng)一致條件下的IOR效應(yīng)量都顯著小于對應(yīng)不一致條件, 這是由于聽覺刺激與視覺目標(biāo)之間的跨通道對應(yīng)增加了視覺目標(biāo)的感知覺顯著性, 部分抵消了IOR效應(yīng)導(dǎo)致的目標(biāo)感知覺顯著性降低。而隨著SOA延長, 跨通道對應(yīng)一致條件下的IOR效應(yīng)和不一致條件沒有顯著差異。這是由于長SOA下, 視聽跨通道對應(yīng)效應(yīng)減弱, 進(jìn)而抵抗IOR效應(yīng)的能力也隨之降低, 從而使得不同對應(yīng)一致性條件下的IOR效應(yīng)無顯著差異。

目前研究是第一個探究IOR效應(yīng)與視聽跨通道對應(yīng)之間關(guān)系的研究。因此本研究需要確保實驗中的交互作用的確是由IOR效應(yīng)對于視聽跨通道對應(yīng)進(jìn)行調(diào)節(jié)所產(chǎn)生的。實驗2在實驗1其他條件保持不變的基礎(chǔ)上, 通過操縱聽覺刺激是否出現(xiàn), 來探究單純的聲音呈現(xiàn)在本研究中的影響。由于視聽跨通道對應(yīng)是一種相對的映射(Chiou & Rich, 2012), 需要兩個有相對高、低關(guān)系的音調(diào)才能與高、低位置相對應(yīng), 因此單獨的純音不會引發(fā)視聽跨通道對應(yīng)。結(jié)果發(fā)現(xiàn)IOR效應(yīng)與聽覺刺激是否出現(xiàn)不存在交互作用。實驗2的結(jié)果一方面驗證了單純的聲音呈現(xiàn)不會與IOR效應(yīng)產(chǎn)生交互, 只有聽覺刺激與視覺刺激發(fā)生跨通道對應(yīng)才會與IOR效應(yīng)產(chǎn)生交互。另一方面表明聽覺刺激所產(chǎn)生的警覺效應(yīng)沒有和IOR效應(yīng)產(chǎn)生交互, 排除了警覺效應(yīng)對于實驗結(jié)果可能存在的混淆。有研究表明, 聽覺刺激產(chǎn)生的警覺效應(yīng)會提高被試的感知能力(Kusnir et al., 2011), 并與目標(biāo)的感知覺顯著性產(chǎn)生交互作用(Botta et al., 2017), 表現(xiàn)為感知顯著性更高的目標(biāo)產(chǎn)生了更大的警覺效應(yīng)。來自行為和神經(jīng)上的證據(jù)表明, 警覺效應(yīng)也會與空間注意產(chǎn)生交互(Botta et al., 2014; 2017), 警覺效應(yīng)相關(guān)的喚醒系統(tǒng)(arousal system)會與注意系統(tǒng)存在補償機制(Fischer et al., 2008; Portas et al., 1998)。但實驗2結(jié)果表明, 在目前研究中警覺效應(yīng)與外源性線索引發(fā)的IOR效應(yīng)缺乏交互作用。這一方面可能由于, 以往研究所比較的是閾上、閾下和閾刺激與警覺效應(yīng)之間的相互作用(Botta et al., 2017; Chica et al., 2016), 而本研究中視覺目標(biāo)出現(xiàn)在線索化位置和非線索化位置都完全可見, IOR效應(yīng)發(fā)生所導(dǎo)致的目標(biāo)感知顯著性的差異不足以引發(fā)警覺效應(yīng)的調(diào)節(jié)。另一方面可能是警覺效應(yīng)和IOR效應(yīng)沿著不同的神經(jīng)通路獨立發(fā)生。盡管有研究表明, 警覺效應(yīng)和IOR效應(yīng)都影響刺激的感知覺顯著性(Botta et al., 2014; Prime & Jolicoeur, 2009), 且都與額頂網(wǎng)絡(luò)的激活有關(guān)(Bourgeois et al., 2012; Kusnir et al., 2011), 但警覺效應(yīng)是以一種自上而下的方式增加對于刺激的感知(Kusnir et al., 2011), 即通過激活個體的額頂網(wǎng)絡(luò)以放大輸入刺激的強度; 而外源性線索引發(fā)的IOR以自下而上的方式影響被試的知覺(Berdica et al., 2017; Jia et al., 2019), 通過調(diào)節(jié)輸入刺激的強度, 影響早期視覺區(qū)域?qū)τ陬~頂網(wǎng)絡(luò)的投射(Botta et al., 2014)。當(dāng)然, 警覺效應(yīng)與IOR效應(yīng)之間的關(guān)系需要神經(jīng)水平上的進(jìn)一步的探究。目前的研究排除了警覺效應(yīng)對于結(jié)果的影響, 支持了音調(diào)與空間位置之間的視聽跨通道對應(yīng)發(fā)生在知覺水平的觀點。

6 結(jié)論

IOR效應(yīng)對于視聽跨通道對應(yīng)產(chǎn)生了調(diào)節(jié)作用, IOR發(fā)生時線索化位置出現(xiàn)了穩(wěn)定的視聽跨通道對應(yīng)效應(yīng), 而非線索化位置沒有出現(xiàn)。聽覺刺激引發(fā)的警覺效應(yīng)沒有與IOR效應(yīng)產(chǎn)生交互。隨著IOR效應(yīng)的減弱, 線索化位置的視聽跨通道對應(yīng)效應(yīng)也隨之減弱, 且IOR效應(yīng)對于視聽跨通道對應(yīng)的調(diào)節(jié)作用減弱。當(dāng)前研究結(jié)果支持了聽覺音調(diào)與視覺空間位置之間的視聽跨通道對應(yīng)發(fā)生在知覺水平, 且視聽跨通道對應(yīng)的發(fā)生符合反比效應(yīng)原則。

Berdica, E., Gerdes, A. B. M., & Alpers, G. W. (2017). A comprehensive look at phobic fear in inhibition of return: Phobia-related spiders as cues and targets., 158? 164.

Botta, F., Lupiá?ez, J., & Chica, A. B. (2014). When endogenous spatial attention improves conscious perception: Effects of alerting and bottom-up activation., 63?73.

Botta, F., Ródenas, E., & Chica, A. B. (2017). Target bottom-up strength determines the extent of attentional modulations on conscious perception.(7), 2109?2124.

Bourgeois, A., Chica, A. B., Migliaccio, R., Thiebaut de Schotten, M., & Bartolomeo, P. (2012). Cortical control of inhibition of return: Evidence from patients with inferior parietal damage and visual neglect.(5), 800?809.

Brunel, L., Carvalho, P. F., & Goldstone, R. L. (2015). It does belong together: Cross-modal correspondences influence cross-modal integration during perceptual learning., 358.

Brunetti, R., Indraccolo, A., Del Gatto, C., Spence, C., & Santangelo, V. (2018). Are crossmodal correspondences relative or absolute? Sequential effects on speeded classification.,(2)527?534.

Chica, A. B., Bayle, D. J., Botta, F., Bartolomeo, P., & Paz- Alonso, P. M. (2016). Interactions between phasic alerting and consciousness in the fronto-striatal network., 31868.

Chica, A. B., Lasaponara, S., Chanes, L., Valero-Cabré, A., Doricchi, F., Lupiá?ez, J., & Bartolomeo, P. (2011). Spatial attention and conscious perception: The role of endogenous and exogenous orienting.(4), 1065?1081.

Chiou, R., & Rich, A. N. (2012). Cross-modality correspondence between pitch and spatial location modulates attentional orienting.(3), 339?353.

Cohen, J. (1992). A power primer.(1), 155?159.

Dolscheid, S., Hunnius, S., Casasanto, D., & Majid, A. (2014). Prelinguistic infants are sensitive to space-pitch associations found across cultures.(6), 1256? 1261.

Erdfelder, E., Auer, T. S., Hilbig, B. E., A?falg, A., Moshagen, M., & Nadarevic, L. (2009). Multinomial processing tree models: A review of the literature.(3)108?124.

Evans, K. K., & Treisman, A. (2010). Natural cross-modal mappings between visual and auditory features.(1), 1?12.

Faul, F., Erdfelder, E., Lang, A. G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences.(2), 175?191.

Fischer, T., Langner, R., Birbaumer, N., & Brocke, B. (2008). Arousal and attention: Self-chosen stimulation optimizes cortical excitability and minimizes compensatory effort.(8), 1443?1453.

Frassinetti, F., Bolognini, N., & Làdavas, E. (2002). Enhancementof visual perception by crossmodal visuo-auditory interaction.(3), 332?343.

Gallace, A., & Spence, C. (2006). Multisensory synesthetic interactions in the speeded classification of visual size.(7), 1191?1203.

Getz, L. M., & Kubovy, M. (2018). Questioning the automaticity of audiovisual correspondences., 101?108.

Hopfinger, J. B., & Mangun, G. R. (2001). Tracking the influence of reflexive attention on sensory and cognitive processing.(1), 56?65.

Jia, L., Wang, J., Zhang, K., Ma, H., & Sun, H. J. (2019). Do emotional faces affect inhibition of return? An ERP study.(721), 1?8.

Klein, R. M. (2000). Inhibition of return.(4), 138?147.

Kovi?, V., Plunkett, K., & Westermann, G. (2010). The shape of words in the brain.(1), 19?28.

Kusnir, F., Chica, A. B., Mitsumasu, M. A., & Bartolomeo, P. (2011). Phasic auditory alerting improves visual conscious perception.(4), 1201?1210.

Lupiá?ez, J., Milán, E. G., Tornay, F. J., Madrid, E., & Tudela, P. (1997). Does IOR occur in discrimination tasks? Yes, it does, but later.(8), 1241? 1254.

Maeda, F., Kanai, R., & Shimojo, S. (2004). Changing pitch induced visual motion illusion.(23), 990?991.

Maimon, N. B., Lamy, D., & Eitan, Z. (2020). Crossmodal correspondence between tonal hierarchy and visual brightness: Associating syntactic structure and perceptual dimensions across modalities.(8), 805?836.

Marks, L. E., Ben-Artzi, E., & Lakatos, S. (2003). Cross-modalinteractions in auditory and visual discrimination.(1?2), 125?145.

Martino, G., & Marks, L. E. (1999). Perceptual and linguistic interactions in speeded classification: Tests of the semantic coding hypothesis.(7), 903?923.

McCormick, K., Lacey, S., Stilla, R., Nygaard, L. C., & Sathian, K. (2018). Neural basis of the crossmodal correspondence between auditory pitch and visuospatial elevation., 19?30.

McCracken, H. S., Murphy, B. A., Glazebrook, C. M., Burkitt, J. J., Karellas, A. M., & Yielder, P. C. (2019). Audiovisual multisensory integration and evoked potentials in young adults with and without attention-deficit/hyperactivity disorder., 95.

Meredith, M. A., & Stein, B. E. (1983). Interactions among converging sensory inputs in the superior colliculus.(4608), 389?391.

Noesselt, T., Rieger, J. W., Schoenfeld, M. A., Kanowski, M., Hinrichs, H., Heinze, H. J., & Driver, J. (2007). Audiovisual temporal correspondence modulates human multisensory superior temporal sulcus plus primary sensory cortices.(42), 11431?11441.

Otto, T. U., Dassy, B., & Mamassian, P. (2013). Principles of multisensory behavior.(17), 7463?7474.

Parise, C., & Spence, C. (2008). Synesthetic congruency modulates the temporal ventriloquism effect.(3), 257?261.

Parise, C., & Spence, C. (2012). Audiovisual crossmodal correspondences and sound symbolism: A study using the implicit association test.(3?4), 319?333.

Parkinson, C., Kohler, P. J., Sievers, B., & Wheatley, T. (2012). Associations between auditory pitch and visual elevation do not depend on language: Evidence from a remote population.(7), 854?861.

Peng, X., Chang, R., Li, Q., Wang, A., & Tang, X. (2019). Visually induced inhibition of return affects the audiovisual integration under different SOA conditions.(7), 759?771.

[彭姓, 常若松, 李奇, 王愛君, 唐曉雨. (2019). 不同SOA下視覺返回抑制對視聽覺整合的調(diào)節(jié)作用.(7), 759?771.]

Portas, C. M., Rees, G., Howseman, A. M., Josephs, O., Turner, R., & Frith, C. D. (1998). A specific role for the thalamus in mediating the interaction of attention and arousal in humans.(21), 8979?8989.

Posner, M. I., & Cohen, Y. (1984). Components of visual orienting. In H. Bouma & D. G. Bowhuis (Eds.),(pp. 531?556). Erlbaum.

Prime, D. J., & Jolicoeur, P. (2009). On the relationship between occipital cortex activity and inhibition of return.(6), 1278?1287.

Rach, S., Diederich, A., & Colonius, H. (2011). On quantifying multisensory interaction effects in reaction time and detection rate.(2), 77?94.

Redden, R. S., Maclnnes, W. J., & Klein, R. M. (2021). Inhibition of return: An information processing theory of its natures and significance., 30?48.

Santangelo, V., Ho, C., & Spence, C. (2008). Capturing spatial attention with multisensory cues.(2), 398?403.

Satel, J., Hilchey, M. D., Wang, Z. G., Story, R., & Klein, R. M. (2013). The effects of ignored versus foveated cues upon inhibition of return: An event-related potential study.(1), 29?40.

Senkowski, D., Saint-Amour, D., H?fle, M., & Foxe, J. J. (2011). Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.(4), 2200?2208.

Slagter, H. A., Prinssen, S., Reteig, L. C., & Mazaheri, A. (2016). Facilitation and inhibition in attention: Functional dissociation of pre-stimulus alpha activity, P1, and N1 components.(6), 25?35.

Spence, C. (2011). Crossmodal correspondences: A tutorial review.(4), 971? 995.

Spence, C. (2013). Just how important is spatial coincidence to multisensory integration? Evaluating the spatial rule.(1), 31? 49.

Spence, C. (2019). On the Relative nature of (pitch-based) crossmodal correspondences.(3), 235?265.

Starke, J., Ball, F., Heinze, H. J., & Noesselt, T. (2017). The spatio-temporal profile of multisensory integration.(5), 1210?1223.

Stein, B. E., & Meredith, M. A. (1993). The merging of the senses.(3), 373?374.

Stein, B. E., Meredith, M. A., Huneycutt, W. S., & McDade, L. (1989). Behavioral indices of multisensory integration: Orientation to visual cues is affected by auditory stimuli.(1), 12?24.

Stein, B. E., & Stanford, T. R. (2008). Multisensory integration: Current issues from the perspective of the single neuron.(4), 255?266.

Sternberg, S. (1969). The discovery of processing stages: Extensions of Donders' method., 276?315.

Talsma, D., & Woldorff, M. G. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.(7), 1098?1114.

Tang, X., Gao, Y., Yang, W., Ren, Y., Wu, J., Zhang, M., & Wu, Q. (2019). Bimodal-divided attention attenuates visually induced inhibition of return with audiovisual targets.(4), 1093?1107.

Tang, X., Sun, J., & Peng, X. (2020). The effect of bimodal divided attention on inhibition of return with audiovisual targets.(3), 257?268.

[唐曉雨, 孫佳影, 彭姓. (2020). 雙通道分配性注意對視聽覺返回抑制的影響.(3), 257?268.]

Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention., 208?224.

van de Rijt, L. P. H., Roye, A., Mylanus, E. A. M., van Opstal, A. J., & van Wanrooij, M. M. (2019). The principle of inverse effectiveness in audiovisual speech perception., 335.

van der Stoep, N., Spence, C., Nijboer, T. C., & van der Stigchel, S. (2015). On the relative contributions of multisensory integration and crossmodal exogenous spatial attention to multisensory response enhancement., 20?28.

van der Stoep, N., van der Stigchel, S., & Nijboer, T. C. W. (2015). Exogenous spatial attention decreases audiovisual integration.(1), 464?482.

van der Stoep, N., van der Stigchel, S., Nijboer, T. C. W., & Spence, C. (2016). Visually induced inhibition of return affects the integration of auditory and visual information.(1), 6?17.

Walker, P. (2012). Cross-sensory correspondences and cross talk between dimensions of connotative meaning: Visual angularity is hard, high-pitched, and bright.(8), 1792?1809.

Walker, P., Bremner, J. G., Mason, U., Spring, J., Mattock, K., Slater, A., & Johnson, S. P. (2010). Preverbal infants' sensitivity to synaesthetic cross-modality correspondences.(1), 21?25.

Wiegand, I., & Sander, M. C. (2019). Cue-related processing accounts for age differences in phasic alerting., 93?100.

Zeljko, M., Kritikos, A., & Grove, P. M. (2019). Lightness/ pitch and elevation/pitch crossmodal correspondences are low-level sensory effects.(5), 1609?1623.

Effect of inhibition of return on audiovisual cross-modal correspondence

ZU Guangyao1, LI Shuqi1, ZHANG Tianyang2, WANG Aijun1, ZHANG Ming1

(1Department of Psychology, Research Center for Psychology and Behavioral Sciences, Soochow University, Suzhou 215123, China) (2School of Public Health, Soochow University, Suzhou 215123, China)

Different dimensions of visual and auditory stimuli can map to each other to influence human behavioral responses, a phenomenon known as audiovisual cross-modal correspondence. A common audiovisual cross- modal correspondence is between auditory tones and visual spatial locations, with individuals tending to map high-pitched sounds to high spatial location and low-pitched sounds to low spatial location. When a high-pitch sound is accompanied or preceded by a visual stimulus, the participants respond faster to visual stimuli presented in the high spatial location than to visual stimuli presented in the low spatial location, and vice versa. Researchers have different views on the level at which audiovisual cross-modal correspondence occurs. Some argue that audiovisual cross-modal correspondence occurs at the perceptual level, increasing the perceptual saliency of the stimulus, while others argue that audiovisual cross-modal correspondence occurs at a later semantic or decision level. As inhibition of return (IOR) in the attentional system can affect human perception, this study used a cue-target paradigm to explore the interaction between IOR and audiovisual cross-modal correspondence to elucidate the occurrence level and mechanism of audiovisual cross-modal correspondence. Audiovisual cross-modal correspondence between auditory tones and visual spatial locations was expected to occur at the perceptual level and therefore would be subject to the IOR effect occurring at the same processing level.

The present study consisted of 3 experiments. Experiment 1 had a 2 × 2 within-subjects design; we manipulated the spatial cue validity (valid cue vs. invalid cue) and audiovisual cross-modal correspondence (congruent vs. incongruent). During the experiment, a fixation point was first presented in the middle of the screen for 750 ms. The box above or below the fixation point was then bolded for 50 ms, but this cue was not predictive of the spatial location of the target. After a time interval of 250 ms, a fixation point was presented in bold as a central cue. A central cue is commonly used in spatial IOR research, as it facilitates stable occurrence of IOR. The central cue was presented for 50 ms, and then the auditory stimulus (either high or low pitch) was presented for 50 ms. After a 200-ms interval, the visual target was presented for 100 ms in the box above or below the fixation point. The participants were instructed to perform a detection task for the presence of a visual target. The experimental design and procedure of Experiment 2 were identical to those of Experiment 1, except that the sound presented before the visual target was a single tone that was present or absent. Experiment 3 had a 2 × 2 × 2 within-subjects design. Experiment 3 added a factor to Experiment 1, namely, stimulus onset asynchrony (SOA) between the cue and the target (600 ms vs. 1300 ms).

In all three experiments, the overall accuracy (ACC) was very high; thus, no further statistical analysis was conducted for the ACC. In terms of reaction time (RT), the results of Experiment 1 showed that both spatial IOR and audiovisual cross-modal correspondence occurred. Importantly, there was an interaction between spatial cue validity and audiovisual cross-modal correspondence. Specifically, when the cue was valid, audiovisual cross-modal correspondence occurred, and when the cue was invalid, there was no audiovisual cross-modal correspondence. The results of Experiment 2 showed that the interaction between cue validity and sound presentation was not significant, and there was no evidence that IOR influenced the sound-induced facilitation effect. The results of Experiment 3 showed that the interaction among spatial cue validity, cross-modal correspondence congruency, and SOA was significant. Specifically, at an SOA of 600 ms, the interaction between spatial cue validity and cross-modal correspondence congruency was significant. When the cue was valid, audiovisual cross-modal correspondence occurred, and when the cue was invalid, there was no audiovisual cross-modal correspondence. At an SOA of 1300 ms, the interaction between cue validity and cross-modal correspondence congruency was not significant, and cross-modal correspondence occurred in both valid-cue and invalid-cue conditions. The results of the analysis of the IOR effect showed that the IOR effect under the 600-ms SOA condition (22 ms) was significantly larger than that under the 1300-ms SOA condition (16 ms). As the SOA increased, the IOR effect size decreased.

In conclusion, the present results suggested that the IOR effect, occurring at the perceptual level, moderated audiovisual cross-modal correspondence. When the IOR effect occurred, audiovisual cross-modal correspondence occurred in the cued location, but not in the non-cued location. The alerting effect induced by the sound did not interact with IOR. With the weakening of the IOR effect, the audiovisual cross-modal correspondence in the cued location decreased, and the moderating effect of the IOR effect on audiovisual cross-modal correspondence weakened. The present results support that the audiovisual cross-modal correspondence between auditory tones and visual spatial locations occurs at the perceptual level, and the occurrence of audiovisual cross-modal correspondence conforms to the principle of inverse effectiveness.

audiovisual cross-modal correspondence, inhibition of return, cue-target paradigm, alerting effect

2022-9-27

* 教育部人文社會科學(xué)研究項目(22YJCZH243)、蘇州市醫(yī)療衛(wèi)生科技創(chuàng)新項目(SKY2022113)、國家自然科學(xué)基金項目(31800907)、江蘇高校哲學(xué)社會科學(xué)研究項目(2022SJYB1454)和蘇州大學(xué)人文社科青年交叉團(tuán)隊(2022)資助。

李舒淇和祖光耀同為第一作者

王愛君, E-mail: ajwang@suda.edu.cn; 張?zhí)礻? E-mail: tyzhang@suda.edu.cn

B842