詞匯加工的通道轉(zhuǎn)換成本

余方晴

內(nèi)容摘要：近年來，具身語言觀興起，身體在語言的加工和理解過程中的作用開始被重視起來。與以往簡(jiǎn)單的語義概念加工相比，具身語言提出詞匯和語言的理解和加工中，感覺運(yùn)動(dòng)模擬發(fā)生，相應(yīng)通道信息激活。而且研究進(jìn)一步發(fā)現(xiàn)，跨通道的詞匯加工中語義加工會(huì)受到抑制，通道轉(zhuǎn)換成本發(fā)生。這一發(fā)現(xiàn)對(duì)我國(guó)的詞匯教學(xué)具有借鑒意義。

關(guān)鍵詞：詞匯加工 通道轉(zhuǎn)換成本

具身語言觀認(rèn)為，詞匯的理解加工中，身體的感知運(yùn)動(dòng)系統(tǒng)激活，各感覺通道打開。人們對(duì)語言符號(hào)的充分加工是通過身體和大腦對(duì)符號(hào)所指進(jìn)行感知運(yùn)動(dòng)模擬的結(jié)果（Barsalou et al. 2003）。在具身語言觀中，“通道（modality）”指感覺通道或刺激通道，如視覺、聽覺、觸覺和嗅覺等（Barsalou et al. 2003）。人們?cè)谠~匯加工中，是否激活相應(yīng)通道信息，跨通道加工時(shí)詞匯語義理解是否受到抑制？Crawford（2009）指出人類對(duì)情感的體驗(yàn)是基于多感官通道的，包括空間位置、亮度、音量、大小等。探究感覺通道信息與詞匯加工之間的關(guān)系對(duì)詞匯加工研究具有重大意義。

1.研究現(xiàn)狀

具身認(rèn)知認(rèn)為，詞匯語義的加工過程涉及通道信息的激活和心理動(dòng)作的模擬（徐賢文2009;王謙2016;Aziz-Zadeh et al. 2008;Feldman et al. 2004）。在具身語言觀中，“通道（modality）”指感覺通道或刺激通道，如視覺、聽覺、觸覺和嗅覺等（林立紅 2017;Barsalou et al. 2003）。在國(guó)外，詞匯的具身加工研究大致分為三類，一是針對(duì)名詞的具身語義表征研究（Amsel et al. 2013;Grondin et al. 2009;Hargreaves et al. 2014;Yap et al. 2012;Pexman et al. 2011）。比如，身-物交互效應(yīng)視角下的知覺符號(hào)（具有多通道特性）表征研究（Siakaluk et al. 2008）、名詞語義豐富度的可具象性研究（Allport&Funnell 1981）等;二是針對(duì)動(dòng)詞動(dòng)感的具身加工研究（Hauk et al. 2004;Tettamanti et al. 2005;Scorolli et al. 2007;）。比如，動(dòng)詞的具身等級(jí)研究（Sidhu et al. 2014）、動(dòng)作動(dòng)詞詞匯加工的感知模擬研究（Pulvermüller et al. 2001;Ruschemeyer et al. 2007;）、動(dòng)詞加工的動(dòng)作句子兼容效應(yīng)（Action-sentence Compatibility Effect，ACE）（Glenberg et al. 2002）研究等。三是一語和二語詞匯加工本質(zhì)的區(qū)別研究。比如，非母語（L2）語義表征是否和母語（L1）一樣激活運(yùn)動(dòng)和軀體感覺大腦區(qū)域（De Grauwea et al. 2014）。

國(guó)內(nèi)研究在深度和廣度方面尚有一定差距;現(xiàn)有研究主要從理論和實(shí)證兩個(gè)方面展開。理論研究重點(diǎn)關(guān)注具身語言理解的根源，衍推詞匯的具身加工機(jī)制。比如鏡像神經(jīng)機(jī)制（蘇得權(quán)等 2013;葉浩生 2012）和具身模擬論（丁峻等 2009）等;實(shí)證研究則充分利用行為科學(xué)、腦科學(xué)和神經(jīng)生理學(xué)研究中的ERP 、fMRI 等技術(shù)和方法，通過實(shí)驗(yàn)來論證語言理解的具身性質(zhì)，詞匯認(rèn)知加工與通道信息激活、動(dòng)感神經(jīng)之間的關(guān)系（王慧莉等 2017;林立紅等 2019;馮茵等 2019）。

現(xiàn)有國(guó)內(nèi)外研究雖然有不少重要發(fā)現(xiàn)，但仍有一些重要的理論和現(xiàn)實(shí)問題尚待解決，比如：“詞匯加工過程中是否存在通道轉(zhuǎn)換的制約？”“抽象詞匯是否存在通道轉(zhuǎn)換現(xiàn)象？其加工與具體詞匯加工有何差異？”從這些尚未定論的問題中我們看出，現(xiàn)有詞匯加工研究在通道激活成本方面還有較大的探索空間。為此，我們提出以下兩個(gè)研究問題：1）詞匯加工時(shí)是否存在通道信息的激活？2）詞匯加工是否存在通道轉(zhuǎn)換成本？

2.詞匯加工中的通道信息激活

人們?cè)谠~匯加工中，是否激活相應(yīng)通道信息？Reilly 等（2016）提出了動(dòng)態(tài)多層級(jí)激活模型（the dynamic multilevel reaction framework），認(rèn)為對(duì)語言概念的理解是基于人的感覺運(yùn)動(dòng)系統(tǒng)的，即人對(duì)語言概念的理解是具身的，語言理解時(shí)會(huì)激活感覺通道信息。大腦中多個(gè)皮層中樞連接，底層中樞受到來自多方面感覺運(yùn)動(dòng)方面的刺激，如視覺、聽覺和運(yùn)動(dòng)等。因此，人們可能通過多個(gè)感官通道進(jìn)行語言理解。

具身語言觀認(rèn)為，語言概念植根于負(fù)責(zé)感知和行動(dòng)的大腦區(qū)域。例如，理解像錘子之類的單詞時(shí)，存儲(chǔ)在相應(yīng)感覺通道腦區(qū)里的經(jīng)驗(yàn)信息會(huì)被重新激活（如，錘子是具有細(xì)長(zhǎng)手柄的物體，伴隨的動(dòng)作通常是由內(nèi)向身體外的）。在過去的十年中，許多理論假說在具身論的普遍框架內(nèi)被提出（Barsalou， 1999， 2008; Mahon和Caramazza， 2008年; Vigliocco等，2004）。這些假說都贊同，感覺運(yùn)動(dòng)經(jīng)驗(yàn)會(huì)影響語言的認(rèn)知過程。弱具身觀認(rèn)為詞義與感覺運(yùn)動(dòng)經(jīng)驗(yàn)關(guān)聯(lián)，在語義理解時(shí)激活感知運(yùn)動(dòng)模擬，但這些模擬不代表語義表征的方式（Mahon和Caramazza，2008年）。強(qiáng)具身觀認(rèn)為詞匯語義表征存儲(chǔ)在感覺運(yùn)動(dòng)腦區(qū)內(nèi)，語言處理過程中感覺運(yùn)動(dòng)的激活反映了詞義在大腦中的存儲(chǔ)方式（Pulvermueller，2005;Pulvermueller和Fadiga，2010）。而中等具身觀認(rèn)為，詞義的表征初期是由感覺運(yùn)動(dòng)調(diào)控的，但在完整的詞匯語義表征中，其他信息的參與也是不可或缺的（Barsalou，2008; Simmons等，2008;Vigliocco等，2004）。

語言理解過程會(huì)調(diào)用與執(zhí)行該動(dòng)作時(shí)所需的相同神經(jīng)系統(tǒng)。詞匯檢索過程中激活的動(dòng)感信息包含了具體的空間信息（Rues- chemeyer等，2010）和具體效應(yīng)器的信息（Scorolli和Borghi，2007）。大量行為學(xué)研究數(shù)據(jù)證實(shí)了語言理解中感覺通道腦區(qū)（例如，視覺和運(yùn)動(dòng)系統(tǒng)）的關(guān)鍵作用。神經(jīng)影像學(xué)研究也表明，感知運(yùn)動(dòng)腦區(qū)參與了與視覺和動(dòng)作信息語義相關(guān)的語言理解過程。更具體地說，動(dòng)作動(dòng)詞的處理以效應(yīng)器特異性方式調(diào)節(jié)運(yùn)動(dòng)系統(tǒng)（Aziz-Zade等，2006 年;Kemmerer 等，2008;Tettamanti等，2005）。同樣，理解與色彩語義相關(guān)的單詞時(shí)，視覺系統(tǒng)中與色彩處理相關(guān)的區(qū)域被激活（Kellenbach等，2001;Simmons 等，2007）。Pulvermueller等人（2004 年）在實(shí)證研究中，發(fā)現(xiàn)單詞呈現(xiàn)后的 200ms 內(nèi)可以觀察到大腦內(nèi)具體通道腦區(qū)的激活。即使動(dòng)作詞在如“捕捉一個(gè)主意”之類的抽象句子中該激活也可以被觀察到（Boulenger等人，2009 年）。

3.詞匯加工中的通道轉(zhuǎn)換成本

根據(jù)知覺符號(hào)理論（Barsalou， 1999），感覺運(yùn)動(dòng)區(qū)域的模擬代表了概念加工過程中的屬性。如果概念系統(tǒng)建立在感覺運(yùn)動(dòng)系統(tǒng)之上，那么知覺加工中的現(xiàn)象至少在某種程度上也會(huì)發(fā)生在概念加工中。因此，感知加工中通道轉(zhuǎn)換成本的存在表明，類似的轉(zhuǎn)換成本應(yīng)該發(fā)生在詞匯加工過程中。Spence、Nicholls和Driver（2000）讓實(shí)驗(yàn)對(duì)象區(qū)分在同時(shí)監(jiān)測(cè)的三種模式中的任何一種下，信號(hào)是出現(xiàn)在左邊還是右邊：視覺（光線）、觸覺（觸摸手指）和聽覺（音調(diào)）。當(dāng)兩個(gè)連續(xù)信號(hào)在同一模態(tài)上發(fā)生時(shí)，處理過程保持在一個(gè)系統(tǒng)內(nèi)。當(dāng)連續(xù)信號(hào)以不同的方式出現(xiàn)時(shí)，處理必須在系統(tǒng)之間切換。Spence等人發(fā)現(xiàn)，切換模式產(chǎn)生了一個(gè)成本：當(dāng)前一個(gè)信號(hào)在不同的模態(tài)時(shí)，檢測(cè)信號(hào)的速度比在相同模態(tài)時(shí)要慢（Spence & Driver， 1998）。如果概念處理利用感覺運(yùn)動(dòng)系統(tǒng)，那么當(dāng)概念處理從一種模式轉(zhuǎn)換到另一種模式時(shí)，類似的代價(jià)也會(huì)發(fā)生。

具身語言觀認(rèn)為感覺運(yùn)動(dòng)模擬參與到概念表征的過程，所以無論是知覺加工還是概念加工，通道轉(zhuǎn)換成本都可以被廣泛地觀察到。其中，概念屬性驗(yàn)證任務(wù)就經(jīng)常被用來觀察語言加工中的通道轉(zhuǎn)換成本。Pecher等人（2003）的實(shí)證研究中，受試需判斷給出的目標(biāo)屬性（如沙沙聲）是否是目標(biāo)概念（如樹葉）的典型特征。這些目標(biāo)屬性包括視覺、聽覺、觸覺、味覺、嗅覺和動(dòng)覺信息。實(shí)驗(yàn)結(jié)果顯示，當(dāng)前一個(gè)和后一個(gè)試驗(yàn)中的屬性信息（如樹葉——沙沙聲）來自相同的感官通道（如攪拌器——大聲），而不是不同的感官通道（如檸檬——酸）時(shí)，人們?cè)趯傩则?yàn)證任務(wù)中反應(yīng)更快、更準(zhǔn)確。Pecher， Zeelenberg和Barsalou（2004）的研究進(jìn)一步發(fā)現(xiàn)，當(dāng)受試依次判斷來自同一概念的兩個(gè)不同感官通道的屬性信息時(shí)，通道轉(zhuǎn)換成本也可以被觀察到。此外，Vermeulen、Niedenthal和Lumineta（2007）的研究發(fā)現(xiàn)，當(dāng)受試判斷來自不同感官通道的積極和消極詞匯時(shí)，通道轉(zhuǎn)換成本也出現(xiàn)了。這些結(jié)果均表明，受試在加工來自同一感官通道的語言信息時(shí)，比加工不同感官通道信息更快、更輕松。

4.結(jié)語

無論是語言理解還是語言產(chǎn)生的過程中，詞匯的加工過程中都存在感覺運(yùn)動(dòng)模擬，相應(yīng)感官通道信息激活。具身語言觀認(rèn)為，詞匯的加工并不是簡(jiǎn)單的概念語義加工，身體感官的參與必不可少。而大腦在加工涉及不同感覺通道信息的詞匯時(shí)，會(huì)產(chǎn)生通道轉(zhuǎn)換成本，妨礙詞匯的快速加工;在加工同一感覺通道的詞匯時(shí)，會(huì)產(chǎn)生促進(jìn)作用，語言學(xué)習(xí)者對(duì)語言的加工更快、更準(zhǔn)確。這一發(fā)現(xiàn)對(duì)我國(guó)的語言教學(xué)，尤其是詞匯教學(xué)具有借鑒意義。

參考文獻(xiàn)

[1]Barsalou， L. W. 1999. Perceptual symbol systems[J]. Behavioral & Brain Sciences， 22（4）， 577.

[2]Barsalou， L. W.2008. Grounded cognition[J]. Ann Rev Psychol， 59， 617–645.

[3]Crawford， L. E. 2009. Conceptual metaphors of affect[J]. Emotion Review，1（2）， 129-139.

[4]Reilly， J.， Peelle， J. E.， Garcia， A.，

& Crutch， S. J. 2016. Linking somatic and symbolic representation in semantic memory： the dynamic multilevel reactivation framework[J]. Psychonomic Bulletin & Review， 23（4）， 1-13.

[5]丁峻，陳巍，2009. 具身認(rèn)知之根：從鏡像神經(jīng)元到具身模仿論[J].《華中師范大學(xué)學(xué)報(bào)（人文社會(huì)科學(xué)版）》 （1），132-136.

[6]林立紅，胡春巧，于善志，2019.中國(guó)英語學(xué)習(xí)者動(dòng)詞語義加工與動(dòng)詞具身相對(duì)性關(guān)系實(shí)證研究[J].《外語教學(xué)與研究（外國(guó)語文雙月刊）》（1），84-95.

[7]蘇得權(quán)，葉浩生，2013. 大腦理解語言還是身體理解語言——具身認(rèn)知視角下的語義理解[J].《華中師范大學(xué)學(xué)報(bào)（人文社會(huì)科學(xué)版）》（6），189-194.

基金項(xiàng)目：寧波大學(xué)研究生科研創(chuàng)新基金項(xiàng)目“中國(guó)英語學(xué)習(xí)者詞匯加工中通道轉(zhuǎn)換成本研究”（主持人）;“二語抽象概念與具體概念的情境系統(tǒng)性對(duì)比研究”寧波大學(xué)研究生科研創(chuàng)新基金項(xiàng)目（參與人）

（作者單位：寧波大學(xué)外語學(xué)院）