漢字閱讀的語義神經(jīng)回路及其與語音回路的協(xié)作機制*

楊劍峰 黨 敏 張 瑞 王小娟

(陜西省行為與認(rèn)知神經(jīng)科學(xué)重點實驗室,陜西師范大學(xué)心理學(xué)院,西安710062)

1 問題提出

基于語言認(rèn)知神經(jīng)科學(xué)研究的大量實驗證據(jù),研究者開始嘗試結(jié)合認(rèn)知理論來建構(gòu)語言加工的神經(jīng)生理模型,這是語言認(rèn)知神經(jīng)科學(xué)自始就提出的一大挑戰(zhàn)(Fiez,2000),同時也是當(dāng)前研究的重要取向(Carreiras, Armstrong, Perea, & Frost, 2014)。

詞匯閱讀包括閱讀理解和出聲閱讀兩種加工過程。聯(lián)結(jié)主義理論認(rèn)為閱讀加工過程是視覺(詞形)、語義和語音三種信息相互作用的結(jié)果(Seidenberg, 2011),如圖1A所示,閱讀理解(通達語義)和出聲閱讀(通達語音)只存在輸出結(jié)果的差異,其二者的內(nèi)部計算機制均是經(jīng)詞形直接通達與間接通達語音/語義加工的結(jié)果。要從聯(lián)結(jié)主義神經(jīng)網(wǎng)絡(luò)的角度探討閱讀的神經(jīng)機制,需要闡明語音與語義加工相互作用的神經(jīng)機制。然而,受拼音文字系統(tǒng)的表義局限性的影響,研究者面臨著一個亟待解決的瓶頸問題：即對閱讀中的語義神經(jīng)回路缺乏系統(tǒng)的探討。

本項目擬利用漢字表義的獨特性,以漢字形旁語義加工的神經(jīng)機制作為切入點,深入探討出聲閱讀中語義加工的大腦神經(jīng)回路,進而闡明語義和語音神經(jīng)回路的動態(tài)協(xié)作機制。

1.1 研究現(xiàn)狀分析

長期以來,語言認(rèn)知神經(jīng)科學(xué)研究致力于探討認(rèn)知加工成分對應(yīng)的大腦功能區(qū),并取得了重要的進展。比如,研究者識別出了負(fù)責(zé)視覺詞形加工的大腦左側(cè)梭狀回中部(Cohen &Dehaene,2004)、負(fù)責(zé)語音加工的大腦左側(cè)顳上回后部(Paulesuet al.,2000),以及負(fù)責(zé)語義加工的左側(cè)顳中回和角回(Frost et al., 2005)。但是,對視覺詞匯閱讀機制的認(rèn)知解釋存在雙通道(Coltheart,Rastle, Perry, Langdon, & Ziegler, 2001)和聯(lián)結(jié)主義(Seidenberg,2011)兩種理論取向,如何在神經(jīng)層面統(tǒng)一閱讀的認(rèn)知理論解釋是研究者面臨的一大挑戰(zhàn)(Fiez,2000),也是當(dāng)前研究致力解決的核心問題(Carreiras et al., 2014)。

圖1 詞匯閱讀的大腦神經(jīng)回路及其面臨的問題

近年來,認(rèn)知神經(jīng)科學(xué)研究開始從神經(jīng)網(wǎng)絡(luò)的角度思考視覺詞匯閱讀的大腦神經(jīng)機制, 建構(gòu)閱讀的神經(jīng)網(wǎng)絡(luò)模型成為研究者廣泛關(guān)注的問題。

首先, 從神經(jīng)網(wǎng)絡(luò)的角度考察視覺詞匯閱讀的神經(jīng)生理模型成為當(dāng)前研究的焦點。自功能核磁共振(fMRI)技術(shù)應(yīng)用于閱讀領(lǐng)域研究以來, 研究者就提出了視覺詞匯加工的背側(cè)和腹側(cè)通路(Pugh et al., 2001), 并試圖在神經(jīng)層面與閱讀的認(rèn)知理論進行統(tǒng)一。比如有研究者提出功能分離的兩條詞匯閱讀神經(jīng)通路(Jobard, Crivello, &Tzourio-Mazoyer, 2003), 一條通路負(fù)責(zé)閱讀的形?音轉(zhuǎn)換加工, 主要涉及了大腦左側(cè)顳上回、緣上回以及額下回的鰓蓋部; 另一條通路負(fù)責(zé)詞典語義加工, 主要經(jīng)梭狀回中部通達語義加工腦區(qū),包括顳下基底部、顳中回后部以及額下回的三角部。近年來, 隨著大量fMRI研究成果的積累, 研究者提出了不同的閱讀神經(jīng)生理模型。如圖 1C所示, Levy等人(2009)通過對比不同刺激類型的腦機制, 對閱讀的腹側(cè)通路進行了進一步細(xì)分;Richardson, Seghier, Leff, Thomas和Price (2011)建構(gòu)了閱讀動態(tài)因果模型, 提出了詞形通達語義的三條不同神經(jīng)回路; Price (2012)和Carreiras等人(2014)則在對大量文獻進行綜述的基礎(chǔ)上提出了閱讀的聯(lián)結(jié)主義神經(jīng)模型。但是, 目前的神經(jīng)模型在大腦功能結(jié)構(gòu)上還缺乏統(tǒng)一。

其次, 從腦區(qū)相互作用的角度揭示閱讀神經(jīng)網(wǎng)絡(luò)的內(nèi)部機制是當(dāng)前研究的熱點。聯(lián)結(jié)主義理論認(rèn)為詞匯閱讀加工是視覺(詞形)、語義和語音系統(tǒng)相互作用的過程(Seidenberg, 2011), 語音和語義加工的合作模式體現(xiàn)出不同的閱讀行為表現(xiàn)(R.Frost, 2012)。這種理論解釋得到了腦功能成像研究的證據(jù)支持(見綜述, Carreiras et al., 2014), 而且表現(xiàn)出跨語言的普遍性(Rueckl et al., 2015; Yang,Shu, McCandliss, & Zevin, 2013; Wang et al., 2015)。

在神經(jīng)網(wǎng)絡(luò)取向下, 研究者嘗試探討閱讀相關(guān)腦區(qū)間的相互作用機制。一方面, 研究者發(fā)現(xiàn)閱讀相關(guān)腦區(qū)具有動態(tài)激活的特點, 其激活強度同時受到刺激和任務(wù)的驅(qū)動, 且二者存在交互作用(Price & Devlin, 2011; Yang, Wang, Shu, &Zevin, 2012), 閱讀加工也受到注意等認(rèn)知加工的調(diào)節(jié)(Vogel, Miezin, Petersen, & Schlaggar, 2012)。另一方面, 研究者認(rèn)識到語言加工需要大腦多個腦區(qū)的共同協(xié)作(Fedorenko & Thompson-Schill,2014), 詞匯閱讀是多個加工腦區(qū)組成的神經(jīng)網(wǎng)絡(luò)共同活動的結(jié)果(Ludersdorfer, Schurz, Richlan,Kronbichler, & Wimmer, 2013; Wang, Yang, Shu, &Zevin, 2011; Yang, Wang, Shu, & Zevin, 2011), 且網(wǎng)絡(luò)內(nèi)部各腦區(qū)之間具有交互作用(Carreiras et al.,2014; Graves, Desai, Humphries, Seidenberg, & Binder,2010)。從神經(jīng)網(wǎng)絡(luò)的角度探討語義與語音神經(jīng)回路的交互作用已經(jīng)成為揭示閱讀神經(jīng)機制的關(guān)鍵(Boukrina & Graves, 2013)。

1.2 面臨的問題和出路

從神經(jīng)網(wǎng)絡(luò)的角度探討視覺詞匯閱讀的神經(jīng)生理模型, 已經(jīng)取得了初步的進展。同時也還面臨著一些問題亟待解決。

首先, 對語義神經(jīng)回路的認(rèn)識是詞匯閱讀神經(jīng)模型研究面臨的瓶頸。從圖1C可以看出, 當(dāng)前的研究結(jié)果發(fā)現(xiàn), 視覺詞匯閱讀的神經(jīng)生理模型尚缺乏統(tǒng)一, 各個模型的主要差別在于語義神經(jīng)回路的不同。比如, Price (2012)和Carreiras等人(2014)的模型都提出在閱讀加工中存在語音和語義兩條神經(jīng)回路, 但二者的語義相關(guān)腦區(qū)卻不同,前者僅包括顳中回后部區(qū)域(pMT), 后者的語義相關(guān)腦區(qū)還包括顳葉前部(ATL)和角回(AG)的參與。已有研究對語義神經(jīng)回路的認(rèn)識不一致主要表現(xiàn)在兩個方面：一方面是參與語義加工的腦區(qū)眾多。如圖 1B所示, pMT、ATL、AG以及額下回(IFG)等區(qū)域都被發(fā)現(xiàn)與詞匯的語義加工相關(guān)(見綜述 Binder & Desai, 2011; Carreiras et al., 2014)。另一方面, 這些腦區(qū)在詞匯加工中的作用機制尚不清楚。如pMT被認(rèn)為是負(fù)責(zé)詞匯語義存儲的腦區(qū)(Binder, Desai, Graves, & Conant, 2009); AG負(fù)責(zé)概念與概念之間的整合加工(Bonner, Peelle,Cook, & Grossman, 2013; A. R. Price, Bonner, Peelle,& Grossman, 2015); ATL更多地被認(rèn)為與抽象的概念表征有關(guān)(Bonner & Price, 2013; Mehta et al.,2016); 而IFG被認(rèn)為是負(fù)責(zé)語義的整合加工(Zhu et al., 2012)。而且, 這些語義腦區(qū)在詞匯閱讀中的具體作用以及它們?nèi)绾螀⑴c出聲閱讀中的語義加工, 還需要系統(tǒng)深入地研究。

其次, 語音與語義加工神經(jīng)回路的相互作用機制尚不清楚。聯(lián)結(jié)主義理論認(rèn)為詞匯閱讀是語音和語義加工通道分工合作的結(jié)果(Seidenberg,2011)。有研究表明閱讀是多個腦區(qū)協(xié)作的結(jié)果(Frost et al., 2005; Wang et al., 2011); 在神經(jīng)網(wǎng)絡(luò)取向下, 研究者發(fā)現(xiàn)閱讀相關(guān)腦區(qū)具有動態(tài)激活的特點, 閱讀功能腦區(qū)的激活強度受到了刺激屬性、任務(wù)要求以及注意加工的影響和調(diào)節(jié)(Price &Devlin, 2011; Vogel et al., 2012; Yang et al., 2012);最新的白質(zhì)纖維束追蹤研究為閱讀的多腦區(qū)協(xié)作提供了神經(jīng)解剖證據(jù)(Yeatman, Rauschecker, &Wandell, 2013)。然而, 現(xiàn)有研究仍然只是在理論層面提出語義和語音神經(jīng)回路具有分工合作的關(guān)系(Cattinelli, Borghese, Gallucci, & Paulesu, 2013),還缺乏相應(yīng)的認(rèn)知神經(jīng)科學(xué)研究的證據(jù)。

而且, 漢字閱讀神經(jīng)機制研究證據(jù)不足。前人研究對語義神經(jīng)回路的認(rèn)識不足, 一個重要原因是拼音文字系統(tǒng)缺乏詞形與語義的對應(yīng)。漢字具有表義的特性, 為研究從詞形到語義加工的大腦神經(jīng)機制提供了可能。有研究者使用行為技術(shù)(Williams & Bever, 2010)、眼動技術(shù)(張積家, 王娟,印叢, 2014)、以及神經(jīng)電生理(ERP)技術(shù)(王協(xié)順,吳巖, 趙思敏, 倪超, 張明, 2016)等探討了形旁語義對整字加工的影響(詳見綜述, 張積家, 王娟,陳新葵, 2014)。漢字閱讀的腦功能成像研究主要集中于探討字形到語音加工的神經(jīng)機制(Kuo et al.,2004; Liu et al., 2008; Tan, Feng, Fox, & Gao, 2001;Lee et al., 2004; Peng et al., 2004), 對于漢字語義加工相關(guān)的腦區(qū)識別多是采用語義任務(wù)與其它任務(wù)的對比(如,Wu et al., 2009), 還沒有對字形到語義的加工進行深入地探討。漢字形聲字的形旁本身具有一定的語義信息, 并為整字閱讀提供了線索(見綜述, 張積家, 王娟, 陳新葵, 2014)。研究形旁語義加工的神經(jīng)機制, 能探討字形到語義、以及形旁與整字語義整合加工的神經(jīng)機制, 從而揭示出漢字閱讀的語義神經(jīng)回路及其與語音回路的相互作用機制。

綜上, 探討詞匯閱讀的大腦神經(jīng)網(wǎng)絡(luò)面臨著以下問題需要解決：1)詞匯閱讀的語義神經(jīng)機制成為當(dāng)前研究的瓶頸; 2)對語義與語音神經(jīng)回路的動態(tài)協(xié)作機制還缺乏深入地探討; 3)漢字的表義特性為解決上述問題提供了可能, 目前尚缺乏相應(yīng)的fMRI研究證據(jù)。

因此, 本項目采用功能核磁共振成像(fMRI)技術(shù), 1)利用漢字表義的獨特性, 考察漢字形旁語義加工的神經(jīng)回路; 2)結(jié)合動態(tài)因果模型的建構(gòu),深入揭示語義與語音神經(jīng)回路的動態(tài)協(xié)作機制; 3)從跨語言的角度, 為建立閱讀的神經(jīng)網(wǎng)絡(luò)模型提供直接的證據(jù)。

2 研究構(gòu)想

利用漢字表義的獨特性探討詞匯閱讀的語義神經(jīng)回路及其與語音回路的協(xié)作機制, 需要解決兩方面的研究問題：首先, 充分利用漢字形旁表義的特性, 揭示形旁語義加工的神經(jīng)機制, 從而解決當(dāng)前閱讀腦機制研究面臨的瓶頸問題; 其次,操縱閱讀材料的刺激屬性和任務(wù)要求, 系統(tǒng)探討閱讀相關(guān)腦區(qū)的聯(lián)結(jié)模式變化, 從而揭示語義和語音神經(jīng)回路的協(xié)作機制。

為實現(xiàn)上述目標(biāo), 本項目通過 4個腦功能成像(fMRI)實驗, 分三個研究展開探討：研究一(實驗1)利用fMRI實驗的多參數(shù)取向(Multi-parametric approach), 識別漢字閱讀中與語音和語義加工相關(guān)的大腦功能腦區(qū)。研究二(實驗2和3)是本項目的核心內(nèi)容, 充分利用了漢字形旁表義的獨特性,考察漢字閱讀中的語義神經(jīng)回路。研究三(實驗4)建構(gòu)閱讀的動態(tài)因果模型(DCM), 考察語義和語音神經(jīng)回路在刺激屬性驅(qū)動和任務(wù)要求下的動態(tài)協(xié)作。具體研究內(nèi)容如下：

2.1 漢字閱讀的相關(guān)功能腦區(qū)

由于具體實驗的刺激材料和任務(wù)要求差異,漢字閱讀的 fMRI研究雖然識別出閱讀加工成分(如語音、語義加工)相關(guān)的腦區(qū), 但對這些腦區(qū)的功能還存在不一致的解釋。近期的研究表明, 閱讀相關(guān)腦區(qū)的激活同時受到刺激和任務(wù)交互作用的影響(Yang et al., 2012), 而以往研究通過刺激對比發(fā)現(xiàn)的腦區(qū)往往可能是任務(wù)要求下的潛在加工不同所導(dǎo)致的結(jié)果(Zhao, Fan, Liu, Wang, & Yang,2017)。因此, 不能簡單通過刺激或任務(wù)的對比來識別漢字閱讀的相關(guān)功能腦區(qū)。

多參數(shù)相關(guān)分析技術(shù)是識別閱讀功能腦區(qū)的有效方法。通過計算大腦BOLD信號與刺激屬性的相關(guān), 能有效排除實驗條件對比時所涉及的加工策略的影響, 同時還能考慮多個刺激屬性之間的相互影響, 識別出與語音、語義等屬性加工相關(guān)的功能腦區(qū)(Graves et al., 2010)。漢字閱讀的最新研究(Wang, Zhao, Zevin, & Yang, 2016)使用多參數(shù)相關(guān)分析技術(shù), 對已有的實驗結(jié)果(Yang et al.,2012)進行分析, 推測出漢字閱讀的語義神經(jīng)回路涉及了大腦左側(cè)顳中回和角回的參與, 也表明多參數(shù)相關(guān)技術(shù)應(yīng)用的可靠性。本研究采用多參數(shù)相關(guān)分析技術(shù)探討漢字閱讀的神經(jīng)回路, 還需要系統(tǒng)操縱刺激材料的語音和語義屬性, 對語義加工神經(jīng)回路進行深入地研究。

研究一不再簡單地進行實驗條件間的對比,而是同時考察多種刺激屬性對于閱讀神經(jīng)回路的影響。實驗1不再設(shè)計具有高、低刺激屬性或不同加工任務(wù)的條件對比, 而是結(jié)合已有的數(shù)據(jù)庫(Shu, Chen, Anderson, Wu, & Xuan, 2003; Liu, Shu,& Li, 2007)以及人工評定的方法, 精心挑選出在各個統(tǒng)計屬性上具有離散特性的漢字材料, 這些統(tǒng)計屬性包括漢字的基本特性：頻率、部件數(shù)、筆畫數(shù)、命名反應(yīng)時間; 與語音加工相關(guān)的屬性：聲旁讀音規(guī)則性、一致性; 人工評定的語義屬性：整字語義的具體性/抽象性、可表象性, 以及形旁語義透明度(形旁語義與整字語義的關(guān)系)。要求被試在 fMRI掃描儀里閱讀所有 300多個精心挑選的漢字。

實驗1的關(guān)鍵技術(shù)在于采用多參數(shù)相關(guān)技術(shù)對收集的 fMRI數(shù)據(jù)進行統(tǒng)計分析。通過建立刺激屬性與大腦 BOLD信號的相關(guān), 對漢字屬性變量相關(guān)的腦區(qū)進行聯(lián)合分析(Conjunction analysis),來確定與閱讀加工成分相對應(yīng)的功能腦區(qū)。一方面, 與多個刺激屬性同時具有高相關(guān)的腦區(qū)可能反映了這些變量涉及的共同認(rèn)知加工。預(yù)期負(fù)責(zé)一般認(rèn)知加工腦區(qū)會在所有變量中都參與激活,而且會同時受到任務(wù)難度和反應(yīng)時間的調(diào)節(jié)。而負(fù)責(zé)語音加工的腦區(qū)將會與漢字的規(guī)則性、一致性表現(xiàn)出共同的高相關(guān); 負(fù)責(zé)語義加工的腦區(qū)將會與漢字的具體性/抽象性、語義可表象性以及形旁透明度等因素表現(xiàn)出高相關(guān)。另一方面, 與刺激屬性特異相關(guān)的腦區(qū)可能涉及了特定的認(rèn)知加工。比如, 可以預(yù)期語義可表象性可能與 AG和pMT具有高相關(guān)(Frost et al., 2005; Graves et al., 2010);語義抽象性可能更多與 ATL具有高相關(guān)(Bonner& Price, 2013); 而形旁透明度可能會與上述語義相關(guān)腦區(qū)都表現(xiàn)出一定程度的相關(guān)。在識別與形旁透明度相關(guān)的功能腦區(qū)的基礎(chǔ)上, 研究二將進一步深入揭示形旁語義作用的神經(jīng)機制。

2.2 形旁語義加工的大腦神經(jīng)機制

現(xiàn)有閱讀神經(jīng)模型的分歧在于語義神經(jīng)回路的差異(圖 1C)。來自認(rèn)知行為、計算機模擬以及認(rèn)知神經(jīng)科學(xué)的研究證據(jù)都表明語義影響了詞匯閱讀加工(見綜述, Taylor, Duff, Woollams, Monaghan,& Ricketts, 2015)。基于拼音文字系統(tǒng)的閱讀研究通常采用兩種探討語義神經(jīng)機制的方法：一種方法是通過對比例外詞與規(guī)則詞的加工, 例外詞比規(guī)則詞更多激活的腦區(qū)被認(rèn)為是與語義加工有關(guān),通過這樣的比較, 研究者發(fā)現(xiàn)大腦的ATL與額外的語義加工有關(guān)(Graves et al., 2010), 但是Taylor,Rastle和Davis (2013; 2014)卻認(rèn)為ATL的激活是因為對例外詞的加工需要在多個讀音中進行選擇,從而挑戰(zhàn)了間接推測語義加工神經(jīng)回路的可靠性。另一種方法是操縱詞匯水平的語義因素, 比如詞匯的可表象性(Frost et al., 2005)與 AG和pMT的激活有關(guān)。但是, 整詞水平的語義因素只能反映出詞匯通達之后語義分析可能的相關(guān)腦區(qū),卻無法完全揭示語義線索在閱讀中通達詞條過程中的作用機制。

漢字的書寫特點具有探討閱讀中語義加工神經(jīng)機制的獨特優(yōu)勢。漢字形聲字的形旁具有表義的功能, 探討漢字形旁語義加工的神經(jīng)機制將能深入揭示出閱讀的語義神經(jīng)回路。在漢字閱讀研究中, 已有研究分析了漢字閱讀中形旁語義加工的作用(Williams & Bever, 2010; 張積家, 王娟,印叢, 2014), 但還缺乏相應(yīng)的fMRI實驗證據(jù)。研究二將充分利用形旁表義的特性, 通過2個fMRI實驗, 考察漢字閱讀的語義神經(jīng)回路。

實驗 2通過操縱形旁的表義特性, 在假字條件下探討形旁語義激活的大腦神經(jīng)區(qū)域; 在真字條件下探討形旁語義影響整字加工的神經(jīng)機制。采用2(形旁表義:強、弱)x2(真字、假字)的重復(fù)測量實驗設(shè)計。結(jié)合已有的數(shù)據(jù)庫(Shu et al., 2003)以及人工評定的方法, 挑選兩類不能單獨成字的形旁部件：語義相對精確的強表義部件(S, “钅犭氵”); 以及語義模糊的弱表義部件(W, “礻阝彳”)。將這兩類部件與弱表義且不單獨成字的部件(“攵旡”)結(jié)合構(gòu)建兩類假字(PS, PW); 再從字庫中挑選相同形旁對應(yīng)的真字, 組成兩類真字材料(RS,RW)。在 4種條件之間匹配漢字的部件數(shù)、筆畫數(shù)、部件頻率以及部件的典型位置頻率, 對真字的兩種條件匹配整字頻率。為了突顯漢字部件的作用, 呈現(xiàn)刺激材料時將在左右部件中間插入半個字符寬度的空白, 以加強被試對部件信息的加工深度。被試的任務(wù)是判斷兩個部件能否組成一個真字。

對比假字條件下的形旁強、弱表義條件, 將識別出形旁語義加工的相關(guān)腦區(qū), 預(yù)期有負(fù)責(zé)語義詞典通達的pMT, 以及負(fù)責(zé)語義整合的AG在形旁強表義條件下會更多參與激活。在真字條件下, 形旁語義會與真字語義同時激活, 預(yù)期比假字條件更多激活負(fù)責(zé)語義整合的IFG、ATL和AG。交互作用顯著的腦區(qū)將反映在負(fù)責(zé)形旁與整字語義整合加工的腦區(qū)上。

形旁語義影響整字語義的機制, 一種可能是形旁語義直接激活了整字語義; 另一種可能是形旁語義激活了整字語義的特征概念, 從而促進了整字語義的提取(張積家, 彭聃齡, 1993)。前者不依賴于形旁語義的特征屬性, 而后者依賴于形旁語義的具體性特征, 抽象的形旁語義提供的語義線索相對較弱。有研究表明具體語義更多激活了AG和pMT, 而抽象語義更多激活了ATL (Bonner& Price, 2013)。實驗3擬借助于形旁語義的透明度效應(yīng)(劉燕妮, 舒華, 軒月, 2002), 對比形旁語義具體和抽象條件下透明度效應(yīng)的神經(jīng)機制差異,進一步考察形旁語義影響整字語義加工的實質(zhì)及其神經(jīng)機制。

實驗3通過操縱漢字形旁的透明度信息和具體/抽象性信息, 構(gòu)建4種條件：形旁語義具體且透明的條件(如, 狼), 形旁語義具體但不透明的條件(如, 猜), 形旁語義抽象且透明的條件(如,情), 形旁語義抽象但不透明的條件(如, 恒)。除此之外, 設(shè)計形旁語義具體的假字和形旁語義抽象的假字作為基線條件。如果形旁是通過激活與整字共享的語義特征, 從而促進整字的語義加工,形旁透明度效應(yīng)將體現(xiàn)在形旁語義具體的條件下,表現(xiàn)為AG和pMT的參與激活。相反, 如果形旁語義通過直接激活整字的語義起作用, 則形旁透明度效應(yīng)在形旁語義具體和抽象條件下沒有差異,都表現(xiàn)為ATL的參與激活。

2.3 語義和語音神經(jīng)回路的協(xié)作機制

來自病人(Bi, Han, Weekes, & Shu, 2007)以及計算機模擬(Yang et al., 2013)的研究都表明漢字閱讀是語義和語音加工的相互作用, 但目前還沒有相應(yīng)的 fMRI神經(jīng)生理實驗證據(jù)。采用傳統(tǒng)的一般線性模型(GLM)數(shù)據(jù)分析技術(shù), 進行條件間相減只能體現(xiàn)出腦區(qū)激活在不同條件下的強弱,很難揭示腦區(qū)間的相互作用。多變量數(shù)據(jù)分析技術(shù), 如動態(tài)因果模型(DCM), 能夠揭示出大腦活動的功能結(jié)構(gòu)以及腦區(qū)之間的協(xié)作機制(Cardin,Friston, & Zeki, 2011)。有研究用DCM模型嘗試探討了閱讀神經(jīng)模型的功能結(jié)構(gòu)(Levy et al., 2009;Richardson et al., 2011), 但還沒有深入揭示語義與語音神經(jīng)回路的動態(tài)協(xié)作機制。研究三在實驗1的基礎(chǔ)上建構(gòu)閱讀的動態(tài)因果模型(DCM), 結(jié)合實驗 4的數(shù)據(jù), 詳細(xì)考察閱讀網(wǎng)絡(luò)內(nèi)腦區(qū)間聯(lián)結(jié)模式的變化, 闡明語義和語音神經(jīng)回路的動態(tài)協(xié)作機制。

實驗4操縱形旁語義透明度(高、低)與聲旁讀音一致性(高、低)信息, 對比語義檢測和語音檢測任務(wù)下的腦機制, 通過建構(gòu)閱讀的動態(tài)因果模型,旨在考察語義和語音神經(jīng)回路的動態(tài)協(xié)作機制。具體通過以下數(shù)據(jù)分析進行詳細(xì)探討：

首先, 使用實驗 1的數(shù)據(jù), 建構(gòu)和識別閱讀的最優(yōu)動態(tài)因果模型(DCM)。通過對多參數(shù)相關(guān)技術(shù)得到的 fMRI實驗數(shù)據(jù)進行預(yù)處理和統(tǒng)計分析, 獲得與閱讀認(rèn)知成分相關(guān)的大腦功能區(qū)(興趣區(qū)), 并構(gòu)建不同的動態(tài)因果模型, 計算動態(tài)因果模型中各個腦區(qū)之間的關(guān)聯(lián)強度, 最終通過貝葉斯模型分析獲得最優(yōu)的動態(tài)因果模型。

其次, 基于最優(yōu)DCM模型, 以實驗4的任務(wù)態(tài)數(shù)據(jù)建模, 考察刺激材料的語音和語義因素對腦區(qū)聯(lián)結(jié)模式變化的調(diào)節(jié)作用。在語義檢測和語音檢測任務(wù)中, 探討刺激材料涉及的語義和語音加工信息對閱讀網(wǎng)絡(luò)不同的貢獻作用。具體表現(xiàn)為在語音檢測任務(wù)中, 語音加工腦區(qū)對語音信息的激活要強于語義信息; 而在語義檢測任務(wù)中, 語義加工腦區(qū)對語義信息的激活則要強于語音信息。

最后, 對比實驗 4的靜息態(tài)和不同任務(wù)態(tài)模型, 考察語義和語音神經(jīng)回路聯(lián)結(jié)模式的變化,統(tǒng)一不同實驗任務(wù)下的閱讀神經(jīng)機制。通過兩種任務(wù)的比較, 考察語義和語音神經(jīng)回路是否存在動態(tài)激活。具體包括在語義任務(wù)下語義回路的聯(lián)結(jié)預(yù)期增強(如從梭狀回中部到 pMT/AG/ATL的聯(lián)結(jié)), 而語音回路的聯(lián)結(jié)預(yù)期減弱(如從梭狀回中部到 IFG/MFG的聯(lián)結(jié)); 而在語音任務(wù)下的預(yù)期模式則相反。

3 理論建構(gòu)

本項目利用多參數(shù)數(shù)據(jù)分析技術(shù), 結(jié)合漢字獨特的書寫特點, 在同一種任務(wù)中識別出閱讀加工中字形、語音和語義三種認(rèn)知成分所對應(yīng)的大腦功能腦區(qū); 針對詞匯閱讀網(wǎng)絡(luò)研究面臨的瓶頸問題, 充分利用漢字獨特的表義特性, 探討語義加工的大腦神經(jīng)回路, 并深入揭示語義和語音神經(jīng)回路的動態(tài)協(xié)作機制。

基于神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)主義取向認(rèn)為, 閱讀是由視覺/詞形、語音和語義三個系統(tǒng)共同作用的過程, 出聲閱讀涉及了字形?語音以及字形經(jīng)語義通達語音兩種通路的分工協(xié)作機制(Seidenberg,2011), 該理論得到了來自行為(Yang, McCandiliss,Shu, & Zevin, 2009)、腦損傷病人(Bi et al., 2007)以及計算機模擬研究(Yang et al., 2013)的證據(jù)支持。近年來, 研究者嘗試在神經(jīng)生理層面探討閱讀的大腦神經(jīng)網(wǎng)絡(luò), 致力闡明閱讀的語音和語義加工神經(jīng)回路, 并深入揭示兩條回路之間的動態(tài)協(xié)作機制(Carreiras et al., 2014), 從而在認(rèn)知和神經(jīng)生理層面統(tǒng)一閱讀的理論模型。

目前, 對閱讀的大腦神經(jīng)網(wǎng)絡(luò)并沒有統(tǒng)一的認(rèn)識, 主要的分歧在于對閱讀中語義加工通路的認(rèn)識不足。比如, Price (2012)提出的閱讀神經(jīng)回路中, 將語義相關(guān)腦區(qū)定位在顳中回后部區(qū)域(pMT), 而Carreiras等人(2014)則認(rèn)為語義相關(guān)腦區(qū)不僅有 pMT, 還包括了顳葉前部(ATL)和角回(AG)的參與。以往的研究大都來自于拼音文字系統(tǒng), 從而導(dǎo)致對語義加工通路的探討具有先天的不足, 因為拼音文字系統(tǒng)具有系統(tǒng)地字形到語音的對應(yīng)關(guān)系, 可以不依賴于語義完成閱讀。

漢字具有獨特的表義功能, 是探討閱讀語義神經(jīng)回路的有效途徑。已往研究發(fā)現(xiàn), 參與閱讀的語義相關(guān)腦區(qū)較多, 但對閱讀語義神經(jīng)回路的認(rèn)識尚不清楚。例如, 研究發(fā)現(xiàn)顳中回后部區(qū)域參與閱讀并負(fù)責(zé)詞典語義的存儲(Binder et al.,2009), 同時還有角回(AG)、顳前回(ATL)、以及額下回(IFG)等腦區(qū)也參與了詞匯閱讀, 這些腦區(qū)的功能更多與語義整合加工相關(guān)。有研究認(rèn)為AG負(fù)責(zé)概念與概念之間的整合加工(Bonner et al.,2013; Price et al., 2015); ATL更多地負(fù)責(zé)抽象概念的表征(Bonner & Price, 2013; Mehta et al., 2016);而 IFG主要負(fù)責(zé)語義的整合加工(Zhu et al.,2012)。這些語義腦區(qū)如何組成閱讀的語義加工神經(jīng)回路是當(dāng)前研究面臨的瓶頸問題。借助漢字形旁的表義特性, 可以系統(tǒng)地探討上述腦區(qū)在閱讀中的功能。通過操縱形旁的表義屬性, 可以探討閱讀中整字語義的詞典加工、形旁字形與語義的映射加工、以及形旁與整字語義的整合加工機制。一方面將闡明前人發(fā)現(xiàn)的語義相關(guān)腦區(qū)在閱讀中的功能; 另一方面將揭示出閱讀的語義神經(jīng)回路,從而解決閱讀神經(jīng)網(wǎng)絡(luò)研究面臨的瓶頸問題。

聯(lián)結(jié)主義取向的一個重要觀點, 即認(rèn)為閱讀是由語音和語義神經(jīng)回路共同作用、相互協(xié)作的結(jié)果, 揭示這兩條回路的動態(tài)協(xié)作機制是當(dāng)前閱讀認(rèn)知神經(jīng)科學(xué)研究的關(guān)鍵。Frost等人(2005)最早通過 fMRI實證數(shù)據(jù)表明, 閱讀相關(guān)功能腦區(qū)表現(xiàn)出激活的 trade-off效應(yīng), 當(dāng)詞匯的語音信息較弱時, 大腦更多依賴于語義信息的加工, 從而在語義腦區(qū)上表現(xiàn)出顯著的語義效應(yīng)。但是, 由于拼音文字系統(tǒng)的局限, 對兩條神經(jīng)回路之間的動態(tài)協(xié)作機制還缺乏系統(tǒng)深入地探討。漢字閱讀的認(rèn)知神經(jīng)科學(xué)研究已經(jīng)得到了間接的證據(jù),Wang等人(2016)基于多參數(shù)相關(guān)分析技術(shù), 發(fā)現(xiàn)隨著漢字材料的語義信息增加, 語義相關(guān)腦區(qū)的激活增強; 與此類似, 語音加工腦區(qū)會相應(yīng)地隨著漢字材料的語音屬性增多而激活增強。Wang等人的研究結(jié)果表現(xiàn)出了兩條神經(jīng)回路之間的相互作用, 但該研究是基于對現(xiàn)有數(shù)據(jù)的再分析,沒有進行嚴(yán)謹(jǐn)?shù)膶嶒炘O(shè)計。而且, 語音和語義神經(jīng)回路是如何受刺激和任務(wù)的影響而表現(xiàn)出動態(tài)協(xié)作的機制, 對此問題還缺乏最直接的實證結(jié)果。

因此, 在有效識別漢字閱讀的語音和語義加工相關(guān)功能腦區(qū)的基礎(chǔ)上, 從聯(lián)結(jié)主義神經(jīng)網(wǎng)絡(luò)的角度, 厘清漢字語義線索起作用的大腦神經(jīng)回路, 闡明語義與語音神經(jīng)回路在刺激和任務(wù)調(diào)節(jié)下的動態(tài)協(xié)作機制, 尤其是建構(gòu)統(tǒng)一的閱讀神經(jīng)模型, 考察該模型受刺激和任務(wù)的驅(qū)動表現(xiàn)出來的神經(jīng)回路之間的動態(tài)分工協(xié)作, 將為建立與聯(lián)結(jié)主義閱讀認(rèn)知模型相應(yīng)的神經(jīng)生理模型提供最直接的證據(jù), 為閱讀的認(rèn)知理論與神經(jīng)生理模型的統(tǒng)一提供實證支持。

目前的研究方案存在一個需要解決的關(guān)鍵點,就是能否在神經(jīng)層面揭示出漢字形旁的語義效應(yīng)。雖然相對于拼音文字系統(tǒng), 漢字具有更為系統(tǒng)的字形到語義的對應(yīng)關(guān)系(Yang et al., 2013),但已有研究對漢字形旁作用的發(fā)現(xiàn)大多基于啟動的實驗范式(詳見綜述, 張積家, 王娟, 陳新葵,2014), 還沒有在出聲閱讀或詞匯判斷任務(wù)下發(fā)現(xiàn)形旁的語義作用。本項目擬嘗試在閱讀和詞匯判斷任務(wù)下得到形旁的語義作用, 在神經(jīng)層面很有可能得不到預(yù)期的效應(yīng)。因此, 有必要及時調(diào)整實驗任務(wù), 比如使用啟動、語義范疇判斷等實驗范式, 來加強對漢字部件的加工深度, 增加語義在閱讀中的作用來探討閱讀中語義加工的神經(jīng)回路。如果真的需要通過增強任務(wù)加工深度才能達到實驗?zāi)康? 也從另一個角度表明了漢字和拼音文字系統(tǒng)一樣, 閱讀主要依賴于字形到語音的加工機制, 具有跨語言的普遍性。

劉燕妮, 舒華, 軒月. (2002). 漢字識別中形旁亞詞匯加工的發(fā)展研究.應(yīng)用心理學(xué), 8(1), 3–7.

王協(xié)順, 吳巖, 趙思敏, 倪超, 張明. (2016). 形旁和聲旁在形聲字識別中的作用.心理學(xué)報, 48(2), 130–140.

張積家, 彭聃齡. (1993). 漢字詞特征語義提取的實驗研究.

心理學(xué)報, 25(2), 30–37.

張積家, 王娟, 陳新葵. (2014). 義符研究 20年: 理論探討、實驗證據(jù)和加工模型.心理科學(xué)進展, 22(3), 381–399.

張積家, 王娟, 印叢. (2014). 聲符和義符在形聲字語音、語義提取中的作用――來自部件知覺眼動研究的證據(jù).

心理學(xué)報, 46(7), 885–900.

Bi, Y. C., Han, Z. Z., Weekes, B., & Shu, H. (2007). The interaction between semantic and the nonsemantic systems in reading:Evidence from Chinese.Neuropsychologia, 45(12), 2660–2673.

Binder, J. R., & Desai, R. H. (2011). The neurobiology of semantic memory.Trends in Cognitive Science, 15(11),527–536.

Binder, J. R., Desai, R. H., Graves, W. W., & Conant, L. L.(2009). Where is the semantic system? A critical review and meta-analysis of 120 functional neuroimaging studies.Cerebral Cortex, 19(12), 2767–2796.

Bonner, M. F., Peelle, J. E., Cook, P. A., & Grossman, M.(2013). Heteromodal conceptual processing in the angular gyrus.NeuroImage, 71, 175–186.

Bonner, M. F., & Price, A. R. (2013). Where is the anterior temporal lobe and what does it do?Journal of Neuroscience the Official Journal of the Society for Neuroscience,33(10), 4213–4215.

Boukrina, O., & Graves, W. W. (2013). Neural networks underlying contributions from semantics in reading aloud.Frontiers in Human Neuroscience, 7, 518.

Cardin, V., Friston, K. J., & Zeki, S. (2011). Top-down modulations in the visual form pathway revealed with dynamic causal modeling.Cerebral Cortex, 21(3), 550–562.

Carreiras, M., Armstrong, B. C., Perea, M., & Frost, R.(2014). The what, when, where, and how of visual word recognition.Trends in Cognitive Science, 18(2), 90–98.

Cattinelli, I., Borghese, N. A., Gallucci, M., & Paulesu, E.(2013). Reading the reading brain: A new meta-analysis of functional imaging data on reading.Journal of Neurolinguistics,26(1), 214–238.

Cohen, L., & Dehaene, S. (2004). Specialization within the ventral stream: The case for the visual word form area.NeuroImage, 22(1), 466–476.

Coltheart, M., Rastle, K., Perry, C., Langdon, R., & Ziegler,J. (2001). DRC: A dual route cascaded model of visual word recognition and reading aloud.Psychological Review,108(1), 204–256.

Fedorenko, E., & Thompson-Schill, S. L. (2014). Reworking the language network.Trends in Cognitive Science, 18(3),120–126.

Fiez, J. A. (2000). Sound and meaning: How native language affects reading strategies.Nature Neuroscience, 3(1), 3–5.

Frost, R. (2012). Towards a universal model of reading.Behavioral and Brain Sciences, 35(5), 263–279.

Frost, S. J., Mencl, W. E., Sandak, R., Moore, D. L., Rueckl,J. G., Katz, L., ... Pugh, K. R. (2005). A functional magnetic resonance imaging study of the tradeoff between semantics and phonology in reading aloud.Neuroreport,16(6), 621–624.

Graves, W. W., Desai, R., Humphries, C., Seidenberg, M. S.,& Binder, J. R. (2010). Neural systems for reading aloud:A multiparametric approach.Cerebral Cortex, 20(8), 1799–1815.

Jobard, G., Crivello, F., & Tzourio-Mazoyer, N. (2003).Evaluation of the dual route theory of reading: A metanalysis of 35 neuroimaging studies.NeuroImage, 20(2), 693–712.

Kuo, W. J., Yeh, T. C., Lee, J. R., Chen, L. F., Lee, P. L.,Chen, S. S., ... Hsieh, J. C. (2004). Orthographic and phonological processing of Chinese characters: An fMRI study.NeuroImage, 21(4), 1721–1731.

Lee, C. Y., Tsai, J. L., Kuo, W. J., Yeh, T. C., Wu, Y. T., Ho,L. T., ... Hsieh, J. C. (2004). Neuronal correlates of consistency and frequency effects on Chinese character naming: An event-related fMRI study.NeuroImage, 23(4), 1235–1245.

Levy, J., Pernet, C., Treserras, S., Boulanouar, K., Aubry, F.,Démonet, J. F., & Celsis, P. (2009). Testing for the dual-route cascade reading model in the brain: An fMRI effective connectivity account of an efficient reading style.PLoS One, 4(8), e6675.

Liu, C., Zhang, W. T., Tang, Y. Y., Mai, X. Q., Chen, H. C.,Tardif, T., & Luo, Y. J. (2008). The Visual Word Form Area: Evidence from an fMRI study of implicit processing of Chinese characters.NeuroImage, 40(3), 1350–1361.

Liu, Y. Y., Shu, H., & Li, P. (2007). Word naming and psycholinguistic norms: Chinese.Behavior Research Methods,39(2), 192–198.

Ludersdorfer, P., Schurz, M., Richlan, F., Kronbichler, M., &Wimmer, H. (2013). Opposite effects of visual and auditory word-likeness on activity in the visual word form area.Frontiers in Human Neuroscience, 7, 491.

Mehta, S., Inoue, K., Rudrauf, D., Damasio, H., Tranel, D.,& Grabowski, T. (2016). Segregation of anterior temporal regions critical for retrieving names of unique and non-unique entities reflects underlying long-range connectivity.Cortex,75, 1–19.

Paulesu, E., Mccrory, E., Fazio, F., Menoncello, L., Brunswick,N., Cappa, S. F., ... Lorusso, M. (2000). A cultural effect on brain function.Nature Neuroscience, 3(1), 91–96.

Peng, D. L., Ding, G. S., Perry, C., Xu, D., Jin, Z., Luo, Q., ...Deng, Y. (2004). fMRI evidence for the automatic phonological activation of briefly presented words.Cognitive Brain Research, 20(2), 156–164.

Price, A. R., Bonner, M. F., Peelle, J. E., & Grossman, M.(2015). Converging evidence for the neuroanatomic basis of combinatorial semantics in the angular gyrus.The Journal of Neuroscience, 35(7), 3276–3284.

Price, C. J. (2012). A review and synthesis of the first 20 years of PET and fMRI studies of heard speech, spoken language and reading.NeuroImage, 62(2), 816–847.

Price, C. J., & Devlin, J. T. (2011). The interactive account of ventral occipitotemporal contributions to reading.Trends in Cognitive Sciences, 15(6), 246–253.

Pugh, K. R., Mencl, W. E., Jenner, A. R., Katz, L., Frost, S.J., Lee, J. R., ... Shaywitz, B. A. (2001). Neurobiological studies of reading and reading disability.Journal of Communication Disorders, 34(6), 479–492.

Richardson, F. M., Seghier, M. L., Leff, A. P., Thomas, M. S.C., & Price, C. J. (2011). Multiple routes from occipital to temporal cortices during reading.Journal of Neuroscience,31(22), 8239–8247.

Rueckl, J. G., Paz-Alonso, P. M., Molfese, P. J., Kuo, W.-J.,Bick, A., Frost, S. J., ... Frost, R. (2015). Universal brain signature of proficient reading: Evidence from four contrasting languages.Proceedings of the National Academy of Sciences of the United States of America, 112(50), 15510–15515.

Seidenberg, M. S. (2011). Reading in different writing systems: One architecture, multiple solutions. In P. McCardle,J. Ren, & O. Tzeng (Eds.),Dyslexia across language:Orthography and the gene-brain-behavior link(pp. 151–174).Baltimore, MD: Paul Brooke Publishing.

Shu, H., Chen, X., Anderson, R. C., Wu, N. N., & Xuan, Y.(2003). Properties of school Chinese: Implications for learning to read.Child Development, 74(1), 27–47.

Tan, L. H., Feng, C. M., Fox, P. T., & Gao, J. H. (2001). An fMRI study with written Chinese.Neuroreport, 12(1), 83–88.

Taylor, J. S. H., Rastle, K., & Davis, M. H. (2013). Can cognitive models explain brain activation during word and pseudoword reading? A meta-analysis of 36 neuroimaging studies.Psychological Bulletin, 139(4), 766–791.

Taylor, J. S. H., Rastle, K., & Davis, M. H. (2014). Interpreting response time effects in functional imaging studies.NeuroImage,99, 419–433.

Taylor, J. S. H., Duff, F. J., Woollams, A. M., Monaghan, P.,& Ricketts, J. (2015). How word meaning influences word reading.Current Directions in Psychological Science,24(4), 322–328.

Vogel, A. C., Miezin, F. M., Petersen, S. E., & Schlaggar, B.L. (2012). The putative visual word form area is functionally connected to the dorsal attention network.Cerebral Cortex,22(3), 537–549.

Wang, X. J., Yang, J. F., Shu, H., & Zevin, J. D. (2011). Left fusiform BOLD responses are inversely related to wordlikeness in a one-back task.NeuroImage, 55(3), 1346–1356.

Wang, X. J., Yang, J. F., Yang, J., Mencl, W. E., Shu, H., &Zevin, J. D. (2015). Language differences in the brain network for reading in naturalistic story reading and lexical decision.PLoS One, 10(5), e0124388.

Wang, X. J., Zhao, R., Zevin, J. D., & Yang, J. F. (2016). The neural correlates of the interaction between semantic and phonological processing for Chinese character reading.Frontiers in Psychology, 7, 947.

Williams, C., & Bever, T. (2010). Chinese character decoding: a semantic bias?Reading and Writing, 23(5), 589–605.

Wu, X., Lu, J., Chen, K. W., Long, Z. Y., Wang, X. Y., Shu,H., ... Yao, L. (2009). Multiple neural networks supporting a semantic task: an fMRI study using independent component analysis.NeuroImage, 45(4), 1347–1358.

Yang, J. F., McCandliss, B. D., Shu, H., & Zevin, J. D.(2009). Simulating language-specific and language-general effects in a statistical learning model of Chinese reading.Journal of Memory and Language, 61(2), 238–257.

Yang, J. F., Shu, H., McCandliss, B. D., & Zevin, J. D.(2013). Orthographic influences on division of labor in learning to read Chinese and English: Insights from computational modeling.Bilingualism: Language and Cognition,16(2), 354–366.

Yang, J. F., Wang, X. J., Shu, H., & Zevin, J. D. (2011).Brain networks associated with sublexical properties of Chinese characters.Brain and Language, 119(2), 68–79.

Yang, J. F., Wang, X. J., Shu, H., & Zevin, J. D. (2012).Task by stimulus interactions in brain responses during Chinese character processing.NeuroImage, 60(2), 979–990.

Yeatman, J. D., Rauschecker, A. M., & Wandell, B. A. (2013).Anatomy of the visual word form area: Adjacent cortical circuits and long-range white matter connections.Brain and Language, 125(2), 146–155.

Zhao, R., Fan, R., Liu, M. X., Wang, X. J., & Yang, J. F.(2017). Rethinking the function of brain regions for reading Chinese characters in a meta-analysis of fMRI studies.Journal of Neurolinguistics, 44, 120–133.

Zhu, Z. D., Hagoort, P., Zhang, J. X., Feng, G. Y., Chen, H.C., Bastiaansen, M., & Wang, S. P. (2012). The anterior left inferior frontal gyrus contributes to semantic unification.NeuroImage, 60(4), 2230–2237.