語言理解易度模型與聽配能

張敏 Catherine V. Palmer

聆聽的主要目標(biāo)是達(dá)到言語理解，聆聽牽涉對連續(xù)產(chǎn)生的語言符號的實(shí)時(shí)感知和處理。工作記憶在該處理過程中起到至關(guān)重要的作用，不僅要在復(fù)雜的語境下進(jìn)行符號計(jì)算從而產(chǎn)生中介和最終記憶信息，而且還負(fù)責(zé)存儲這些信息[1]。言語理解需要注意力和工作記憶，這兩個(gè)認(rèn)知功能之間的關(guān)系復(fù)雜[2～4]，但引入配能（effort）的概念實(shí)現(xiàn)了兩者的整合。Kahneman[5]模型從注意力的角度解釋了聽配能（Listening effort）的管理[6]，最近由學(xué)者建立的語言理解易度模型（ease of language understanding model，ELU）則從工作記憶的角度為聽配能調(diào)控提供了重要的補(bǔ)充。

1 模型介紹

語言理解易度模型（ELU）實(shí)際上并不是直接解釋語言理解或聽配能（Listening effort）的理論模型，而是描述句子和語篇層面完成多模態(tài)語言輸入信息處理的容易程度[7]。該模型適用于通過各感覺通道（聽覺、視覺等）輸入失真語言信息的情況（如聽覺障礙和外部噪聲）。研究聽配能的學(xué)者使用這個(gè)模型是假定語言理解易度與聽配能互為倒數(shù)。

語言理解易度模型（ELU）有5個(gè)基本假設(shè)（圖1）：①不同感官傳遞的言語相關(guān)信息在情景記憶緩沖器[8]發(fā)生快速結(jié)合。這個(gè)過程被稱為快速自動(dòng)多模態(tài)音韻結(jié)合（rapid automatic muitimodal binding of phonology,RAMBPHO）[9]，是基于神經(jīng)系統(tǒng)的視聽語音集成研究[10]以及對聽力正常的手語使用者工作記憶測試的神經(jīng)生理學(xué)研究[11]而提出。②以音節(jié)為單位的語言音韻映像儲存在長期記憶中。語音映像的精確度和長期記憶存取速度限制了感知解碼以及詞匯和語義的存取效率[12]。③由快速自動(dòng)多模態(tài)音韻結(jié)合(RAMBPHO)提取的單或多模態(tài)信息通過匹配機(jī)制與長期記憶中相應(yīng)的語音映像進(jìn)行對比。聽覺記憶實(shí)驗(yàn)中通過改變刺激信號強(qiáng)度誘導(dǎo)的失匹配負(fù)波（Ms Matching Negative,MMN）為匹配機(jī)制提供了證據(jù)[13]。④由于內(nèi)隱認(rèn)知功能的限制，例如輸入信號解碼能力和長期記憶訪問速度，失配機(jī)制中有一個(gè)閾值決定了顯式處理的開始。但這個(gè)假設(shè)還沒有經(jīng)過實(shí)驗(yàn)研究的測試。⑤顯式處理的容易程度取決于個(gè)體的工作記憶（WM）能力。個(gè)體的工作記憶能力越高（即處理速度越快和存儲量越大），在語言理解中，推理（即推斷丟失的信息）和消除歧義（即修復(fù)誤解）越容易。已有實(shí)驗(yàn)數(shù)據(jù)證明，具有較高工作記憶能力的人在噪音環(huán)境中的言語理解度較好[14]，溝通交流能力出色的聽障者和耳聾患者其工作記憶容量通常高于溝通能力一般的聽障同伴[15]。這個(gè)假設(shè)與Just等[1]提出的理解容量理論一致，即工作記憶中處理和存儲信息的能力均約束個(gè)體語言理解的質(zhì)量和數(shù)量。

圖1 語言理解易度模型（ELU）[9]

基于以上5個(gè)假設(shè)，當(dāng)語言信號傳入大腦時(shí)，快速自動(dòng)多模態(tài)音韻結(jié)合（RAMBPHO）作為情景緩沖器，快速自動(dòng)集成了單或多模態(tài)的語音信息流，然后與存儲在長期記憶中的語音映像進(jìn)行比較。如果輸入的語言信號清晰明確，便不會出現(xiàn)失匹配現(xiàn)象，在該優(yōu)勢條件下內(nèi)隱認(rèn)知處理足以實(shí)現(xiàn)語言理解[9]。相反，當(dāng)輸入語言信號不清晰時(shí)（例如，背景噪聲干擾，很強(qiáng)的口音，助聽器或人工耳蝸導(dǎo)致的語音失真），感知的失真語言信號就會和長期記憶中的語音映像發(fā)生不匹配，內(nèi)隱認(rèn)知處理已不足以達(dá)到需要的語言理解目標(biāo)。這種情況下，語言理解過程由快速自動(dòng)的內(nèi)隱處理變成相對較慢并耗費(fèi)能量的顯式處理。

語言理解易度模型（ELU）可以用下列公式表達(dá)[7]：

公式中的4個(gè)要素與模型假設(shè)相對應(yīng)。參數(shù)fp(P)代表長期記憶中語音映像的準(zhǔn)確性，fs(S)代表長期記憶存取速度，公式分子fp(P)fs(S)構(gòu)成公式的內(nèi)隱部分。參數(shù)fe(E)代表顯式過程，即預(yù)測推理和回溯消歧，fc(C)表示工作記憶容量，包括存儲和處理。公式分母fe(E)fc(C)表示顯式過程。語言理解易度與語音映像的準(zhǔn)確度和長期記憶存取速度成正相關(guān)，與顯式處理調(diào)用量和工作記憶容量呈負(fù)相關(guān)。失匹配程度越高，顯式過程權(quán)重越大，語言理解就越困難，換句話說，易度就越小。

2 實(shí)驗(yàn)數(shù)據(jù)支持

語言理解易度模型（ELU）為聽配能（Listening effort）的研究提供了一個(gè)在工作記憶范疇內(nèi)何時(shí)、如何以及何處啟動(dòng)語言理解顯式處理過程的理論框架。該模型加深了學(xué)者們對聽力喪失和聽配能相關(guān)現(xiàn)象的理解，其第一個(gè)指導(dǎo)意義是解釋了為什么語后聾患者即使是補(bǔ)償了可聽度，發(fā)生語言失配的頻率仍然高于聽力正常的同齡人。一部分原因是目前的助聽裝置仍然無法完全恢復(fù)聽力功能，還有一部分原因是由于長期聽力喪失而缺乏語言強(qiáng)化，在某種程度上改變了大腦長期記憶中的語音映像。

Andersson等[16]運(yùn)用押韻判斷任務(wù)和詞匯判斷任務(wù)實(shí)驗(yàn)范式研究了長期記憶語音映像障礙和工作記憶障礙對獲得性重度聽力損失患者的影響。16名重度耳聾受試者和16名年齡匹配的正常聽力對照者在電腦屏幕上看到一個(gè)提示詞、一個(gè)非詞或一個(gè)提示圖片，每一個(gè)后面都有一系列的測試項(xiàng)目。實(shí)驗(yàn)要求受試者盡可能快地、準(zhǔn)確地用按鍵回答測試項(xiàng)目是否與提示詞押韻。在詞匯決定任務(wù)中，屏幕上顯示一串字母，受試者通過按下相應(yīng)的按鈕來回答這些字母是否能構(gòu)成一個(gè)真正的單詞。韻律判斷任務(wù)要求受試者對每個(gè)提示信號建立語音映像，并與測試項(xiàng)目對比匹配，而詞匯決策任務(wù)則測試個(gè)體通過語音路徑獲得詞意的能力。實(shí)驗(yàn)結(jié)果表明，耳聾組判斷押韻的準(zhǔn)確度明顯低于聽力正常組；然而，兩組受試者在詞匯判斷任務(wù)中的表現(xiàn)沒有顯著差異，這說明耳聾患者長期記憶中的語音映像有退化，但工作記憶的能力保存完好。對于語前聾的群體，他們長期記憶中的語音映像直接反映了他們所聽到的失真的語音信息，他們有自己獨(dú)特的一套語言解碼系統(tǒng)。一旦個(gè)體的語音映像建立完畢，發(fā)生語言失配的頻率應(yīng)該與聽力正常的人相當(dāng)。

Lyxell等人[17]對15名成人人工耳蝸植入患者的術(shù)前認(rèn)知功能和術(shù)后言語理解能力進(jìn)行調(diào)查，以探討兩者之間的關(guān)系。他們發(fā)現(xiàn)在15名受試者中，有8人在押韻判斷和詞匯決策方面的能力與聽力正常人相當(dāng)，他們在耳蝸植入12個(gè)月后能具備很強(qiáng)的溝通能力。其余受試者的認(rèn)知功能低于聽力正常對照組，即使人工耳蝸植入后有12個(gè)月的佩戴經(jīng)驗(yàn)，其溝通能力仍然很低。這些結(jié)果表明，對于植入前沒有建立完整語音映像的植入者，通過佩戴人工耳蝸12個(gè)月在大腦長期記憶建立的新的語音映像尚不足以達(dá)到言語溝通的質(zhì)量要求。長期記憶中完整的語音映像對人們完成語音匹配和隨之而來的語言理解至關(guān)重要。無論是語前聾還是語后聾，內(nèi)隱信號處理過程（即語言理解易度公式的分子）的權(quán)重變少，語言理解變得困難，所需配能增加。

言語理解易度模型（ELU）的第二個(gè)指導(dǎo)意義，因?yàn)槭д娴难哉Z情景信息很難被編碼并保存到長期記憶中，所以頻繁的失匹配會產(chǎn)生情景記憶的相對廢用，理論上，失匹配不一定影響工作記憶和語義記憶，因?yàn)檫@兩種記憶持續(xù)被使用以實(shí)現(xiàn)推理和消歧。但語義記憶與情景記憶關(guān)系緊密，從情景記憶中有效地編碼、存儲和檢索取決于語義記憶力中語音和詞匯映像的清晰程度[18]，因而失匹配有可能間接影響語義記憶。

Ronnberg等人[18]調(diào)查了160名不同年齡、無癡呆癥的助聽器使用者的聽覺敏度與記憶之間的關(guān)系，包括短期記憶（詞和句子的自由回憶測試評估），語義記憶（用詞流暢性和詞匯測試評估），和情景記憶（自由回憶主體執(zhí)行任務(wù)測試評估）。作者發(fā)現(xiàn)，在排除年齡因素影響后，聽力損失和情景記憶呈負(fù)相關(guān)，即聽力損失越重，情景記憶能力越差。類似的相關(guān)性也存在于聽力損失與語義記憶之間。但是聽力損失與短期記憶并無統(tǒng)計(jì)學(xué)相關(guān)性。這一結(jié)果支持了上述語言理解易度模型（ELU）關(guān)于記憶廢用的假設(shè)。這項(xiàng)研究，以及其它關(guān)于聽力障礙和認(rèn)知功能關(guān)聯(lián)的研究，如記憶[19]，選擇性注意[20]，執(zhí)行功能[21]，可以幫助研究者了解聽障人士基于其殘存認(rèn)知功能來調(diào)度聽配能（Listening effort）的行為機(jī)制，并幫助研究者從多個(gè)認(rèn)知維度定義和定位聽配能。實(shí)驗(yàn)結(jié)果還反映了因聽力損失而導(dǎo)致的認(rèn)知功能變化不一，提示人們對每個(gè)個(gè)體都應(yīng)單獨(dú)考慮。

語言理解易度模型（ELU）的第3個(gè)重要指導(dǎo)意義是，當(dāng)顯式過程（即語言理解易度公式的分母）由失匹配觸發(fā)而成為主導(dǎo)時(shí)，個(gè)體感受到的語言理解易度取決于其工作記憶能力。在Foo[19]開展的一項(xiàng)研究中，研究者讓聽力損失受試者使用新的助聽器聲學(xué)參數(shù)，用以人為產(chǎn)生語音失匹配。研究者們發(fā)現(xiàn)，工作記憶能力與語音理解能力及對新助聽器設(shè)置的適應(yīng)能力呈顯著相關(guān)性。Rudner等人[22]研究了聽力損失受試者在言語識別測試中主觀聽配能（Listening effort）和工作記憶容量之間的關(guān)系。研究者控制言語信噪比使得任務(wù)表現(xiàn)水平在個(gè)體間相應(yīng)等同（即50%，80%，95%，95%+）。主觀聽配能評分由視覺模擬量表測量，工作記憶容量由字母追蹤和閱讀廣度測試來衡量。研究結(jié)果顯示，當(dāng)背景噪音為穩(wěn)態(tài)噪音時(shí)，主觀聽配能評分在所有信噪比水平下都與工作記憶容量呈負(fù)相關(guān)，但當(dāng)背景噪音為調(diào)制噪音時(shí)，該負(fù)相關(guān)性只發(fā)生在信噪比最低的兩個(gè)水平。這些結(jié)果表明，穩(wěn)態(tài)噪音比調(diào)制噪音對言語信號的干擾更大，即使在信噪比相對較高的條件下，仍然需要觸發(fā)顯式處理過程花費(fèi)更多的聽配能才能達(dá)到相同水平的言語識別任務(wù)表現(xiàn)。

Desjardins等[20]的研究結(jié)果也支持聽配能（Listening effort）和工作記憶關(guān)聯(lián)的假說。3組參與者，15名聽力正常年輕人，15名健聽老年人，16名老年聽障者，完成不同噪音環(huán)境下的語句重復(fù)任務(wù)。聽配能是采用雙任務(wù)范式和主觀評定量表來測量。結(jié)果顯示，兩組年齡較大的受試者在不同背景噪聲條件下的聽配能均高于正常聽力組，但兩組老年受試者之間聽配能無顯著差異。在所有受試者中，工作記憶能力與雙任務(wù)范式測得的聽配能呈負(fù)相關(guān)，工作記憶能力越強(qiáng)，聽配能耗費(fèi)越少。

3 優(yōu)勢與不足

3.1 優(yōu)勢

從前瞻的聽配能（Listening effort）理論框架來看，語言理解易度模型(ELU)從以下幾個(gè)方面對Kahneman[5]的單一資源理論模型做了補(bǔ)充。首先，它將有關(guān)聽配能的大腦認(rèn)知范疇從注意能力擴(kuò)展到了工作記憶能力；第二，語言理解易度模型（ELU）針對性地解釋當(dāng)輸入語言信號退化時(shí)（比如聽力損失，更換聲音信號處理設(shè)置等）的挑戰(zhàn)性情況，而Kahneman的單一理論模型是建立在理想的溝通情境，并沒有明確描述該模型如何應(yīng)用于輸入信號失真的情況。第三，語言理解易度模型（ELU）在認(rèn)知功能個(gè)體差異和語言理解易度之間架起的直接的橋梁，尤其是個(gè)體工作記憶能力差異；而在Kahneman的單一資源理論模型中，個(gè)體差異和配能分布之間的關(guān)系并不明朗。上述這些補(bǔ)充將言語理解為目標(biāo)的聽配能管理行為解釋更清晰具體。并且支持該理論的實(shí)驗(yàn)研究始終聚焦于聽障人群，為認(rèn)知聽力科學(xué)的發(fā)展做出了很大貢獻(xiàn)。

3.2 不足

盡管語言理解易度模型（ELU）將聽配能（Listening effort）的研究又向前推進(jìn)了一大步，但關(guān)于聽配能還有很多重要問題尚未找到答案。首先，聽配能和言語理解易度是兩個(gè)不同的認(rèn)知概念，兩者并不是簡單的倒數(shù)關(guān)系。Desjardins等[20]使用雙任務(wù)范式做了研究，以噪聲背景下語句識別為主要任務(wù)，以數(shù)字視覺轉(zhuǎn)子跟蹤測試作為次要任務(wù)，將次要任務(wù)表現(xiàn)下降作為測量聽配能的指標(biāo)。同時(shí)，該實(shí)驗(yàn)測量了語言理解易度，即要求受試者主觀地評判聆聽每一個(gè)句子的難易程度，并從0（非常困難）～100（非常容易）打分。結(jié)果顯示，聽配能和語言理解易度分別與任務(wù)難度表現(xiàn)出不同的關(guān)聯(lián)方式。主觀自述的語言理解易度隨著噪音水平的增加（任務(wù)難度增加）而降低，呈下坡形；然而，老年組的聽配能與任務(wù)難易程度的關(guān)系為U形，表明在中等難度條件下，他們調(diào)用的聽配能比在較小和較大難度的條件下要少。年輕的正常組則表現(xiàn)為倒U形，聽配能整體平均值較低，中等任務(wù)難度耗費(fèi)的聽配能高于難度很小和難度很大條件下耗費(fèi)的聽配能。由此看出，聆聽或語言理解易度代表的是個(gè)體對外界輸入刺激的主觀判斷，而聽配能則代表的是個(gè)體收到輸入刺激后的輸出反應(yīng)。語言理解易度高并不意味著聽配能低，反之亦然。

其次，語言理解易度模型（ELU）未能解釋聽配能是如何調(diào)度的，工作記憶參與的顯式處理程度與Kahneman單一資源理論模型提出的注意力分配策略之間如何關(guān)聯(lián)尚不明確，也缺乏實(shí)驗(yàn)研究。

最后，語言理解易度模型（ELU）中失匹配系統(tǒng)的一個(gè)關(guān)鍵閾值假設(shè)可以用來同等化個(gè)體之間的任務(wù)難度水平。如果已知個(gè)體的失匹配閾值，實(shí)驗(yàn)條件就能夠得到更好的控制，從而產(chǎn)生更有效可靠的實(shí)驗(yàn)結(jié)果。但是該模型沒有提出系統(tǒng)地測量個(gè)體閾值的方法。由Slansky及其同事[23]和McNeil及其同事[24]提出一種系統(tǒng)性控制雙任務(wù)范式——同步任務(wù)難度調(diào)節(jié)法，可以生成個(gè)體的雙任務(wù)“交易”曲線，或許可以幫助解決閾值測量的問題。

4 總結(jié)

雖然語言理解易度模型（ELU）拓展了聽配能（Listening effort）的認(rèn)知表現(xiàn)形式，但是未能涵蓋除任務(wù)負(fù)荷以外另一個(gè)驅(qū)動(dòng)聽配能的關(guān)鍵因素——?jiǎng)訖C(jī)因素。我們不能盲目假定，顯式的補(bǔ)償會因?yàn)槿蝿?wù)難度的增加而自動(dòng)激活，因?yàn)橐粋€(gè)人的動(dòng)機(jī)和意志也在聽配能的調(diào)度管理中起重要作用。這將引出筆者計(jì)劃在下一篇關(guān)于聽配能理論模型文章中要著重介紹的Hockey補(bǔ)償控制模型，該模型提出，大腦顯式處理的激發(fā)和控制分為兩級，第一級是前面Kahneman單一資源理論模型和語言理解易度模型（ELU）中描述的任務(wù)負(fù)荷驅(qū)動(dòng)，也即任務(wù)越難，耗費(fèi)的大腦認(rèn)知資源（配能）越多；第二級則是動(dòng)機(jī)和目標(biāo)驅(qū)動(dòng)，這一級的配能控制主要取決于個(gè)人的動(dòng)機(jī)、目標(biāo)設(shè)定、情緒狀態(tài)等，它使得配能控制機(jī)制更為復(fù)雜。在下一篇中，筆者將討論Hockey補(bǔ)償控制模型在聽配能（Listening effort）理論構(gòu)建中的重要性和必要性。

[1]Just MA，Carpenter PA.A capacity theory of comprehension:Individual differences in working memory[J].Psychological Review,1992,99(1):122-149.

[2]Awh E，Vogel EK，Oh SH.Interactions between attention and working memory[J].Neuroscience,2006,139(1):201-208.

[3]Engle RW.Working memory capacity as executive attention[J].Curr Dir Psychol Sci,2002,11(1):19-23.

[4]Fougnie D.The relationship between attention and working memory[M].Johansen INB (ed).New research on short-term memory.New York:Nova Science Publishers,2009.

[5]Kahneman D.Attention and effort[M].Englewood Cliffs,NJ:Prentice-Hall,1973.

[6]張敏，Catherine，Palmer.單一資源理論模型在聽配能研究中的應(yīng)用[J].中國聽力語言康復(fù)科學(xué)雜志,2017,15(3):205-208.

[7]Rnnberg J.Cognition in the hearing impaired and deaf as a bridge between signal and dialogue:A framework and a model[J].Int J Audiol,2003,42(1):68-76.

[8]Baddeley A.Working memory[J].Current Biology,2010,20(4):136-140.

[9]Rnnberg J，Rudner M，F(xiàn)oo C，et al.Cognition counts:A working memory system for ease of language understanding(elu)[J].Int J Audiol,2008,47 Suppl 2:S99-105.

[10]Campbell R.The processing of audio-visual speech:Empirical and neural bases[J].Philosophical Transactions of the Royal Society of London Series B:Biological Scienc es,2008,363(1493):1001-1010.

[11]Rudner M，F(xiàn)ransson P，Ingvar M，et al.Neural representation of binding lexical signs and words in the episodic buffer of working memory[J].Neuropsychologia,2007，45(10):2258-2276.

[12]Pichora-Fuller MK.Processing speed and timing in aging adults:Psychoacoustics,speech perception, and comprehension[J].Int J Audiol,2003,42:S59-S67.

[13]Ntnen R.The mismatch negativity(mmn) as an index of auditory memory[J].International Journal of Psychophysiology,2008,69:167.

[14]Rnnberg J，Rudner M，Lunner T，et al.When cognition kicks in:Working memory and speech understanding in noise[J].Noise Health,2010,12(49):263-269.

[15]Rnnberg J，Andersson J，Andersson U，et al.Cognition as a bridge between signal and dialogue:Communication in the hearing impaired and deaf[J].Scandinavian Audiology，1998,49:101-108.

[16]Andersson U，Lyxell B.Phonological deterioration in adults with an acquired severe hearing impairment: A deterioration in long-term memory or working memory?[J]. Scandinavian Audiology,1999,28(4):241-247.

[17]Lyxell B，Andersson J，Andersson U，et al.Phonological representation and speech understanding with cochlear implants in deafened adults[J].Scandinavian Journal of Psychology,1998,39(3):175-179.

[18]Rnnberg J，Danielsson H，Rudner M，et al.Hearing loss is negatively related to episodic and semantic long-term memory but not to short-term memory[J].Journal of Speech,Language, and Hearing Research,2011,54(2):705-726.

[19]Foo C，Rudner M，Ronnberg J，et al.Recognition of speech in noise with new hearing instrument compression release settings requires explicit cognitive storage and processing capacity[J].Journal of the American Academy of Audiology,2007,18(7):618-631.

[20]Desjardins JL，Doherty KA.Age-related changes in listening effort for various types of masker noises[J].Ear and Hearing,2013,34(3):261-272.

[21]Beer J，Kronenberger WG，Pisoni DB.Executive function in everyday life:Implications for young cochlear implant users[J].Cochlear Implants International,2011,12 Suppl 1:S89-91.

[22]Rudner M，Lunner T，Behrens T，et al.Working memory capacity may influence perceived effort during aided speech recognition in noise[J].Journal of the American Academy of Audiology,2012,23(8):577-589.

[23]Slansky BL，McNeil MR.Resource allocation in auditory processing of emphatically stressed stimuli in aphasia[J].Aphasiology,1997,11(4-5):461-472.

[24]McNeil M，Doyle P，Hula W，et al.Using resource allocation theory and dual‐task methods to increase the sensitivity of assessment in aphasia[J].Aphasiology,2004,18(5-7):521-542.