多模態(tài)視角下英語視聽認(rèn)知影響機(jī)制研究

摘 ? 要?多模態(tài)環(huán)境下，視聽相結(jié)合的英語視頻材料廣泛應(yīng)用于英語聽力教學(xué)中。視覺和聽覺是兩個(gè)獨(dú)立的認(rèn)知系統(tǒng)，它們相互影響、制約和融合。對(duì)視頻中視覺和聽覺影響機(jī)制進(jìn)行實(shí)證研究，發(fā)現(xiàn)視覺認(rèn)知和聽覺認(rèn)知的相關(guān)性及學(xué)生的英語語言能力會(huì)影響視聽材料的理解效果，對(duì)英語聽力教學(xué)有指導(dǎo)意義。

關(guān)鍵詞?英語視聽 ?認(rèn)知 ?影響機(jī)制

計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的發(fā)展為語言學(xué)習(xí)提供了多模態(tài)、多媒介的學(xué)習(xí)環(huán)境。隨著計(jì)算機(jī)輔助教學(xué)及網(wǎng)絡(luò)的普及，英語聽力教學(xué)也發(fā)生了質(zhì)的變化[1]。學(xué)生和教師都不再滿足于單純的音頻材料，而是更多地接觸到有視頻介入的聽力材料。隨著英語教育的改革，學(xué)生英語聽說能力的培養(yǎng)受到了越來越多的關(guān)注，計(jì)算機(jī)和網(wǎng)絡(luò)在英語聽力教學(xué)中發(fā)揮著越來越重要的角色，英語聽說課已從單純的聽、說轉(zhuǎn)變?yōu)橐暋⒙?、說多模態(tài)結(jié)合的模式。自80年代開始，視頻媒介介入的英語聽力教學(xué)得到了大力的發(fā)展和應(yīng)用。視頻主要包括內(nèi)容視頻和場(chǎng)景視頻。內(nèi)容視頻就是視頻中包含了實(shí)景事物和事件發(fā)生的實(shí)際過程;而場(chǎng)景視頻主要包含了談話者的舉止神態(tài)和一些次語言特征，比如手勢(shì)、唇形等[2]。隨著視頻媒介在英語聽力教學(xué)中的推廣使用，師生對(duì)視頻材料參與英語聽力教學(xué)過程持積極態(tài)度，但對(duì)如何使用視頻材料及聽力理解中視聽相互的影響機(jī)制還很模糊，相關(guān)研究很少。因此，本研究從定性和定量角度考查英語聽力中內(nèi)容視頻資料對(duì)聽力理解影響機(jī)制，從而為聽力教學(xué)提供有益的啟示。

一、研究理論依據(jù)

1.認(rèn)知負(fù)荷理論

聽力理解是一個(gè)主動(dòng)和復(fù)雜的過程，聽者會(huì)從看到的和聽到的線索中提取信息并將這些信息和大腦中長(zhǎng)期記憶中的信息相關(guān)聯(lián)，從而更好地理解聽到的內(nèi)容[3]。澳大利亞認(rèn)知心理學(xué)家Sweller的認(rèn)知負(fù)荷理論，是本研究的基本理論基礎(chǔ)。Sweller認(rèn)為，聽覺記憶和視覺記憶是相對(duì)獨(dú)立的，當(dāng)材料通過聽覺和視覺同時(shí)輸入，聽覺和視覺的認(rèn)知負(fù)荷可以相互分擔(dān)，也就是說視覺輸入可以有效減少聽覺中的工作記憶負(fù)荷[4]。認(rèn)知負(fù)荷理論提出，知識(shí)以圖式的形式存儲(chǔ)在大腦長(zhǎng)時(shí)記憶中，人們大腦的工作記憶是有限的，當(dāng)太多的信息同時(shí)輸入時(shí)，就會(huì)出現(xiàn)負(fù)荷過量。如果輸入信息和大腦長(zhǎng)期記憶中的圖式相關(guān)，工作記憶負(fù)荷就會(huì)被降低。

2.多模態(tài)語篇分析理論

Walma van der Molen的多模態(tài)語篇分析理論建立在Halliday的系統(tǒng)功能語言學(xué)基礎(chǔ)上。該理論側(cè)重研究符號(hào)學(xué)之間的關(guān)系，它從語義分析的角度去研究視頻材料中視覺和聽覺模式符號(hào)學(xué)之間的語義聯(lián)系[5]。從語義加工角度，聽力理解包括自下而上和自上而下的過程。自下而上是指聽者語義建構(gòu)的過程，將聽覺信息從音位層次過渡到語篇層次;自上而下是指聽者利用存儲(chǔ)于長(zhǎng)期記憶中的已掌握的知識(shí)和宏觀組織去幫助理解聽力內(nèi)容[6]。語義相關(guān)的視覺信息可以給受眾提供附加的記憶代碼從而幫助提高聽力的理解能力，而語義不相關(guān)的視覺圖片會(huì)增加工作記憶的認(rèn)知負(fù)荷并影響聽力理解。

二、研究設(shè)計(jì)及實(shí)施

基于以上理論，研究方法采用對(duì)比實(shí)驗(yàn)、調(diào)查問卷和訪談相結(jié)合的方法。對(duì)比實(shí)驗(yàn)我們選取西部某學(xué)校的四個(gè)不同班級(jí)各30名學(xué)生作為研究對(duì)象。這四個(gè)班級(jí)分別為使用視聽材料教學(xué)英語提高班（英語基礎(chǔ)好）、英語普通班（英語基礎(chǔ)薄弱），僅使用聽力材料教學(xué)英語提高班（英語基礎(chǔ)好）、英語普通班（英語基礎(chǔ)薄弱）。

1.定性研究

針對(duì)使用視聽材料上課的班級(jí)，選取來自CCTV-NEWS中一段報(bào)道地震災(zāi)害的新聞視頻作為上課材料。視頻中包含了視聽相關(guān)性高的兩段視頻，畫面清晰地描述了新聞中口頭所表述的內(nèi)容，一段顯示地震發(fā)生時(shí)山體的滑坡和地面的開裂，一段顯示地震時(shí)房屋的倒塌和人們的神情;視頻還包含了一部分視聽相關(guān)性低的內(nèi)容，主要通過圖片和圖表講述了地震的震中、地質(zhì)活動(dòng)情況、地震天氣情況及未來災(zāi)害的預(yù)測(cè)等;還有部分片段是標(biāo)準(zhǔn)的新聞圖片，和口頭報(bào)道相關(guān)性不大。

視頻播放完畢，學(xué)生需要完成四道題，分別考查對(duì)視頻大意的理解情況、對(duì)主持人報(bào)道內(nèi)容大意的理解情況、低試聽相關(guān)性特殊信息的理解和高視聽相關(guān)性特殊信息的理解。通過對(duì)答題情況的分析，主要考察兩個(gè)問題：（1）不同的內(nèi)容視頻對(duì)聽力理解的影響程度，是有助于聽力理解還是影響聽力理解;（2）視頻材料對(duì)不同英語基礎(chǔ)的學(xué)生影響有何不同。

2.定量研究

主要包括問卷調(diào)查和面對(duì)面訪談。調(diào)查問卷共兩套，一套針對(duì)聽力任課教師，一套針對(duì)學(xué)生。面對(duì)面訪談采用即時(shí)采訪的方式，在完成相關(guān)聽力任務(wù)后隨機(jī)抽取學(xué)生馬上進(jìn)行采訪。問卷主要涉及以下幾個(gè)方面：（1）教師對(duì)有視頻介入聽力訓(xùn)練材料的使用情況和他們對(duì)視頻材料運(yùn)用于聽力教學(xué)的態(tài)度;（2）教師是否觀察到學(xué)生對(duì)視頻材料中視覺信息使用的情況;（3）英語基礎(chǔ)好和英語基礎(chǔ)薄弱的學(xué)生對(duì)視頻介入聽力材料的認(rèn)識(shí)及他們?cè)诼犃^程中使用視頻材料的習(xí)慣和熟練度。訪談主要是讓學(xué)生對(duì)參加測(cè)試中的視頻材料談?wù)勛约旱目捶ǎ麄儗?duì)視頻材料中視覺信息的認(rèn)識(shí)、使用策略及是否使用視覺信息有效地幫助理解所聽的內(nèi)容。

三、研究結(jié)果

1.高視聽相關(guān)性的視聽材料有助于提高學(xué)生的聽力理解

通過對(duì)學(xué)生答卷的整理和歸類，我們采用定量研究SPSS 19.0軟件進(jìn)行數(shù)據(jù)分析。因?yàn)樯婕暗絻山M變量——高水平組（提高班）和低水平組（普通班）、視聽材料組和單純聽力材料組，我們采用單項(xiàng)方差分析（one-way ANOVA）來檢查每個(gè)變量的情況。

分析結(jié)果顯示，在視頻大意的理解掌握上，視聽組的平均值要大于聽力組，P=0.025<0.01，說明視聽材料的輸入比單純的聽力材料輸入能更有效地提高受眾對(duì)材料大意的理解;在主持人報(bào)導(dǎo)內(nèi)容大意的理解上，視聽組和聽力組并沒有太大的區(qū)別，說明中國學(xué)生對(duì)主持人的嘴唇活動(dòng)和面部表情反映不敏感，很難借助主持人的外部特征獲取有效信息來幫助理解說話內(nèi)容;在不相關(guān)方面，兩組的差別不大，說明視頻材料中不相關(guān)的圖片內(nèi)容對(duì)聽力理解的支持作用不大。在相關(guān)信息方面，視聽組的平均分高于聽力組，P=0.032<0.05，說明當(dāng)視聽材料中視覺信息和聽覺信息一致，可以有效地提高聽力理解。

以上實(shí)證分析證明，高視聽相關(guān)性的視聽材料比單純的聽力材料更有助于聽力的理解。當(dāng)聽覺和視覺信息重合，它們之間就可以有效地互補(bǔ)并形成有效的理解。外來的認(rèn)知負(fù)荷降低了，有關(guān)聯(lián)的認(rèn)知負(fù)荷提高了，聽者的理解力得到提升。

2.視聽材料對(duì)英語基礎(chǔ)不同的學(xué)生影響不同

實(shí)證研究數(shù)據(jù)顯示，高水平組的學(xué)生更善于利用視覺信息來理解視聽材料的大意并有效構(gòu)建大腦圖式。高水平組的學(xué)生對(duì)主播的唇部動(dòng)作和面部表情會(huì)更為敏感些。高語義相關(guān)的視頻對(duì)低水平學(xué)生影響力超過高水平學(xué)生。不相關(guān)的視覺信息對(duì)聽力理解沒有任何的幫助。

這說明視聽材料的理解受到學(xué)生英語語言基礎(chǔ)的影響，不同英語基礎(chǔ)的學(xué)生利用視覺信息的能力是不同的。英語基礎(chǔ)強(qiáng)的學(xué)生更善于利用視覺信息和相關(guān)背景信息，而英語基礎(chǔ)弱的學(xué)生對(duì)視覺信息敏感性弱，不善于利用高試聽相關(guān)性的視覺材料理解聽力內(nèi)容，他們很容易受視覺信息的干擾而忽略聽覺信息。因此，英語基礎(chǔ)低的學(xué)生利用視覺信息的能力還有待提高。

3.視聽材料類型不同，對(duì)聽力影響也不同

面對(duì)面訪談結(jié)果顯示，提高班和普通班學(xué)生都認(rèn)為視頻資料比單純的聽力材料更有利于聽力的理解。但是，不同類型的視頻資料對(duì)聽力的影響不同。學(xué)生普遍認(rèn)為“動(dòng)畫畫面”很形象，有助于提高聽力的理解力;“圖表和公式”比較直觀，可以幫助理解聽力中部分相關(guān)內(nèi)容;“邏輯相關(guān)事件”可以顯示實(shí)物并傳遞詞語的意思，有助于語義解碼;但“標(biāo)準(zhǔn)的新聞圖片”只對(duì)理解大意有幫助。對(duì)于視覺信息是否會(huì)有助于理解材料中特定信息，學(xué)生認(rèn)為如果視覺畫面變化太快，則會(huì)帶來過多的信息負(fù)荷，不利于特殊信息的掌握。視頻中主持人的唇形、手勢(shì)及面部特征，對(duì)學(xué)生聽力理解影響不大，但對(duì)高水平學(xué)生來說，它們可以間接加深對(duì)某些詞匯的記憶。

4.教師和學(xué)生對(duì)視頻材料的認(rèn)識(shí)和使用不夠

對(duì)教師的問卷顯示，英語教師普遍認(rèn)可有視頻介入的聽力材料，認(rèn)為視聽材料比單純的聽力材料更直觀、更形象、更貼近真實(shí)的語言環(huán)境，并主動(dòng)將視頻材料應(yīng)用于英語聽力教學(xué)中。但是教師對(duì)視頻在聽力中的作用并不很清楚，他們對(duì)于視聽材料中視覺信息對(duì)聽力理解的影響及作用知之甚少，基本沒有概念和相關(guān)理論支持。教師對(duì)視頻的類型也不是很清晰，不同類型視頻對(duì)聽力理解的影響還未主動(dòng)納入聽力理解考查范圍。在課堂上不會(huì)引導(dǎo)學(xué)生關(guān)注視頻資料中的視覺信息，也不太會(huì)選擇合適的視頻材料應(yīng)用于聽力教學(xué)。

對(duì)學(xué)生的調(diào)查問卷顯示，兩個(gè)組別的學(xué)生更喜歡去接觸有視頻信息的聽力材料。英語基礎(chǔ)好的學(xué)生對(duì)視頻信息在提高聽力理解方面持更加肯定的態(tài)度，他們習(xí)慣利用背景材料、圖表、主持人的手勢(shì)、表情等來幫助聽力的理解。但英語基礎(chǔ)低的學(xué)生對(duì)視聽材料中的視頻資料沒有概念，基本不關(guān)注視頻信息。

四、啟示

有視頻介入的視聽材料對(duì)英語聽力教學(xué)提供了新的思路，也帶來了新的問題和挑戰(zhàn)。明確視聽資料中視聽的相互影響機(jī)制，會(huì)更有效地提高聽力教學(xué)的效果。在今后的聽力教學(xué)中，要注重以下方面。

1.加強(qiáng)師資培訓(xùn)

對(duì)從事英語聽力教學(xué)的老師進(jìn)行相關(guān)理論培訓(xùn)，從而明確視聽材料中視聽的認(rèn)知關(guān)系，科學(xué)有意識(shí)地引導(dǎo)學(xué)生利用好視聽材料。教師既要注重學(xué)生語音和聽力技巧的培養(yǎng)，也要注重培養(yǎng)學(xué)生對(duì)視覺信息的認(rèn)知，并介紹有效的視覺信息理解技巧，從而全面提升聽力理解能力。

2.合理選擇視頻材料

常見的視頻材料通常表現(xiàn)為“動(dòng)畫”“圖表和公式”“邏輯相關(guān)事件”“標(biāo)準(zhǔn)的新聞圖片”和“不相關(guān)圖片”等，它們和聽覺的語義相關(guān)性依次減弱。我們?cè)谝曨l材料的選擇上，要多選擇視聽相關(guān)性高的“動(dòng)畫”或“圖表和公式”，避免使用“標(biāo)準(zhǔn)的新聞圖片”和“不相關(guān)圖片”等。只有高視聽相關(guān)性的視頻材料才能夠更好地幫助理解聽力內(nèi)容，有效地服務(wù)于聽力教學(xué)。

3.培養(yǎng)學(xué)生利用視頻材料的意識(shí)

對(duì)于低水平學(xué)生來說，視覺信息的替代效果要更強(qiáng)，他們?cè)谝暵牪牧现?，更關(guān)注視覺信息超過聽覺信息;對(duì)高水平學(xué)生來說，視覺信息的補(bǔ)充效果更強(qiáng)，即他們有能力更好地使用視覺信息來提高聽力理解。也就是說，低水平學(xué)生受視頻材料中視覺信息影響更大，視聽高相關(guān)性的材料有助于提高他們的聽力理解，而視聽低相關(guān)性的材料會(huì)更大程度上干擾他們的聽力理解。因此，加強(qiáng)學(xué)生英語基礎(chǔ)知識(shí)的儲(chǔ)備，訓(xùn)練并提高學(xué)生對(duì)視覺信息的認(rèn)知水平，降低視頻信息的替代效果，加強(qiáng)它的補(bǔ)充效果，可以更有效地利用好視聽材料并運(yùn)用于教學(xué)。

參考文獻(xiàn)

[1] 馮德正.“多模態(tài)研究的現(xiàn)狀與未來——第七屆國際多模態(tài)會(huì)議評(píng)述”[J].外國語，2015（04）.

[2] 顧曰國.多模體、多模體學(xué)習(xí)剖析[J].外語電化教學(xué)，2007（02）.

[3] Mayer，R.Multimedia Learning：Are We Asking the Right Questions.Educational psychologist，1997，32（01）.

[4] Sweller，J.Implications of cognitive load theory for multimedia learning.In R.Mayer（Ed.），Cambridge Handbook of Multimedia Learning.New York：Cambridge University Press，2005.

[5] Walma van der Molen，J.H.Assessing text-picture correspondence in television news：the development of a new coding scheme.Journal of Broadcasting and Electronic Media，45（03）.

[6] Vandergrift，L.Learning to listen or listening to learn. Annual Review of Applied Linguistics，2004，24.

[作者：史煜（1975-），女，甘肅平?jīng)鋈耍鞅闭ù髮W(xué)外國語學(xué)院講師，碩士。]

【責(zé)任編輯 ? 王 ? 穎】