外語學(xué)習(xí)中的多模態(tài)耦合

劉 靖

(青島科技大學(xué) 外國語學(xué)院，山東 青島 266061)

1．引言

信息在現(xiàn)實世界中是以各種各樣的模態(tài)存在的，而語言的學(xué)習(xí)是一種信息輸入——加工——提取——輸出的過程。隨著科學(xué)技術(shù)的發(fā)展，多模態(tài)信息加工逐漸成為學(xué)界的研究熱點。信息時代，多模態(tài)語言信息輸入主要通過兩大渠道:外語課堂的社會化學(xué)習(xí)、基于網(wǎng)絡(luò)等電子媒介的自主學(xué)習(xí)。本文擬從理論上對外語學(xué)習(xí)過程中各種模態(tài)的耦合進(jìn)行分析，以期提高外語學(xué)習(xí)績效。

2．認(rèn)知學(xué)習(xí)理論

認(rèn)知心理學(xué)理論認(rèn)為，學(xué)習(xí)是學(xué)習(xí)者建構(gòu)知識和理解的過程，是構(gòu)建意義的行為，掌握知識的途徑是通過與其他人的交互作用實現(xiàn)的?！皹?gòu)建意義”是指學(xué)習(xí)者在與外部環(huán)境互動時，構(gòu)建自己所理解的意義。學(xué)習(xí)行為分三個過程:(1)外部環(huán)境互動，獲取信息。信息獲取方式包括:視覺、聽覺、觸摸、嗅覺、味覺、空感和身體效仿。(2)大腦處理外部環(huán)境互動獲取的信息，構(gòu)建意義。構(gòu)建意義時，大腦通過視、聽、觸、嗅和味五個模態(tài)(感官)處理與外部互動信息。(3)學(xué)習(xí)效果的外部行為表現(xiàn)，獲取實踐能力。實踐能力包括聽、說、讀、寫、譯、體態(tài)等能力。(顧曰國，2007)

國外一些認(rèn)知學(xué)習(xí)理論，諸如雙重編碼理論(Paivio，1986)、生成學(xué)習(xí)理論(Wittroc，1990)、認(rèn)知負(fù)荷理論(Sweller，1994)、多媒體學(xué)習(xí)理論(Mayer，2001)和協(xié)同互動理論(Atkinson，2007)，不僅使人們更加深刻地理解學(xué)習(xí)過程，而且為語言學(xué)習(xí)過程(輸入和輸出)中各種模態(tài)的選擇提供了有力的理論支撐。

Paivio區(qū)分信息的言語編碼和視覺編碼，同時使用視覺和語言形式呈現(xiàn)信息可以增強信息的回憶與識別，強調(diào)空間能力的重要性。Wittroc認(rèn)為:學(xué)習(xí)者生成對所知覺事物的意義，總是涉及到學(xué)習(xí)者原有的思維品質(zhì)和認(rèn)知結(jié)構(gòu);學(xué)習(xí)就是人腦從環(huán)境中接受感覺信息，通過主動地選擇和注意來建構(gòu)信息的意義。Sweller認(rèn)知負(fù)荷理論的一個主要假設(shè)是人的工作記憶只有有限的能量。在學(xué)習(xí)時，當(dāng)信息加工所需資源超過其可用的認(rèn)知資源，學(xué)習(xí)者就會認(rèn)知超載、阻礙學(xué)習(xí)的順利進(jìn)行，因此應(yīng)該減少這些外部負(fù)荷，使學(xué)習(xí)者能將更多的可用能量用于實際的學(xué)習(xí)。Mayer＆Moreno整合了認(rèn)知學(xué)習(xí)相關(guān)理論，傾向于以聽覺形式呈現(xiàn)詞匯，主張合理分配認(rèn)知資源以降低認(rèn)知負(fù)荷。多媒體信息認(rèn)知加工通過視覺心理模型、言語心理模型和其原有知識間的指示性聯(lián)系整合信息;其中有言語加工渠道和視覺加工渠道;蘊含基本加工、偶然加工和表征保存等基本認(rèn)知需求。Atkinson et al認(rèn)為協(xié)同是人類心智和身體與外部世界互動、協(xié)調(diào)并動態(tài)適應(yīng)身邊環(huán)境的復(fù)雜過程，協(xié)同不僅發(fā)生在人與人之間，而且還發(fā)生在人與物理環(huán)境、社會情境、工具等互動參與變量之間。協(xié)同是第二語言能被習(xí)得的關(guān)鍵，學(xué)習(xí)就是學(xué)習(xí)者與社會認(rèn)知環(huán)境不斷協(xié)同的過程，并將這種學(xué)習(xí)體驗融入自己的學(xué)習(xí)模式、策略等知識應(yīng)用結(jié)構(gòu)當(dāng)中(王初明，2010)。

3．外語學(xué)習(xí)過程中的多模態(tài)耦合

模態(tài)指人類通過感官如視覺、聽覺等跟外部環(huán)境如人、機器、物件、動物等之間的互動方式。多模態(tài)話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象(張德祿，2009)。耦合最初是物理學(xué)的一個概念，后經(jīng)學(xué)者們擴(kuò)展，是指兩個或兩個以上的系統(tǒng)或運動方式之間通過各種相互作用而彼此影響以至聯(lián)合起來的現(xiàn)象。在本文中，耦合是指多模態(tài)超文本語篇在構(gòu)建和解讀過程中各模態(tài)之間的良性互動，相互依賴、相互協(xié)調(diào)、相互促進(jìn)的動態(tài)關(guān)聯(lián)關(guān)系。信息時代，無論是外語課堂的社會化學(xué)習(xí)，還是基于網(wǎng)絡(luò)等媒介的個人自主學(xué)習(xí)，學(xué)習(xí)者所面對的都是一種多模態(tài)的超文本語篇，因此，在多模態(tài)語篇的構(gòu)建和解讀過程中實現(xiàn)各種模態(tài)的有效性耦合，其實就是在認(rèn)知學(xué)習(xí)理論的指導(dǎo)下，多模態(tài)語篇的設(shè)計者和學(xué)習(xí)者動態(tài)關(guān)聯(lián)、和諧互動的過程。

3．1 課堂學(xué)習(xí)過程中的模態(tài)耦合分析

外語課堂的多模態(tài)信息傳遞有三個理論基礎(chǔ):首先，物質(zhì)的媒體經(jīng)過社會長時間的塑造，成為意義產(chǎn)生的資源，可表達(dá)不同社團(tuán)所要求的意義，這就成了模態(tài)。所有模態(tài)具有表達(dá)意義的潛勢。非社團(tuán)成員不能全部懂得這些意義，因為模態(tài)和意義具有社會的和文化的特殊性。其次，作為言語的語言模態(tài)和作為書面語的語言模態(tài)以及其他模態(tài)往往是交織在一起的，在信息傳遞語境下它們同時存在同時操作。這種互動本身就產(chǎn)生意義。使用者經(jīng)常對表達(dá)和信息傳遞的模態(tài)加以改變，以適應(yīng)社會的信息傳遞需要，這樣，已有的模態(tài)被改造，新模態(tài)被創(chuàng)造(Kress，2001;胡壯麟，2007)。信息時代，外語課堂的模態(tài)主要有教師、黑板(白板)、電腦、幕布、揚聲器、燈光等。學(xué)習(xí)者的學(xué)習(xí)過程就是與這些模態(tài)組成的超文本語篇進(jìn)行耦合互動，構(gòu)建意義，從而達(dá)到學(xué)習(xí)目的。在這一過程中，教師是超文本語篇的主要設(shè)計者和呈現(xiàn)者。

發(fā)展現(xiàn)代多媒體技術(shù)的一個最基本的理念是多模態(tài)輸入可以使學(xué)習(xí)者通過多通道獲得信息，比單模態(tài)話語更容易使學(xué)習(xí)者理解和記憶，因此，用視覺和聽覺雙重感官模式呈現(xiàn)學(xué)習(xí)材料，可以減輕工作記憶負(fù)擔(dān)。教師可以通過視覺和聽覺雙重通道為學(xué)習(xí)者提供文字、音頻、圖像、視頻等多種模態(tài)，同時刺激學(xué)習(xí)者的感官，使學(xué)習(xí)者同時利用工作記憶中的兩個處理器來處理信息，避免一個處理器閑置而另一個負(fù)荷過重。比如:在呈現(xiàn)“The motorcycle is stuck in the mud”時，PPT呈現(xiàn)文字的同時，文字旁邊顯示摩托車陷在稀泥里的圖片，配以馬達(dá)轟鳴的聲音，教師結(jié)合手勢和腔調(diào)等讀出句子，文字中的“is stuck in”也可以用不同字體和顏色使其突顯，以引起學(xué)習(xí)者的注意，這樣，通過多模態(tài)互動使學(xué)習(xí)者對“be stuck in”的掌握就比較形象、牢固。

但多模態(tài)的組合需要把握一個“度”，過多模態(tài)出現(xiàn)或者不適當(dāng)?shù)哪B(tài)搭配可能會使學(xué)習(xí)者認(rèn)知超載，阻礙學(xué)習(xí)的順利進(jìn)行。比如:在呈現(xiàn)“At half time，the Italian team seemed to have the upper hand”時，如果配以一段世界杯比賽的簡短視頻，雖然可以引起學(xué)習(xí)者的興趣，但由于視頻比學(xué)習(xí)者需要掌握的學(xué)習(xí)材料更容易引起注意，使學(xué)習(xí)者對首要加工信息(have the upper hand)的關(guān)注反而減少，從而影響學(xué)習(xí)效果。在多模態(tài)組合運用時，一般有一個主模態(tài)，其他的則對其傳遞的信息進(jìn)行強化、補充。比如，在解釋“derby hat，baggy pants”等認(rèn)知信息時，口語對文字主模態(tài)的解釋比較抽象，而一幅卓別林形象的圖片呈現(xiàn)會使信息認(rèn)知變得輕松簡單。

不可否認(rèn)，生動形象、恰到好處、信息量大的圖像在很大程度上促進(jìn)了學(xué)習(xí)者的信息加工。圖像和文本通常存在下列四種關(guān)系:一是圖文各自為一個獨立的意義實體，彼此沒有關(guān)聯(lián);二是圖像和文本的意義相互補充，彼此增強對方的意義;三是以文本意義為主、圖像對文本的意義起輔助作用;四是以圖像意義為主，文本對圖像意義起輔助作用(Martinec＆Salway，2005)。一般來說，在呈現(xiàn)學(xué)習(xí)材料時，第一種圖文關(guān)系是應(yīng)該避免的，這樣的圖文并茂表面上似乎賞心悅目，實際上往往會分散學(xué)習(xí)者的注意力，不利于他們對認(rèn)知信息的加工。

此外，PPT單位頁面呈現(xiàn)的信息量要適中，尤其是采用文字為主模態(tài)時，文字的大小、顏色、頁面文字量的多少，都會給學(xué)習(xí)者的認(rèn)知心理帶來影響，從而影響認(rèn)知效果。問題和答案最好在同一頁面由教師根據(jù)學(xué)習(xí)者的認(rèn)知情況，把握時機即時呈現(xiàn)，頁面的轉(zhuǎn)換則可以通過師生互動的方式給學(xué)習(xí)者留有足夠的深度加工時間，減少認(rèn)知負(fù)荷。

3．2 自主學(xué)習(xí)過程中的模態(tài)耦合分析

在外語課堂以外的個性化、主動式自主學(xué)習(xí)中，學(xué)習(xí)者所面對的除了傳統(tǒng)的文本學(xué)習(xí)材料外，還有電腦網(wǎng)絡(luò)、學(xué)習(xí)機、手機、數(shù)碼播放器、PDA等提供的超文本語篇。這些超文本語篇是多模態(tài)共同構(gòu)成的意義統(tǒng)一體。這些模態(tài)主要包括語言文字(種類、字體、顏色等)、非語言符號(表情符號、標(biāo)識等)、圖片、視頻、音頻等，它們作為意義的載體，執(zhí)行著信息傳遞的功能。在超文本語篇中，“多種模態(tài)往往交織出現(xiàn)，體現(xiàn)了一個相互依賴、相互補充的關(guān)系，在信息傳遞過程中他們可以被同時操作和釋解”(胡壯麟，2007)。

首先，在超文本語篇創(chuàng)建過程中，創(chuàng)作者需要根據(jù)具體交際目標(biāo)，選擇和分配合適的語篇內(nèi)容和呈現(xiàn)風(fēng)格，對超文本進(jìn)行合理設(shè)計和編排，最終實現(xiàn)交際意圖。創(chuàng)造者要選擇適當(dāng)?shù)恼Z體并根據(jù)其語體特點和框架結(jié)構(gòu)選擇匹配的詞匯、句式結(jié)構(gòu)、修辭手段及字體、顏色、圖片、動畫、視頻、音頻等模態(tài)，依據(jù)認(rèn)知學(xué)習(xí)理論和學(xué)習(xí)者不同的認(rèn)知水平，對各種模態(tài)進(jìn)行優(yōu)化組合后添加入文本，并對形成的超文本語篇進(jìn)行檢查、評估和編輯，最后進(jìn)入網(wǎng)絡(luò)等學(xué)習(xí)終端。

其次，由于學(xué)習(xí)者面對的超文本語篇具有開放性和動態(tài)性，學(xué)習(xí)者在對語篇進(jìn)行解讀的過程中，一方面，學(xué)習(xí)者自己動手操控，自己把握學(xué)習(xí)時間和學(xué)習(xí)進(jìn)度，真正實現(xiàn)交互式的自主學(xué)習(xí)。同時，觸覺的運用能加強學(xué)習(xí)的真實感，有效地提高了學(xué)習(xí)興趣。另一方面，學(xué)習(xí)者也不斷地參與對超文本語篇中各種模態(tài)組合的評論、修正甚至重新設(shè)計，使文本得以重構(gòu)，形成互動性很強的“建構(gòu)式超文本”。不僅能夠讓學(xué)習(xí)者自主地、動態(tài)地在大量的信息中檢索瀏覽，獲取信息，融入學(xué)習(xí)者原有的認(rèn)知結(jié)構(gòu)，實現(xiàn)由信息到知識的轉(zhuǎn)化，更能讓學(xué)習(xí)者與創(chuàng)作者進(jìn)行實時互動，自由地發(fā)表自己的見解，創(chuàng)造出新的文本。這樣超文本得以延續(xù)和拓展，文本不再是一個封閉的單元，只要有網(wǎng)絡(luò)存在，這種互動就沒有終結(jié)(王艷萍，2009)。以網(wǎng)絡(luò)語言學(xué)習(xí)平臺為例，設(shè)計者采用WEB技術(shù)和數(shù)據(jù)庫技術(shù)整合語言學(xué)習(xí)軟件、多模態(tài)視聽說資源和閱讀資源等，建成資源庫，學(xué)習(xí)者可以根據(jù)自身情況，有目的地自主選擇學(xué)習(xí)資源，多模態(tài)學(xué)習(xí)資源呈現(xiàn)的超文本語篇可以提供真實的場景和地道的語言，使學(xué)習(xí)者參與到虛擬的環(huán)境中，進(jìn)行人機互動和語言交際活動。同時，由于知識不僅是在個體與環(huán)境的相互作用中建構(gòu)的，個體之間社會化的相互作用同樣重要，甚至更加重要，因為具有不同的智慧水平、知識結(jié)構(gòu)、思維方式、認(rèn)知風(fēng)格的學(xué)習(xí)者可以互補，協(xié)作的集體學(xué)習(xí)，也有利于學(xué)習(xí)者自尊、自重情感的產(chǎn)生。因此在平臺上還建立一個互動空間，學(xué)習(xí)者與學(xué)習(xí)者之間可以通過這個空間交流學(xué)習(xí)經(jīng)驗，討論學(xué)習(xí)中出現(xiàn)的問題，而教師也可以通過這個空間了解學(xué)生的學(xué)習(xí)情況及存在的問題。同時，教師對多模態(tài)學(xué)習(xí)資源使用和管理不僅可以優(yōu)化提高教師個人的信息素養(yǎng)和信息技能，而且通過對多模態(tài)學(xué)習(xí)資源進(jìn)行使用加工，又形成新的學(xué)習(xí)資源。在人機互動的過程中，超文本語篇的設(shè)計者和使用者同時作為信息的發(fā)送者和接受者，互相刺激并作出反應(yīng)，促進(jìn)了多模態(tài)學(xué)習(xí)資源的利用和再生。

作為自主學(xué)習(xí)的一個重要組成部分，外語學(xué)習(xí)游戲中的多模態(tài)耦合日漸引起研究者的注意。荷蘭學(xué)者胡伊青加認(rèn)為人是游戲者，人天生就需要游戲也會游戲，游戲的沖動不僅表現(xiàn)于兒童時期，而且貫穿于人的一生。游戲是人類的最基本的存在方式，是人類各種文化的“母體”。外語的學(xué)習(xí)本身也是一種游戲，學(xué)習(xí)者在學(xué)習(xí)中游戲、在游戲中學(xué)習(xí)并享受其中的樂趣。設(shè)計合理的外語學(xué)習(xí)游戲在情景創(chuàng)設(shè)、興趣激發(fā)、寓教于樂、交互協(xié)作等方面的作用不可低估。這些游戲集文本、圖形、圖像、聲音、動畫和視頻等多模態(tài)于一體，呈現(xiàn)的是多維感官共同作用的立體信息，這些多模態(tài)信息符號在遵循語言學(xué)習(xí)規(guī)律、視覺審美規(guī)律的基礎(chǔ)上，融入學(xué)習(xí)內(nèi)容的同時體現(xiàn)趣味性，激發(fā)學(xué)習(xí)者的視覺享受和思維驅(qū)動，在輕松快樂的狀態(tài)下通過對語言的理解、運用、內(nèi)化、遷移，達(dá)到學(xué)習(xí)效果。

4．結(jié)語

信息技術(shù)的發(fā)展使外語學(xué)習(xí)的方式日益多元化。無論是基于課堂的講授型社會化學(xué)習(xí)，還是基于網(wǎng)絡(luò)等電子媒介的自主學(xué)習(xí)，各種學(xué)習(xí)模態(tài)的耦合都將是學(xué)習(xí)績效提高的關(guān)鍵因素。隨著多模態(tài)話語研究的深入和信息技術(shù)的不斷完善，外語學(xué)習(xí)“費時低效”狀況的改變將指日可待。

［1］Atkinson，D．，T．Nishino，E．Churchill＆ H．Okada．A-lignment and Interaction in a Socio-cognitive Approach to Second Language Acquisition［J］．The Modern Language Journal，2007，91(2):169 －188．

［2］Baddeley，A．Is Working Memory Still Working［J］．American Psychologist，2001，56(11):851 －864．

［3］Paivio，A．Mental Representations:A Dual Coding Approach［M］．Oxford:OUP，1986:33．

［4］Martinec，R．A System for Image Text Relations in New(and old)Media［J］．Visual Communication，2005，3(4):337－ 371．

［5］Wittrock M C．Generative Process of Comprehension［J］．Educational Psychologist，1990，24(4):345 －376．

［6］Sweller J．Cognitive Load Theory，Learning Difficulty and Instructional Design［J］．Learning and Instruction，1994(4):295－312．

［7］Mayer，R．E．Multimedia Learning［M］．New York:Cambridge University Press，2001:183 －186．

［8］胡壯麟．社會符號學(xué)研究中的多模態(tài)化［J］．語言教學(xué)與研究，2007(1):3．

［9］顧曰國．多媒體、多模態(tài)學(xué)習(xí)剖析［J］．外語電化教學(xué)，2007(4):3－12．

［10］王艷萍．超文本語篇與認(rèn)知圖式的耦合分析［J］．湖南社會科學(xué)，2009(4):152－155．

［11］王初明．互動協(xié)同與外語教學(xué)［J］．外語教學(xué)與研究，2010(4):297－299．

［12］張德祿．多模態(tài)話語分析綜合理論框架探索［J］．中國外語，2009(1):24－30．

［13］李向民．大學(xué)英語多媒體資源管理系統(tǒng)的開發(fā)及應(yīng)用研究［J］．廣西師范大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)，2010(4):146－149．

［14］胡伊青加．人:游戲者——對文化中游戲因素的研究［M］．成窮，譯．貴陽:貴州人民出版社，1998:270，9 －10．