多模態(tài)環(huán)境下大學生多元識讀能力培養(yǎng)策略研究

張亞敏

（河北金融學院 公共外語教學部，河北 保定071000）

隨著信息技術(shù)的進步和多媒體的發(fā)展，人類的交際從現(xiàn)實世界拓展到網(wǎng)絡虛擬世界，交際手段也由單一的語言模態(tài)轉(zhuǎn)化為融合了圖像、聲音、手勢、顏色等元素的多模態(tài)系統(tǒng)。Halliday 把模態(tài)視為一種產(chǎn)生意義的資源，并把語言作為社會符號學的研究對象。[1]O’Tool 把以文字為中心的傳統(tǒng)表意方式拓展到其他符號系統(tǒng)，認為非語言的符號模式，如繪畫、建筑和雕塑等，也具有相應的意義潛勢。[2]Kress & van Leeuwen 指出多模態(tài)是在特定的社會文化語境中綜合運用幾種模態(tài)產(chǎn)出符號產(chǎn)品或事件。[3]借助于這一概念，語言學家開始用各種呈現(xiàn)和交際模態(tài)闡釋語言及其社會意義，多模態(tài)話語分析也應運而生。與此同時，交際需求的多元化也使得語言學家開始聚焦于對各種呈現(xiàn)模態(tài)的識讀。1994 年，新倫敦學派（New London Group）首次提出了多元識讀的概念，認為應把培養(yǎng)學生的多元識讀能力納入語言教學的范疇，提高學生解釋文化和語言多樣性的能力，以應對交際方式多元化的挑戰(zhàn)。因此，培養(yǎng)學生的多元識讀能力、探索更為科學的語言教學模式也成為大學英語教學的必然要求。

一、多模態(tài)研究概況

多模態(tài)將語言和意義的社會闡釋擴展到所有的呈現(xiàn)和交際模態(tài)，如圖像、文字、手勢、凝視和言語等，以及它們之間的關(guān)系。[4]自20 世紀80 年代，Halliday 的話語分析理論將意義的產(chǎn)生，而非語言本身作為研究重點后，多模態(tài)研究取得了很大進展。系統(tǒng)功能語言學把語言視為一種社會符號，并認為在人類發(fā)展的不同階段、不同文化中存在語言形式之外的其他表意模態(tài)?？傮w來說，多模態(tài)研究受系統(tǒng)功能語言學的影響，并遵循社會符號學和語言功能理論的基本原則。

Halliday 的三大元功能為多模態(tài)話語分析提供了基礎(chǔ)分析框架，Kress & van Leeuwen 進一步建立了視覺圖像的語法分析框架。在多模態(tài)話語分析中，概念意義（ideational meaning）或再現(xiàn)意義（representational meaning）指的是多模態(tài)場景中所描述的參與者與環(huán)境之間的內(nèi)在關(guān)系，包括及物過程（transactive process）、不及物過程（non-transactive process）以及由視線（eyeline）、凝視（gaze）等形成的矢量標識。人際意義（interpersonal meaning）或互動意義（interactive meaning）指的是參與者與外部世界之間的社會聯(lián)系。在圖畫中可以表達人際意義的資源通常包括距離（distance）、接觸（contact）、視點（perspective）和情態(tài)（modality）。語篇意義（textual meaning）或構(gòu)圖意義（compositional meaning）指多模態(tài)語篇的整體布局，通常包含兩種結(jié)構(gòu)：水平結(jié)構(gòu)和垂直結(jié)構(gòu)。水平結(jié)構(gòu)顯示了視覺信息中已知信息（given information）和新信息（new information）之間的關(guān)系；垂直結(jié)構(gòu)則顯示了理想信息（ideal information）和現(xiàn)實信息（real information）之間的關(guān)系。[5]

Jewitt 總結(jié)了支撐多模態(tài)研究的四個理論假設。第一，語言是多模態(tài)系統(tǒng)的一部分。盡管語言在交際中占有優(yōu)先地位，多模態(tài)理論認為呈現(xiàn)和交際總是利用各種模態(tài)來實現(xiàn)，它們具有平等構(gòu)建意義的潛勢。第二，多模態(tài)系統(tǒng)中的任一模態(tài)都可以完成不同的交際任務。多模態(tài)理論認為任何模態(tài)，包括語言，都是在被文化、歷史和社會的塑造過程中實現(xiàn)社會功能的。第三，人們通過對不同模態(tài)的選擇和配置來協(xié)調(diào)意義。各個模態(tài)間的互動在構(gòu)建意義的過程中起了關(guān)鍵作用，這種互動受特定社會語境和社會規(guī)則的影響，同時也是意義構(gòu)建過程的一部分。第四，同語言一樣，多模態(tài)符號資源中各個符號所承載的意義也是社會性的，它們遵循意義構(gòu)建的社會規(guī)則，在特定的社會語境中受符號生產(chǎn)者的交際動機和興趣的影響。[4]

這些成果為多模態(tài)話語分析中各符號間關(guān)系的研究指明了方向。一方面，語言學家已經(jīng)意識到不同模態(tài)在意義構(gòu)建中的作用，在分析各模態(tài)意義潛勢的過程中，應給予各個符號相應的關(guān)注；另一方面，各模態(tài)間的連貫和銜接是定義多模態(tài)語篇的關(guān)鍵。因此，多模態(tài)研究也應包括如何在意義構(gòu)建過程中建立模態(tài)內(nèi)和模態(tài)間共同遵循的符號準則。

二、多元識讀能力研究概況

識讀能力是信息再現(xiàn)和溝通能力的體現(xiàn)。作為一種無形資產(chǎn)，識讀能力是一個人“是否受過教育”的重要標志，也是社會權(quán)利和地位的象征。隨著多元文化的相互滲透和信息技術(shù)的發(fā)展，所有知識都可以轉(zhuǎn)化為語言文字的傳統(tǒng)認知已經(jīng)無法滿足現(xiàn)代社會的要求。Graff 提出，識讀能力不應只關(guān)注對文字的識讀，還應包括科技識讀、計算能力、空間識讀、文化識讀、歷史識讀以及道德識讀等。[6]Raymond 提倡將識讀能力作為一種思維方式進行培養(yǎng)。學生不再被動地接收信息，而是主動地對信息進行加工。在這一前提下，傳遞信息的方式比傳遞的內(nèi)容更加重要，不同模態(tài)在信息傳遞過程中發(fā)揮著自己應有的作用[7]。1994 年，新倫敦學派指出交流渠道的多樣性和當今社會語言文化差異的激增對學生的識讀能力提出了更高的要求，“多元識讀”這一概念應運而生。新倫敦學派進一步指出，在交際行為中，僅有語言意義是不夠的，多元識讀能力要立足于對交際進行社會和文化的重構(gòu)[8]。因此，培養(yǎng)學生的多元識讀能力，提高學生對多元文化的理解和適應能力也成為未來語言教學的方向之一。

很多學者對多元識讀能力這一概念進行了更為寬泛的界定。Thwaites 認為多元識讀應包括科技識讀、媒體識讀、文化識讀、政治識讀、批評識讀和后現(xiàn)代識讀等主要的識讀能力。[9]Williamson 認為能夠識讀不同媒體和不同模態(tài)傳遞的信息是具備多元識讀能力的重要標志。[10]胡壯麟將多元識讀能力劃分為文化識讀能力和技術(shù)識讀能力，并認為多元識讀能力可以幫助學生應對當今社會語言和文化的多樣性及變異性。[11]朱永生認為，除了傳統(tǒng)的語言讀寫能力，多元識讀能力還涉及對多模態(tài)及媒體轉(zhuǎn)換的接受能力。[12]從語言教學的角度出發(fā)，張德祿將Thwaites 的多元識讀能力進行了重新歸類，認為除語言讀寫能力外，科技和媒體識讀能力可概括為技術(shù)讀寫能力，而文化、政治、批評和后現(xiàn)代識讀能力應歸結(jié)為社會交際能力。[13]

綜上所述，學者們普遍認同傳統(tǒng)的識讀模式已經(jīng)無法滿足當今社會用多種符號系統(tǒng)進行表意的要求，要探索更科學的語言教學模式增強學生的多元識讀能力。從多模態(tài)研究出發(fā)，多元識讀能力主要包括語言識讀能力、文化識讀能力和技術(shù)識讀能力。除了傳統(tǒng)的聽說讀寫譯能力外，語言識讀能力還包括了解語言和其他模態(tài)的意義潛勢特點，并用其他模態(tài)配合語言進行表意的能力。文化識讀能力指的是學生具備一定的政治素養(yǎng)和批判性思維能力，具有理解并適應多元文化的能力。技術(shù)識讀能力指的是在識讀語篇信息的基礎(chǔ)上，運用多媒體等技術(shù)手段進行信息交際的能力。

三、多模態(tài)視角下的多元識讀范例分析

新聞漫畫將新聞和藝術(shù)相結(jié)合，生動直觀地傳播信息，影響公眾對某一事件的態(tài)度，從而達到教育和宣傳的目的。本文選取了中國新聞漫畫網(wǎng)上的一則新聞漫畫（如圖1 所示），依托視覺語法理論和系統(tǒng)功能語言學知識，探討多模態(tài)語篇中語言和圖像是如何協(xié)作共建語篇意義，并實現(xiàn)社會功能的，以此歸納出多模態(tài)環(huán)境下大學生多元識讀能力培養(yǎng)的策略。

這幅新聞漫畫標題為“剪刀差”，再現(xiàn)了抗擊疫情的現(xiàn)狀。漫畫是由圖像和文字兩部分構(gòu)成的。圖像由兩個意像構(gòu)成：一是由兩個箭頭構(gòu)成的“剪刀”，另一個是新型冠狀病毒。Kress & van Leeuwen 指出，圖像的再現(xiàn)意義可以分為敘事再現(xiàn)和概念再現(xiàn)。在敘事再現(xiàn)中，參與者由矢量連接起來，且被再現(xiàn)為相互做某事。敘事再現(xiàn)進一步被分為行動過程、反應過程、言語過程和心理過程。概念再現(xiàn)沒有矢量參與，是相對靜態(tài)的過程。概念再現(xiàn)對應系統(tǒng)功能語言學中的關(guān)系過程和存在過程。在這幅漫畫中，兩個箭頭形成了顯性的矢量標識，構(gòu)成了一個明顯的行動過程。作為動作的發(fā)出者，它們占據(jù)了整幅漫畫最顯著的位置，且與漫畫背景形成鮮明的對比，向讀者傳遞了兩個清晰的信號：一個是股市等經(jīng)濟指標恢復迅速，另一個是湖北省外感染率明顯下降。此外，剪刀的功能又為漫畫增加了向下與向上兩個隱形的矢量，對目標圖像“病毒”形成了扼殺之勢，形象直觀地告訴讀者抗擊疫情形勢良好。

視覺語法中的互動意義描述了圖像繪制者、圖像所表征的參與者和讀者之間的互動關(guān)系，在這里主要是體現(xiàn)讀者對作者在漫畫中所再現(xiàn)的圖像持有的態(tài)度?；右饬x主要受四個因素（視點、接觸、距離和情態(tài)）的影響。這幅漫畫采用了水平的構(gòu)圖角度，表明圖像和讀者是平等的關(guān)系，邀請讀者積極參與漫畫的解讀。漫畫賦予了病毒類似人的參與者身份，且回避與讀者的目光直視，代表病毒處于被動的地位，顯然是為讀者提供了“病毒只是在垂死掙扎”的信息。讀者和漫畫中的圖像之間是自然的社會距離，表現(xiàn)了漫畫和客觀事實相符合。此外，表示經(jīng)濟恢復的箭頭選用了紅色，感染率的箭頭選擇了綠色，二者都是高飽和度，因此整幅漫畫具有高情態(tài)。紅色是中國文化的基本色，代表熱情，寓意喜慶、吉祥、熱情、朝氣，體現(xiàn)了人們對精神生活和物質(zhì)生活的美好追求，與之相應的綠色說明了感染率的一路下跌，也體現(xiàn)了我們完全有信心、有能力戰(zhàn)勝疫情，保持經(jīng)濟長期穩(wěn)定發(fā)展的良好態(tài)勢。

圖1 剪刀差①圖片選自中國新聞漫畫網(wǎng)，網(wǎng)址為：http://cartoon.chinadaily.com.cn/cartoonview.sheml?id=270770&fid=238&page=1.

構(gòu)圖意義闡釋了圖像參與者之間如何相互協(xié)作，共同構(gòu)建整體意義。構(gòu)圖意義通過信息值、顯著度和取景三種資源揭示語篇的整體布局。在這幅漫畫里，圖像占據(jù)了漫畫的中心位置，左邊的因素是“已知信息”，右邊的因素是“新信息”。在漫畫左側(cè)，代表感染率的箭頭位置高于代表經(jīng)濟恢復率的箭頭，陳述了疫情期間我國經(jīng)濟受到影響的事實。而在漫畫右側(cè)，則體現(xiàn)了抗疫的新信息，即在多方合力下，病毒得到了遏制，我國經(jīng)濟社會逐漸恢復活力，圖像布局合理流暢，讀者閱讀時沒有突兀之感。此外，在進行構(gòu)圖分析時，應把多模態(tài)語篇作為一個整體，即對圖像和文字的分析不能厚此薄彼。這幅漫畫的創(chuàng)作者把文字嵌于圖像符號內(nèi)，保留了漫畫的藝術(shù)之感，圖像顏色和文字顏色對比鮮明，顯著度表現(xiàn)也比較突出。從模態(tài)關(guān)系來看，如果沒有文字，讀者無法理解兩個箭頭所指為何；如果沒有圖像，文字表意也不完整，因此，圖像與文字屬于互補關(guān)系，二者相互協(xié)調(diào)、缺一不可。

通過對這幅漫畫的多元識讀可以發(fā)現(xiàn)，不僅文字具有意義，圖像、顏色等符號同樣具有多功能性，在多模態(tài)語篇中相輔相成，共同參與語篇意義的構(gòu)建。因此，在大學英語教學中，積極探索多模態(tài)教學過程，對培養(yǎng)學生的多元識讀能力具有積極的意義。

四、多模態(tài)環(huán)境下大學生多元識讀能力培養(yǎng)策略

（一）創(chuàng)新情境教學，培養(yǎng)學生多模態(tài)解讀能力

多模態(tài)環(huán)境下多元識讀能力的培養(yǎng)應建立在區(qū)分并整合各個意義資源的基礎(chǔ)上?？紤]到構(gòu)建意義的模態(tài)和思維方式的多樣化，新倫敦學派提出學校課程的設置應該有利于幫助學生應對全球文化多元化及個體經(jīng)歷復雜化所帶來的挑戰(zhàn)。因此，教師要明白，僅僅通過文字進行教學是遠遠不夠的。在大學英語教學中，教師應盡可能多地為學生提供符號資源（包括圖像、手勢、聲音、顏色、表情等），讓學生判斷各個符號的意義潛勢并分析各符號之間是如何通過互動產(chǎn)生整體意義的。教師還應轉(zhuǎn)變以知識傳授為主的教學理念，由課程的主導者轉(zhuǎn)變?yōu)檎n程的參與者、引導者，創(chuàng)設出相應的教學情境，激活學生的背景知識，通過必要的指導幫助學生充分融入到情境中，體驗多模態(tài)意義的構(gòu)建過程。

多元識讀能力的培養(yǎng)應以實踐為主，在實際教學中，教師對多種模態(tài)的選擇就是多模態(tài)教學設計的過程。教師應遵循“已有設計—設計—再設計”的課程設計步驟，在充分了解現(xiàn)有模態(tài)資源和學生所掌握的常用模態(tài)組合后，結(jié)合教學目標與教學內(nèi)容，創(chuàng)造性地重組合適的模態(tài)，設計新的目標。在這一設計過程中，每個模態(tài)都會隨情境的變化被賦予合理的信息值，且隨著設計過程的良性循環(huán)，已有的教學資源也會不斷得到拓展。在對各個表意符號形成自我判斷的過程中，學生的批判性思維能力也得到了發(fā)展。在多模態(tài)環(huán)境下，學生需要批判性地思考各個因素在構(gòu)建概念意義、人際意義和語篇意義中的作用，對自己的判斷進行反思，并將反思的結(jié)果運用于實踐。因此，通過對課堂設計的創(chuàng)新，可以有效地幫助學生建立多模態(tài)識讀系統(tǒng)，進而強化學生的多元識讀意識，提升他們的多元識讀能力。

（二）設置多元任務，培養(yǎng)學生多模態(tài)構(gòu)建能力

多模態(tài)解讀能力是多模態(tài)構(gòu)建能力的基礎(chǔ)。面對科學和技術(shù)的日新月異，學生需要具備的不僅僅是識讀多模態(tài)資源的能力，還包括構(gòu)建多模態(tài)組合以幫助自己完成信息傳遞和人際交往的能力。學生在了解了不同模態(tài)在不同語篇中的意義潛勢和協(xié)作模式后，教師可以設置多樣化的任務，幫助學生選擇適合的模態(tài)或通過對各個模態(tài)的整合利用來實現(xiàn)意義，達到提高學習效率的目的。例如，在視聽說課程的教學中，教師可以鼓勵學生將聽力文本進行角色扮演。在這一任務中，通過為不同的角色設計合適的嗓音、語言特色及尋找適當?shù)谋尘耙魳凡⒅圃旆锨楣?jié)發(fā)展的音效等環(huán)節(jié)，學生也可以更深入地了解不同符號在表達不同人物及其行為特點中的作用。教師還可以采用任務教學法，幫助學生最大限度地利用網(wǎng)絡資源及多媒體等表達方式，將各符號資源構(gòu)建成能表達意義的材料。例如，在閱讀教學中，可以要求學生以思維導圖的形式重述語篇內(nèi)容；在口語表達訓練中，要求學生對圖片或視頻內(nèi)容進行口頭描述或發(fā)表見解；在寫作課程中，要求學生設計電子雜志或以圖文聲形組合方式展示自己的思想。這些多樣化的任務可以有效地促進學生多模態(tài)構(gòu)建能力的發(fā)展，提升學生的多元識讀能力。

文化識讀能力和技術(shù)識讀能力也是多元識讀能力的重要組成部分，因此，大學生要注重提高自身的政治文化素養(yǎng)，學會用批判性思維看待多元文化的發(fā)展。在發(fā)展多元識讀能力的過程中，學生也應努力增強自身的跨學科學習能力，變被動接收為主動學習。在教師的指導下主動設計學習過程，充分整合不同學科的相關(guān)知識，創(chuàng)造性地運用最優(yōu)的多模態(tài)組合表達意義，更好地實現(xiàn)跨文化交際，讓自己的創(chuàng)新思維與多元識讀能力相輔相成，共同發(fā)展。

多元識讀能力不僅包括語言讀寫能力，還包括識讀多種模態(tài)，并用多種模態(tài)進行交際的能力。在教學模式日漸多模態(tài)化的背景下，培養(yǎng)學生的多元識讀能力已經(jīng)成為大學英語教學的研究課題之一。在充分考慮學生認知特點的基礎(chǔ)上，教師應轉(zhuǎn)變身份，創(chuàng)造性地運用多模態(tài)符號系統(tǒng)轉(zhuǎn)變教育模式，鼓勵學生積極參與教學活動，培養(yǎng)學生對多種表意符號的解讀能力及批判性思維能力，發(fā)展學生的多元識讀能力，從而進一步提升學生的學習效果及跨文化交際能力。