大學(xué)英語課堂中PPT課件的多模態(tài)性研究

王 馨

(東北農(nóng)業(yè)大學(xué)，黑龍江哈爾濱 150030)

一、多模態(tài)理論

多模態(tài)理論(Multi-modal)主要來源于韓禮德創(chuàng)立的系統(tǒng)功能語言學(xué)，同時(shí)又吸收了皮爾斯等人的符號(hào)學(xué)理論中的媒介、對(duì)象、解釋三位一體等理念。對(duì)于多模態(tài)理論語言學(xué)家們給出了不同的定義。Kress和Van Leeuwen(2001)指出模態(tài)可以定義為參與交際的所有渠道和媒介，除了傳統(tǒng)的語言符號(hào)，它還包括圖像、顏色、音樂、技術(shù)等符號(hào)系統(tǒng)。各種符號(hào)資源(如有聲語言、形象、聲音、設(shè)計(jì)、動(dòng)作等)共同參與日常的人際交往活動(dòng)中，形成了多模態(tài)交流。李戰(zhàn)子(2003)認(rèn)為多模態(tài)指的是除了文本之外，還帶有圖像、圖表等的符號(hào)話語，或者說任何由一種以上的符號(hào)編碼實(shí)現(xiàn)意義的文本。顧日國(2007)認(rèn)為模態(tài)指人類通過感官(如視覺、聽覺)跟外部環(huán)境(如人、機(jī)器、物體、動(dòng)物等)之間的互動(dòng)方式。朱永生(2007)認(rèn)為模態(tài)指交流的渠道和媒介，包括語言、技術(shù)、圖像、顏色、音樂等符號(hào)系統(tǒng)。生命體與周圍環(huán)境進(jìn)行信息交換的界面和路徑有五種感知通道:視覺、聽覺、嗅覺、觸覺和味覺。這五種感知引發(fā)出五種交際模態(tài):視覺模態(tài)、聽覺模態(tài)、嗅覺模態(tài)、觸覺模態(tài)和味覺模態(tài)。這里的模態(tài)是指交際的渠道和媒介，包括字符、繪圖、聲音等符號(hào)系統(tǒng)。綜上所述，多模態(tài)是指在交際中涉及多種感知模態(tài)或由一種以上符號(hào)系統(tǒng)共同編碼構(gòu)建整體意義進(jìn)行交際。交際中要表達(dá)的意義要求不同的模態(tài)搭配參與，根據(jù)交際的概念意義、人際意義和謀篇意義對(duì)聲音、語言、圖像、動(dòng)畫等模態(tài)進(jìn)行選擇。如何將多種媒體和多種模態(tài)結(jié)合起來是現(xiàn)代語言學(xué)研究需要解決的問題。多模態(tài)理論將意義構(gòu)建的媒介從單維的語言符號(hào)擴(kuò)展到多維的包括各種能傳達(dá)意義的多模態(tài)符號(hào)。這些早期的研究者為多模態(tài)理論的發(fā)展奠定了基礎(chǔ)，也為我們探討模態(tài)與媒體的關(guān)系提供了理論支持。

二、模態(tài)與媒體的關(guān)系

多模態(tài)理論由五個(gè)層面構(gòu)成:文化層面、語境層面、意義層面、形式層面和媒體層面。本文重點(diǎn)研究媒體層面里包含的非語言形式。多模態(tài)話語中涉及的非語言和輔助語言特征在以往的話語分析研究中都被當(dāng)做表達(dá)意義的輔助系統(tǒng)，而在多模態(tài)話語分析的研究中這些特征被作為意義的表達(dá)模態(tài)得到了充分的重視。非語言和輔助語言在一種模態(tài)無法完成交際的情況下進(jìn)行補(bǔ)充、調(diào)節(jié)、協(xié)同和強(qiáng)化等作用，便達(dá)到了多種模態(tài)共同完成語義表達(dá)的交際行為。認(rèn)知語言學(xué)認(rèn)為:認(rèn)知與語言的發(fā)展脫離不開人的感官對(duì)外界事物的感知，人的大腦和感官的運(yùn)作及其運(yùn)作環(huán)境直接影響到認(rèn)知與思維，因?yàn)榭陀^事物只有被感知才具有意義，而語言與認(rèn)知受生理感知功能的影響。人們傳統(tǒng)中認(rèn)為圖像、顏色和動(dòng)作等非語言形式在多模態(tài)理論的發(fā)展中不再處于輔助地位，它們正同文字符號(hào)一起形成一種更為寬泛的符號(hào)資源，共同參與意義構(gòu)建。從媒體的角度講，各種不同的非語言媒體，特別是現(xiàn)代技術(shù)媒體，為話語交際提供了大量新的可選擇的方式。將圖像、視頻等傳達(dá)多種模態(tài)信息的方式應(yīng)用到外語教學(xué)中已經(jīng)成為外語教學(xué)的發(fā)展方向，多模態(tài)化教學(xué)也已經(jīng)成為一種新的教學(xué)模式。

在交際過程中運(yùn)用不同的模態(tài)可以完成不同的交際效果。比如，文字形式利用視覺模態(tài)可以被長期保存，彌補(bǔ)了口頭表達(dá)的暫時(shí)性和不可保存性;在嘈雜的環(huán)境中可以選擇借用圖像、手勢(shì)等幫助完成意義傳達(dá)。胡壯麟(2007)認(rèn)為模態(tài)和媒體的關(guān)系歸根結(jié)底是話語和技術(shù)的關(guān)系，兩者存在著內(nèi)在的聯(lián)系。張德祿(2009)認(rèn)為模態(tài)和媒體是形式和實(shí)體的關(guān)系。不同的模態(tài)要求選擇不同的媒體來完成交際。不同的媒體為交際中模態(tài)的選擇和搭配提供了可參考的依據(jù)。

三、PPT課件多模態(tài)化特征

PPT(Power Point)從多模態(tài)理論建構(gòu)體系的媒體層面通過聲音、圖像、文字、動(dòng)畫等方式演示教學(xué)文稿，成為高校英語教學(xué)的重要多媒體手段之一。它可以將聲音、文字和圖片同時(shí)傳遞給學(xué)生，積極地參與意義與認(rèn)知的建構(gòu)過程，實(shí)現(xiàn)語言符號(hào)的多模態(tài)輸入。

(一)快速、清晰、表現(xiàn)力強(qiáng)

PPT課件可將大量文字集中于一個(gè)文本并可以反復(fù)使用，任意調(diào)換文字位置以達(dá)到不同側(cè)重點(diǎn)的效果。PPT的優(yōu)勢(shì)在于可將文本進(jìn)行顏色、大小、字體、段落編排等手段處理，突出重點(diǎn)難點(diǎn)，將信息直觀化和形象化地呈現(xiàn)在屏幕上，縮短教學(xué)時(shí)間，提高教學(xué)效果。在黑板上進(jìn)行繪制表格和圖畫對(duì)教師的繪畫技能要求很高且費(fèi)時(shí)費(fèi)力，PPT的圖片插入和繪制圖表功能解決了這個(gè)難題，教學(xué)內(nèi)容變得多彩而豐富。

(二)多維媒體、多種變化

按照媒體的維度分類:口語、書面語等線性媒體屬于一維媒體;平面的圖形和表格屬于二維媒體;立體圖形諸如房屋設(shè)計(jì)圖屬于三維媒體;動(dòng)態(tài)的圖片錄像等屬于四維媒體。不同的維度對(duì)符號(hào)有不同的識(shí)別度，維度越高對(duì)語言符號(hào)的外延意義和內(nèi)蘊(yùn)意義的呈現(xiàn)力越強(qiáng)。PPT可以將這四種維度一一呈現(xiàn)出來，利用不斷變化的形式刺激學(xué)生的聽覺視覺，激發(fā)學(xué)生的學(xué)習(xí)興趣和熱情。與單一枯燥的板書相比，PPT能選擇搭配適當(dāng)?shù)膱D片來增強(qiáng)視覺效果，挑選對(duì)應(yīng)的音效增強(qiáng)聽覺沖擊力。

(三)超鏈接功能

PPT的超鏈接功能不僅可以實(shí)現(xiàn)幻燈片與幻燈片之間的轉(zhuǎn)換，還可以任意自由地進(jìn)行幻燈片與外界文件及程序之間的轉(zhuǎn)換、幻燈片與網(wǎng)絡(luò)資源之間的轉(zhuǎn)換，在格式、文檔、時(shí)間、空間、文化上實(shí)現(xiàn)了跨越式連接。這種多維跨越式連接為學(xué)生提供了接受最新信息的平臺(tái)，實(shí)現(xiàn)了網(wǎng)絡(luò)資源共享，有助于擴(kuò)展學(xué)生的視野和思維。

(四)快捷、方便、便于加工

PPT課件的顯著優(yōu)勢(shì)在于操作方便，它的文件播放可以設(shè)置為手動(dòng)或自動(dòng)、連續(xù)或間斷、鏈接或超鏈接、鼠控或遙控。教師在課堂的任意位置任意時(shí)間都可以完成這些操作，做到圖像聲音與授課內(nèi)容同步進(jìn)行，有效實(shí)現(xiàn)對(duì)輸入信息的強(qiáng)化，從而改進(jìn)語言習(xí)得效果。

四、大學(xué)英語課堂中PPT課件的多模態(tài)性研究

(一)PPT課件的視覺模態(tài)

PPT課件在視覺模態(tài)上分為四個(gè)類別:1.文字類型(圖1)。2.圖像類型(圖2)。3.圖表類型(圖3)。4.文字+圖像/文字 +圖表類型(圖4，圖5)。每個(gè)類別都有其不同的側(cè)重點(diǎn)，滿足了不同的閱讀需求。文字模態(tài)在字形、字號(hào)、顏色和風(fēng)格上的變化效果能夠突出語篇文本的重點(diǎn)難點(diǎn);動(dòng)態(tài)文字、藝術(shù)字更能將單一枯燥的文本信息生動(dòng)傳神地表達(dá)出來。圖像模態(tài)可以表征人物、地點(diǎn)和事件之間的交際關(guān)系或概念關(guān)系，圖像中的元素可以更深刻地吸引觀看者的注意力。不同的人觀看圖片會(huì)產(chǎn)生不同的關(guān)注點(diǎn)和認(rèn)知結(jié)果，這是因?yàn)橛^看者與圖片中的世界產(chǎn)生互動(dòng)，由于認(rèn)知結(jié)構(gòu)和認(rèn)知能力不同結(jié)果會(huì)構(gòu)建出不同的符號(hào)意義，這就給圖片觀看者廣闊的想象空間，無限放大了圖片的認(rèn)知效果。圖表模態(tài)將對(duì)象屬性用統(tǒng)計(jì)的數(shù)據(jù)直觀、可視化地表現(xiàn)出來，是對(duì)知識(shí)挖掘和信息直觀生動(dòng)感受起關(guān)鍵作用的一種圖形結(jié)構(gòu)。在對(duì)所表達(dá)內(nèi)容的梳理和傳達(dá)上圖表以其獨(dú)特的結(jié)構(gòu)形式得到了廣泛的應(yīng)用。圖片或圖表加上文字說明將圖像符號(hào)與意義符號(hào)更好地整合在一起，使其互為補(bǔ)充，相輔相成。

圖1

圖2

圖3

圖4

圖5

例如，在講授《新視野大學(xué)英語》第四冊(cè)讀寫教程第二單元Charlie Chaplin(查理 卓別林)時(shí)，可以用文字模態(tài)列出本課學(xué)習(xí)目標(biāo)、計(jì)劃學(xué)時(shí)、課文進(jìn)度等內(nèi)容，讓學(xué)生在總體上了解課程安排，做到心中有數(shù)。借助圖片模態(tài)介紹相關(guān)背景知識(shí):卓別林和他最后一任妻子(Oona O’Neill)，卓別林有著復(fù)雜而傳奇的愛情經(jīng)歷，他一生結(jié)婚四次，最后一任妻子同他有著37歲的年齡差距。當(dāng)學(xué)生從課文中了解到這樣的信息一定對(duì)他的這位妻子非常好奇，在課程導(dǎo)入這個(gè)環(huán)節(jié)向?qū)W生展示兩人的照片并就兩人關(guān)系進(jìn)行提問會(huì)激發(fā)學(xué)生的閱讀興趣。

(二)PPT課件的聽覺模態(tài)

PPT的聲音模態(tài)大致分為兩類:錄音講解和音樂效果。敘述性語篇側(cè)重情感的抒發(fā)和情節(jié)的陳述，例如《新視野大學(xué)英語》讀寫第三冊(cè)u(píng)nit 5 Graceful Hands(優(yōu)雅的雙手)講述了護(hù)士和垂死病人之間的感人故事。這一類型語篇適合以播放課文錄音的形式進(jìn)行講授，先讓學(xué)生對(duì)整個(gè)故事情節(jié)有所了解，伴隨著朗誦者舒緩帶有感情的講述，學(xué)生能深深地感受到作者與即將離世的克拉克夫人在生命的最后時(shí)期產(chǎn)生的相互信任。文章最后一句才表明克拉克夫人的身份——從教30余年的鋼琴教師，此時(shí)若能配以鋼琴曲，背景音樂的播放可以起到緩解疲勞的效果，從而間接地起到了強(qiáng)化輸入信息的作用。

聽覺模態(tài)受著音響度、聲調(diào)、語調(diào)、音速等因素的影響，教學(xué)中主要方式之一的講授法是教師通過口頭語言向?qū)W生傳授知識(shí)，響度和語調(diào)等因素完全由講授者的聲音條件決定。PPT課件可以彌補(bǔ)個(gè)體差異的隨意性，在聲音的屬性設(shè)置上盡力滿足聽者對(duì)錄音的各種需求。這種以聲波的形式傳出的信息作用于學(xué)生的聽覺中樞，是一種僅次于視覺的接受語言的能力，可以激發(fā)學(xué)生的興趣，渲染課堂氣氛。

(三)PPT課件的視聽模態(tài)

視聽模態(tài)是視覺模態(tài)和聽覺模態(tài)的結(jié)合，也可稱做視頻模態(tài)。常見的視頻有影像視頻和動(dòng)畫視頻，其優(yōu)勢(shì)是將抽象化的概念以具體形象的動(dòng)態(tài)圖片展現(xiàn)出來，動(dòng)作化的信息內(nèi)容具有更大的被視覺器官感知和捕捉的可能性。以《新視野大學(xué)英語》讀寫教程第三冊(cè)u(píng)nit 6 How to Prepare for Earthquakes(如何預(yù)防地震)為例，盡管課文中詳細(xì)講解了預(yù)防地震的常規(guī)知識(shí)和防御措施，如何將理論應(yīng)用于實(shí)踐真正掌握在地震中選取路線逃生是從字面上學(xué)不到的。教師可以通過選取唐山地震、汶川地震的視頻讓學(xué)生產(chǎn)生預(yù)防地震十分重要的意識(shí)，更可搜集與地震自救、地震躲避相關(guān)的科普宣傳視頻來幫助學(xué)生真正掌握預(yù)防地震的方法，更完整地理解課文內(nèi)容。

五、結(jié)語

PPT課件運(yùn)用的是視覺模態(tài)與聽覺模態(tài)的協(xié)作，視覺模態(tài)和聽覺模態(tài)起到相互強(qiáng)化、相互補(bǔ)充的作用，這種多模態(tài)協(xié)作會(huì)收到更好的教學(xué)效果。課堂中使用PPT課件的多種模態(tài)可以豐富課堂內(nèi)容。文字解釋可以幫助學(xué)生理解知識(shí)內(nèi)容;圖像可以直觀吸引學(xué)生注意。學(xué)生通過調(diào)動(dòng)各個(gè)器官參與課堂學(xué)習(xí)實(shí)現(xiàn)主動(dòng)學(xué)習(xí)，從視覺、聽覺、觸覺、語感等方面全面接受語言知識(shí)。只要對(duì)圖片、視頻、音頻材料進(jìn)行恰當(dāng)?shù)倪x擇與運(yùn)用，教師和媒體通過圖像、聲音等共同創(chuàng)造語言意義，就能為學(xué)生創(chuàng)造出真實(shí)的語境，PPT課件的多模態(tài)性在英語課堂中將得到更加充分的發(fā)揮和利用。

［1］ 趙艷芳.認(rèn)知語言學(xué)概論［M］.上海:上海外語教育出版社，2001:26.

［2］ 顧日國.多媒體、多模態(tài)學(xué)習(xí)剖析［J］.外語電化教學(xué)，2007(2):3-12.

［3］ 胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化［J］.語言教學(xué)與研究，2007(1):2-8.

［4］ 李戰(zhàn)子.多模式話語的社會(huì)符號(hào)學(xué)分析［J］.外語研究，2003(5):1.

［5］ 張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009(6):5-10.

［6］ 朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］.外語學(xué)刊，2007(5):10-18.