從視覺語法角度解讀外語教學(xué)中的知識可視化設(shè)計

■

/無錫城市職業(yè)技術(shù)學(xué)院

一、前言

目前，可視化設(shè)計已被廣泛應(yīng)用于醫(yī)學(xué)、計算機(jī)科學(xué)、物理學(xué)等眾多領(lǐng)域。從照相、幻燈、無聲電影等到有聲電影及廣播錄音技術(shù)，新媒體、新技術(shù)迅猛發(fā)展，使得教學(xué)中的圖形、圖像、視頻等視覺符號的獲取變得非常容易，視聽教學(xué)亦呈現(xiàn)出知識可視化趨勢。但是，知識可視化設(shè)計與外語教學(xué)相結(jié)合的研究現(xiàn)階段仍不多見，因此這一話題吸引了不少專家學(xué)者的目光。

得益于多模態(tài)、多媒體技術(shù)的廣泛應(yīng)用，多模態(tài)話語分析引起了尤以功能語言學(xué)家為主的國內(nèi)外學(xué)者們濃厚的興趣。Kress & Leeuwen(1996，2001)將功能語法的三大元功能延伸到視覺交際模態(tài)中，構(gòu)建了視覺語法；van Leeuwen(1999,2005)和Jewitt(2001)進(jìn)而將多模態(tài)話語分析延伸到人類學(xué)、心理治療以及影視作品等領(lǐng)域。另外，O’Halloran(2004a,2005)、Bateman ( 2008)等也基于系統(tǒng)功能理論推動了多模態(tài)話語分析的應(yīng)用。國內(nèi)學(xué)者，譬如李戰(zhàn)子、朱永生、胡壯麟、張德祿等，創(chuàng)造性地探討過多模態(tài)話語分析的理論框架。

然而一些相關(guān)研究更注重在教學(xué)中的發(fā)展前景，卻忽視了多模態(tài)在外語教學(xué)情境中的具體作用(Terry D.Royce,2013)，缺少一定的理據(jù)，應(yīng)基于系統(tǒng)功能理論的多模態(tài)話語分析來進(jìn)一步明確意義建構(gòu)。同時對視覺元素的強(qiáng)調(diào)遠(yuǎn)沒有達(dá)到“知識可視化”的程度，也沒有達(dá)到“知識傳播和更新”的廣度。那么在外語教學(xué)中，知識可視化設(shè)計應(yīng)怎樣進(jìn)行意義建構(gòu)以確保學(xué)生的語言學(xué)習(xí)效果，便成了迫切需要解決的問題。

二、理論基礎(chǔ)

(一)多模態(tài)

“模態(tài)”的概念非常復(fù)雜，Kress & Leeuwen認(rèn)為，“多模態(tài)就是運(yùn)用幾種符號學(xué)模態(tài)，或綜合使用若干符號學(xué)模態(tài)來強(qiáng)化同種意義的表達(dá)，或行使補(bǔ)充功能，或進(jìn)行有層次排序”(Kress & Leeuwen 2001：20)。O’Hailoran將多模態(tài)定義為“綜合語言、視覺圖象、其他符號資源、構(gòu)建紙質(zhì)、數(shù)字媒體和日常生活文本、事物、事件的理論分析與實踐”(O’Hailoran 2008：231)。Forceville(2009a:22)把模態(tài)簡要定義為“利用具體的感知過程可闡釋的符號系統(tǒng)”。與人的感官聯(lián)系起來模態(tài)可細(xì)分為圖畫或視覺模態(tài)等五種模態(tài)。由于很難對模態(tài)進(jìn)行窮盡性分類，為了便于研究，F(xiàn)orceville(ibid.:23)把模態(tài)細(xì)分為圖像符號、書面符號等九類。知識可視化設(shè)計涉及到多種模態(tài)符號，體現(xiàn)了多模態(tài)意義的構(gòu)建和理解，調(diào)動了人的多重感官來實現(xiàn)符號信息之間的有效互動。圖像和語言在語篇中的結(jié)合比這兩種符號單獨(dú)使用更能夠構(gòu)建整體意義。視覺表征可以輔助語言更好的實現(xiàn)功能要求(Leo Roehrich,2013)。

(二)視覺語法

視覺語法的提出主要基于韓禮德提出的語言的三大元功能思想，分別是概念功能，人際功能和語篇功能。人際功能描述了講話人試圖將什么樣的意義傳達(dá)給聽話人，聽話人又是如何理解的。語篇功能關(guān)注的是信息是如何的，也就是文本是怎樣組織并傳達(dá)信息的。概念功能描述了語言中的主題或場景，在語言與現(xiàn)實世界的互動過程中，語言是如何表達(dá)概念的 (Bloor & Bloor,2004; Halliday,1994; Martin & Rose,2007)。元功能思想將語言視為一種社會符號，然而“系統(tǒng)功能語法不只是語言符號系統(tǒng)的語法，也是可以描述和解釋所有社會符號系統(tǒng)的語法”(辛志英、黃國文2010：2)。這也就表明了語言只是人類眾多交際符號中的一種。

Kress & Leeuwen基于系統(tǒng)功能理論，將元功能思想延伸到視覺模式，構(gòu)建了視覺語法，將圖像也看作社會符號，從多模態(tài)角度對意義構(gòu)建提出獨(dú)特見解，創(chuàng)建了以再現(xiàn)意義、互動意義和構(gòu)成意義為基本內(nèi)容來分析視覺圖像的語法框架，為多模態(tài)話語分析提供了理論依據(jù)和分析方法。Kress & Leeuwen 認(rèn)為:“正如語言的語法決定詞如何組成小句、句子和語篇，視覺語法解釋描繪的人物、地點(diǎn)和事物如何組成不同復(fù)雜程度的視覺的陳述?！痹谝曈X語法中，與語言概念功能對應(yīng)的是圖像的再現(xiàn)意義，它解釋了意義參與者與過程之間的關(guān)系，通過分析圖像中描述的對象的結(jié)構(gòu)關(guān)系是屬于敘事還是概念過程來看圖像如何體現(xiàn)再現(xiàn)意義。與語言人際功能對應(yīng)的是圖像的互動意義，解釋圖像如何同觀看者產(chǎn)生互動。通過接觸、社會距離、態(tài)度和情態(tài)四個方面分析圖像如何體現(xiàn)互動意義。與語言語篇功能對應(yīng)的是圖像的構(gòu)圖意義，分析圖像中元素如何通過構(gòu)圖表達(dá)意義

三、外語教學(xué)中知識可視化設(shè)計的多模態(tài)話語分析

很多不同的學(xué)術(shù)研究都著眼于大量的非語言元素交流，例如建筑，韻律和圖像 (Bednarek & Martin,2008; Cheong,2011,O’Halloran,2011; O’Toole,2004)。知識可視化設(shè)計通過各個部分組成的整體來向?qū)W習(xí)者傳播所要表達(dá)的知識意義。下面以多模態(tài)外語教學(xué)材料How a sewing machine works?為例，探討知識可視化設(shè)計中的圖像如何像語言一樣體現(xiàn)其元功能并構(gòu)建意義的。該材料配有文本顯示、同步解說和How a sewing machine works?的動態(tài)圖。

(一)再現(xiàn)意義

再現(xiàn)意義由敘事和概念兩種結(jié)構(gòu)組成。二者的區(qū)別在于圖像中是否存在元素間斜線構(gòu)成的矢量。矢量只在敘事圖像中存在，概念圖像中沒有矢量?；诖薍ow a sewing machine works屬于敘事結(jié)構(gòu)。Kress & Leeuwen基于Halliday概念功能中的六大過程提出了三類主要過程，分別為動作過程、反映過程、言語和心理過程。在動作過程中，發(fā)出矢量的參與者是sewing machine的梭芯，矢量指向的目標(biāo)是使用縫紉機(jī)的人，展示sewing machine是如何工作的。當(dāng)操作工人抬起頭，將目光轉(zhuǎn)向觀眾也就是學(xué)生時，形成了反應(yīng)過程。言語和心理過程中的矢量主要由操作工人和對話泡連接而成，對話泡的內(nèi)容是通過出現(xiàn)的關(guān)鍵字詞來直接體現(xiàn)。該圖像中的參與者和目標(biāo)與功能語法中的物質(zhì)過程相似，前者是借助矢量將參與者和目標(biāo)連接起來，而物質(zhì)過程常是通過動態(tài)動詞來說明施動者與目標(biāo)間發(fā)生的事件。

(二)互動意義

互動意義借助了系統(tǒng)功能語法中的人際關(guān)系，關(guān)注的是圖像制作者、圖像所呈現(xiàn)的世界與圖像觀看者之間的關(guān)系，同時表達(dá)圖像觀看者對表征事物應(yīng)持的態(tài)度。構(gòu)成互動意義的因素有接觸、社會距離、態(tài)度關(guān)系和情態(tài)。(Kress & Leeuwen,2006)

由于該材料中圖像的參與者是無生命、無感情的事物，它與圖像的觀看者也就是學(xué)生間只形成間接接觸，學(xué)生作為接觸的主體，只提供沒有索取?！疤峁焙汀八魅　迸c功能語法中“給予”和“求取”的概念相似(胡壯麟等2005：115)。在系統(tǒng)功能語法中，“‘給予’意味著‘請求接受’；‘求取’意味著‘請求給予’。講話者不但自己做事，同時還要求聽話者做事’”。同理，視覺語法中的“提供”意味著“索取”，“索取”隱含著“提供”。(張敬源，2012)圖像鏡頭取景框架的大小影響到圖像參與者與觀看者之間的親疏關(guān)系。為了與學(xué)生建立一種親近關(guān)系，該動態(tài)圖沒有選用遠(yuǎn)景的方式，而是通過特寫來表現(xiàn)縫紉機(jī)中梭芯的工作原理。情態(tài)是指某種圖像表達(dá)手段的使用程度。功能語法中的情態(tài)可以通過小句從主客觀兩個角度來表達(dá)，視覺情態(tài)的主客觀取向可根據(jù)圖像參與者的屬性進(jìn)行判斷。由于該材料中圖像參與者為無生命的物，所以為客觀取向。Kress & Leeuwen 還從色彩飽和度、色彩區(qū)分度、色彩調(diào)協(xié)度、語境化、再現(xiàn)、深度、照明和亮度等八個視覺標(biāo)記，探討了圖像中情態(tài)的現(xiàn)實主義量值高低。

(三)構(gòu)圖意義

圖像的構(gòu)圖意義與語篇功能相對應(yīng)，將圖像整合來再現(xiàn)意義整體。Kress & Leeuwen 指出構(gòu)圖意義的實現(xiàn)需要信息值、顯著性和取景。信息值是通過元素在構(gòu)圖中的放置位置來實現(xiàn)的。元素在圖中的位置( 左右、中間、邊緣、上下) 賦予它們不同的信息值。材料中的圖像屬于左右分布，在 Kress & Leeuwen 看來，放置在左邊的信息是已知信息，右邊的是新信息。與語篇功能中信息單位的構(gòu)成形式相近，Halliday曾表示“‘已知信息+新信息’是最常見的信息單位結(jié)構(gòu)”(胡壯麟等2005：173)。顯著性是指圖像中的元素吸引觀看者注意力的不同程度。通過被放置的位置、前景或背景、相對尺寸、色調(diào)值的對比( 或色彩) 、鮮明度的不同程度等來實現(xiàn)。

四、結(jié)語

基于韓禮德系統(tǒng)功能語法中的三大元功能，通過借鑒 Kress & Leeuwen的視覺語法理論框，對外語教學(xué)中的知識可視化設(shè)計進(jìn)行多模態(tài)話語分析。通過對圖像的再現(xiàn)、互動、構(gòu)圖意義的分析，探討知識可視化設(shè)計中的圖像如何像語言一樣體現(xiàn)其元功能并輔助外語教學(xué)?？梢钥闯鲋R可視化設(shè)計在再現(xiàn)意義、互動意義和構(gòu)圖意義上可以使異族文化的情境、實景、實物及其他圖示信息具象化，還可以通過動畫、視頻(講座、教學(xué)錄像、配音科教、風(fēng)光片、電影等)手段使話語語境真實呈現(xiàn)，提高了教師的教學(xué)質(zhì)量和學(xué)生的學(xué)習(xí)效率。

從視覺語法的角度可以看出，如果要充分發(fā)揮知識可視化的功能，其實對各個要素的設(shè)計要求較高，也不是所有的知識類型都適合可視化。同時可視化表征工具的選擇，學(xué)習(xí)者的識圖能力等都會對教學(xué)效果有所影響，實際操作上對教師的能力要求也比較高。但不可否認(rèn)的是，如果有系統(tǒng)功能語法元功能和視覺語法作參考，對外語教學(xué)的指導(dǎo)意義是十分重大的。