視覺(jué)環(huán)境下的多模態(tài)敘事語(yǔ)篇的元功能意義建構(gòu)

摘 要：多模態(tài)語(yǔ)篇的圖像意義建構(gòu)及多種模態(tài)在實(shí)現(xiàn)總體意義時(shí)是如何互動(dòng)的一直是近年來(lái)多模態(tài)話語(yǔ)研究的熱點(diǎn)。本文以Clare Painter等在《解讀視覺(jué)敘事：兒童圖畫(huà)書(shū)的圖像分析》一書(shū)中提出的視覺(jué)敘事分析框架為理論框架，分析解讀研究對(duì)象繪本——以圖像、文字為組件的多模態(tài)敘事語(yǔ)篇中圖像概念意義、人際意義、組篇意義的建構(gòu)。希望本文的分析對(duì)于解決近年來(lái)多模態(tài)語(yǔ)篇研究中的熱點(diǎn)問(wèn)題有些許借鑒價(jià)值。

關(guān)鍵詞：多模態(tài)敘事語(yǔ)篇；視覺(jué)敘事分析框架；圖文版面布局框架；幾米繪本

1 引言

以往對(duì)于意義的研究多專注于對(duì)語(yǔ)言、言語(yǔ)這一單一符號(hào)模態(tài)或符號(hào)系統(tǒng)的分析。但是“意義并不是單純由語(yǔ)言來(lái)體現(xiàn)的，而是可以由語(yǔ)言之外的其他符號(hào)系統(tǒng)，或者多種符號(hào)系統(tǒng)共同來(lái)體現(xiàn)的。”（張德祿，2009）隨著對(duì)語(yǔ)言之外符號(hào)系統(tǒng)研究的深入，多模態(tài)話語(yǔ)分析、多模態(tài)意義建構(gòu)等多模態(tài)研究方興未艾。繪本作為一種圖像、文字相結(jié)合的多模態(tài)敘事語(yǔ)篇，不同于海報(bào)、新聞圖片這樣單幅的多模態(tài)語(yǔ)篇研究對(duì)象，它是由多副圖像按一定順序共同構(gòu)成的復(fù)雜的多模態(tài)敘事語(yǔ)篇。極具文學(xué)性和敘事性，相比立意較為明顯的單一圖像，繪本圖像的意義建構(gòu)更難把握。本文以臺(tái)灣著名繪本家?guī)酌椎睦L本《時(shí)光電影院》為研究對(duì)象，以Painter提出的視覺(jué)敘事的元功能分析框架為理論框架，分析繪本圖像的意義建構(gòu)。希望本文的分析對(duì)于解讀幾米繪本，解決多模態(tài)語(yǔ)篇研究的熱點(diǎn)問(wèn)題有些許參考價(jià)值。

2 《時(shí)光電影院》簡(jiǎn)介

《時(shí)光電影院》出版于2012年4月，展現(xiàn)了臺(tái)灣著名繪本家?guī)酌祝ㄔ胃１颍?duì)于生活和電影的熱愛(ài)。繪本以第一人稱“我”為視角，以電影院為支撐，講訴了一個(gè)有關(guān)親情、愛(ài)情和夢(mèng)想的故事。主人公“我”是一個(gè)很小就失去了母親的小女孩。母親愛(ài)看電影，父親便常帶“我”去影院尋找母親的身影。青年，“我”在影院邂逅了初戀，他同“我”有著相同的興趣，但后來(lái)他要舉家搬遷至西班牙，分別時(shí)“我們”約定總有一天會(huì)在電影院重逢。畢業(yè)后，每當(dāng)“我”在工作生活中感到疲倦迷茫，總能在影院中得到慰藉，在電影中獲得解決問(wèn)題的答案，而后勇敢前行。再后來(lái)“我”在影院遇到了另一半，“我們”的戀愛(ài)婚姻像電影一般美好，只是人生聚散無(wú)常，“我們”沒(méi)能走到最后。離婚后，“我們”的孩子降臨了，童年的“我”在影院中尋找母親的影子，而她或許將在影院中尋找父親的影子。“我”的人生從未離開(kāi)過(guò)電影院。

3 視覺(jué)敘事分析框架與圖像的元功能意義建構(gòu)

視覺(jué)敘事分析框架受系統(tǒng)功能語(yǔ)言學(xué)影響，認(rèn)為圖像同語(yǔ)言一樣是一種符號(hào)模態(tài)，具備與語(yǔ)言三種元功能相對(duì)應(yīng)的概念意義、人際意義和組篇意義。本小節(jié)中筆者將介紹視覺(jué)敘事的元功能框架并基于此理論框架分析《時(shí)光電影院》繪本中具體圖像的意義建構(gòu)。

3.1 圖像的概念意義

作為符號(hào)模態(tài)的圖像同文字一樣具有概念意義上的選擇潛勢(shì)，可以表征世界中的事物或事物間的關(guān)系。Painter將概念意義的表現(xiàn)形式歸納為三個(gè)子框架：人物表征（包括面部特征的完整表征與轉(zhuǎn)喻表征，轉(zhuǎn)喻表征指以人物圖像的某個(gè)特征代替人物整體），事件關(guān)系（包括事件展開(kāi)順序和事件投射關(guān)系，展開(kāi)分為先后順序展開(kāi)和同時(shí)發(fā)生，投射分為真實(shí)事件投射和想象事件投射）和背景關(guān)系（指相鄰圖像之間背景不變和背景變化兩種關(guān)系，背景不變又分為視角不變的背景不變和視角改變的背景不變，背景變化分為變?yōu)槠渌尘昂妥優(yōu)闊o(wú)背景兩種）。

關(guān)于人物表征在圖像概念意義中的體現(xiàn)，以圖1（1）為分析對(duì)象。首先由座椅上兩個(gè)人物完整的面部特征可知其分別表征女孩兒和男孩兒，又因兩人間距離較遠(yuǎn)可知關(guān)系尚不親密。而樹(shù)上的兩個(gè)小人，則由翅膀、箭筒可知它們部分轉(zhuǎn)喻愛(ài)神丘比特，進(jìn)而推知男、女孩兒將會(huì)發(fā)展成戀人。關(guān)于事件關(guān)系及背景關(guān)系在圖像概念意義中的體現(xiàn)，以（2）（3）為分析對(duì)象。這兩幅圖在繪本中左右相鄰，表征先后展開(kāi)的事件關(guān)系。兩者的背景關(guān)系是變?yōu)槠渌尘暗谋尘白兓P(guān)系。（2）中由一排排的座椅、投影機(jī)光束和有相同表情的人得出圖像背景是電影院，（3）由飛機(jī)元素及飛機(jī)跑道元素可以得出背景是飛機(jī)場(chǎng)。由（2）至（3）可知兩人在飛機(jī)場(chǎng)道別前去了影院，盡管觀眾都在笑，兩人卻因分離之苦而默默流淚。

3.2 圖像的人際意義

圖像的人際意義包括讀者與圖像人物的及各圖像人物之間的互動(dòng)關(guān)系。Painter提出三大系統(tǒng)來(lái)分析建構(gòu)敘事圖像的人際意義：聚焦系統(tǒng)（包括互動(dòng)和視角兩個(gè)維度，互動(dòng)指圖像人物與讀者是有眼神接觸的接觸關(guān)系還是無(wú)眼神接觸的旁觀關(guān)系；視角指為讀者提供的視角是與圖像人物不同的客觀視角還是相同的主觀視角，一般主觀視角更易帶動(dòng)讀者情感，引發(fā)情感共鳴）；情感系統(tǒng)（圖像表征的復(fù)雜抽象程度是設(shè)定讀者與圖像人物情感關(guān)系的繪圖策略，圖像越抽象線條越簡(jiǎn)單，對(duì)讀者情感感染度越低，如“”的情感投入度就低于漫畫(huà)中的人物笑臉。情感系統(tǒng)包括情感介入和異化兩個(gè)維度，前者指圖像人物可吸引讀者投入情感且根據(jù)情感投入度的弱強(qiáng)將圖像分為鑒賞類、移情類和個(gè)體類三類，而后者指讀者無(wú)情感投入，閱讀中持客觀態(tài)度，如抽象圖表）；氛圍系統(tǒng)（顏色作為人際意義資源可構(gòu)建情感基調(diào)，并分為未激活情感氛圍的黑白色和已激活情感氛圍的彩色，且可從色度、色調(diào)和自然度三個(gè)維度分析彩色可激活怎樣的情感氛圍）。

就聚焦系統(tǒng)而言，圖2（1）中讀者與圖像人物是有直接眼神接觸的接觸關(guān)系，而（2）（3）則是無(wú)直接眼神接觸的旁觀關(guān)系。此外（1）是引發(fā)主觀視角，即讀者雖然無(wú)法看到電影畫(huà)面，但卻可根據(jù)圖像人物表情、視線推斷出他們的視角。（2）（3）均是客觀視角，即讀者與圖中人物視角不同。我們可以通過(guò)對(duì)比感受到，圖（1）這樣有眼神接觸的主觀視角更易帶動(dòng)讀者，引發(fā)情感共鳴。而（2）無(wú)眼神接觸的客觀視角，讓讀者有一種距離感。而這種距離感恰恰是作者想達(dá)到的效果，因（2）旨在描繪“我”獨(dú)自一人過(guò)生日的孤寂之情。關(guān)于情感系統(tǒng)，三幅圖均屬于移情類情感介入，即圖像人物的辨識(shí)度和情感投入度處于鑒賞類（如符號(hào)表情）與個(gè)體類（如真人照片）之間。就氛圍系統(tǒng)而言，（1）（2）背景色均是藍(lán)色屬冷色調(diào)，但（1）的亮度更高，給人一種興奮、活力之感。（2）的更暗，給人一種冷漠疏遠(yuǎn)之感，表現(xiàn)了“我”的孤獨(dú)之情。（3）相較于（1）（2）其色彩自然度更高，色彩更豐富，更易拉近讀者與圖像人物之間的距離，給讀者一種與“我”一同向光前行之感，彌補(bǔ)了聚焦系統(tǒng)中無(wú)眼神接觸的距離感。而（2）背景是單一色彩，自然度低，給人以陌生感，近一步拉長(zhǎng)了圖像人物與讀者間的情感距離，加深了“我”的孤獨(dú)之情。endprint

3.3 圖像的組篇意義

圖像中的各個(gè)元素同語(yǔ)言中的各個(gè)成分一樣，以不同的組合方式融合成為圖像意義整體。這些構(gòu)圖方式就是圖像組篇意義的表現(xiàn)形式。Painter基于Kress提出的三個(gè)相互關(guān)聯(lián)的構(gòu)圖意義的維度：信息值（即視覺(jué)語(yǔ)篇中，不同的圖像元素的位置給予圖像元素特殊的信息值，如攜帶重要的信息的圖像元素常位于圖像的中心位置而非邊緣位置），凸顯（借助對(duì)元素尺寸、顏色、視角的調(diào)整來(lái)達(dá)到突出某一圖像元素的表征方式）和邊框（運(yùn)用各種線條、幾何圖形甚至圖像人物視線等邊框?qū)⒉煌瑘D像元素分離或整合的表征方式），將信息值維度改為版面布局關(guān)系，用于分析視覺(jué)語(yǔ)篇中圖像與文字間的關(guān)系。圖文版面布局簡(jiǎn)化如下：

3.3.1 融合型

融合型版面布局指圖像與文字融為一體的圖文關(guān)系，包括擴(kuò)展與投射兩種關(guān)系。擴(kuò)展指圖像與文字各具意義，二者相互補(bǔ)充，相互增強(qiáng)。投射指圖像人物的話語(yǔ)或思維以文字形式出現(xiàn)在圖像中，如漫畫(huà)中的語(yǔ)泡。而在《時(shí)光電影院》中，圖文關(guān)系多體現(xiàn)為擴(kuò)展性融合的形式。

融合型的示例 互補(bǔ)型的示例

圖4屬融合型圖文關(guān)系。其文字為“媽媽在我很小的時(shí)候就離開(kāi)我了，每次我哭著要找媽媽，爸爸就會(huì)說(shuō)：‘走，我們?nèi)タ措娪??！驗(yàn)閶寢屪钕矚g看電影了，也許有一天，我們可以在電影院里遇見(jiàn)她?！薄Ｎ淖置枋隽恕拔摇睂?duì)母親的思念之情和“我”想念母親時(shí)常與父親去影院的習(xí)慣。圖像中落葉元素表征著思念之情，右側(cè)手拉著手的兩人表征著密切的人物關(guān)系。文字中出現(xiàn)的人物稱呼表明圖像人物的父女關(guān)系，圖像中落葉元素渲染著文字中我對(duì)母親的思念之情，圖與文各有其意，相互補(bǔ)充、相互增強(qiáng)。

3.3.2 互補(bǔ)型

互補(bǔ)型指圖像與文字各占一部分空間，空間上相鄰的圖像文字之間無(wú)矢量連接。單獨(dú)的圖像意義較為模糊，而單純的文字又過(guò)于呆板無(wú)法提供想象空間，故將圖像與文字相鄰放置，使兩者互為補(bǔ)充，共同增強(qiáng)圖文內(nèi)涵。

圖5屬互補(bǔ)型。單看文字“媽媽，你是一個(gè)勇敢追夢(mèng)的人嗎？你完成夢(mèng)想了嗎？”表意明確，但卻無(wú)法給讀者以足夠的想象空間。而單看圖像，我們只能了解騎馬的少女這一模糊的語(yǔ)義表征。但若是將圖文結(jié)合起來(lái)，不僅能達(dá)到圖文意義互補(bǔ)的效果，同時(shí)還能將騎馬向光前行的少女代指勇敢的追夢(mèng)者這一比喻巧妙的表征出來(lái)，達(dá)到1+1>2的效果。

4 結(jié)語(yǔ)

本文以Clare Painter等在《解讀視覺(jué)敘事：兒童圖畫(huà)書(shū)的圖像分析》中所提出的視覺(jué)敘事的元功能框架為理論框架，分析解讀了《時(shí)光電影院》中圖像概念意義、人際意義、組篇意義的建構(gòu)。筆者發(fā)現(xiàn)：一、繪本這樣的多模態(tài)敘事語(yǔ)篇不同于單一圖像，它的各個(gè)圖像之間存在事件展開(kāi)順序，故在分析繪本圖像時(shí)應(yīng)結(jié)合前后圖像一同分析，從而更為全面的把握繪本整體內(nèi)涵；二、色彩不僅是圖像人際意義中氛圍系統(tǒng)的表征形式，還在組篇意義中發(fā)揮著重要作用，如繪本作者可通過(guò)色彩搭配突出圖像的主要元素淡化次要元素的凸顯度，從而將各元素組成一有機(jī)整體；三、Painter認(rèn)為黑白色不能營(yíng)造情感氛圍，但幾米繪本中確有圖像為了營(yíng)造沉悶、壓抑的氛圍而選擇了黑白色背景，即黑白色也可營(yíng)造情感氛圍?？偟膩?lái)說(shuō)，Painter的視覺(jué)敘事分析框架雖然在分析繪本圖像時(shí)頗具解釋力，但也有不足之處。故多模態(tài)語(yǔ)篇分析無(wú)論是在理論框架的完善上還是實(shí)證分析的驗(yàn)證上仍需進(jìn)一步的深入研究。

參考文獻(xiàn)

[1]韋琴紅.視覺(jué)環(huán)境下的多模態(tài)化與多模態(tài)話語(yǔ)研究[M].科學(xué)出版社，2009：14-79.

[2]胡壯麟，朱永生，張德祿，李戰(zhàn)子.系統(tǒng)功能語(yǔ)言學(xué)概論[M].北京大學(xué)出版社，2008.

[3]幾米.時(shí)光電影院[M].海豚出版社，2012.

[4]馮德正.視覺(jué)語(yǔ)法的新發(fā)展：基于圖畫(huà)書(shū)的視覺(jué)敘事分析框架[J].外語(yǔ)教學(xué)，2015（5）：23-27.

[6]劉曉華.基于視覺(jué)敘事分析框架的多模態(tài)敘事語(yǔ)篇意義建構(gòu)——以幾米繪本為例[J].湖北第二師范學(xué)院學(xué)報(bào)，2016（12）：5-10.

[7]吳安萍，鐘守滿.視覺(jué)語(yǔ)法與隱喻機(jī)制的多模態(tài)話語(yǔ)研究[J].外語(yǔ)與外語(yǔ)教學(xué)，2014（3）：23-28.

作者簡(jiǎn)介

張婧嫻（1994-），女，漢族，山西省長(zhǎng)治市，在讀研究生，陜西師范大學(xué)外國(guó)語(yǔ)學(xué)院，理論語(yǔ)言學(xué)。endprint