新型數(shù)字出版物視覺敘事模式與意義建構(gòu)

石慧

[摘 要] 指出話語領(lǐng)域中意義的建構(gòu)依賴于各種符號資源的整合，除語言外也擴(kuò)展到了圖像、空間、色彩等多種交際符號。作為一種新型數(shù)字出版物，兒童交互式繪本聚合了文字、圖像、色彩、聲音等豐富的符號資源，具有多模態(tài)話語特征，單一的圖像分析與視覺語法難以解釋。因此，文章基于視覺敘事理論、多模態(tài)話語分析理論，探究交互式兒童繪本作為一種具有典型意義的新型數(shù)字出版物，如何基于數(shù)字媒介的特征進(jìn)行視覺敘事與傳達(dá)，視覺系統(tǒng)中的不同模態(tài)之間如何協(xié)同作用，以及多模態(tài)話語如何參與交互式繪本的意義建構(gòu)。

[關(guān)鍵詞] 兒童交互式繪本 視覺敘事 多模態(tài)話語分析 語篇意義 數(shù)字出版

[中圖分類號] G230[文獻(xiàn)標(biāo)識碼] A[文章編號] 1009-5853 （2022） 01-0079-09

Visual Narrative Models and Meaning Construction of New Digital Publications：? A Case of Interactive Childrens Picture Books

Shi Hui

（School of Information Management， Wuhan University， Wuhan， 430072）

[Abstract] The paper points out that the meaning construction of discourse in childrens interactive picture books relies on the integration of various symbolic resources. These symbolic resources have a broad scope， which not only includes the language symbolic， as well as images， space， and color. As a new type of digital publication， childrens interactive picture books aggregate rich resources such as words， images， colors， and sounds， showing clear characteristics of multimodal， which are difficult to be solely explained by image and visual analysis. Based on visual narrative theory and multimodal discourse analysis theory， this paper explores how an interactive childrens picture book， a typical new digital publication， carries out visual narrative and communication with the characteristics of digital media， how different modalities in the visual system work together， and how multimodal discourse participates in the construction of meaning in interactive picture books.

[Key words] Childrens interactive picture books Visual narrative theory Multimodel discourse analysis Textual meaning Digital publishing

伴隨著媒介技術(shù)的日益革新，新型數(shù)字出版物不斷問世，并帶來了新的敘事形式和敘事體驗。閱讀形式的革命使得“媒介環(huán)境”作為一種前景化感知經(jīng)驗和審美經(jīng)驗悄然作用于語篇組織和意義闡釋，媒介形態(tài)通過約束讀者的閱讀情境和行為習(xí)慣傳達(dá)對媒介環(huán)境的偏好并參與意義的解釋。其中，依賴于數(shù)字化媒介的兒童交互式繪本通過圖形、色彩、聲效、動畫、3D圖像、觸控等多模態(tài)（multimodality）的配合，構(gòu)造了一個表征性世界。讀者可以通過點觸屏幕上的各種按鍵、放大縮小或平移圖片、播放動畫效果、選擇情節(jié)的發(fā)展走向，參與到這個想象空間中。這延展、增強(qiáng)、豐盈了人們的思維空間和感官體驗。由于交互式繪本匯聚了豐富的符號資源，涉及多種場景因素，來共同完成視覺敘事、情感表達(dá)和氛圍營造。這顯然無法通過單一的圖像分析與視覺語法來加以解釋。因此，對于交互式繪本話語意義的分析必須依賴于語言學(xué)和符號學(xué)領(lǐng)域的多模態(tài)研究理論。

本文的研究聚焦于兒童交互式繪本中交際符號的多模態(tài)聯(lián)動以及它們所構(gòu)成的整體意義，并通過分析此類繪本的視覺多模態(tài)敘事結(jié)構(gòu)，試圖解決以下幾個問題：兒童交互式繪本多模態(tài)敘事元素之間的相互關(guān)系及其組合的基本特征是什么？各模態(tài)之間如何配合聯(lián)動，從而增強(qiáng)意義生成潛能？視覺多模態(tài)的選擇和使用如何實現(xiàn)意義的建構(gòu)？

1 跨學(xué)科視域下的多模態(tài)研究

生命科學(xué)概括了人類所擁有的視覺、聽覺、嗅覺、味覺、觸覺5種不同的感知通道，這些感知通道也產(chǎn)生了相對應(yīng)的“模態(tài)”，即“用于表征和交流意義的社會文化資源”[1]。人類的交際活動具有顯著的多模態(tài)話語特征，這一方面體現(xiàn)在話語交際涉及視覺、聽覺、觸覺等多種模態(tài)和感官系統(tǒng)，如日常生活中使用手機(jī)進(jìn)行交流時，需要用眼睛看、耳朵聽、手指滑動屏幕;另一方面體現(xiàn)在具體模態(tài)中涉及的復(fù)雜符號資源，如交互式繪本包含的文字、圖像、動畫、色彩等多套符號系統(tǒng)。我們將以上兩種情況均稱為“多模態(tài)”，用來指稱話語交際中符號的多樣性。對話語交際中的多種模態(tài)或符號系統(tǒng)以及它們之間的關(guān)系所共同構(gòu)成的整體意義的分析也被稱為“多模態(tài)話語分析”。早期的多模態(tài)研究源自以系統(tǒng)功能語言學(xué)為基礎(chǔ)的社會符號學(xué)理論，后來又逐漸發(fā)展出了“多模態(tài)隱喻分析、多模態(tài)互動分析、會話分析、地理符號學(xué)、多模態(tài)民族志、多模態(tài)語料庫分析以及多模態(tài)感知分析”[2]等不同的研究路徑。本文沿襲系統(tǒng)功能語言學(xué)與社會符號學(xué)的經(jīng)典進(jìn)路展開對交互式繪本的多模態(tài)話語分析，探索在多重符號化方式交織的背景下，各種符號物態(tài)、符號運用者的感官經(jīng)驗在意義建構(gòu)中的重要作用。

事實上，多模態(tài)話語分析的重要意義便在于整合各種形式的符號資源，使得話語意義的傳達(dá)與構(gòu)建更加全面和完整。這不僅推動了語言學(xué)、符號學(xué)研究的進(jìn)一步發(fā)展，還滲入到教育學(xué)、心理學(xué)、社會學(xué)、傳播學(xué)等多個學(xué)科領(lǐng)域，尤其是它在敘事學(xué)中的拓展，更是有助于我們在新媒介語境下，深入探索新類型、新樣態(tài)數(shù)字文本的意義潛能。圍繞數(shù)字文本敘事這一主題，眾多學(xué)者已開展過諸多理論探索和實踐活動。數(shù)字?jǐn)⑹拢―igital Storytelling）這一新興研究領(lǐng)域關(guān)注敘事者運用數(shù)字工具，結(jié)合動靜態(tài)影像、文本等要素，以非線性或互動形式講述故事的新實踐[3]。它旨在探索由數(shù)字技術(shù)所帶來的敘事空間的變化以及其如何作用于讀者和閱讀。這一理論旨趣，啟發(fā)我們對一系列基于新型技術(shù)的出版物的文本架構(gòu)、敘事體驗予以重新關(guān)照，對其語篇意義建構(gòu)模式進(jìn)行再度挖掘。如佩吉（Page）提出的“多模態(tài)敘事”（multimodal narrative）概念，涵蓋了印刷文本、數(shù)字文本、影視、游戲等多種“敘事參與者與故事得以相互影響”的敘事類型。這一概念在敘事學(xué)領(lǐng)域的應(yīng)用，對于研究具有多模態(tài)特征的文本具有重要意義，從而傳統(tǒng)敘事研究中處于被忽視狀態(tài)的媒介性、物質(zhì)性、感官性維度得以重新被審視。

2 多模態(tài)敘事與話語分析

在新型數(shù)字出版物中，蘊(yùn)含圖像、聲音、動作等多種符號資源和視、聽、觸多種感官系統(tǒng)的多模態(tài)話語的應(yīng)用伴隨著媒介技術(shù)的發(fā)展臻于成熟和完善。然而對于這些新型出版物的話語特征及意義生產(chǎn)模式，尤其是多模態(tài)之間的協(xié)同運作則需要更多深入探索，以進(jìn)一步完善多模態(tài)話語分析框架和理論。受符號互動論等理論的影響，學(xué)者們探索社會互動下符號化過程中話語意義的生成，并不再局限于語言文本，而是致力于研究諸如圖像、聲音、顏色、字體等其他非語言類社會符號資源在意義建構(gòu)方面所起的作用，關(guān)注重點則轉(zhuǎn)向各種模態(tài)的表現(xiàn)形式與其所表達(dá)的意義之間的關(guān)聯(lián)，以及各種模態(tài)之間的協(xié)同作用如何生產(chǎn)新的話語，即強(qiáng)調(diào)符號的物態(tài)特征和使用者感官經(jīng)驗的重要性[4]。

2.1 “元功能”：多模態(tài)話語分析的理論基礎(chǔ)

英國語言學(xué)家韓禮德（Halliday）[5]創(chuàng)立的系統(tǒng)功能語言學(xué)是多模態(tài)話語的理論基礎(chǔ)。具體地說，多模態(tài)話語理論從系統(tǒng)功能語言學(xué)中吸收了語言的社會符號（social semiotic）思想、語境理論、層次理論、系統(tǒng)理論、語域（register）理論與元功能理論。其中，社會符號思想和意義潛勢（meaning potential）等觀點將語言之外的其他符號系統(tǒng)納入意義生產(chǎn)與建構(gòu)范疇;純理功能假說（metafunction hypothesis）認(rèn)為多模態(tài)話語具有多功能性，即概念（ideational）、人際（interpersonal）和語篇（textual）三大功能[6];語域理論強(qiáng)調(diào)語境在話語意義的解讀中具有不可或缺的重要性[7]。

根據(jù)韓禮德的系統(tǒng)功能語言學(xué)理論，語言的3種元功能中：概念功能又可分為經(jīng)驗功能和邏輯功能。其中，經(jīng)驗功能是語言對于人們在現(xiàn)實的外部世界和內(nèi)心世界中各種經(jīng)歷的表達(dá)，反映了事件、人物、時間、地點等因素;邏輯功能是語言對意義單位之間邏輯關(guān)系的表達(dá)[8]。人際功能是表達(dá)講話者的身份、地位、態(tài)度、動機(jī)及其對某一事物判斷的功能[9]。由于概念和人際功能的實現(xiàn)最終要通過語言得以達(dá)成，因而必然受到語言本身的制約。語篇是一種有意義的表述的集合體，屬于語義范疇。它不是大于句子的句法單位，也不是段落。在語義層中，把語言成分組織成為語篇的功能即為“語（謀）篇功能”[10]。盡管三大元功能的提出基于韓禮德對言語的研究，但事實上這些元功能可以適用于幾乎所有的人類交際系統(tǒng)。本文研究的關(guān)鍵問題則在于，這些元功能是如何在多模態(tài)話語交際中實現(xiàn)的？

2.2 模態(tài)聯(lián)動：多模態(tài)話語分析的關(guān)鍵問題

根據(jù)元功能理論，在語篇中不僅語言符號系統(tǒng)應(yīng)具有這三種功能，其他符號系統(tǒng)如圖像、聲音、動畫、色彩等同樣能夠?qū)崿F(xiàn)這些元功能。因此，需要進(jìn)一步考慮的問題是，各個符號系統(tǒng)如何聯(lián)動協(xié)作共同實現(xiàn)三個元功能？這需要我們關(guān)注以下兩方面的問題。

首先是要確定不同模態(tài)或符號系統(tǒng)之間的語法關(guān)系。傳統(tǒng)的符號學(xué)和語言學(xué)研究主要集中于圖像、人物、事件、場景等單個元素的意義，忽視了元素之間關(guān)系的結(jié)構(gòu)。事實上，圖像中的視覺模態(tài)是一個系統(tǒng)連貫的整體，圖像的意義是由視覺模態(tài)之下諸多元素的相互配合與整合而完成的，這一組合的過程也遵循著某種語法規(guī)則和章程。因此，僅從某一單獨的模態(tài)或符號系統(tǒng)出發(fā)難以建立起一個完整全面的意義分析框架，而需要注重模態(tài)或符號系統(tǒng)間的語法關(guān)系。因此，為進(jìn)一步探究交互式繪本的多模態(tài)敘事特征，我們便可以借鑒韓禮德的三大功能假說，從概念功能、人際功能和語篇功能三個層面展開分析和論述。

其次是要確定文字和圖像之間的關(guān)系。來自后形式主義、圖像學(xué)、符號學(xué)等領(lǐng)域的學(xué)者們基于不同的立場和視角均對這一問題展開了研究，其說法不盡相同。誠然，文字和圖像的關(guān)系是一個十分古老的命題，更多的學(xué)者傾向于認(rèn)為它們是彼此獨立的兩套符號系統(tǒng)，卻又存在著密不可分的聯(lián)系。例如亞里士多德曾“論述過詩歌與繪畫的平行關(guān)系”“米歇爾將圖像與語詞喻作說不通語言的兩個國度，但它們之間保持著一個漫長的交流與接觸的關(guān)系”[11]。這給我們帶來的啟發(fā)是，一方面不能在圖像與文字之間建立直接的等同關(guān)系，將圖像視為文字的視覺再現(xiàn)或?qū)⑽淖忠暈閳D像的意義闡釋，而應(yīng)當(dāng)認(rèn)識到，文字與圖像在內(nèi)部語法、形式結(jié)構(gòu)、敘事特征方面都存在巨大差異。另一方面要格外注重文字與圖像之間的互動和關(guān)聯(lián)，尤其反映在敘事層面，圖與文的關(guān)系是滲透融合、模仿再現(xiàn)，還是相互沖突？這都需要我們在具體的圖像和文本語境中具體地展開討論。

2.3 視覺語法：多模態(tài)話語分析的理論框架

多模態(tài)話語分析的相關(guān)研究在1996年取得重要進(jìn)展。這一年克瑞斯（Kress）和范勒文（Van Leeuwen）出版了《閱讀圖像：視覺設(shè)計的語法》[12]一書，將圖像、音樂、色彩、版式等多模態(tài)符號系統(tǒng)囊括在語篇范疇內(nèi)，為系統(tǒng)闡釋圖文語篇的意義建構(gòu)開創(chuàng)了新的理論框架。比照韓禮德功能語法，他們建立起圖像的視覺分析框架，認(rèn)為圖像可以體現(xiàn)三種意義：再現(xiàn)意義（representational meaning）、互動意義（interactive meaning）、組篇意義（compositional meaning）。這一視覺圖像敘事分析框架為后來的多模態(tài)話語分析奠定了重要的理論基礎(chǔ)，然而也存在一定的不足：缺乏關(guān)于語言與圖像模態(tài)關(guān)系及相互作用的探討，也沒有在圖像與讀者互動的層面進(jìn)行論述。因而，佩因特（Painter）、馬?。∕artin）和昂斯沃斯（Unsworth）三位系統(tǒng)功能語言學(xué)者在克瑞斯等人的研究基礎(chǔ)上，于2013年出版了《閱讀視覺敘事》一書。他們同樣在“元功能”理論的基礎(chǔ)上，提出了視覺敘事的理論框架，涵蓋了概念意義、人際意義和語篇意義三部分?？巳鹚古c佩因特等人建構(gòu)的敘事理論框架都基于韓禮德的三大元功能，二者卻存在諸多差異：佩因特等將再現(xiàn)意義發(fā)展為概念意義，細(xì)化了其中的語法規(guī)則，總結(jié)出更加清晰的邏輯框架;他們還將互動意義重新命名為人際意義，并進(jìn)一步歸納出聚焦、情感、氛圍三大系統(tǒng);組篇意義則對應(yīng)于后者的語篇意義，佩因特等將信息值的概念發(fā)展為涵蓋面更廣的版面布局概念?？傮w而言，新的圖像敘事理論框架在兩方面對原視覺語法進(jìn)行了修正和補(bǔ)充：一是研究對象的擴(kuò)展，由原來的單個圖像拓展為多個圖像組成的多模態(tài)復(fù)雜語篇;二是理論框架的完善，在視覺語法基礎(chǔ)上增加了讀者的維度，補(bǔ)充了對圖像與讀者互動的研究，加入了情感系統(tǒng)、人物表征、事件關(guān)系等重要框架，以更深入地解讀和闡釋圖像。

3 兒童交互式繪本視覺多模態(tài)話語分析

傳統(tǒng)紙質(zhì)繪本主要采用線性敘事，通過文本和圖像傳達(dá)意義，讀者的參與感和互動程度較低;而交互式繪本結(jié)合文本、圖像、動畫和觸摸技術(shù)，為讀者提供多層次、多維度的閱讀體驗。圖書通過動態(tài)方式呈現(xiàn)，讀者隨著互動的深入可表現(xiàn)出更多的主體性與情感投入。目前已有學(xué)者對于兒童繪本的敘事問題展開討論[13][14]，本文基于系統(tǒng)功能語言學(xué)和圖像敘事的理論視角，在調(diào)研數(shù)十種目前具有代表性的兒童交互式繪本的基礎(chǔ)上，以Nosy Crow出版的交互式繪本《小紅帽》（App應(yīng)用）為例，對這一類型圖書的視覺多模態(tài)敘事和話語特征展開具體分析和研究。

3.1 概念意義的建構(gòu)

概念意義（Ideational Meaning）通常關(guān)注敘事中的人物、事件、場景三種基本要素，進(jìn)一步可呈現(xiàn)為三個子框架（見圖1）：一是人物表征框架;二是事件關(guān)系框架;三是圖像的背景關(guān)系框架。

視覺圖像敘事中人物的塑造主要依賴人物表征框架。人物表征方式可分為完整表征和轉(zhuǎn)喻表征：完整表征是指通過刻畫人物外部特征來建立明確的人物身份;轉(zhuǎn)喻表征是指通過身體的局部特征來明確人物身份。如圖2所示，當(dāng)人物首次出場時，常常采用正面全景角度，展現(xiàn)人物的全貌;而當(dāng)出現(xiàn)戲劇沖突時，往往展現(xiàn)人物的面部特寫以突顯人物的神態(tài)與情感反應(yīng)。如小紅帽在故事開頭出場時采用了全景式的呈現(xiàn)，在圖2左的構(gòu)圖中，小紅帽位居畫面中央且無遮擋，能夠使讀者對該人物有一個較為清晰完整的印象;當(dāng)小紅帽遇見大灰狼后，故事情節(jié)走向高潮，人物情緒在此時成為圖像敘事突出表達(dá)的內(nèi)容，因此圖2右便著重刻畫了人物怒目圓睜、斜視的面部神態(tài)，表達(dá)了一種警惕、憤怒、防御的情緒狀態(tài)。傳統(tǒng)繪本中人物的表征方式被印刷媒介固化在紙張上無法變動;但在閱讀交互式繪本時，讀者可以通過點觸操作，放大或縮小，調(diào)整取景距離，以便更清楚地看到人物細(xì)節(jié)。這使畫面不受限于全景與特寫之分，人物的表征方式更加靈活。

事件關(guān)系框架即敘事中不同事件之間的聯(lián)系，包括展開和投射兩種模式。事件展開指的是敘事的時間順序;事件投射可分為真實事件投射與想象事件投射。區(qū)別于傳統(tǒng)紙質(zhì)繪本中較為固定的時間關(guān)系，交互式繪本依托于數(shù)字交互技術(shù)帶來的媒介屬性和特征，多采用非線性敘事結(jié)構(gòu)，在敘事過程中為讀者提供了開放的敘事框架、任意的敘事順序，以及可以根據(jù)個人喜好調(diào)整、觸發(fā)的場景模式。在《小紅帽》中，讀者可以通過地圖上的不同線路和地點，幫助故事人物選擇即將前往的地點（見圖3）。此時，讀者在閱讀的過程中被賦予了自主選擇的權(quán)利，根據(jù)不同讀者的操作和輸入，交互式繪本可以輸出和反饋不同的內(nèi)容，一方面極大地增強(qiáng)了讀者的參與感與互動感，另一方面也延展了圖像敘事的意義空間。

背景關(guān)系框架考察的則是事件發(fā)生情境的延續(xù)和變化。背景變化可以構(gòu)成敘事時空的轉(zhuǎn)換，因此相鄰圖像選擇相同的背景或僅變換視角以表示敘事情境的延續(xù)或不變。交互式繪本相較于紙質(zhì)繪本的一個優(yōu)勢在于，其場景可以不受紙張的局限，場景大小可以任意定制，場景切換方式也有不同。當(dāng)小紅帽在森林中奔跑，繪本中呈現(xiàn)的是動態(tài)畫面，讀者可以控制小紅帽的奔跑速度以及何時停下;如果不施加干預(yù)，小紅帽可以一直在畫面中的道路上奔跑。這使得場景的變化、情節(jié)的推動節(jié)奏掌握在讀者手中，讀者可以根據(jù)自身需要調(diào)整故事的敘事節(jié)奏。

3.2 人際意義的建構(gòu)

視覺語篇的人際意義（Interpersonal Meaning）通過分析圖像中參與者之間的社會關(guān)系、圖像設(shè)計者的交際目的以及讀者對圖像內(nèi)容的介入程度來考察圖像與讀者之間的互動，可進(jìn)一步展開為聚焦系統(tǒng)、情感系統(tǒng)和氛圍系統(tǒng)。

聚焦系統(tǒng)包含兩方面內(nèi)容（見圖4）：一是圖像中人物與讀者的互動關(guān)系;二是讀者閱讀圖像的視角。在聚焦系統(tǒng)中，讀者和圖像的關(guān)系可以概括為接觸與觀察兩種：接觸即讀者透過繪本故事中的人類、動物或擬人角色凝視;觀察指讀者處于第三視角，不通過角色凝視。繪本通過人物的視角、場景轉(zhuǎn)換創(chuàng)造出一個與我們現(xiàn)實世界平行的故事世界;而讀者通過觀察來了解繪本中的故事世界。在《小紅帽》中，接觸與觀察兩種聚焦關(guān)系都大量存在，例如當(dāng)小紅帽提著籃子穿過森林時，讀者便能夠代入她的視角一路前行，并且可以通過觸摸屏幕停下來觀察周邊變化的環(huán)境;而當(dāng)小紅帽遇見大灰狼開始與之進(jìn)行斗爭時，讀者便處在第三視角，以便更完整地看到富有戲劇性的故事情節(jié)。相較于紙質(zhì)繪本，交互式繪本的特殊之處在于可以通過觸摸電子屏幕，探索場景的更多細(xì)節(jié)和不同角度，與故事世界中的人物建立更豐富的聯(lián)系。在故事發(fā)展的關(guān)鍵時刻，讀者還可以通過角色的眼睛、站在角色的立場選擇和看待故事世界，增強(qiáng)其參與感及認(rèn)同感。

不同抽象程度的視覺圖像可以建構(gòu)出圖像人物與讀者之間不同的情感互動，這是創(chuàng)作者在視覺設(shè)計中經(jīng)常使用的策略。人際意義建構(gòu)中用來描述和解釋圖像敘事的情感介入的子框架為情感（pathos）系統(tǒng)（見圖5）。該系統(tǒng)可以被劃分為觀察與異化兩種表征方式：觀察指讀者與圖中人物存在情感關(guān)系，圖像敘事也旨在喚起讀者更多的情感投入;異化指讀者不存在或不需要情感關(guān)系，讀者對圖像的態(tài)度是抽離的、客觀的。根據(jù)情感介入的程度，觀察表征方式又可細(xì)分為鑒賞、移情和個體三種類型。鑒賞類圖像最為簡單抽象，如基礎(chǔ)的符號、簡化的線條等;移情類圖像較之前者更具象復(fù)雜一些，讀者能夠識別出人物情感，但不能確定具體人物;個體類圖像則更加寫實、細(xì)節(jié)刻畫較多，人物有具體的表征，如人物的特寫圖像，可以清晰地反映其面部神態(tài)和情緒。在《小紅帽》中，作者通常在刻畫主要人物形象時主要選取更寫實、更具象化的個體類圖像，從而能夠給讀者以直觀的感受和視覺沖擊力，更快速地建立讀者與人物的情感關(guān)系。而在一些遠(yuǎn)景、次要人物和細(xì)小物品的刻畫中，作者會選取鑒賞類和移情類的圖像風(fēng)格，突出圖像的主要內(nèi)容，弱化次要內(nèi)容。

根據(jù)克瑞斯等關(guān)于顏色的符號學(xué)描述，氛圍（ambience）系統(tǒng)主要是關(guān)于背景的描述和使用顏色來創(chuàng)建情緒。該框架認(rèn)為顏色可作為一種人際意義資源在敘事中構(gòu)建氛圍和情感基調(diào)，并把彩色圖像按照色度、色調(diào)和自然度3個維度進(jìn)行劃分?！缎〖t帽》在不同故事情節(jié)中，選擇不同的色度、色調(diào)和自然度設(shè)定故事的情感基調(diào)，渲染人物的情緒，推動情節(jié)發(fā)展。在小紅帽出門探望外婆時，主要采用明亮鮮艷的高色度色彩和代表熱情的暖色調(diào)，營造明媚、充滿活力的氛圍和情緒;在大灰狼出場時，畫面采用相對較低的色度和代表冷漠的冷色調(diào)，奠定人物 “邪惡”形象的整體基調(diào)。構(gòu)建語篇的情感氛圍時，自然度也起著重要作用，自然度指顏色的豐富程度，顏色越豐富越容易讓人產(chǎn)生親切感，越單一則越容易導(dǎo)致疏遠(yuǎn)的感覺。色彩變化不僅對應(yīng)故事情節(jié)的內(nèi)容發(fā)展，也通過氛圍營造引發(fā)讀者共鳴。顏色在敘事中的運用并不限于數(shù)字媒介中;但數(shù)字媒介對于顏色運用有所發(fā)展，體現(xiàn)為提高呈現(xiàn)精度。由于計算機(jī)輔助色彩設(shè)計等技術(shù)的發(fā)展，計算機(jī)可以以數(shù)值方式構(gòu)建色彩屬性的選取和呈現(xiàn)模式，從而能更精確地提升讀者的視覺體驗。此外，相較于紙質(zhì)繪本，交互式繪本在同一場景、同一畫面中，還可以通過讀者互動改變圖像顏色。如小紅帽在探望外婆的路上，穿過森林的時候突然下起雨，此時整體圖像色度就會變低，以營造陰雨綿綿的環(huán)境氣氛，讓讀者更有身臨其境之感。

3.3 語篇意義的建構(gòu)

在語篇意義（Textual Meaning）層面，圖像及圖像中的成分所處的相對位置反映了多模態(tài)話語的信息分布（information distribution）。據(jù)此可以辨認(rèn)出已知信息、新信息、信息焦點等，而信息值、取景（framing）和顯著性（salience）是分析圖像構(gòu)成意義的三個維度。佩因特等補(bǔ)充和完善了傳統(tǒng)的視覺語法，把信息值改為版面布局（layout）關(guān)系，并提出融合與互補(bǔ)兩種圖文關(guān)系以及敘事語篇中圖像與文字的布局框架（見圖6）。

在融合型版面布局中，語言文字是圖像的一部分，二者融為一個整體。在文字和圖像之間，存在著擴(kuò)展和投射兩種語義關(guān)系。投射即圖像中人物的話語以文字形式出現(xiàn)，通常還會表現(xiàn)為氣泡、對話框的形式，如圖7中媽媽與小紅帽的對話。擴(kuò)展是指圖像與文字各具意義，二者相互補(bǔ)充、闡釋、增強(qiáng)，通常以字幕的形式出現(xiàn)在圖像畫幅的邊緣，如圖7下方的解釋性說明文字作為圖像的補(bǔ)充信息，交待了畫面之外的故事背景。在互補(bǔ)型版面布局中，文字和圖像各占一部分空間，彼此處于相對獨立的狀態(tài)，我們則可以通過對稱性、重要性、位置特征三個要素考察其關(guān)系。一般來說，對稱性表示圖像與文字平均分布于畫面中軸線兩側(cè);重要性指具體畫面中圖像或文字的主導(dǎo)性問題;位置特征則描述了圖像與文字在畫面中的布局與排版情況，其中包含了相鄰與分隔兩種情況。

在交互式繪本的取景與顯著性方面，其版面呈現(xiàn)不受媒介空間的限制，讀者因此可以任意放大或縮小圖像。這導(dǎo)致了圖像之間相對位置的模糊以及信息焦點的不確定性：一方面，讀者可以根據(jù)自己的理解定制圖像信息的中心，圖像的意義解釋空間得到豐富和擴(kuò)張;另一方面，由于信息傳遞的不確定性，意義的邊界過于向外延展，導(dǎo)致圖像的敘事性削弱。

4 結(jié) 語

數(shù)字媒介技術(shù)的發(fā)展帶來了人類活動物質(zhì)手段的豐富性與多樣性，其直接影響便是多種模態(tài)資源的復(fù)合與共存成為社會文化的典型特征。這不僅作用于話語交流的形態(tài)，同樣形塑著話語內(nèi)容，并在此基礎(chǔ)上催生了新的意義表達(dá)、傳遞、理解機(jī)制。多模態(tài)話語分析的意義便在于整合各種符號資源，使人們不僅可以看到語言符號系統(tǒng)還可以看到諸如圖像、聲音、動畫等其他符號系統(tǒng)如何作用于人類交際，從而使話語意義生產(chǎn)發(fā)揮出更大潛能。建立在系統(tǒng)功能語言學(xué)和社會符號學(xué)基礎(chǔ)上的多模態(tài)研究，不僅在語言學(xué)方面獲得了長足的進(jìn)步和發(fā)展，同時在更廣泛的傳播交流領(lǐng)域具有很強(qiáng)的解釋力，對分析人類社會復(fù)雜的交際行為提供了理論指導(dǎo)?；诖?，本文選擇了具有代表性意義的新型數(shù)字出版物—兒童交互式繪本作為集中分析和考察的對象，一方面以此為切入點，反映交互式數(shù)字出版物的典型敘事特征，探討圖像系統(tǒng)中的視覺多模態(tài)話語及意義構(gòu)建;另一方面，多模態(tài)話語研究本身也作用于現(xiàn)實社會的發(fā)展，對兒童交互繪本的深入解讀和闡釋也有利于其在兒童心理、認(rèn)知教育方面發(fā)揮影響。

注 釋

[1]李戰(zhàn)子，陸丹云.多模態(tài)符號學(xué)：理論基礎(chǔ)，研究途徑與發(fā)展前景[J].外語研究，2012（2）：1-8

[2]潘艷艷，李戰(zhàn)子.國內(nèi)多模態(tài)話語分析綜論（2003—2017）：以CSSCI來源期刊發(fā)表成果為考察對象[J].福建師范大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2017（5）：49-59+168-169

[3]徐麗芳，曾李.數(shù)字?jǐn)⑹屡c互動數(shù)字?jǐn)⑹耓J].出版科學(xué)，2016，24（3）：96-101

[4]胡永近.多模態(tài)話語分析理論及其在外語教學(xué)中的應(yīng)用[M].合肥：安徽大學(xué)出版社，2018：4

[5]M.A.K.Halliday. Language as social semiotic： The social interpretation of language and meaning[M].London： Edward Arnold， 1978

[6]唐納德·韓禮德.韓禮德語言學(xué)文集[M].長沙：湖南教育出版社，2006：44-58

[7]朱永生，嚴(yán)世清.系統(tǒng)功能語言學(xué)再思考[M].上海：復(fù)旦大學(xué)出版社，2011：121

[8][9][10]胡壯麟.系統(tǒng)功能語言學(xué)概論[M].北京：北京大學(xué)出版社，2008：74，115，161

[11]曹意強(qiáng).圖像與語言的轉(zhuǎn)向：后形式主義、圖像學(xué)與符號學(xué)[J].新美術(shù)，2005（3）：4-15

[12]KRESS G，LEEUWN T. Reading Images：The Grammar of Visual Design [M]. London： Routledge， 1996

[13]徐志武.電子繪本中的數(shù)字?jǐn)⑹卵芯縖J].出版科學(xué)，2018，26（6）：94-98

[14]楊忠. 以繪為本 抵心問道[D].北京：中央美術(shù)學(xué)院，2017

[15][18]馮德正.視覺語法的新發(fā)展：基于圖畫書的視覺敘事分析框架[J].外語教學(xué)，2015，36（3）：23-27

[16][17]Painter C.，Martin J.R.& Unsworth.L.Reading Visual Narratives：Image Analysis of Childrens Picture Books [M]. London： Equinox，2013：30，35

（收稿日期：2021- 02-23）