兒童繪本的多模態(tài)語篇敘事與讀者認知、情感體驗關系探討——以《猜猜我有多愛你》為例

陳　俊

淮陰工學院外國語學院，江蘇淮安，223003

?

兒童繪本的多模態(tài)語篇敘事與讀者認知、情感體驗關系探討
——以《猜猜我有多愛你》為例

陳俊

淮陰工學院外國語學院，江蘇淮安，223003

摘要：以山姆·麥克布雷尼 (Sam McBratney)和安妮塔·婕朗(Anita Jeram)的彩色繪本圖畫書《猜猜我有多愛你》為例，運用多模態(tài)語篇理論框架，探討了該繪本故事綜合運用語言文字、圖畫、色彩、聲音等多種模態(tài)共同作用，共同敘述故事的語篇特征。然后從多模態(tài)認知詩學的雙重情境體驗和雙重主體幻覺兩個視角，分析了讀者在閱讀這類多模態(tài)敘事語篇時的認知感受和情感體驗，即讀者的化身進入該繪本故事中虛擬的小兔子和大兔子世界，并與兩只兔子身份分別重疊，在認知上、情感上體驗她們愛的故事。

關鍵詞：多模態(tài)語篇；《猜猜我有多愛你》；認知詩學；認知、情感體驗

隨著科學技術的發(fā)展，出版物的圖像化已經成為一個新的特征，出版物的語篇模態(tài)已從單一的語言文字形式轉變?yōu)橛蓤D畫、文字、色彩、聲音等相結合的多模態(tài)語篇。近年來，這種融合多種符號資源和模態(tài)、有別于傳統(tǒng)文本形式的多模態(tài)語篇引起了國內外許多學者的關注，如繪本圖畫書、插圖小說、卡通漫畫作品、政治漫畫、平面廣告、影視作品、宣傳片、網頁等。

本文以山姆·麥克布雷尼 (Sam McBratney)的彩色繪本圖畫書《猜猜我有多愛你》(Guess How Much I Love You)[1]為研究對象，以多模態(tài)語篇為理論框架，從多模態(tài)認知詩學的雙重情境體驗和雙重主體幻覺視角，探究該繪本故事的多模態(tài)語篇敘事特點和讀者的認知、情感體驗。

1　理論背景

1.1關于多模態(tài)語篇研究

模態(tài)是信息交流的渠道和媒介，包括語言、技術、圖像、顏色、音樂等符號系統(tǒng)[2]。Forceville將模態(tài)定義為“一種利用具體感知過程而具有闡釋性的符號系統(tǒng)”[3]。顧曰國[4]指出，模態(tài)是人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機器、物件、動物等) 之間的互動方式。用單個感官進行互動的叫單模態(tài)，用兩個的叫雙模態(tài)，三個或以上的叫多模態(tài)。多模態(tài)主要涉及到人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機器、物件、動物等)之間的互動方式。綜合利用聽覺、視覺和觸覺等三個或以上感官，通過語言、聲音、顏色、圖像等多種符號模態(tài)創(chuàng)造和傳達意義的方式則叫多符號或多模態(tài)。

多模態(tài)語篇就是融合了語言、圖像、動畫、聲音等多種模態(tài)來表達信息的語篇[5]。張德祿也對多模態(tài)語篇進行了定義，他認為，運用感官感覺如視覺、聽覺、觸覺等去進行交流交際的過程中，則離不開語言文字、圖像圖形、顏色、聲音等這些多種模態(tài)形式和符號[6]。就交流交際的本質而言，其過程中所使用的話語是多模態(tài)的，而不是一種模態(tài)的，只有這樣通過多種途徑、渠道和模態(tài)形式，才能實現將所要建構的含義和所要傳達的意思表達地更加清晰。潘艷艷也認為，對多模態(tài)語篇進行分析就是為了研究單個模態(tài)對話語意義的產生所起的作用，同時關注各個模態(tài)之間是如何實現互動的，從而使多模態(tài)語篇獲得意義[7]。Kress和van Leeuwen將社會符號理論和功能語法理論中的一些知識運用到視覺圖像這種社會符號分析中，提出了多模態(tài)視覺圖像分析理論，它包括三個方面，即圖像的再現意義、圖像的互動意義以及圖像的構圖意義[5]。這為多模態(tài)語篇分析提供了分析方法和理論基礎，但是這一多模態(tài)視覺語篇分析方法卻忽視了讀者或觀看者的認知過程和心理感受。

目前，關于多模態(tài)語篇的研究主要集中在多模態(tài)隱喻、轉喻以及多模態(tài)視覺語法方面，其主要關注多模態(tài)的呈現形式、語篇中多種模態(tài)的隱喻轉喻構建、多種不同模態(tài)的相互協(xié)同作用、視覺圖像的再現、構圖和互動意義等方面，但是對于多模態(tài)語篇的讀者認知感受和情感體驗等的研究鮮有涉及。

1.2多模態(tài)語篇與認知詩學

認知詩學是21世紀初在認知語言學和認知心理學的基礎上發(fā)展起來的一門交叉、新興學科。以色列的Reuven Tsur首先論述了認知詩學，他認為：“認知詩學是一種文學批評理論，是運用了認知科學的一些分析工具，來探究人類的信息處理過程如何影響和制約詩歌的語言與形式，為文學文本結構與所感知效果之間的關系做出系統(tǒng)的解釋。”[8-9]認知詩學的主要理論包括概念隱喻、圖形—背景理論、腳本和圖式、文本世界理論、可能世界理論以及心智空間等。

Gibbons在自己多篇論文的基礎上出版了《多模態(tài)，認知和實驗文學》多模態(tài)認知詩學方面的專著，構建了多模態(tài)認知詩學的研究框架[10]。Stockwell認為，認知詩學是關于文學的閱讀。認知詩學關注文學語篇，關注讀者的閱讀過程中認知情感體驗[11]。多模態(tài)語篇是在同一語篇中融合了多種符號資源的一種新型文學文本形式，多種模態(tài)形式在這類文學文本中相互作用、共同完成敘事。讀者或觀看者在閱讀或觀看多模態(tài)語篇的時候，會因為語篇中不同模態(tài)的協(xié)同互動作用而產生認知體驗、情感認同或涉身的動作等心理、情感甚至行為動作的反應。Gibbons對此進行了研究和概括，提出了雙重情境體驗、雙重主體幻覺等多模態(tài)認知詩學分析方法。

本文試圖結合多模態(tài)語篇分析理論知識，從分析多模態(tài)語篇的表征形式和讀者的認知入手，嘗試運用多模態(tài)認知詩學的雙重情境體驗和雙重主體幻覺的分析方法來考察多模態(tài)語篇的敘事特點與讀者認知、情感體驗之間的關系。

2　兒童繪本《猜猜我有多愛你》簡介及其主題意義

本研究的對象為彩色繪本圖畫書《猜猜我有多愛你》(Guess How Much I Love You)。該繪本圖畫書的作者為Sam McBratney，繪圖者是Anita Jeram，于1994年首次在英國出版。國內第一版由明天出版社于2008年出版。

在兒童繪本《猜猜我有多愛你》中,作者和繪圖者通過語言文字、圖像、顏色甚至聲音和肢體動作等多種模態(tài)符號的互動互補作用，來表達該繪本圖畫書的愛的主題。這一愛的主題意義僅從該繪本的封面(圖1)即可略知一二，其封面至少由文字、圖像、顏色等幾種模態(tài)組合而成。該繪本書名《Guess How Much I Love You》(《猜猜我有多愛你》)為典型的語言文字模態(tài)，位于該繪本封面的頂部，從其中英文“I”和“You”就可以判斷該圖像的再現參與者有兩個，即“我”和“你”。而在此過程中，讀者或觀看者通過動詞“Guess”和“Love”(“猜”和“愛”)，就可以推斷兩個再現參與者應該是人。但當讀者或觀看者將其目光從頂部向下方移動時就會發(fā)現，原來他們以為再現參與者是人的想法有偏差，原來兩個參與者是兩只兔子。此時，兩只兔子的圖像模態(tài)作為輔助信息補充說明文字模態(tài)，同時插圖者將兩只兔子的顏色繪成栗色，兔子周圍的小草和草坪繪成綠色，這樣，文字、圖片、色彩協(xié)同構建該封面的構圖意義。Lewis[12]認為，圖與文的關系是相互激勵的、靈活的和復雜的。同時，栗色(深棕色)的兔子更惹人喜愛，草坪的綠色象征著友善、和平、溫馨、成長和愛。如此的繪本封面設計容易讓繪本的閱讀對象——家長們、孩子們從內心接受，更愿意閱讀，并與兩只栗色兔子一起體驗、分享他們的故事。接著，當讀者或觀看者翻開這一繪本書時，他們便會發(fā)現從故事的開始到結束都是圍繞著“一只小兔子跟一只大兔子不停地在比誰愛誰更多、更遠、更深這樣問題而展開”的。雖然整個故事中小兔子沒有大兔子跳得高，沒有大兔子手臂長，也沒有大兔子的想法多，小兔子雖然不能用語言來表達對大兔子的愛，但是，他還是非常認真地對大兔子說：我愛你！

圖1　《猜猜我有多愛你》英文版封面

那么，當繪本作者、插圖者通過文字、圖像以及顏色等多種模態(tài)的形式向讀者或觀看者講述這樣一個關于愛的故事時，讀者或觀看者的內心會出現怎樣的認知感受和情感反應？這是本文要解決的主要問題。

3　兒童繪本的多模態(tài)表征與讀者認知情感反應

兒童繪本主要指兒童故事圖畫書，21世紀初被介紹到中國，促進了國內兒童繪本的創(chuàng)作和出版。兒童繪本以圖像、文字以及顏色協(xié)同作用，共同講述故事。因此，它具有典型的多模態(tài)特征。因而，本研究在對兒童繪本中的語言、圖像、色彩等多個模態(tài)互動表征方式進行分析的同時，嘗試運用多模態(tài)認知詩學的雙重情境體驗和雙重主體幻覺的分析方法以考察讀者在閱讀、理解多模態(tài)語篇敘事時其認知、情感上的涉身體驗。

雙重情境體驗。雙重情境體驗指“多模態(tài)小說極易誘發(fā)讀者的雙重情境定位感，即讀者會自覺地意識到心理和物理兩個層面上的自我同時參與敘事體驗”[13]。關于超文本語篇中的雙重情境體驗，Ensslin有所論述，他指出，讀者或觀看者通過閱讀或觀看這種超文本語篇，而成為該語篇的接觸者、使用者，作為接觸者、使用者，在閱讀和觀看這類語篇的過程中將會采取一些物理行為[14]。這些物理行為如手拿著書、眼睛盯著文字和圖片、口中朗誦著其中的內容，這一系列物理行為參與語篇敘事。同時，這類語篇還通過手勢、視覺、聽覺等多種感官符號的表征形式，將故事中的人、事、物等化身進入虛擬世界、讀者或觀看者的心理世界，從而讓他們經由這種涉身的方式體驗作者和圖畫者所創(chuàng)作的故事世界。這種雙重情景感知包括各類身體操作、寬泛的心理投入、指示中心轉移和各類自我投射認同方式。

在兒童繪本《猜猜我有多愛你》中，作者和繪圖者通過語言文字、圖像、顏色甚至聲音和肢體動作等多種模態(tài)符號的互動協(xié)同作用，來表達該繪本圖畫書的愛的故事。如前所述，從作者和繪圖者獨具匠心的封面設計可見一斑。當讀者接觸這一繪本時，他們的目光可能首先被處在該封面中間的圖片所吸引，即一只栗色小兔子拉著一只栗色大兔子的長耳朵，然后其目光將會跳躍到上下方大寫的文字“GUESS HOW MUCH I LOVE YOU”，這時可能將這些文字朗讀出來。此時，“眼睛”的閱讀路徑不再是常規(guī)的、線性的，緊接著其目光可能跳躍至左下方和右下方的兩個稍小一點的栗色兔子圖片。所以，讀者的閱讀路徑是跳躍型的：即從拿起該繪本書——封面中間的栗色——栗色兔子圖片——位于該圖片上下方的大寫字體——左下方和右下方的栗色兔子小圖片。在這一過程中，讀者涉身地運用了觸覺、視覺、聽覺、身勢等多模態(tài)感官方式進行了體驗的閱讀，并會結合封面中的圖片和文字思考“猜猜我有多愛你”這個問題，然后迫切地打開該繪本的扉頁開始找尋答案，進而開啟閱讀體驗之旅。當讀者打開該繪本的第一頁便會發(fā)現，一只栗色小兔子趴在一只栗色大兔子的頭上，并拉著大兔子的大耳朵不放，小兔子要確定大兔子在聽他說話，“猜猜我有多愛你？”(圖2)

圖2　小兔子確定大兔子在聽她說話

家長們或小讀者(兒童)讀到或看到這一情景時，便可能學著故事中的小兔子拉著他們父母的耳朵問同樣的問題。這樣，讀者(包括小讀者和他們家長們)便不由自主地通過肢體(用手拉著家長們的耳朵)、語言(讓他們父母聽他們說話或家長們讀繪本故事)、心里伴隨著繪本故事中小兔子和大兔子相互問著“猜猜我有多愛你”的情景，尋找問題的答案。小兔子第一次回答說：“這么多。” 他張開兩只手臂，伸得盡可能遠(圖3)。而大兔子手臂更長，所以張開地更大，并說道：“我愛你有這么多”(圖4)。接著，小兔子覺得他的胳膊沒有大兔子舉得高，他倒立著腳趾不如大兔子夠得遠，甚至跳起來也不如大兔子高，最后小兔子想累了，看著月亮告訴大兔子“我愛你，一直遠到月亮那里”，而大兔子沒有急著回答，而是把栗色的小兔子輕輕地放到了樹葉鋪成的床上，低下頭來，親吻他，祝他晚安。然后，大兔子躺在小兔子的身邊，微笑著輕聲地說：“我愛你，一直到月亮那里，再從月亮上——回到這里來”(圖5)。該繪本作者和繪畫作家通過小兔子和大兔子的相互對話即語言文字模態(tài)、聽覺模態(tài)，栗色的小兔子和大兔子、栗色的樹干、綠色樹葉和小草等色彩模態(tài)，小兔子和大兔子比誰更愛誰時所使用的“手”勢、體勢模態(tài)，讀者在閱讀該繪本時朗讀故事以及兒童聽故事、看故事時的視覺和聽覺模態(tài)來協(xié)同敘述這一愛的故事。愛的故事“引導讀者的身體行為反應，彰顯讀者與敘事之間的內在關聯”。如通過展開雙臂、倒立、跳躍等身體行為反應來體驗繪本中虛擬的故事世界，即讀者包括小讀者(兒童)的身體化身進入虛擬的小兔子和大兔子世界，同時在認知上、情感上體驗著她們的愛的故事。

圖3　愛你“這么多”

圖4　“我愛你有這么多”

圖5　愛你到月亮再回來這么多

雙重主體幻覺。趙秀鳳[13]認為，雙重主體幻覺是“讀者在閱讀多模態(tài)文學時產生的一種雙重身份幻覺: 一個是位于話語世界的肉身自我，另外一個是文本世界內的符號表征物——人物。”這種雙重身份虛幻感來源于讀者所閱讀或觀看的多模態(tài)語篇里的故事人物與故事外現實生活中讀者之間的身份重疊。Gibbons[10]認為，讀者在閱讀、觀看多模態(tài)語篇時更容易產生這種雙重主體重疊感覺。讀者或觀看者包括小讀者(兒童)在讀、看、聽多模態(tài)語篇敘事繪本《猜猜我有多愛你》(GUESS HOW MUCH I LOVE YOU)時，了解到這是關于一只小兔子和他的母親(或父親)在睡前攀比自己有多愛對方的故事。讀者們無不被小兔子天真無邪的愛、大兔子無私無盡的愛所感動，他們感動大兔子總比小兔子的愛來得多、來得高、來得深、來得遠。這時，故事外現實中的大讀者們，如果是爸爸、媽媽、爺爺、奶奶、外公、外婆等家長們，他們會感同身受地覺得他們仿佛就是該故事中的大兔子，他們的孩子便是那只小兔子，他們(家長或大兔子)給予孩子(小兔子)無私、無盡的關心和愛護；小讀者們(孩子)在看、讀和聽這一故事時，感覺自己好像故事中的小兔子，天真、可愛，心中充滿愛。尤其是當小讀者們看到小兔子嘗試著通過張開雙臂、倒立、跳躍等方式來表示他對大兔子的愛時，小讀者們便會把自己幻想成故事中的小兔子，然后也會問他們的家長們同樣的問題——“猜猜我有多愛你？”此時故事外的大小讀者與故事里的人物(大兔子和小兔子)身份重疊，他們能夠真切地感受到對方對自己那種無法用簡單語言來表達的、更是無法用任何標尺衡量的愛。在小兔子和大兔子簡短而純真的對話中，在小兔子和大兔子深愛著對方的故事中，無不展露出無邊的親情，溫馨感人。這也激起了故事外讀者與故事內人物在心理上、情感上的越界共鳴。

4　結束語

本文以具有多模態(tài)語篇特征的兒童繪本故事《猜猜我有多愛你》為研究對象，在多模態(tài)語篇的理論框架下，運用多模態(tài)認知詩學分析方法，包括雙重情境體驗和雙重主體幻覺兩個視角，考察了該繪本的語言、圖像、色彩等多個模態(tài)互動表征敘事的特點，探討了讀者綜合運用觸覺、視覺、聽覺、身勢等多模態(tài)感官進行的認知閱讀感受以及讀者在情感上對該繪本中愛的故事的體驗。

參考文獻：

[1]Sam McBratney,Anita Jeram.Guess How Much I Love You[M].London:Walker Books,1994:1-28

[2]朱永生.多模態(tài)話語分析的理論基礎與研究方法[J].外語學刊,2007(5):82-86

[3]Forceville C.Non-verbal and Multimodal Metaphor in a Cognitivist Framework:Agendas for research[C]//Forceville & E.Urios-Aparisi(eds.).MultimodalMetaphor-Applications of Cognitive Linguistics.New York:Mouton de Gruyler,2009:22

作者簡介：陳俊(1977-)，江蘇漣水人，碩士，講師，主要研究方向：認知語言學、多模態(tài)及外語教學。

基金項目：江蘇省大學生創(chuàng)新訓練計劃項目“工科院校學生語言能力對英語口語的影響調查”(201511049046X)；淮陰工學院科研基金項目“大眾傳媒中多模態(tài)隱喻構建的城市形象研究”(HGC1418)。

收稿日期：2015-06-25

中圖分類號：H0

文獻標識碼：A

文章編號：1673-2006(2015)10-0076-05

doi:10.3969/j.issn.1673-2006.2015.10.020