視覺語法視角下圖畫書的多模態(tài)研究

張麗娜

摘 要： Kress和van Leeuwen提出韓禮德的語言三大元功能同樣適用于視覺語法的研究，并將其延伸為再現(xiàn)意義、互動意義和構圖意義。本文在研究其理論基礎之上，以圖畫書The Man Whose Mother Was a Pirate為例分析圖畫如何傳達意義。視覺語法運用于圖畫書的分析上，不僅為兒童和成人閱讀圖畫書提供新角度，而且為圖畫書作家精準傳達意義開辟新途徑。

關鍵詞： 視覺語法 多模態(tài) 圖畫書 功能符號學

一、引言

進入二十世紀以后，隨著科學技術發(fā)展進入新的階段，多媒體的廣泛使用豐富和便利了人們的生活，也改變了人們的交流方式：從以語言、文字為主到如今的文字、圖片、聲音等并存。順從時代的發(fā)展，學者不再僅僅專注于傳統(tǒng)的單一語言話語分析，越來越多的目光轉向圖片、文本、動作、聲音等多模態(tài)分析。以圖片為主、文字為輔傳遞信息和情感的兒童讀物，是典型的多模態(tài)文本。然而國內的多模態(tài)研究領域對其關注度并不高，圖畫書是極其重要的兒童文學組成部分，對兒童的身心健康具有重要作用，研究圖畫書的意義構建和接受有利于更好地培養(yǎng)兒童的思想、道德和審美。從視覺語法角度分析The Man Whose Mother Was a Pirate的圖畫如何傳達意義，希望引起更多學者對圖畫書多模態(tài)研究的注意。

二、多模態(tài)的研究

李戰(zhàn)子認為多模式是復合的話語，也就是說除了最基礎的文本之外，往往還包含圖像、圖表等模式（李戰(zhàn)子，2003）。多模態(tài)的研究角度有多種，常見的有交互社會學角度、語體學角度等。而在本文中我們將從功能符號學出發(fā)，對多模態(tài)進行探討和研究。Micheal OTool發(fā)表于1994年的The Language of Displayed Art是多模態(tài)領域為數(shù)不多的一部開創(chuàng)性作品，完全致力于藝術作品的分析和解釋。這本書探討了繪畫、雕塑和建筑等藝術的視覺語法，提出三種意義：再現(xiàn)意義、情態(tài)意義和組合意義。1996年，Kress和van Leeuwen在《圖像識讀：視覺設計的語法》（Reading Images： The Grammar of Visual Design）一書中提出了視覺語法的理論研究和分析框架。而在中國知網(wǎng)上第一篇介紹多模態(tài)話語研究的是李戰(zhàn)子于2003年在《外語研究》上發(fā)表的《多模式話語的社會符號學分析》一文，這篇文章對Kress和van Leeuwen的視覺語法理論體系做了較系統(tǒng)的介紹。在此之后，胡壯麟、張德祿等學者在多模態(tài)研究上有突出貢獻。張德祿在論文《多模態(tài)話語分析綜合理論框架探索》中嘗試構建了多模態(tài)話語分析的理論框架，主要有四個層面：文化層面、語境層面、內容層面和表達層面。他認為對于多模態(tài)話語選擇來說，最關鍵的是讓多種模態(tài)之間相互配合，這樣才能達到最好的交際效果。另外他還提出，模態(tài)間的配合主要體現(xiàn)在內容層面下的形式層面，特別是其中的語法層面（張德祿，2009）。本文所重點研究的視覺語法系統(tǒng)則是其所指的語法層面之一。

三、視覺語法

Kress和van Leeuwen是視覺語法研究的集大成者。他們于1996年發(fā)表的《圖像識讀》構建了視覺語法研究的框架，并配有大量實例加以佐證其解釋力。Kress和van Leeuwen強調視覺語法中的“語法”不同于傳統(tǒng)意義的語法，他們所說的“語法”關注各種元素如何結合并生成有意義的整體。語言的語法描述詞語怎樣組成小句、句子和篇章，同樣的，視覺的語法描述各種元素——人、地點和事物——怎樣組合為視覺上意義，這種意義具有不同的復雜程度和延展度的狀態(tài)（Kress & van Leeuwen 2006）。同時，他們提出視覺結構不是對現(xiàn)實結構一種簡單的再創(chuàng)作，相反這些圖片與產(chǎn)生、傳播和識讀與其所處的社會機構緊密相關，即它們是具有意識形態(tài)的。視覺結構不僅是形式的，更重要的是具有意義維度。韓禮德提出語言的元功能包括概念功能、人際功能和語篇功能，Kress和van Leeuwen認為這三大功能可以用于視覺系統(tǒng)、觸覺系統(tǒng)等。而在視覺語法中主要延伸為再現(xiàn)意義（representational meaning）、互動意義（interactive meaning）和構圖意義（compositional meaning）三大意義。因此，Kress和van Leeuwen的視覺語法被認為是對韓禮德元功能思想的繼承和創(chuàng)造性延伸（張敬源，2012）。

1.再現(xiàn)意義

視覺語法中的再現(xiàn)意義對應語言中的概念功能。根據(jù)矢量的有無，再現(xiàn)意義可分為敘事再現(xiàn)（narrative representations）和概念再現(xiàn)（conceptual representations）。當參與者由矢量連接，表示為對方或者對對方做某事時，表達敘事過程。在敘事過程中包含至少一個矢量，而在概念過程中沒有矢量。矢量在視覺語法中的概念類似于語言系統(tǒng)中的動詞，通常同斜線等表示。根據(jù)矢量和參與者的數(shù)量及種類的差異，敘事過程可進一步分為動作過程、反應過程及言語和心理過程。在動作過程中參與者有動作者和目標之分：矢量的發(fā)出者為動作者，其構成矢量的整體或部分；動作行為的對象是目標，目標在動作過程中可有可無。動作者一般是圖像中最顯眼的參與者，可通過肉眼觀察它在構圖中的大小、位置、與背景的對比或者色彩的飽和度等。根據(jù)目標的有無，動作過程可分為及物性和不及物性過程。以圖一為例（Mahy & Chamberlain 1985），圖片中有至少四個參與者：瘦小的男人、手推車、海盜媽媽和彎刀，表達出多個動作過程。一個過程為瘦小的男人推手推車，瘦小的男人為動作的發(fā)出者，即動作者，手推車為動作的對象，是目標；一個過程為海盜媽媽坐在手推車上，海盜媽媽是“坐”這一動作的發(fā)出者，是動作者，手推車是目標；還有一個過程為海盜媽媽舉著彎刀，海盜媽媽是動作者，彎刀為目標。在這三個動作中目標現(xiàn)身屬于及物性動作過程。我們仔細觀察，看到海盜媽媽右手和左腳在空中揮舞著，這是一個動作過程，動作者為海盜媽媽，而動作目標缺失，因而是不及物的動作過程。整幅圖片顯得生動活潑，富有張力，正是由于這些動作過程意義的傳遞，使得兒童閱讀者仿佛看到動態(tài)的畫像，深深吸引他們的目光。

反應過程體現(xiàn)的是參與者目光的交流，其矢量由目光表示，與動作過程不同，這里的參與者分別為反應者和現(xiàn)象。反應者一般為人或類人的動物，用眼觀察事物。而現(xiàn)象則是反應者觀察到的人、事物等，也就是被觀察者（Kress & van Leeuwen 2006）。同樣的，反應過程分及物性和不及物性。仍以圖一為例，瘦小的男人看向了他的媽媽，瘦小的男人是反應者，他的媽媽則是現(xiàn)象，整個過程是及物的。而從海盜媽媽的角度看，她所看到的現(xiàn)象并未在圖中展示，給讀者留下想象的空間和余地，她的反應過程是不及物的。

言語和心理過程中在漫畫中較常見。其矢量的特殊性表現(xiàn)在思考者/說話者的思維/話語和思維氣泡/對話氣泡由傾斜的突出連接起來。這本圖畫書為圖文結合的一類，因而圖畫中沒有涉及直接的言語和心理過程，而是通過另一模態(tài)——文字語言體現(xiàn)。

與敘事再現(xiàn)相比，概念再現(xiàn)在時間空間概念上更穩(wěn)定，包含三類過程：分類過程、分析過程和象征過程。在分類過程中，連接參與者的是他們的分類關系。其中必然有一組參與者扮演從屬角色，而至少一個參與者扮演統(tǒng)領角色（ibid）而統(tǒng)領角色的“現(xiàn)身”與否，將分類關系劃分為顯形分析和隱形分析。在隱形分析中，從屬通過構圖上的勻稱實現(xiàn)其平等地位。在分析過程中，參與者被放置在整體——部分的結構當中。這個過程共涉及兩類參與者：一類為載體（整體），另一類為任意數(shù)量的所有屬性（部分）。分析過程在宏觀上可分為結構性分析過程和非結構性分析過程。象征過程與參與者是什么或意味著有關。由于概念再現(xiàn)在這類圖畫中運用較少，受篇幅所限，本文不做詳細介紹。

2.互動意義

在研究圖像的互動意義之前，我們首先需要區(qū)分兩種參與者：再現(xiàn)參與者（represented participates）和互動參與者（interactive participates）。再現(xiàn)參與者是圖像中所刻畫的人物、場所和事件；互動參與者則是指通過圖像交流的雙方——圖像的繪畫者和觀看者。參與者之間的互動關系可以分為三類：a. 再現(xiàn)參與者之間的關系；b. 再現(xiàn)參與者與互動參與者的關系（互動參與者對再現(xiàn)參與者的態(tài)度）；c. 互動參與者的關系（通過圖片互動參與者之間對對方或者為對方做了什么）。

接觸、社會距離和態(tài)度是形成互動意義的三個主要因素。當再現(xiàn)參與者的目光投向觀看者時，作為矢量的目光連接兩者形成接觸。需要說明的是，在這一過程里觀察者的主觀能動性對于互動意義的識讀至關重要。接觸具有兩種功能：一種為直接向觀看者傳遞信息；另一種構成一種圖像的行為。圖像行為包括索求（demand）和提供（offer）兩類。索求就是說圖像對觀看者做出某事。當再現(xiàn)參與者的目光與觀看者接觸時，索求建立一種虛擬的關系。如圖二（Mahy & Chamberlain 1985）中，瘦小的男人和海盜媽媽是圖片的再現(xiàn)參與者，兩者的目光看向讀者，表達一種索求的功能。其中海盜媽媽面帶微笑地看向讀者，具有親和力和感染力，她的索求是要同讀者建立一種友好的關系，拉近同讀者的距離。當再現(xiàn)參與者與觀看者無目光交流時，表達“提供”的功能，即提供信息內容和注視對象。如圖三（ibid）所示，再現(xiàn)參與者海盜媽媽與讀者完全沒有目光的接觸，圖片提供給讀者注視的對象，和海盜媽媽這一人物形象的信息——海盜媽媽正大步前行，擦亮她的老銀槍。

第二個維度社會距離表達親密關系，它與圖像取景的大小有關，可分為近景、中景和遠景等，社會距離隨著取景增大而疏遠。Kress和van Leeuwen對近遠景做了具體的劃分：近景顯示人物的頭和肩部，任何少于近景的為超近景；中近景顯示人物的腰部以上部位，中景到人物膝部之上，中遠景顯示整個人物；遠景為整個人及約一半的取景空間，而超遠景是比遠景還要更寬闊的空間（Kress & van Leeuwen 2006）。圖四（Mahy & Chamberlain 1985）中，我們可以看到瘦小的男人待在公司里，我們基本可以看到瘦小男人的整個身影，同時還有其他五個人的身影。從取景看是超遠景，表達出疏遠的社會距離，拉遠了瘦小男人與小讀者的距離，體現(xiàn)在工作中瘦小男人是冷漠的，側面表達了作者對瘦小男人帶海盜媽媽去看大海這件事的贊頌之情。

視角表達再現(xiàn)人物與觀察者的關系，展現(xiàn)出對圖像參與者、人物等的個人態(tài)度。從水平的維度看，正面直視讓觀看者仿佛置身于再現(xiàn)參與者之間，側面斜視讓觀看者脫離再現(xiàn)情景之外，站在旁觀者的位置上。從垂直的維度看，如果圖像描述的是仰視角度，就是說圖像參與者被俯視，那么參與者的地位低于觀察者，反之高于觀察者，如果圖像為平視角度，那么給人以兩者地位平等的感覺。在圖五中，圖像的再現(xiàn)參與者包括瘦小的男人、海盜媽媽和一只彩色的鳥。從水平角度看，這幅圖為正面直視的角度，拉近讀者與人物的距離，仿佛參與到他們歡快的舞蹈當中，讓兒童感受到他們此刻的愉悅和快樂。從垂直角度看，再現(xiàn)人物與觀察者處于同一水平線，兩者地位平等，進一步使得兒童同兒童產(chǎn)生親切感。

3.構圖意義

構圖意義指整體的布局，是通過整體構圖將再現(xiàn)因素和互動因素相聯(lián)系，從而形成整體的意義（Kress & van Leeuwen 2006）。其實現(xiàn)方式包括信息值、凸顯和框架，這三者是相互聯(lián)系、相互作用的。其中信息值可以通過元素的空間位置，如上下、左右等體現(xiàn)出來。凸顯是指各個元素吸引觀察者注意力的程度，一般通過觀察元素位于前景或背景地位、相對大小及色調的對比等實現(xiàn)?？蚣芡ㄟ^框架手段如分割線、框架線等的運用告訴觀察者圖像之間的關系，或為同一幅圖片，或各位一幅圖片。從水平坐標看，在習慣從左往右書寫的文化中左邊的信息為已知信息（given information），右邊的信息為新信息（new information）。從垂直坐標看，圖像的上面多帶有情感上的號召，告訴我們事物理想的狀態(tài)。而圖片的底部則多提供事實信息，告訴我們事物的現(xiàn)實狀態(tài)。中間位置一般為整個構圖的中心和焦點，而邊緣位置的圖像多為重復或近似的元素，使得圖像呈現(xiàn)對稱狀態(tài)。如圖五所示，圖像具有多種元素，如海邊的沙灘、沙灘中的螃蟹、石子、海盜媽媽、瘦小的男人和彩色的鳥。而海盜媽媽、瘦小的男人和彩色的鳥無疑是圖像的前景，因為其位于圖片較為中心的位置，色彩突出、濃郁。而沙灘、螃蟹、石子等則是背景，位于邊緣位置，顏色淺淡。整幅圖像雖然沒有明確的框架線，但通過與周圍的留白對比，標明圖像為同一整體，而非分裂的。

四、結語

本文對當前國內外多模態(tài)話語分析和Kress和van Leeuwen的視覺語法研究的主要觀點進行扼要整理、分析，通過對圖畫書The Man Whose Mother Was a Pirate進行多模態(tài)分析，發(fā)現(xiàn)他們的視覺語法理論雖有不完美之處，但就目前而言仍是解釋圖像意義的最有力工具。運用該理論一方面可以使得圖畫書的作者更好地呈現(xiàn)思想和審美，同時為讀者欣賞圖畫書提供更開闊的視角。由于篇幅限制，本文對其中的概念過程、情態(tài)等沒有做詳盡闡述。在之后的研究中，將就這兩部分做更詳盡的研究。

參考文獻：

[1]Kress， G & Leeuwen， T. v. Reading Images： The Grammar of Visual Design[M]. Routledge，2006.

[2]Mahy， M & Chamberlain， M. The Man Whose Mother Was a Pirate [M]. Orion Childrens Books，2013.

[3]OToole， M. The Language of Displayed Art [M]. Taylor & Francis Ltd，2010.

[4]張德祿. 模態(tài)話語分析綜合理論框架探索[J].中國外語，2009（1）：24-30.

[5]張敬源，賈培培. 關于視覺語法的幾點思考[J].當代外語研究，2012（3）：38-42.