視覺語法與功能語法的投射分析比較研究

曾蕾++楊慕文

〔摘要〕 鑒于投射在視覺語法中的邏輯功能語法與語義研究未有系統(tǒng)和專門的論述，為了更好地認識圖文多模態(tài)語篇中投射的實現(xiàn)方式與運作規(guī)律，文章主要基于系統(tǒng)功能語法和多模態(tài)話語分析的相關(guān)理論和分析方法，比較功能語法對語言文字單模態(tài)語篇和視覺語法對圖文多模態(tài)語篇中投射意義發(fā)生的相似性與區(qū)別性特征；文章認為圖文語篇中的投射現(xiàn)象具有自己的語法與意義生成系統(tǒng)。

〔關(guān)鍵詞〕 投射；視覺語法；功能語法；比較

引 言

在系統(tǒng)功能語法（以下簡稱功能語法）中，“投射語言的主要實現(xiàn)方式是言語與心理過程，體現(xiàn)為述說（locution）和觀點（idea），即被言語過程投射的為述說；被心理過程投射的為觀點”[1]（57）。這種分析方法區(qū)分了言語和思維的不同表達方式。依據(jù)于功能語法，Kress & van Leeuwen[2][3] 構(gòu)建的視覺（圖像）符號的語法（以下簡稱為視覺語法）對圖像語篇中的投射述說、觀點進行了分析和分類，認為圖像中的言語及心理過程的實現(xiàn)方式一般由含言語內(nèi)容或思想內(nèi)容的言語泡或思維泡作為矢量（vector），連接言語者或感知者。圖像中的人物參與者（言語者或感知者）通過言語泡和思維泡投射自己或他人的思想。目前，雖然對功能語法中的投射句法分析研究較多[4][5][6][7][8][9]，但對視覺語法中的投射分析方法探討并未引起關(guān)注，且視覺語法似乎對投射實現(xiàn)方式的描述比較簡單，對投射現(xiàn)象的圖像符號和圖文語法功能特征并未給予充分的論述和系統(tǒng)的研究。因此，本研究基于功能語法與視覺語法的相關(guān)理論，比較語言文字單模態(tài)語篇和圖文視覺多模態(tài)語篇中投射的系統(tǒng)功能語法機制。

一、 理論依據(jù)：視覺語法與功能語法

van Leeuwen & Jewitt[10] 所著的《視覺分析手冊》和Kress & van Leeuwen[2][3] 的《閱讀圖像》等著作構(gòu)建了視覺的語法[11]。在視覺語法及物性系統(tǒng)中，過程主要由矢量實現(xiàn)，“矢量是兩個或多個圖像參與者之間構(gòu)成的斜線關(guān)系，是視覺及物性關(guān)系的體現(xiàn)，即在視覺及物性結(jié)構(gòu)中，矢量是各種圖像參與者之間行為潛勢的體現(xiàn)”[12]（142）。Kress & van Leeuwen[2]（77）[3]（78） 對視覺語法和功能語法下的及物性過程進行了對比（見下表1）。

在表1的視覺圖像模態(tài)和語言模態(tài)對比分析框架中，圖像模態(tài)和語言模態(tài)均可將經(jīng)驗世界識解成一組可以操作的過程類別。功能語法中的及物性系統(tǒng)把經(jīng)驗世界識解為行為過程、言語過程、存在過程、物質(zhì)過程、心理過程和關(guān)系過程。Kress & van Leeuwen[3]（74-5） 認為視覺語法及物性系統(tǒng)也將人類的經(jīng)驗世界識解為一組過程類別。界定圖像及物系統(tǒng)中過程的主要元素為矢量，可分為兩大類：首先，以對話泡（言語泡或思維泡）為矢量的過程類別，即言語過和心理過程；另一類是以圖像參與者態(tài)勢為矢量的過程類別。根據(jù)圖像參與者數(shù)量和地位又可區(qū)分“不及物性”、“單向及物性”、“雙向及物性”。根據(jù)圖像參與者的態(tài)勢可區(qū)分（不/單向/雙向）及物動作過程和（不）及物反應(yīng)過程 ；（不）及物反應(yīng)過程的矢量是視線（eyeline vector）。可見語言符號語法和視覺符號語法系統(tǒng)中的過程顯示出一定的相似性與差異，但他們之間的異同目前在學(xué)界未引起足夠的關(guān)注，下節(jié)我們將較具體、系統(tǒng)地闡釋語言符號與圖像符號投射實現(xiàn)方式的相似性與差異。

二、 語言投射與圖像投射語法的比較

本節(jié)基于功能語法與視覺語法理論，探討與比較語言文字模態(tài)語篇和圖像視覺多模態(tài)語篇中的投射現(xiàn)象實現(xiàn)方式及其功能意義。（一） 語言投射和圖像投射的邏輯語義功能的一致性

進入21世紀，功能語法的相關(guān)論著中開始提及視覺語法對投射的描述，認為圖像中的投射語法與語義由視覺圖像符號和語言符號共同構(gòu)建。被言語泡投射的為述說，被思維泡投射的為觀點（見圖1）；“圖像表征一種普遍的經(jīng)驗現(xiàn)象，而言語泡和思維泡表征的是一個第二級的現(xiàn)象，即它本身就是一種表征方式”[12]（35）[14]（454） 。

從圖1可以看出語言投射和圖像投射的邏輯語義功能基本一致，主要體現(xiàn)為“投射與被投射”二分模式的功能結(jié)構(gòu)。在語言投射結(jié)構(gòu)中，投射小句Brutus said表征一種普通的經(jīng)驗現(xiàn)象，而被投射小句Caesar was ambitious表征的是一個第二級的現(xiàn)象，即它本身就是一種表征方式，功能語法中稱之為元現(xiàn)象。在圖像投射結(jié)構(gòu)中，言語者/思維者以及言語過程/思維過程可以由（非語言的）圖像形式實現(xiàn)，呈現(xiàn)出更為直觀、通識度更高的圖像形式，以表征經(jīng)驗現(xiàn)象，而被投射小句依然表征元現(xiàn)象。因此，語言投射和圖像投射都是對語言的表述的表述。

（二） 語言投射和圖像投射的結(jié)構(gòu)及成分對比

書面語言和圖像雖然同屬視覺模態(tài)，都是作用于“眼”感官的符號系統(tǒng)，可視為視覺模態(tài)的兩個“子模態(tài)”[15]（6）。但語言主要是根據(jù)事件在時間軸上的發(fā)展按線性展開的社會符號，而圖像是設(shè)置在空間軸上，傾向于感覺整體模式、而不是局部的社會符號，所以語言投射和圖像投射之間的差異性也很凸顯，主要體現(xiàn)在二分成分（即投射和被投射成分）的子系統(tǒng)內(nèi)，特別是反映于信息分布結(jié)構(gòu)及其結(jié)構(gòu)中的參與者、過程、環(huán)境等功能成分，見圖2。

投射成分和被投射成分在語言語篇和多模態(tài)語篇中有著不同的體現(xiàn)方式。功能語法認為語言把經(jīng)驗變成結(jié)構(gòu)性的語義配置，包括過程、參與者以及（可有可無的）環(huán)境成分。在語言投射中，投射動詞是標記各類投射類型的主要手段。Halliday & Matthiessen[14]（448）區(qū)分了通用的投射動詞及與某種環(huán)境成分合為一體的、含有各種內(nèi)涵的投射動詞。在一些情況下，環(huán)境表達成過程形式。而在多模態(tài)語篇中，對話泡（言語泡或思維泡）以及圖像參與者進行言語/思維活動的體態(tài)姿勢（簡稱為“圖形參與者態(tài)勢”，如“齜牙咧嘴”狀等）可以獨立也可以共同表征言語/思維過程。而可有可無的背景化圖像參與者（包括“”“”“”“”等漫畫符號）可以輔助言語者/思維者在言語/思維過程中的情緒表達（如“高興”、“愛慕”、“生氣”等），既可視為環(huán)境成分，也可看作是投射矢量的一部分。例如，可以出現(xiàn)對圖3的三種解讀：

“臭小子，我在這里！”他生氣地說（he said angrily）。

“臭小子，我在這里！”他憤怒地說（he said wrathfully）。

“臭小子，我在這里！”他（怒）吼道（he spit out）。

可見，在語言投射和圖像投射中，過程與環(huán)境成分的界限都不是很清楚，也不是絕對的。因此，在圖2中，環(huán)境成分以及它與過程本身的關(guān)系用虛線邊框表示。

（三） 語言投射和圖像投射系統(tǒng)中“選擇”對比

圖像視覺語法主要研究空間分布的符號系統(tǒng)。投射語言符號系統(tǒng)中的一些語法限制并不完全作用于圖像符號系統(tǒng)。功能語法的“社會符號性”[16]雖然決定了功能語法不只是語言符號系統(tǒng)的語法、也是適用于描述和解釋所有社會符號系統(tǒng)的語法，但視覺語法主要研究空間分布的符號系統(tǒng)，因此，以線性分布的語言符號為研究對象的功能語法對投射實現(xiàn)方式提出的一些語法限制并不完全適用于視覺語法。例如，功能語法中的“選擇”概念及系統(tǒng)分析方法在以下幾個方面呈現(xiàn)出一定的差異性。

“選擇”的多樣與簡單之對比。功能語法認為，語言由許多子系統(tǒng)組成，每個子系統(tǒng)都是一組可供選擇的項目。投射不僅存在于小句復(fù)合體中，還存在于動詞詞組及嵌入結(jié)構(gòu)中。Halliday & Matthiessen[14]（441-482） 進而結(jié)合基本言語功能（提供、命令、陳述和提問）和配列關(guān)系（并列與主從）兩種變元來考慮投射這種邏輯語義關(guān)系，并從七大方面對投射進行了詳細闡述：（1）并列：引語述說（quoting speech）；（2）主從：報道觀點（reporting thought）；（3）主從：報道述說（reporting speech）和并列：引語觀點（quoting idea）；（4）投射提供和命令（projecting offers and commands）；（5）自由間接引語（free indirect speech）；（6）嵌入述說和觀點（embedded locutions and ideas）；（7）事實（facts）。而多模態(tài)語篇中的圖像投射通常由言語和心理過程實現(xiàn)，主要為并列述說和并列觀點兩類（見上圖4）。因此，較語言投射系統(tǒng)而言，圖像投射系統(tǒng)的子系統(tǒng)以及各子系統(tǒng)中可供選擇的項目均大大減少了。也就是說，語言投射系統(tǒng)表現(xiàn)出更大的多樣性。

“選擇”的排他與非排他特征之對比。系統(tǒng)內(nèi)的選擇具有相互排斥性，即同一個子系統(tǒng)內(nèi)的任何一個選項，對其他所有選項都具有排他性。投射系統(tǒng)中的心理動詞和言語動詞是該系統(tǒng)中的兩個相互排斥的子系統(tǒng)，即“言語過程-述說”與“心理過程-觀點”是相互排斥的，一旦進入投射動詞系統(tǒng)，選擇了言語過程動詞（如said），就錨定了投射信息的“述說”身份，相應(yīng)也就排斥了“心理過程”和“觀點”的選擇。言語過程動詞和心理過程動詞之間只是一種析取關(guān)系（即 “或者……或者……”）。而圖像在表達意義時往往表現(xiàn)出較高的模糊性，因此，圖像投射中以圖像表征來區(qū)分言語/思維過程必然也表現(xiàn)出較高的模糊性。圖像言語投射和思維投射往往可以互通互換。其次，小句中的“現(xiàn)象”和“講話內(nèi)容”是由名詞詞組體現(xiàn)[17]（167）；在小句復(fù)合體中，由于“現(xiàn)象”和“講話內(nèi)容”由小句體現(xiàn)，就不能再被分析為“現(xiàn)象”和“講話內(nèi)容”，只是“元現(xiàn)象”，或是投射句與被投射句之間的關(guān)系表現(xiàn)。而在多模態(tài)語篇中，被投射信息成分既可以是不同級階層面（rank scale）的語言表述，包括詞、詞組/短語、分句、微型言語功能小句（如感嘆、驚訝等）、小句、小句復(fù)合體、語段等，也可以是圖像表征。語言投射類型彼此間主要是析取的關(guān)系。然而，圖像投射系統(tǒng)中各項目在一定條件下具有非排他性特點，即合取關(guān)系：言語過程和心理過程 、述說和觀點、講話內(nèi)容和述說，現(xiàn)象和觀點都分別可以呈現(xiàn)出合取的關(guān)系。例如，同一幅圖可以“一圖多解”，在不同人的眼中可以同時是心理過程、言語過程和反應(yīng)過程?？梢?，雖然語言的語義潛勢最具系統(tǒng)性，但圖像投射系統(tǒng)選擇的模糊和不確定理解在一定程度上可以彌補該系統(tǒng)可供選擇項少于語言投射系統(tǒng)的不足。因此，這兩類投射系統(tǒng)呈現(xiàn)的意義潛勢是可以相互比較的。

“選擇”的強制與非強制之對比。語言系統(tǒng)的入列條件是，歸入同一系統(tǒng)的所有選項同屬某一個語義場。一旦入列系統(tǒng)，選擇就具有強制性。因此，一旦入列并列觀點或述說投射的子系統(tǒng)，首先就必須對參與者作出選擇，即言說者或感知者為必選，其次，選擇觀點或述說，可以是標點符號，或者字、詞、小句、小句復(fù)合體、段落等。在視覺語法系統(tǒng)中，一方面，作為言說者或感知者的前景化圖像參與者可以不出現(xiàn)，如漫畫畫格中可以只出現(xiàn)言語泡或思維泡，不出現(xiàn)言語者或感知者。這種[-參與者]的類型在很多場合都凸顯了被投射信息的客觀性，在某種程度上類似于語言投射中的事實投射，已經(jīng)被廣泛運用到多模態(tài)語篇中，如自動售票機或自動取款機等服務(wù)器語篇中；另一方面，對話泡內(nèi)可以空白，無言語內(nèi)容或感知現(xiàn)象，這種空白的對話泡可以表示言語者“無言以對”的驚訝或生氣等情緒，達到“此時無聲勝有聲”的修辭效果。也就是說，在視覺圖像語法中，即使出現(xiàn)了言說者/感知者和投射信號，觀點和述說的選擇也是非強制性的，信息的缺失能被感知，這種現(xiàn)象被稱之為“零符號”（zero sign）[18]（118），此時，概念意義的缺失經(jīng)常攜帶著重要的人際意義。這種類型往往凸顯了情感和態(tài)度特征，因此在圖像漫畫等敘事語篇中應(yīng)用較廣。

三、 結(jié) 論

本文主要基于功能語法和視覺語法的分析方法，對語言符號投射和圖像投射進行了對比分析。除了論述這兩者間的相似性，更為重要的是比較系統(tǒng)地論證了圖文語篇中投射的區(qū)別性特征。本研究認為，語言投射結(jié)構(gòu)是一個“核心-外圍：過程本身-環(huán)境成分和參與者”的功能結(jié)構(gòu)，過程決定參與者，即投射動詞作為過程本身的核心作用；而圖像投射結(jié)構(gòu)中，以矢量為核心，然而矢量與參與者及環(huán)境成分之間界限相當模糊，并且游移不定。語言系統(tǒng)中的投射小句和被投射小句分別作為經(jīng)驗世界的語言表征、再次表征，分別對應(yīng)圖像投射結(jié)構(gòu)中的投射信號（言說者和感知者、矢量）和投射信息；投射信號以圖像形式更直觀地表征經(jīng)驗現(xiàn)象，投射信息可以在語言和圖像這兩個極端及其中間項進行選擇。因此，圖像投射既具有積極的不確定性，又比抽象的語言投射更具有一定的認知優(yōu)勢。

〔參考文獻〕

[1] Halliday， M. A. K. & Matthiessen， C. M. I. M. Construing Experience through Meaning： A Languagebased Approach to Cognition [M]. London： Cassell， 1999.

[2] Kress， G. & van Leeuwen， T. Reading Images： The Grammar of Visual Design [M]. Burwood： Brown Prior Anderson， 1996.

[3] Kress， G. & van Leeuwen， T. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 2006.

[4] Huang， G. W. Analyzing the reporting clause in translating Confuciuss Lun Yu （the Analects） [A]. In Fang， Y. and Webster， J. J. （eds.）. Developing Systemic Functional Linguistics： Theory and Application [C]. London： Equinox， 2014： 256-270.

[5] 曾蕾.從邏輯功能到經(jīng)驗功能——擴展“投射”現(xiàn)象的概念功能模式[J]. 現(xiàn)代外語，2002，（3）：269-275.

[6] 曾蕾.論系統(tǒng)功能語法中“投射”概念隱喻句構(gòu)及其語義特征[J]. 現(xiàn)代外語， 2003，（4）：351-357.

[7] 曾蕾.投射語言研究[M]. 廣州： 中山大學(xué)出版社， 2006.

[8] 曾蕾.從語法隱喻視角看學(xué)術(shù)語篇中的“投射”[J]. 外語學(xué)刊，2007，（3）：46-49.

[9] 曾蕾， 梁紅艷.“事實”定位及其投射系統(tǒng)[J]. 現(xiàn)代外語， 2012，（1）：23-29.

[10] van Leeuwen， T. & Jewitt， C. Handbook of Visual Analysis [M]. London： Sage， 2001.

[11] 李戰(zhàn)子.多模式話語的社會符號學(xué)分析[J]. 外語研究， 2003，（5）：1-8.

[12] Thibault， P. Writing， graphology， and visual semiosis [A]. In Royce， T. and Bowcher， W. L. （eds.）. New Directions in the Analysis of Multimodal Discourse [C]. Mahwah， NJ： Lawrence Erlbaum and Associates， 2007： 111-45.

[13] 李戰(zhàn)子， 陸丹云. 社會符號學(xué)視覺下多模態(tài)話語研究的新發(fā)展[A]. 黃國文，辛志英主編.系統(tǒng)功語言學(xué)研究現(xiàn)狀和發(fā)展趨勢[C]. 北京： 外語教學(xué)與研究出版社， 2012：260-293.

[14] Halliday， M. A. K. & Matthiessen， C. M. I. M. Introduction to Functional Grammar [M]. London： Arnold， 2004.

[15] 顧曰國.多模態(tài)、多模態(tài)學(xué)習(xí)剖析[J]. 外語電化教學(xué)，2007，（114）：3-12.

[16] Halliday， M. A. K. Language as Social Semiotics [M]. London： Arnold， 1978.

[17] 曾蕾.英漢“投射”小句復(fù)合體的功能與語義分析[J]. 現(xiàn)代外語， 2000，（2）：163-173.

[18] Sebeok， T. Contributions to the Doctrine of Signs [M]. Lanham， Md.： University Press of America， 1985.

The Distinctness and Similarity of Projection in Visual Grammar

and Functional Grammar

ZENG Lei， YANG Mu-wen

（School of Foreign Languages， Sun Yatsen University， Guangzhou 510275， China）

Abstract： It is observed that the existing analysis of projection mainly focuses on the linguistic text rather than on the imagetext， which is lack of dedicated and systemic exploration from the logicalsemantic aspect in visual grammar. Therefore， the paper， mainly based on Systemic Functional Grammar and Multimodal Discourse Analysis， aims to investigate the distinctness and similarity of projection in linguistic discourse and imagetext multimodal discourse， and then presents an alternative way into the analysis of projection and shows the expanding of its meaning potential in multimodal discourse from the logicalsemantic aspect.

Key words： projection； functional grammar； visual grammar； comparative analysis