關(guān)于視覺(jué)語(yǔ)法的幾點(diǎn)思考

張敬源 賈培培

(北京科技大學(xué),北京,100083)

1. 引言

隨著科學(xué)技術(shù)的日新月異,特別是多媒體技術(shù)的廣泛應(yīng)用,產(chǎn)生于20世紀(jì)90年代的多模態(tài)話語(yǔ)分析(multimodal discourse analysis)引起了國(guó)內(nèi)外學(xué)者尤其是功能語(yǔ)言學(xué)家們濃厚的興趣。如O’Toole(1994)對(duì)三維建筑物(悉尼歌劇院)進(jìn)行了多模態(tài)分析；Kress和van Leeuwen(1996)將功能語(yǔ)法的三大元功能延伸到視覺(jué)交際模態(tài)中,構(gòu)建了視覺(jué)語(yǔ)法；van Leeuwen和Jewitt(2001)將多模態(tài)話語(yǔ)分析延伸到人類學(xué)、心理治療、民族志以及影視作品等領(lǐng)域。除此之外,還有Unsworth(2001),Iedema(2001:183-204；2003:29-57),Lemke(2002:299-325),Martin(2002:311-338),O’Halloran(2004),Martinec(2005:337-371),Royce和Bowcher(2007),Bateman(2008)等。這些研究成果極大地推動(dòng)了多模態(tài)話語(yǔ)分析的理論發(fā)展及其應(yīng)用。

與國(guó)外的研究相比,國(guó)內(nèi)研究尚處于起步階段。盡管如此,中國(guó)學(xué)者還是創(chuàng)造性地探討了多模態(tài)話語(yǔ)分析的理論框架,如李戰(zhàn)子(2003:1-8)、朱永生(2007:82-86)、胡壯麟(2007:1-10)、張德祿(2009:24-30)等。也有一些學(xué)者運(yùn)用視覺(jué)語(yǔ)法來(lái)分析特定的語(yǔ)篇,如廣告語(yǔ)篇(王紅陽(yáng)2007:31-34)、詩(shī)歌(胡丹2007:16-19；張旭紅2010:85-90),或電影(李妙晴2008:50-52)等。

不過(guò)到目前為止,從理論層面上探討視覺(jué)語(yǔ)法可取和不足之處的論述相對(duì)較少,也較為零散。鑒于此,本文首先從視覺(jué)語(yǔ)法和系統(tǒng)功能語(yǔ)言學(xué)的關(guān)系入手,然后在探討視覺(jué)語(yǔ)法理論框架的同時(shí),基于系統(tǒng)功能語(yǔ)法對(duì)其進(jìn)行補(bǔ)充完善；最后形成一個(gè)更加合理完善的視覺(jué)語(yǔ)法理論框架,進(jìn)而使得越來(lái)越多的語(yǔ)篇可置于視覺(jué)語(yǔ)法的視角下進(jìn)行分析。

2. 視覺(jué)語(yǔ)法的理論基礎(chǔ)

視覺(jué)語(yǔ)法的提出主要是基于Halliday的語(yǔ)言觀,特別是他的元功能思想。這主要體現(xiàn)在以下兩個(gè)方面:第一,視覺(jué)語(yǔ)法以Halliday所提出的語(yǔ)言的社會(huì)符號(hào)性和意義潛勢(shì)為前提。早在1978年,Halliday在《作為社會(huì)符號(hào)的語(yǔ)言——對(duì)語(yǔ)言和意義的社會(huì)解釋》一書(shū)中全面論述了語(yǔ)言的符號(hào)性。他(1978:39)認(rèn)為,語(yǔ)言是一種社會(huì)符號(hào),是一個(gè)“意義潛勢(shì)”的系統(tǒng)；語(yǔ)言的語(yǔ)法“不是一套用來(lái)參考的規(guī)則,而是制造意義的資源”(192)。這就表明:1)語(yǔ)言只是文化這套意義系統(tǒng)中的一種符號(hào)。換言之,表達(dá)意義的符號(hào)除了語(yǔ)言之外,還有圖像、聲音、色彩等。所以,語(yǔ)言的社會(huì)符號(hào)性引起了語(yǔ)言學(xué)家們對(duì)非語(yǔ)言符號(hào)的關(guān)注,這也就為解讀圖像意義提供了可能性；2)語(yǔ)法賦予了語(yǔ)言制造意義的潛勢(shì)。如果語(yǔ)言作為一種社會(huì)符號(hào)可以通過(guò)其語(yǔ)法來(lái)產(chǎn)生意義,那么其他類型的社會(huì)符號(hào)為何不具有這種潛勢(shì)呢?正是基于對(duì)這個(gè)問(wèn)題的考慮,Kress和van Leeuwen構(gòu)建了視覺(jué)語(yǔ)法。第二,視覺(jué)語(yǔ)法以Halliday的元功能思想為切入點(diǎn)。Halliday在功能語(yǔ)法中特別強(qiáng)調(diào)了語(yǔ)言的三大元功能:概念功能(ideational function)、人際功能(interpersonal function)和語(yǔ)篇功能(textual function)。概念功能是“表達(dá)講話者的親身經(jīng)歷和內(nèi)心活動(dòng)的功能”；人際功能是“表達(dá)講話者的身份、地位、態(tài)度、動(dòng)機(jī)和他對(duì)事物的推斷、判斷和評(píng)價(jià)等功能”；語(yǔ)篇功能指語(yǔ)言具有組句成篇、組織和傳遞信息的功能(胡壯麟等2005:115)。雖然“這些元功能是首先基于對(duì)語(yǔ)言的研究提出來(lái)的,但這并不意味著它們僅僅局限于語(yǔ)言”(李戰(zhàn)子2003:1)。因此,這些元功能在視覺(jué)模式中是以怎樣的方式傳遞什么樣的意義便成為Kress和van Leeuwen(1996)研究的重點(diǎn)。從這個(gè)意義上來(lái)講,Kress和van Leeuwen構(gòu)建的視覺(jué)語(yǔ)法是對(duì)Halliday元功能思想的繼承和創(chuàng)造性延伸。

在接下來(lái)關(guān)于如何進(jìn)一步完善視覺(jué)語(yǔ)法的論述中,系統(tǒng)功能語(yǔ)法將仍然會(huì)是本研究的理論支撐點(diǎn)。因?yàn)椤跋到y(tǒng)功能語(yǔ)法不只是語(yǔ)言符號(hào)系統(tǒng)的語(yǔ)法,也是可以描述和解釋所有社會(huì)符號(hào)系統(tǒng)的語(yǔ)法”(辛志英、黃國(guó)文2010:2)。

3. 對(duì)視覺(jué)語(yǔ)法的繼承與發(fā)展

正如Halliday在系統(tǒng)功能語(yǔ)法中提出了語(yǔ)言的三大元功能,Kress & van Leeuwen在視覺(jué)語(yǔ)法中也相對(duì)應(yīng)地提出了三大意義:再現(xiàn)意義(representational meaning)、互動(dòng)意義(interactive meaning)和構(gòu)圖意義(compositional meaning)。這三大意義的構(gòu)建為分析圖像提供了可靠的理論視角,但這并不說(shuō)明這樣的視角是窮盡的、完善的。

3.1 再現(xiàn)意義

再現(xiàn)意義分為敘述再現(xiàn)(narrative representation)和概念再現(xiàn)(conceptual representation)。區(qū)分兩者的標(biāo)準(zhǔn)是:敘述性結(jié)構(gòu)中存在著由圖像元素之間的斜線構(gòu)成的矢量(vector),而概念性結(jié)構(gòu)中不會(huì)有。敘述再現(xiàn)又可進(jìn)一步分為動(dòng)作過(guò)程(action process)、反應(yīng)過(guò)程(reactional process)、言語(yǔ)和心理過(guò)程(speech and mental process)。在動(dòng)作過(guò)程中,發(fā)出矢量的參與者是動(dòng)作者(actor),矢量指向的參與者是目標(biāo)(goal)。當(dāng)矢量不再由動(dòng)作而是由眼神或者目光構(gòu)成時(shí),就形成了反應(yīng)過(guò)程。由于反應(yīng)過(guò)程主要體現(xiàn)的是參與者眼神的交流,所以反應(yīng)過(guò)程中的參與者不再是動(dòng)作者和目標(biāo),而是反應(yīng)者(reactors)和現(xiàn)象(phenomena)。言語(yǔ)和心理過(guò)程中的矢量主要是由參與者和思維泡或者對(duì)話泡相連接而形成:思維泡的內(nèi)容是間接地通過(guò)感覺(jué)者(sensor)來(lái)呈現(xiàn),而對(duì)話泡的內(nèi)容則是通過(guò)言語(yǔ)者(speaker)來(lái)體現(xiàn)(Kress & van Leeuwen 1996:67)。

不難發(fā)現(xiàn),Kress和van Leeuwen對(duì)于敘述再現(xiàn)結(jié)構(gòu)的分析已形成初步的體系,而且他們提出的三類主要過(guò)程正是借鑒了Halliday在經(jīng)驗(yàn)功能中提出的六大過(guò)程。例如,Kress和van Leeuwen對(duì)行動(dòng)過(guò)程的界定與功能語(yǔ)法中的物質(zhì)過(guò)程(material process)就有異曲同工之妙。這主要表現(xiàn)在以下兩個(gè)方面:1)這兩個(gè)過(guò)程的參與者都是“動(dòng)作者”和“目標(biāo)”,只不過(guò)動(dòng)作過(guò)程是通過(guò)矢量將動(dòng)作者與目標(biāo)連接起來(lái),而物質(zhì)過(guò)程是通過(guò)一個(gè)過(guò)程(常用動(dòng)態(tài)動(dòng)詞表示)來(lái)表示動(dòng)作者和目標(biāo)之間發(fā)生的事件。2)另外,動(dòng)作過(guò)程和物質(zhì)過(guò)程都可以沒(méi)有目標(biāo)。換言之,兩者的結(jié)構(gòu)皆可以是及物的或不及物的。如果說(shuō)Kress和van Leeuwen所界定的行動(dòng)過(guò)程類似于功能語(yǔ)法中的物質(zhì)過(guò)程,那么敘述再現(xiàn)中的反應(yīng)過(guò)程、言語(yǔ)和心理過(guò)程大致相當(dāng)于功能語(yǔ)法中的言語(yǔ)過(guò)程(verbal process)和心理過(guò)程(mental process)。

其實(shí)借鑒本身并無(wú)大礙,問(wèn)題是視覺(jué)語(yǔ)法所區(qū)分的三類主要過(guò)程不具有互補(bǔ)性,特別是反應(yīng)過(guò)程和言語(yǔ)心理過(guò)程間存在交叉。因?yàn)楦鶕?jù)Kress和van Leeuwen(1996:64)的觀點(diǎn),反應(yīng)過(guò)程是由參與者目光的傳遞方向所構(gòu)成的。這種對(duì)反應(yīng)過(guò)程的界定只是停留在目光傳遞、眼神刻畫(huà)這個(gè)表層結(jié)構(gòu)上,卻忽略了這個(gè)表層結(jié)構(gòu)之下的深層結(jié)構(gòu)。其實(shí)這類過(guò)程往往是通過(guò)對(duì)反應(yīng)者眼神的刻畫(huà)來(lái)展現(xiàn)其內(nèi)心世界的變化。反應(yīng)者的目光可以直接或間接地告訴我們他們處于什么樣的心理狀態(tài)(害怕、高興、平靜等)。此外,系統(tǒng)功能語(yǔ)法也明確指出心理過(guò)程是“表示‘感覺(jué)’(perception)、‘反應(yīng)’(reaction)和‘認(rèn)知’(cognition)等心理活動(dòng)的過(guò)程(a process of sensing)”(胡壯麟等2005:76)。換言之,反應(yīng)屬于心理過(guò)程,是心理過(guò)程的一種?；诖?我們將反應(yīng)過(guò)程和言語(yǔ)心理過(guò)程中的心理部分整合為心理過(guò)程,進(jìn)而敘述再現(xiàn)也就分為動(dòng)作過(guò)程、心理過(guò)程和言語(yǔ)過(guò)程三大類。當(dāng)然,視覺(jué)交際中不只存在這三種過(guò)程,還會(huì)涉及其他的過(guò)程。但是我們提出的這三種過(guò)程是最常見(jiàn)的過(guò)程,尤其是動(dòng)作過(guò)程和心理過(guò)程?？扇缦卤?所示:

表1 敘述再現(xiàn)的三類主要過(guò)程

如果說(shuō)敘述再現(xiàn)是解讀其現(xiàn)象,那么概念再現(xiàn)就是反映其本質(zhì)。對(duì)于概念再現(xiàn),Kress和van Leeuwen將其劃分為分類過(guò)程(classificational process)、分析過(guò)程(analytical process)和象征過(guò)程(symbolic process)。其中,分類和分析過(guò)程都著重研究了參與者是以何種關(guān)系相互聯(lián)系起來(lái),這與功能語(yǔ)法中的關(guān)系過(guò)程(relational process)極為相似。分類過(guò)程有兩種參與者:從屬者(subordinate)和被從屬者(superordinate)。如果被從屬者沒(méi)有出現(xiàn),這是隱密性分類(從屬者尺寸相近,近距相等,對(duì)稱構(gòu)成)；反之是外顯性分類。同樣,分析過(guò)程中也涉及兩類參與者:表示整體的承載者(carrier)和表示部分的承載者所擁有的特征(possessive attributes)(Kress & van Leeuwen 1996:108)。簡(jiǎn)而言之,分類過(guò)程研究的是上下級(jí)或同級(jí)(從屬者)之間的關(guān)系,而分析過(guò)程研究的是整體與部分的關(guān)系。象征過(guò)程,顧名思義,研究的問(wèn)題是“參與者是什么或者意味著什么”(同上)。當(dāng)象征過(guò)程只涉及一個(gè)參與者(承載者)時(shí),被稱為象征暗示(symbolic suggestive)。而當(dāng)象征過(guò)程中涉及兩個(gè)參與者時(shí),被稱為象征屬性(symbolic attribute)。與敘述再現(xiàn)相比,Kress和van Leeuwen對(duì)于概念再現(xiàn)的分析邏輯上比較清楚,分類上也比較具有說(shuō)服力。具體如下圖1所示:

圖1 “再現(xiàn)意義”結(jié)構(gòu)圖

3.2 互動(dòng)意義

與系統(tǒng)功能語(yǔ)法中的人際關(guān)系相似,視覺(jué)語(yǔ)法中的互動(dòng)意義旨在探討圖像制作者、圖像所呈現(xiàn)的世界與圖像觀看者之間的關(guān)系,同時(shí)表達(dá)圖像觀看者對(duì)表征事物應(yīng)持的態(tài)度?；?dòng)意義的實(shí)現(xiàn)主要依賴于四個(gè)要素:接觸(contact)、社會(huì)距離(social distance)、態(tài)度(attitude)和情態(tài)(modality)。其中,接觸是指圖像中的參與者與圖像觀看者通過(guò)目光建立起來(lái)的一種想象中的關(guān)系。當(dāng)圖像參與者注視觀看者,仿佛在向觀看者索要什么時(shí),就形成了索取(demand),構(gòu)成接觸；當(dāng)觀看者是觀看事件的主語(yǔ)而非賓語(yǔ)時(shí),參與者似乎在向觀看者傳遞信息或者是展示什么時(shí),就形成了提供(offer),不構(gòu)成接觸(Kress & van Leeuwen 1996:124)。而且,“索取”或“提供”的對(duì)象既可以是信息,也可以是物品或服務(wù),這與功能語(yǔ)法中四大言語(yǔ)功能的交流物基本一致。

雖然Kress和van Leeuwen對(duì)互動(dòng)意義中“接觸”進(jìn)行了詳細(xì)的分析,但不可否認(rèn),他們套用了Halliday功能語(yǔ)法中“給予”(giving)和“求取”(demanding)的概念(胡壯麟等2005:115),而“這種概念的套用在這里顯得生硬,‘索取’和‘提供’的分類不能充分概括圖像和觀看者目光接觸中的多種復(fù)雜情況”(李戰(zhàn)子2003:5)。而且,將“提供”與“索取”在視覺(jué)交際中加以區(qū)分的事實(shí)已經(jīng)違背了系統(tǒng)功能語(yǔ)法中“給予”和“求取”的初衷。因?yàn)樵谙到y(tǒng)功能語(yǔ)法中,“‘給予’意味著‘請(qǐng)求接受’；‘求取’意味著‘請(qǐng)求給予’。這就是說(shuō),講話者不但自己做事,同時(shí)還要求聽(tīng)話者做事’”(116)。同理,視覺(jué)語(yǔ)法中的“提供”意味著“索取”,“索取”隱含著“提供”。這也與實(shí)際情況相符合,因?yàn)槎鄶?shù)情況下“提供”不是為了提供而提供,“提供”旨在從觀看者那里得到情感認(rèn)同,對(duì)觀看者施加影響；也可具有一定的政治、經(jīng)濟(jì)目的等。

至此,我們可以看到:提供與索取不是非此即彼的關(guān)系,而是一對(duì)對(duì)立統(tǒng)一體:提供是索取的基礎(chǔ),索取是提供的目的。為了能夠較為全面地涵蓋視覺(jué)接觸中的多種復(fù)雜情況,我們索性將接觸分為兩大類:直接接觸(圖像參與者直視觀看者)和間接接觸(除直接接觸之外的所有其他情況)兩種。不管是直接接觸還是間接接觸,都具有雙重功能:1)圖像的參與者旨在向觀看者傳遞一定的信息或服務(wù)(即“提供”)；2)圖像的參與者也希望從觀看者那里得到一些東西或者使觀看者受到影響(即“索取”),比如情感目的(包括情感訴諸、情感認(rèn)同和情感愉悅)、政治目的和經(jīng)濟(jì)目的等。索取常表現(xiàn)在觀看者由于與圖像參與者產(chǎn)生了接觸后而被激發(fā)了同情心、罪惡感、責(zé)任心或者購(gòu)買欲等。如果說(shuō)提供是為了通過(guò)目光向觀看者進(jìn)行客觀的展示,那么索取則是為了更好地實(shí)現(xiàn)圖像參與者和觀看者間互動(dòng)關(guān)系的維護(hù)和發(fā)展。當(dāng)然上述的分析有一個(gè)前提:那就是圖像中的參與者是有生命的(人、植物、動(dòng)物等)而非無(wú)生命的(流程圖、地形圖、交通圖等)。那么當(dāng)圖像的參與者是無(wú)生命、無(wú)感情的事物時(shí),他們與圖像的觀看者之間只形成間接接觸,因?yàn)闊o(wú)生命的事物不會(huì)主觀地直視觀看者,也不會(huì)能動(dòng)地索取什么。此外,在這種間接接觸中,只能是觀看者作為接觸的主語(yǔ)；而且只是提供沒(méi)有索取。上述關(guān)系可如下圖2所示:

圖2 “接觸”的結(jié)構(gòu)示意圖

社會(huì)距離決定了圖像參與者和觀看者之間的親疏關(guān)系,進(jìn)而展示了一種社會(huì)關(guān)系。這種親疏關(guān)系主要是通過(guò)鏡頭取景的框架大小得到體現(xiàn)。圖像參與者和觀看者之間的關(guān)系越是親密,那么鏡頭取景的框架越小。一般近鏡頭或者特寫(xiě)揭示一種親近的個(gè)人關(guān)系；而長(zhǎng)鏡頭則取景的框架較大,被攝入框架的內(nèi)容較多,揭示了一種疏遠(yuǎn)的社會(huì)關(guān)系(Kress & van Leeuwen 1996:130)。我們可以看到,Kress和van Leeuwen對(duì)于互動(dòng)意義中社會(huì)距離的界定是十分恰當(dāng)且符合實(shí)際的。因?yàn)椤爱?dāng)我們幫一個(gè)陌生人拍照時(shí),很少給她/他照一個(gè)頭部的大特寫(xiě),而更多是給她一個(gè)‘社會(huì)的遠(yuǎn)距離’”(李戰(zhàn)子2003:5)。

互動(dòng)意義中的態(tài)度指圖像觀看者對(duì)圖像參與者的態(tài)度,這主要是通過(guò)視角來(lái)體現(xiàn)的。對(duì)于水平的角度,如果是正面直觀,會(huì)帶給觀看者身臨其境的感覺(jué)；如是側(cè)面斜視,則會(huì)讓觀看者顯得對(duì)圖像呈現(xiàn)的世界漠不關(guān)心。對(duì)于垂直角度,如果是俯視,那么圖像的觀看者地位較高；如果是仰視,則圖像參與者處于強(qiáng)勢(shì)；如果是平視,那么顯然參與者和觀看者之間是平等的關(guān)系(Kress & van Leeuwen 1996:140-146)。簡(jiǎn)而言之,水平的角度體現(xiàn)的是觀看者介入圖像世界的程度,而垂直的角度則體現(xiàn)他們之間的地位差異。

系統(tǒng)功能語(yǔ)法中,“情態(tài)是指語(yǔ)言系統(tǒng)中講話者對(duì)事物的或然性(probability)進(jìn)行判斷和事物的必要性(necessity)標(biāo)明態(tài)度的語(yǔ)義系統(tǒng)”(朱永生2007:83)。而視覺(jué)語(yǔ)法互動(dòng)意義中的情態(tài)則強(qiáng)調(diào)了圖像世界反映現(xiàn)實(shí)的真實(shí)度。日常生活中,用Photoshop處理過(guò)的圖片趨向于太過(guò)真實(shí)。個(gè)人的藝術(shù)照就屬于這一類,因?yàn)樗诤狭颂嗟纳屎图?xì)節(jié),把個(gè)體展現(xiàn)的太過(guò)完美,這也就是超真實(shí)的體現(xiàn)。然而這種超真實(shí)是相對(duì)于自然主義而言的。除了自然主義的編碼取向,還有科學(xué)技術(shù)性、抽象性和感官性的編碼取向?？茖W(xué)技術(shù)性編碼取向認(rèn)為色彩是低情態(tài)的體現(xiàn)；在學(xué)術(shù)語(yǔ)境中常采用抽象性編碼取向,內(nèi)容越概括、越抽象,情態(tài)越高；感官性編碼取向多用于廣告、藝術(shù)設(shè)計(jì)中,色彩是高情態(tài)的體現(xiàn)。但不管采用的是哪種編碼取向,他們的情態(tài)都與色彩飽和度(color saturation)、色彩區(qū)分度(color differentiation)、色彩協(xié)調(diào)度(color modulation)、語(yǔ)境化(contextualization)、再現(xiàn)(representation)、深度(depth)、照明(illumination)和亮度(brightness)息息相關(guān)(Kress & van Leeuwen 1996:165-171)。這一系列的情態(tài)標(biāo)記是判斷情態(tài)真實(shí)度的重要依據(jù)。

與系統(tǒng)功能語(yǔ)法中的情態(tài)相比,視覺(jué)情態(tài)較為復(fù)雜。比如,情態(tài)標(biāo)記的劃分就有些過(guò)于繁瑣。不難發(fā)現(xiàn),色彩飽和度、色彩區(qū)分度、色彩協(xié)調(diào)度和色彩亮度都是對(duì)色彩的刻畫(huà),只是從不同的角度入手,分別強(qiáng)調(diào)了色彩的濃淡程度、差異度、配合度和亮度。語(yǔ)境化和再現(xiàn)都表示從抽象到具體的程度,只是側(cè)重點(diǎn)不同:語(yǔ)境化是指“比例尺從無(wú)背景到最明確詳細(xì)表現(xiàn)的背景”(同上:222),再現(xiàn)是指“從最大抽象摘要到最小圖畫(huà)式細(xì)節(jié)表明”(223)。為了簡(jiǎn)化情態(tài)標(biāo)記系統(tǒng),我們可以將色彩飽和度、色彩區(qū)分度、色彩協(xié)調(diào)度和色彩亮度納入到“色彩”中；將語(yǔ)境化和再現(xiàn)納入到“細(xì)節(jié)”中；此外,由于視覺(jué)情態(tài)的真實(shí)度在很大程度上“源于文化和歷史的真實(shí)的標(biāo)準(zhǔn)”,是由“特定的社會(huì)群體”所界定的(李戰(zhàn)子2003:5-6)。換言之,視覺(jué)情態(tài)真實(shí)度的判斷離不開(kāi)社會(huì)的、歷史的、文化的因素。這樣,情態(tài)標(biāo)記大致包括五大刻度:色彩、細(xì)節(jié)、深度、照明和社會(huì)因素。值得一提的是,情態(tài)標(biāo)記只是情態(tài)的一個(gè)維度。情態(tài)的另一個(gè)維度是情態(tài)“取向”(orientation) (Halliday & Matthiessen 2004:619)。

在功能語(yǔ)法中,“情態(tài)可從主客觀兩個(gè)角度來(lái)表達(dá)”(胡壯麟等2005:148)。同理,視覺(jué)情態(tài)的取向也可分為主客觀兩種,只是功能語(yǔ)法的情態(tài)取向是通過(guò)小句來(lái)表達(dá),而視覺(jué)情態(tài)的主客觀取向可根據(jù)圖像參與者的屬性進(jìn)行判斷:當(dāng)圖像參與者為人或有生命的物時(shí),多為主觀取向,因?yàn)樯w具有主觀意識(shí),能夠在不同程度上實(shí)現(xiàn)“提供”和“索取”的功能,實(shí)現(xiàn)與圖像觀看者之間的互動(dòng)和交流；而當(dāng)圖像參與者為無(wú)生命的物(比如地圖或流程圖)時(shí),多為客觀取向,因?yàn)樵谶@種情況下,對(duì)于圖像的觀看者來(lái)說(shuō),圖像參與者不具有主觀能動(dòng)意識(shí),只是在客觀地提供一些信息或服務(wù)。與系統(tǒng)功能語(yǔ)法的另一個(gè)相似點(diǎn)是,視覺(jué)情態(tài)也可分為高、中、低三類,這也就構(gòu)成了情態(tài)的第三個(gè)維度,情態(tài)值。此外,上述的編碼取向是對(duì)情態(tài)屬性的一個(gè)分類,可歸為第四個(gè)維度。具體如下圖3所示:

圖3 情態(tài)系統(tǒng)

3.3 構(gòu)圖意義

與系統(tǒng)功能語(yǔ)法中的語(yǔ)篇功能相對(duì)應(yīng)的是Kress和van Leeuwen(1996)提出來(lái)的構(gòu)圖意義。簡(jiǎn)而言之,構(gòu)圖意義指的是圖像如何整合其再現(xiàn)意義和互動(dòng)意義,從而形成一個(gè)有意義的整體。根據(jù)Kress和van Leeuwen的研究,構(gòu)圖意義的實(shí)現(xiàn)依賴于三種資源:信息值(information value)、顯著性(salience)和取景(framing)。其中,取景指的是通過(guò)造成的或者實(shí)際的分隔線條或者分割框架來(lái)連接或者割斷圖像中的元素,以表示他們?cè)诒磉_(dá)某種意義時(shí)是屬于的還是不屬于的。信息值是通過(guò)圖像中元素的位置安排來(lái)實(shí)現(xiàn)的。通過(guò)元素的位置我們可以判斷圖像中元素的地位、角色和重要性(Kress & van Leeuwen 1996:183-218)。通常情況下,對(duì)于左右分布的元素,居左的是已知信息,居右的是新信息。這與語(yǔ)篇功能中信息單位的構(gòu)成形式相近,因?yàn)镠alliday表示“‘已知信息+新信息’是最常見(jiàn)的信息單位結(jié)構(gòu)”(胡壯麟等2005:173)。對(duì)于上下分布的元素,居上者所展示的是理想的或者是概括性的；居下者所體現(xiàn)的是真實(shí)的或者具體的。

對(duì)于中心與邊緣的格局,Kress和van Leeuwen認(rèn)為置于中心位置的元素可凸顯其中心地位和重要性,而那些環(huán)繞在其四周的元素則一般處于次要的地位。然而,隨著Derrida的解構(gòu)主義對(duì)邏各斯中心主義的沖擊,對(duì)傳統(tǒng)中心的顛覆以及對(duì)邊緣和他者的關(guān)注漸漸成為一種社會(huì)文化(Tyson 1999)。這種由中心向邊緣的轉(zhuǎn)變也適用于圖像元素的分布情況中:有些圖像的重點(diǎn)不存在中心位置,而存在于容易被忽視的邊緣地帶。因?yàn)檫@樣既凸顯了邊緣元素相對(duì)的弱勢(shì)地位,又能喚起觀看者對(duì)其憐憫與同情之心。這就使得中心和邊緣的信息值取向需要和社會(huì)文化導(dǎo)向相聯(lián)系。

此外,不同元素在圖像中的比重大小也為解讀各元素重要性提供了一定的信息,這就是構(gòu)圖意義的另一個(gè)維度顯著性。不同比重的元素對(duì)于觀看者的吸引程度是不盡相同的。一般情況下,比重較大的元素往往吸引更多的眼球。所以根據(jù)顯著性,我們可以判斷元素間的重要性次序。在判斷元素重要性的問(wèn)題上,Kress和van Leeuwen(1996:212)特別突出了透視(即前景與后景的比重對(duì)比)的地位。但由于顯著性的判斷主觀性較強(qiáng),加之沒(méi)有客觀的測(cè)量方法,這種依靠視覺(jué)的反應(yīng)來(lái)判斷比重大小的方法還有待進(jìn)一步提高。在此,我們要強(qiáng)調(diào)的是:一般情況下,置于前景且尺寸較大的元素比較重要,但不排除特殊情況下,置于背景且尺寸較小的元素的重要地位。而這種特殊情況,通常是將圖像的社會(huì)意義納入考慮因素后出現(xiàn)的。有些元素雖然置于不重要的位置,且尺寸偏小,但一旦將他們與社會(huì)文化背景相聯(lián)系,便凸顯出了之前未有的意義。這也就是為什么我們?cè)谂袛鄨D像元素的重要性時(shí),除了要考慮元素的自我屬性,即元素的位置和比重,還要考慮元素的社會(huì)屬性。這樣才能對(duì)元素的重要性有一個(gè)比較全面的把握。具體可如下圖4所示:

圖4 圖像中元素重要性的判斷

本文主要從以下四個(gè)方面對(duì)Kress和van Leeuwen所構(gòu)建的視覺(jué)語(yǔ)法進(jìn)行了探討:1)對(duì)敘述再現(xiàn)進(jìn)行了重新分類,主要包括動(dòng)作過(guò)程、思維過(guò)程和言語(yǔ)過(guò)程。2)以圖像參與者的屬性為標(biāo)準(zhǔn),對(duì)“接觸”進(jìn)行了劃分:當(dāng)參與者是人或有生命的物體時(shí),可形成直接或間接接觸,這兩種接觸均包括了“提供”與“索取”；當(dāng)參與者是無(wú)生命的物體時(shí),只構(gòu)成間接接觸,且只實(shí)現(xiàn)了提供功能。3)對(duì)于情態(tài)系統(tǒng),主要有四個(gè)維度:情態(tài)取向、情態(tài)標(biāo)記、情態(tài)值和情態(tài)編碼。其中情態(tài)標(biāo)記大致可歸為五類:色彩、深度、照明、細(xì)節(jié)和社會(huì)因素。4)對(duì)于圖像元素的重要性,我們從圖像社會(huì)屬性和自身屬性進(jìn)行了探討,這樣比僅依靠顯著性和信息值來(lái)進(jìn)行判斷更合理。

Bateman, J. 2008.MultimodalityandGenre:AFoundationfortheSystemicAnalysisofMultimodalDocuments[M]. Basingstoke: Palgrave Macmillan.

Halliday, M. A. K. 1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Halliday, M. A. K. & C. M. I. M. Matthiessen. 2004.AnIntroductiontoFunctionalGrammar(3rdedition) [M]. London: Edward Arnold.

Iedema, R. 2001. Analyzing film and television: A social semiotic account of hospital: An unhealthy business [A]. In T. van Leeuwen & C. Jewitt (eds.).HandbookofVisualAnalysis[C]. London: Sage. 183-204.

Iedema, R. 2003. Multimodality, resemiotization: Extending the analysis of discourse as multi-semiotic practice [J].VisualCommunication2(1): 29-57.

Kress, G. & T. van Leeuwen. 1996.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Lemke, J. L. 2002. Travel in hypermodality [J].VisualCommunication1(3): 299-325.

Martin, J. R. 2002. Fair trade: Negotiating meaning in multimodal texts [A]. In P. Coppock (ed.).TheSemioticsofWriting:TransdisciplinaryPerspectiveontheTechnologyofWriting[C]. Turnhout: Brepols. 311-338.

Martinec, R. 2005. A system for image—Text relations in new (and old) media [J].VisualCommunication4(3): 337-371.

O’Halloran, K. L. (ed.). 2004.MultimodalDiscourseAnalysis:SystemicFunctionalPerspective[C]. London: Continuum.

O’Toole, M. 1994.TheLanguageofDisplayedArt[M]. London: Leicester University Press.

Royce, T. & W. Bowcher. 2007.NewDirectionsintheAnalysisofMultimodalDiscourse[M]. London: Routledge.

Tyson, L. 1999.CriticalTheoryToday:AUser-FriendlyGuide[M]. New York & London:Garland Publishing, Inc.

Unsworth, L. 2001.TeachingMultiliteraciesacrosstheCurriculum:ChangingContextsofTextandImageinClassroomPractice[M]. Buckingham: Open University Press.

van Leeuwen, T. & C. Jewitt (eds.). 2001.HandbookofVisualAnalysis[C]. London: Sage.

胡丹.2007.Emmett Williams詩(shī)“She loves me not”多模式話語(yǔ)分析[J].外語(yǔ)與外語(yǔ)教學(xué)(11):16-19.

胡壯麟.2007.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語(yǔ)言教學(xué)與研究(1):1-10.

胡壯麟、朱永生、張德祿、李戰(zhàn)子.2005.系統(tǒng)功能語(yǔ)言學(xué)概論[M].北京:北京大學(xué)出版社.

李妙晴.2008.復(fù)調(diào)的狂歡——多模態(tài)話語(yǔ)分析《陽(yáng)光燦爛的日子》[J].電影評(píng)介18:50-52.

李戰(zhàn)子.2003.多模式話語(yǔ)的社會(huì)符號(hào)學(xué)分析[J].外語(yǔ)研究(5):1-8.

王紅陽(yáng).2007.多模態(tài)廣告語(yǔ)篇的互動(dòng)意義的構(gòu)建[J].四川外語(yǔ)學(xué)院學(xué)報(bào)(6):31-34.

辛志英、黃國(guó)文.2010.系統(tǒng)功能語(yǔ)言學(xué)研究方法論[J].外語(yǔ)研究(5):1-5.

張德祿.2009.多模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ)(1):24-30.

張旭紅.2010.視覺(jué)詩(shī)Meup at does多模態(tài)意義的構(gòu)建[J].外語(yǔ)學(xué)刊(1):85-90.

朱永生.2007.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)和方法[J].外語(yǔ)學(xué)刊(5):82-86.