多模態(tài)符號資源及媒體系統(tǒng)探索

張德祿

(同濟(jì)大學(xué),上海,200092)

1. 引言

符號資源(semiotic resource)是符號系統(tǒng)的集合。人們可以通過“可識別的、多半是習(xí)慣性的(有時(shí)是原創(chuàng)的)方法使用這些資源,從而得以開展有意義的活動(dòng)”(Lemke 1993)。所謂“習(xí)慣性”的方法指一個(gè)社團(tuán)中的成員可以同時(shí)采用一系列符號資源來形成經(jīng)常的、可重復(fù)的、可識別的、有意義的、文化的和歷史的特殊符號類型的方法,是一個(gè)符號建構(gòu)的過程,如某一時(shí)期的文學(xué)語類。同樣,建筑風(fēng)格、房子類型、宗教儀式、特定節(jié)日、飲食、衣著的特定樣式都可以定義為行動(dòng)性的、有規(guī)律的模式,是對社會(huì)有意義的實(shí)踐模式。

2. 符號系統(tǒng)與多模態(tài)話語研究

任何符號系統(tǒng)都是用于社會(huì)交際的,但在以前的符號學(xué)研究傳統(tǒng)中,研究的重點(diǎn)不是符號系統(tǒng),而是獨(dú)立的符號個(gè)體,即某個(gè)符號與其所表達(dá)的意義,如紅色可以表示“危險(xiǎn)”。而多模態(tài)話語研究主要研究符號是如何共同在交際中起作用。例如,在語言中,我們不是只研究某個(gè)詞的意思,而是研究該詞是如何與其他詞組成一個(gè)系統(tǒng),以及如何與其他詞組合為句子來表達(dá)意義。

意義在這里不是指某個(gè)單獨(dú)的符號所表達(dá)的意義,而是某個(gè)符號系統(tǒng)的“意義潛勢”。不同的符號組合可以體現(xiàn)不同的意義。例如,在圖像中,不是研究紅色可以體現(xiàn)什么意義,而是研究它和其他因素,如形狀、布局、所配的文字等如何組合,如何在圖像整體中布局,以及如何與其他因素搭配來共同體現(xiàn)意義。例如,Kress和van Leeuwen(1996)就采用語法方法來研究圖像是如何體現(xiàn)意義的。在語法中,發(fā)話者可以從任何可利用的符號系統(tǒng)中選擇符號特征來體現(xiàn)要表達(dá)的意義。多模態(tài)方法就是用以說明我們交際的方式很少是單模態(tài)的,如口語、書面語、手勢等,而是多種模態(tài)組合起來共同起作用,包括視覺的、聽覺的、觸覺的各種模態(tài)。

在社會(huì)交際中,一種社會(huì)符號系統(tǒng)就是一個(gè)模態(tài)。每個(gè)模態(tài)都有一個(gè)媒介系統(tǒng),體現(xiàn)詞匯或者詞匯語法,從而體現(xiàn)意義。人類在特定文化中可以利用的符號系統(tǒng)是無限的。從這個(gè)意義上講,我們在社會(huì)交際中可利用的符號資源是無數(shù)的。

多模態(tài)話語研究是從語言學(xué)研究中發(fā)展起來的,研究的著眼點(diǎn)是單個(gè)模態(tài)的交際,或者是口語,或者是書面語。在其他模態(tài)的研究中,研究的著眼點(diǎn)也是單模態(tài)的,如繪畫。隨著現(xiàn)代科技的發(fā)展,多模態(tài)話語研究就變得越來越重要,越來越必不可少。

從多模態(tài)話語分析的角度講,模態(tài)之間沒有主次、先后、輕重之分,所有的模態(tài)都應(yīng)該是同等的。它們的具體模式和系統(tǒng)都應(yīng)該得到理解和認(rèn)識,包括它們的語法系統(tǒng)和結(jié)構(gòu)。不僅以語言為主的交際是如此,以其他媒體為主的交際也是如此。這顯然會(huì)使主要研究語言系統(tǒng)和模式的學(xué)者感到對圖像、電影的研究深度不夠,過于印象化、表面化,因此要像研究語言那樣研究各個(gè)模態(tài)的語法系統(tǒng)。但語言學(xué)家對語言之外的其他模態(tài)缺乏了解,需要對這些模態(tài)進(jìn)行更加深入的研究。盡管如此,他們還是模擬語言語法對圖像等其他模態(tài)的語法模式進(jìn)行了研究,對這些模態(tài)的認(rèn)識從印象化向科學(xué)化發(fā)展,為其他模態(tài)的研究提供了很好的工具。

由于多模態(tài)話語交際的發(fā)展,符號選擇的原則也發(fā)生了變化。以前我們重點(diǎn)研究某個(gè)模態(tài)是如何體現(xiàn)意義的,模態(tài)之間也因此有了嚴(yán)格的分工,如在電影中提供行動(dòng)的圖像、表示現(xiàn)實(shí)性的同步聲音以及表達(dá)情感的音樂均由相應(yīng)的專家來完成,然后編輯把它們綜合起來,把所有的成分都通過共同的韻律同步化(van Leeuwen 1985)。但在多模態(tài)研究中,我們需要用新的方法分析和描述這種交際模式。各個(gè)模態(tài)所共有的符號原則在不同的模態(tài)之間起作用,其結(jié)果可能是音樂用以體現(xiàn)行動(dòng)、圖像表達(dá)情感等,這主要是因?yàn)?隨著信息時(shí)代、數(shù)字時(shí)代的到來,人們的交際方式發(fā)生了變化,不同的模態(tài)實(shí)際上可以具有相同的體現(xiàn)意義的功能,可以由同一個(gè)人來操作。他在操作過程中可以根據(jù)要表達(dá)的意義和效果,確定是用音樂、用聲音、圖像還是用口語等。這樣,我們在研究中能夠從符號學(xué)的高度把不同模態(tài)聯(lián)合起來。一個(gè)語篇中的成分可以通過分離手段的缺失,如矢量的缺失、顏色的延續(xù)和相似性的缺失、視覺形狀的缺失等相互連接。分離的成分將被理解為是獨(dú)立的、分離的,或者是對立的,而連接的成分是相互聯(lián)系的、連續(xù)一體的或者是互補(bǔ)的(van Leeuwen 2005:13)。

尋找這種共同的原則可以采用不同的方法。我們可以為每一個(gè)模態(tài)設(shè)計(jì)出具體的語法,具體說明用這個(gè)模態(tài)可以說什么,如何說,以及如何用相同的方法和相同的術(shù)語來表達(dá)它等。最后,我們看這些語法是否有重合現(xiàn)象,它們在哪些方面是重合的,在哪些方面不是,哪些區(qū)域是所有模態(tài)所共有的,哪些區(qū)域是某個(gè)模態(tài)的專業(yè)化領(lǐng)域。

3. 媒體的產(chǎn)生

符號資源是意義資源。不同的符號系統(tǒng)體現(xiàn)不同的意義,因此,每個(gè)符號系統(tǒng)都具有自己的意義領(lǐng)域。而意義是由模態(tài)的詞匯語法來體現(xiàn)的,詞匯語法又由媒體體現(xiàn),成為有物質(zhì)實(shí)體體現(xiàn)的符號系統(tǒng)。所以,媒體的存在是模態(tài)產(chǎn)生的基礎(chǔ)。從某種角度講,沒有媒體就沒有模態(tài),因?yàn)槿魏文B(tài)都要以一定的物質(zhì)形式作為載體,如聲音、顏色、形狀等。有了媒體,人們才可以在此基礎(chǔ)上發(fā)展模態(tài)。從另一個(gè)角度講,模態(tài)給媒體賦予生命。正是因?yàn)槟硞€(gè)或某些物質(zhì)形式在社會(huì)交際中起作用,才使它們成為模態(tài)的載體,與某個(gè)模態(tài)或者模態(tài)組合相聯(lián)系,被識別為某種媒體。但反過來講,某個(gè)模態(tài)的產(chǎn)生來源于某個(gè)或某些媒體的產(chǎn)生。很多模態(tài)的新作用和多模態(tài)的組合正是這樣產(chǎn)生的。例如,頁面本來是文字的天地,是根據(jù)文字設(shè)計(jì)的,但現(xiàn)在頁面已經(jīng)被搬到屏幕上,它仍然可以是文字的天地,仍然可以根據(jù)以文字的需要來設(shè)計(jì),如書信的版面。但同時(shí)它也變得很容易把圖像、圖形,甚至是動(dòng)畫和電影等置入屏幕上,而圖形和圖像更加直接地和清晰地被讀者理解,同時(shí)還可以給讀者帶來感官上的享受,所以被廣泛利用。

從這個(gè)角度講,新模態(tài)的產(chǎn)生可以從兩個(gè)層次上來探討:從上一個(gè)層次上看,是新的社會(huì)交際的需要召喚新模態(tài)的產(chǎn)生;從下一個(gè)層次上,是新媒體的產(chǎn)生為新模態(tài)的產(chǎn)生提供了優(yōu)越的條件,促使新模態(tài)的產(chǎn)生。實(shí)際上,從根本上講,兩者不是孤立的和分離的,而是相互聯(lián)系的。交際的需要是模態(tài)產(chǎn)生的外部動(dòng)因,沒有交際的需要,某個(gè)模態(tài)就沒有產(chǎn)生的必要,所以也就不會(huì)產(chǎn)生;而媒體的存在是模態(tài)產(chǎn)生的物質(zhì)條件,有了物質(zhì)條件,特別是十分優(yōu)越的物質(zhì)條件,為模態(tài)的產(chǎn)生提供了內(nèi)部條件。據(jù)此,Baldry(2000)堅(jiān)持要在語篇描述中區(qū)分多模態(tài)和多媒體,這樣“起碼可區(qū)分語篇中符號資源的整合與與其十分不同的技術(shù)的整合,如把計(jì)算機(jī)和電視融為一體,或者把計(jì)算機(jī)技術(shù)與聲音技術(shù)融為一體”(Baldry 2000:25)。

然而,一個(gè)新模態(tài)的產(chǎn)生不是突然的,而是經(jīng)歷了一個(gè)被社會(huì)認(rèn)可的過程,例如,即使是由于電子紙張的優(yōu)越條件而產(chǎn)生的圖文互補(bǔ)的新媒體也在開始時(shí)不被人接受,直到現(xiàn)在仍然受到質(zhì)疑。新模態(tài)的產(chǎn)生也要遵循一定的原則,而這種原則通常是不被人們注意的。現(xiàn)有的研究通常把它作為想當(dāng)然的過程來對待,沒有探討其產(chǎn)生的動(dòng)因和條件。例如,圖像在電子語篇中成為主要模態(tài)主要經(jīng)歷了以下過程:

(1) 交際的需要,圖像作為交際媒體更加直觀、便捷,提供的信息更加完整、精確,可以替代文字成為更加有效的媒介;

(2) 圖像的意義也是交際者更容易解碼的,因?yàn)樗麄兣c客觀事實(shí)更加接近,不需要花更多的時(shí)間解碼,而且可對它進(jìn)行解碼的人群要遠(yuǎn)遠(yuǎn)大于可對文字解碼的人群;

(3) 圖像在電子環(huán)境中十分容易制作,也很容易被復(fù)制,而不像在紙質(zhì)文本中那樣,畫一張畫需要很長的時(shí)間,所以在紙質(zhì)文本上用圖畫做交際媒體十分昂貴,也十分浪費(fèi)時(shí)間,所以不到特別需要時(shí)就不會(huì)用它作交際媒體;

(4) 這種模態(tài)作為新的交際工具被大眾,或者某個(gè)具體語言社團(tuán)的大多數(shù)成員接受,認(rèn)為是合適的交際模態(tài)。

這四條可以作為某種物質(zhì)形式成為某個(gè)模態(tài)的媒介的基本原則,即有社會(huì)交際的動(dòng)因,又有易于被識讀者解碼、易于使用、逐漸被大眾接受等條件。

當(dāng)然,某個(gè)模態(tài)也可能因?yàn)椴辉龠m應(yīng)社會(huì)交際的需要而在社會(huì)交際中被淘汰。例如,“面相學(xué)”(physiognomy),因其帶有種族主義的色彩而被拋棄,漸漸在社會(huì)交際中消失了(Kress & van Leeuwen 2001:22)。

4. 媒體與模態(tài)

媒體是物質(zhì)形式,又是模態(tài)化的,在社會(huì)交際中充當(dāng)意義的載體。在這里,我們需要回答兩個(gè)問題:(1)為什么要把某些物質(zhì)實(shí)體轉(zhuǎn)化為媒體?(2)如何把物質(zhì)實(shí)體轉(zhuǎn)化為媒體?上節(jié)我們回答了第一個(gè)問題,提出了把物質(zhì)實(shí)體轉(zhuǎn)化為媒體,成為模態(tài)的載體的四條理由。本節(jié)主要討論如何才能把物質(zhì)實(shí)體轉(zhuǎn)化為媒體。

物質(zhì)實(shí)體本身不是符號,如自然界的事物,在沒有人類的時(shí)候就已經(jīng)存在,沒有承載意義的義務(wù)。所以,物質(zhì)實(shí)體成為符號資源是由人類完成的。人類把它們轉(zhuǎn)化為媒體資源表現(xiàn)為以下三個(gè)方面:可識別性、區(qū)別性、重現(xiàn)性。

1) 可識別性:一旦成為媒體,它就不再是混沌的物質(zhì)實(shí)體,而是可被識別為某種事物,如聲音、書寫符號等。作為符號的載體,人們首先應(yīng)該認(rèn)識它是什么,無論它是具有實(shí)用功能的符號媒體,如汽車、房子,還是純粹的符號媒體,如語音、文字。

2) 區(qū)別性:能夠區(qū)分不同個(gè)體和不同類型的符號,能清楚在哪里某個(gè)符號開始,另一個(gè)符號結(jié)束,例如,紅色要能夠和紫色、粉紅色、咖啡色等區(qū)別開。

3) 重現(xiàn)性:能夠在人類社會(huì)交際中具有習(xí)慣性、經(jīng)常性特點(diǎn),即紅色在相似的場合多次出現(xiàn),而且每次出現(xiàn)都體現(xiàn)相似的意義,如在表示人的活動(dòng)時(shí)總是有革命的意義。

物質(zhì)實(shí)體具有了這三個(gè)特性后就成為媒體,就能夠體現(xiàn)一種模態(tài),成為一種符號資源。如果把不同的模態(tài)和語言相對比的話,模態(tài)的形式相當(dāng)于語言的詞匯語法,而模態(tài)的媒體相當(dāng)于語言的音系學(xué)。如何描述非語言模態(tài)的“音系學(xué)”還需要做進(jìn)一步研究。在這里,我們嘗試探討這些模態(tài)的媒體系統(tǒng)建立的一些基本原則和條件。

符號媒體系統(tǒng)的區(qū)別性與系統(tǒng)的復(fù)雜性密切相關(guān)。以交通信號系統(tǒng)為例。它的物質(zhì)實(shí)體是顏色,是把顏色符號化形成的符號系統(tǒng),但它是一個(gè)十分簡單的符號系統(tǒng),即只有兩個(gè)層次的符號系統(tǒng):圖符和意義,即它的符號和意義是一一對應(yīng)的關(guān)系,沒有必要建立詞匯語法層次。這樣它的圖符系統(tǒng)也十分簡單,如表1所示。

表1 交通信號系統(tǒng)的意義和圖符

在這個(gè)系統(tǒng)中,項(xiàng)目欄的意義項(xiàng)目和圖符項(xiàng)目是可以一一對應(yīng)起來的,如“?！迸c紅色相互對應(yīng),沒有其他的選擇。在這種系統(tǒng)中,圖符項(xiàng)目與詞匯項(xiàng)目沒有區(qū)別,所以,圖符的區(qū)別性也表示詞匯項(xiàng)目的區(qū)別性。紅色是以不是藍(lán)色和桔黃色及其相近的顏色為標(biāo)準(zhǔn)建立的,在實(shí)際的使用中,一般局限在紅色內(nèi),無論是紅色、大紅、深紅、淺紅都可以;桔黃色的變異形式更多,可以是黃色、桔黃色等顏色。由于系統(tǒng)中的項(xiàng)目偏少,所以每個(gè)項(xiàng)目所占居的物質(zhì)材料的范圍就很大。從理論上講,只要不與本系統(tǒng)中的其他符號混淆,任何符號變異形式都是允許的。但在實(shí)際的運(yùn)用中,還要考慮符號區(qū)別的有效性,所以,對于承載更重要意義的符號,其變異形式的區(qū)別度要越高越好,例如,紅色和綠色在交通信號系統(tǒng)中更加重要,一般要以十分鮮艷的紅色和綠色為主,而桔黃色的功能則相對低些,所以,其可變的程度要大些。

其他符號系統(tǒng)有的是兩個(gè)層次的系統(tǒng),有的是三個(gè)層次的。語言是典型的三個(gè)層次的系統(tǒng),其他的還有莫斯代碼(Morse Code)、手語、盲語、某些復(fù)雜的圖像系統(tǒng)等。對于符號系統(tǒng)的研究重點(diǎn)是三個(gè)層次的符號系統(tǒng)。

5. 媒體的分類

媒體是生產(chǎn)符號產(chǎn)品的物質(zhì)資源,包括所使用的工具和材料,如樂器和空氣、鑿和木頭等。它們通常是專門用于此目的而生產(chǎn)的,不僅是文化的,如墨水、顏色、照相機(jī)、計(jì)算機(jī)等,也可以是自然的,如人的發(fā)音器官、風(fēng)、云、光等。

有些媒體是專門發(fā)展了用以進(jìn)行媒體的記錄、重現(xiàn)和分布的,如錄音機(jī)、收音機(jī)、照相機(jī)等,它們本身是生產(chǎn)出來的符號產(chǎn)品,但在它們的發(fā)展過程中,開始是作為生產(chǎn)的媒介,然后生產(chǎn)的媒介可以成為設(shè)計(jì)模態(tài)。

對于媒體的分類,除了以上談到的聲音、字符、工具、人體媒介、記錄等幾個(gè)類別外,還有其他的類別。而且從不同的角度可以有不同的分類方法,包括以下幾個(gè)方面:1)傳統(tǒng)上把交際的模態(tài)分為書面語和口語模態(tài),兩者分別由聲音和書寫符號體現(xiàn)。由其他媒體體現(xiàn)的模態(tài)不被認(rèn)為是和語言媒體一樣的交際媒體,而是看作是“副語言的”。這種分類方法既不適應(yīng)多模態(tài)話語分析理論的研究角度,也不符合適應(yīng)現(xiàn)代科技而新發(fā)展起來的新媒體的特點(diǎn),如大量使用的計(jì)算機(jī)屏幕、網(wǎng)絡(luò)版面和語言等。體現(xiàn)這些模態(tài)的媒體將成為與語言同等重要的媒體。2)Thibault(2004)從身體動(dòng)力學(xué)的研究區(qū)分出動(dòng)態(tài)的和靜態(tài)的,靜態(tài)媒體指文字、圖片、表格、繪畫等,動(dòng)態(tài)媒體指面對面的互動(dòng)、動(dòng)畫、電影、使用錄像機(jī)等。但這個(gè)分類方法太籠統(tǒng),最好把它作為其他分類的次分類來處理。例如,在按維度分類時(shí),四維媒體都是動(dòng)態(tài)的,其他可以是靜態(tài)的,也可以是動(dòng)態(tài)的。3)根據(jù)系統(tǒng)的復(fù)雜性,媒體系統(tǒng)可以分為兩個(gè)層次的和三個(gè)層次的。兩個(gè)層次的符號的媒體可以直接體現(xiàn)意義,不需要語法;而三個(gè)層次的符號媒體不能直接體現(xiàn)意義,而是要經(jīng)過符號的組合來實(shí)現(xiàn)詞匯和語法,然后由詞匯和語法來體現(xiàn)意義。4)交際是由人來進(jìn)行的,因此,交際者會(huì)充分利用本身的肢體所能提供的媒體,如手勢、表情等。正如Baldry(2000:17)所說,通過電視錄像等媒體,我們可以探討意義制造的過程,而這一過程是由人體和其他媒體互動(dòng)來共同創(chuàng)造,“這樣就有可能探討人體如何在語境中和其他物體一起來制造意義的主題”。這樣,媒體可以分為由肢體提供的媒體和非肢體所提供的媒體。張德祿(2009)從是否由肢體提供媒體的角度對媒體的類別做了區(qū)分,把所有由肢體發(fā)出的媒體成為肢體媒體,而把所有其他的媒體成為工具媒體和環(huán)境媒體。5)不同維度的媒體差別很大,因此維度成為區(qū)分媒體類型的主要標(biāo)準(zhǔn)。媒體的維度可以分為一維媒體(one-dimensional media)、二維媒體(two-dimensional media)、三維媒體(three-dimensional media)和四維媒體(four-dimensional media)。下面重點(diǎn)探討語言與非語言媒體和根據(jù)維度劃分的媒體。

5.1 語言與非語言

現(xiàn)有的對媒體系統(tǒng)的研究不是很多,其中Lim Fei(2004)對印刷系統(tǒng)和圖形系統(tǒng)的研究可以作為對語言與非語言媒體系統(tǒng)的研究的例證。首先,書寫系統(tǒng)要有兩個(gè)次級系統(tǒng)組成:字體和空間布局。字體由三個(gè)次級系統(tǒng)組成:字類、大小、顏色,每個(gè)次級系統(tǒng)還包括次級系統(tǒng),系統(tǒng)由項(xiàng)目組成?？臻g布局包括字間距和字體對齊等。

這個(gè)系統(tǒng)是描述文字印刷的,不是從文字學(xué)的角度來探討印刷符號,主要問題是還沒有把文字的級階作為一個(gè)主要次級系統(tǒng)在系統(tǒng)網(wǎng)絡(luò)中表現(xiàn)出來,同時(shí)顏色應(yīng)該作為一種格式,而不是在字體層面上。這樣,我們可以根據(jù)用于印刷的字體學(xué)來發(fā)展英語的文字學(xué)系統(tǒng),從而使它具有具體語言的特征(相似于音系學(xué))。這個(gè)系統(tǒng)可以描述為圖1。

圖1 英語的文字系統(tǒng)

英語的文字學(xué)系統(tǒng)主要由兩個(gè)因素構(gòu)成:字體和空間。字類表示格式和體及其次范疇,表示在原字符的基礎(chǔ)上添加這些特征,增加原字符的表意潛勢,包括大小寫、斜體、底線、輪廓等。字號在對比的情況下才可以具有意義,例如標(biāo)題的字號要大于正文的字號,所以,它具有自由變體的特征,如把行文字號定為10號或12號。

字是書寫系統(tǒng)的主體,其中字符包括26個(gè)字母和標(biāo)點(diǎn)符號,是書寫系統(tǒng)的實(shí)體符號,它們可以按一定規(guī)則組合成為更大的單位,如詞、逗號單位、分號單位和句子單位等。這些單位以一定的空間布局組合為更大的書寫單位,如段落(縮進(jìn))、章節(jié)(換頁、空頁)等。

Lim Fei(2004)還對圖形系統(tǒng)進(jìn)行了研究。圖形主要由兩個(gè)因素構(gòu)成:形式和角度。形式是構(gòu)成圖形的基本因素,包括顏色、形狀、線條、筆觸等因素。顏色包括顏色的類別,以及色調(diào)、色彩和色度等因素,顯示顏色的特點(diǎn);形狀千變?nèi)f化,其基本圖形是幾何形的,其典型形狀是矩形的,其他的圖形可以是任何形狀。圖形由線條構(gòu)筑,線條可以是任何類型,其長度和寬度是重要的區(qū)別性特征。用什么筆劃也是重要的繪畫因素,可表達(dá)圖畫的不同特色和文體,如用畫筆、蠟筆,還是噴漆或用刷子。視角包括角度和深層空間,角度包括從什么角度,多大距離等(見圖2)。

圖2 圖形系統(tǒng)(Lim Fei 2004)

這個(gè)描寫方式有兩個(gè)問題。第一個(gè)是對于所涉及的因素,沒有區(qū)分哪些是有區(qū)別性的,哪些沒有區(qū)別性當(dāng)然,一般進(jìn)入人們意識的因素都是有區(qū)別性的,不然不會(huì)進(jìn)入人的意識產(chǎn)生“心理現(xiàn)實(shí)性”(psychological reality)。第二個(gè)是這個(gè)描寫方式太籠統(tǒng)。圖形圖像實(shí)際上可以有多種不同的符號系統(tǒng)。這些符號系統(tǒng)當(dāng)然有其自己的特點(diǎn),但各個(gè)系統(tǒng)本身都是獨(dú)立的,有自身的獨(dú)特特征,應(yīng)該單獨(dú)描述。例如,圖畫和圖表,動(dòng)態(tài)的動(dòng)畫和靜態(tài)的藝術(shù)畫是完全不同的,雖然他們都是視覺的。因此,我們應(yīng)該對每個(gè)符號系統(tǒng)的媒體系統(tǒng)單獨(dú)進(jìn)行描述。

5.2 媒體的維度

媒體的維度是一個(gè)重要的區(qū)分條件,因?yàn)榫S度之間的區(qū)別很重要,可以直接影響對符號的識別難度。對媒體維度的描述現(xiàn)在一般還是局限在四個(gè)維度之內(nèi),科學(xué)研究對空間維度的擴(kuò)展還沒有進(jìn)入到大眾的社會(huì)交際中。這四個(gè)維度分別是:一維媒體(線性的)、二維媒體(平面的)、三維媒體(立體的)、四維媒體(動(dòng)態(tài)的,可移動(dòng)的三維媒體)。

(1) 一維媒體

一維媒體指線性媒體。語言媒體都是線性的?？谡Z是線性的,從開始說話到結(jié)束都是按照時(shí)間來排列的。書面語也是一維的:雖然書寫的版面,如紙和屏幕,都是二維的,但文字本身是一維的,有明確的開始和結(jié)束點(diǎn),是空間上的一維媒體。一維媒體還包括音樂,它和口語相似,都是沿著時(shí)間線進(jìn)行的,從時(shí)間的一個(gè)點(diǎn)開始,到時(shí)間上的某個(gè)點(diǎn)結(jié)束。

一維媒體可以是時(shí)間的,如口語和音樂,是以時(shí)間的起點(diǎn)、延續(xù)、結(jié)束為特點(diǎn)的;也可以是空間的,如書寫的字詞,是以空間的起點(diǎn)、延續(xù)、結(jié)束為特點(diǎn)的。

一維媒體的特點(diǎn)是其有明確的起點(diǎn)和終點(diǎn):時(shí)間一維媒體以時(shí)間的某個(gè)點(diǎn)開始,到時(shí)間上的某個(gè)點(diǎn)結(jié)束,所以,它的大小是以從起點(diǎn)到終點(diǎn)所延續(xù)的時(shí)間來計(jì)算的,如一個(gè)對話可以是三分鐘,也可以是三個(gè)小時(shí)。在錄音帶上表現(xiàn)的最明顯?？臻g一維媒體是以空間上的一個(gè)點(diǎn)開始到空間上的一個(gè)點(diǎn)結(jié)束。空間是三維的,所以可以以任何一維作為起點(diǎn)和終點(diǎn),因此它可以是橫的,也可以是豎的,還可以是高的?？臻g一維媒體是以它在空間上延續(xù)的長短來衡量的。

一維媒體具有把一切類型的意義都分割壓縮為線性的特點(diǎn),所以,它具有易于把復(fù)雜和形象的意義抽象化、簡單化的特點(diǎn),因此便于科學(xué)化(Kressetal. 2001:171)和操作,但增加了理解的難度,因?yàn)槿藗冃枰阉獯a為二維或者三維圖式后才能理解。

(2) 二維媒體

二維媒體由兩個(gè)單一維度共現(xiàn)和協(xié)同而成。這兩個(gè)單一維度可以是任何四個(gè)維度之一,即時(shí)間、橫、豎、高。傳統(tǒng)上的二維一般只指空間上的二維,由空間上的任何三維之二組成。但實(shí)際上,它還包括時(shí)間與任何三維之一共現(xiàn)與協(xié)同形成的二維媒體?？臻g上的二維盡管可以由任何三維之二組成,但它們在時(shí)間上沒有區(qū)別,組成的圖形都是平面圖。

時(shí)間與空間維度組成的二維媒體總是動(dòng)態(tài)的,即將靜態(tài)的一維媒體以時(shí)間順序顯示,如屏幕上字幕的顯示過程。二維時(shí)間媒體都是動(dòng)態(tài)的,因?yàn)樗且粋€(gè)時(shí)間維度和一個(gè)空間維度結(jié)合,所以,它可以既以時(shí)間的順序從起點(diǎn)到結(jié)束識讀,也可以根據(jù)空間維度從開始到結(jié)尾識讀。但它不能從終點(diǎn)到起點(diǎn)進(jìn)行識讀。

二維媒體具有多角度、多起點(diǎn)的特點(diǎn),能夠從左到右、從上到下、從中心到邊沿組織信息,甚至是三種角度的結(jié)合,或者是相反的過程。這樣,對二維媒體編碼可以從多個(gè)起點(diǎn)作選擇,或者多個(gè)起點(diǎn)同時(shí)進(jìn)行;對其解碼則就需要識讀者認(rèn)真考慮不同成分之間的關(guān)系,以及每個(gè)成分的特性和功能(Kressetal. 2001:171)。

(3) 三維媒體

三維媒體是由空間的三個(gè)單獨(dú)的維度的共現(xiàn)和協(xié)同,或者由空間的兩個(gè)維度與時(shí)間維度的共現(xiàn)與協(xié)同而形成的媒體。一般來講,當(dāng)我們談?wù)撊S圖形時(shí),我們只考慮空間立體圖形,而不會(huì)把時(shí)間維度考慮進(jìn)去。平面圖形以時(shí)間為序發(fā)生移動(dòng)和變化也是三維的,并且都是動(dòng)態(tài)的。

三維空間圖形可以看作由一個(gè)個(gè)平面圖形疊加而成,在每一個(gè)平面圖形上都可以發(fā)生新的變化,還可以附加新的一維、二維或三維的圖形,這樣就形成了三維立體圖形的復(fù)雜性和解釋的難度。例如,平面圖形只有面積,在這個(gè)平面上可以附加新的平面圖形,但它會(huì)明確地顯示出來,識讀者可以清楚地看到它,而且它的平面性使它很受限制。而三維立體圖形不僅可以超越平面的限制而延伸到另一個(gè)維度,還具有容積。例如,房子的立體圖形可以表示房子有內(nèi)部空間。至于其內(nèi)部空間是如何設(shè)計(jì)的,還有什么東西都無從知道。同時(shí),其表現(xiàn)事物的識讀方式、起點(diǎn)和焦點(diǎn)都十分難以確定,所以其識讀方式難以確定。由時(shí)間和空間形成的三維媒體是動(dòng)態(tài)媒體,是由二維空間圖形在時(shí)間上的變化形成的,它的識讀可以通過時(shí)間的起點(diǎn)、延續(xù)和結(jié)束來進(jìn)行。

三維媒體是一種更直觀、更現(xiàn)實(shí)的媒體形式,使編碼者可以把直接從現(xiàn)實(shí)中“凍結(jié)”得到的實(shí)物置入語篇中,從而使識讀者可以直接觀察到事物的原形。從這個(gè)角度講,降低了識讀所需要的抽象能力和想象能力,但同時(shí),也需要識讀者的想象力和背景知識來認(rèn)識整個(gè)事物,因?yàn)樽R讀者觀察到的任何三維媒體都是不完全的,需要他“用自己的想象力來創(chuàng)造出所看不到的那些面”(O’Toole 1994/2010:12)。

(4) 四維媒體

四維媒體是由空間的三個(gè)維度和一個(gè)時(shí)間維度的共現(xiàn)和協(xié)同形成。它除了有三維空間的復(fù)雜性外,還有時(shí)間維度上的變化。四維媒體總是動(dòng)態(tài)的和變化的,經(jīng)常用于現(xiàn)代媒體中,特別是計(jì)算機(jī)網(wǎng)絡(luò)。

四維媒體雖然更加復(fù)雜,但是最接近現(xiàn)實(shí)的媒體,對它編碼不需要進(jìn)行抽象化和簡單化的處理,同樣對它的解碼也不必經(jīng)過抽象到具體形象的過程,因此是最適合普通大眾交際的一種媒體形式,也是現(xiàn)代高科技多媒體的一個(gè)特點(diǎn)。

多模態(tài)話語的媒體的分類可以由表2表示。

表2 媒體的分類標(biāo)準(zhǔn)

5.3 討論

媒體的分類反映了不同類型的交際特點(diǎn)。首先,有些交際是完全動(dòng)態(tài)的(對話、看電視、電影、打手勢等),有些是靜態(tài)動(dòng)態(tài)的結(jié)合(讀書、看圖等);有些主要通過語言(口語、書面語),有的主要通過非語言(體育表演、表情、手勢),更多的是兩者的結(jié)合(表演、口語加手勢、表情)。有些交際只通過簡單的單符號即可(交通信號、鳥語),有的要用多層次符號(語言等);現(xiàn)代科技的發(fā)展一方面使交際由以肢體媒體為主向以工具為主演化,另一方面使交際由線性、二維媒體向三維、四維媒體過渡。

媒體的分類為交際中模態(tài)的選擇和搭配提供了可參考的依據(jù)。交際中對模態(tài)的選擇或者設(shè)計(jì)是由多種因素制約的,如交際的語境,包括交際的內(nèi)容、交際者、交際的環(huán)境,意義的類型,模態(tài)的表意潛勢、供用特征(affordances)、功能專業(yè)化(functional specialization)(Kress 2003)。但最關(guān)鍵的是媒體系統(tǒng)的可用性。例如,人們都知道用三維動(dòng)態(tài)媒體交際更直接和有效,但缺乏必要條件就無法進(jìn)行。而且以上幾個(gè)因素也都和媒體的類型直接相關(guān),如模態(tài)的供用特征和專業(yè)化是直接和媒體的存在和可用性相關(guān)的。

6. 結(jié)語

本文探討符號資源及其媒體系統(tǒng)的類別。符號資源是一個(gè)言語社團(tuán)進(jìn)行社會(huì)交際的資源,是文化的表現(xiàn)形式,是所有符號系統(tǒng)的統(tǒng)稱。所以,本文首先探討了符號系統(tǒng)的特點(diǎn),把每個(gè)符號系統(tǒng)看作一個(gè)意義潛勢,以一種模態(tài)參與交際事件,由特定的媒體體現(xiàn);然后探討了符號系統(tǒng)的物質(zhì)特性,以及物質(zhì)的模態(tài)化過程;第三,我們探討了媒體和模態(tài)的關(guān)系,提出了符號媒體的三個(gè)特點(diǎn):可識別性、有區(qū)別性、重現(xiàn)性;以及具有不同層次的符號的媒體特征;第四,重點(diǎn)探討符號的媒體系統(tǒng)的特點(diǎn),專門談了文字、圖形、音系的系統(tǒng)特點(diǎn);最后,談了符號媒體的分類,從語言與非語言、符號的維度、符號的感知幾個(gè)方面談了符號媒體的特點(diǎn),最后簡單談了社會(huì)交際的多模態(tài)性與媒體類別的關(guān)系。

Baldry, A. 2000.MultimodalityandMultimedialityinaDistanceLearningAge[M]. Campobasso: Palladino Editore.

Halliday, M. A. K. 1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Halliday, M. A. K & R. Hasan. 1985/1989.Language,Context,andText:AspectsofLanguageinaSocial-semioticPerspective[M]. Oxford: Oxford University Press.

Kress, G. 2003.LiteracyinaNewMediaAge[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 1996/2006.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 2001.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold.

Kress, G., C. Jewitt, J. Ogborn & C. Tsatsarelis. 2001.MultimodalTeachingandLearning:RhetoricoftheScienceClassroom[M]. London: Continuum.

Lemke, J. L. 1993. Discourse, dynamics, and social change [J].CulturalDynamics6(1): 243-275.

Lim Fei, V. 2004. Developing an integrative multi-semiotic model [A]. In K. O’Halloran (ed.).MultimodalDiscourseAnalysis:SystemicFunctionalPerspective[C]. London: Continuum. 220-246.

O’Toole, M. 1994/2010.TheLanguageOfDisplayedArt[M]. London: Leicester University Press.

Thibault. Paul J. 2004.Brain,Mind,andtheSignifyingBody:AnEcosocialSemioticTheory[M]. London: Continuum.

van Leeuwen, T. 1985. Rhythmic structure of the film text [A]. In T. A. van Dijk (ed.).DiscourseandCommunication:NewApproachestotheAnalysisofMassMediaDiscourseandCommunication[C]. Berlin: Walter de Gruyter. 216-232.

van Leeuwen, T. 2005.IntroducingSocialSemiotics[M]. London & New York: Routledge.

張德祿.2009.多模態(tài)話語分析綜合理論框架探索[J].中國外語(1):24-30.