多模態(tài)話語研究的緣起與進(jìn)展*

代樹蘭

(江蘇理工學(xué)院，常州213001)

1 引言

我們生活在一個(gè)多模態(tài)的社會(huì)，意義的構(gòu)建越來越依賴各種符號(hào)資源的整合。話語的多模態(tài)性已成為當(dāng)今世界人們交際中使用的各種語篇的一個(gè)重要特征。近年來，隨著話語分析的發(fā)展，針對(duì)話語的研究不斷深入，其研究對(duì)象除傳統(tǒng)的對(duì)話語中的主要構(gòu)成要素——語言的研究外，一批學(xué)者開始將目光轉(zhuǎn)向包括語言在內(nèi)的所有交際符號(hào)，探討交際過程中各種符號(hào)在話語中的作用及其之間的關(guān)系，于是，話語分析開啟了一扇新的窗口——對(duì)話語的多種模態(tài)的關(guān)注和研究，多模態(tài)話語分析已成為話語分析的一個(gè)重要研究領(lǐng)域。

多模態(tài)(multimodality)是指在口頭或書面交際中，交際符號(hào)的多樣性。隨著現(xiàn)代科學(xué)技術(shù)，特別是計(jì)算機(jī)、多媒體和傳媒技術(shù)的發(fā)展和廣泛運(yùn)用，在人類的交際活動(dòng)中，多模態(tài)話語特征日漸凸現(xiàn)，圖像、聲音、文字、色彩、空間、動(dòng)作等多模態(tài)同時(shí)出現(xiàn)的話語形態(tài)日漸增多。雖然口頭語言繼續(xù)作為主要的交流方式，然而，公共交流中的大眾傳播媒體和書面語言將越來越多地傾向于圖像模式和視覺文化。讀寫能力已經(jīng)不僅僅是理解語言文字的能力，對(duì)圖像、聲音、色彩、空間、動(dòng)作等多模態(tài)話語的理解已提上日程?！耙饬x通過不同的模態(tài)建構(gòu)，并通過在一個(gè)交際過程中共現(xiàn)而得以體現(xiàn)和表達(dá)?！?Kress＆van Leeuwen 2001:111)“語言使用，不管是口語還是書面語，總是不可避免地由多種交際模式構(gòu)成”(LeVine＆Scollon 2004:1－2)，因此某種意義上可以說，“所有的話語都是多模態(tài)的”(Kress＆van Leeuwen 1998:186)。隨著人類進(jìn)入社會(huì)符號(hào)學(xué)的多模態(tài)化的新時(shí)代，在今后的研究中，多模態(tài)化的感知、多模態(tài)化的復(fù)制和多模態(tài)化的互動(dòng)將受到特別重視(胡壯麟2007)。

多模態(tài)話語分析是對(duì)交際符號(hào)的多種模態(tài)、各模態(tài)之間的關(guān)系、它們所構(gòu)成的整體意義、及其特征和功能的分析(代樹州2009)。它關(guān)注社會(huì)情境中多種模態(tài)資源的設(shè)計(jì)、制作和分配(van Leeuwen 2008)，以及各模態(tài)隨著社會(huì)實(shí)踐的進(jìn)程而重新組合的過程(Iedema 2003)。多模態(tài)話語分析在其發(fā)展初期的短短二、三十年里，就顯示出很強(qiáng)的生命力，在隨后的發(fā)展過程中，它匯聚社會(huì)符號(hào)學(xué)、傳播學(xué)、認(rèn)知語言學(xué)、哲學(xué)、話語語言學(xué)等領(lǐng)域的諸多研究者，并取得不菲的研究成果，他們?cè)噲D從不同側(cè)面、不同領(lǐng)域揭示話語的多模態(tài)特征及其內(nèi)在規(guī)律，促使該領(lǐng)域的研究蓬勃發(fā)展、成果迭出。

雖然人們將多模態(tài)話語提上研究日程只是近二、三十年的事情，然而，對(duì)話語的多模態(tài)性質(zhì)的認(rèn)識(shí)和探討卻具有相當(dāng)長(zhǎng)的歷史。本文擬圍繞人們對(duì)話語的多模態(tài)性質(zhì)的認(rèn)識(shí)、多模態(tài)話語研究的緣起與發(fā)展、研究過程中取得的成果等進(jìn)行梳理和研究，并在其基礎(chǔ)上，展望多模態(tài)話語研究的發(fā)展趨勢(shì)。

2 多模態(tài)話語的緣起與進(jìn)展

話語的多模態(tài)性并非一個(gè)新現(xiàn)象，事實(shí)上，它是我們生活的固有特征，也是人類進(jìn)化過程的固有特征。在人類發(fā)展之初，人們首先認(rèn)識(shí)的是各種各樣不同形式的事物，人類最初的交流也是口、耳、手、身體、動(dòng)作、物體等并用的交流模式。原始語言將整個(gè)身體作為表達(dá)工具，其表達(dá)模態(tài)包括手勢(shì)、面部表情、注視、發(fā)聲等。在書寫形式出現(xiàn)之前，語言與圖畫、雕刻等符號(hào)共存幾百年、甚至幾千年的歷史。無論是遠(yuǎn)古時(shí)期的巖畫、圖騰，5000年前出現(xiàn)于埃及、美索不達(dá)米亞的圖形文字，還是3500年前中國(guó)殷王朝的甲骨文以及各種壁畫、雕刻等，都是圖像符號(hào)、圖形符號(hào)、以及文字符號(hào)的融合。即便在后來書寫文字產(chǎn)生、發(fā)展的過程中，也保留了其最初的“書畫同體”的多模態(tài)特征:“頡有四目，仰觀天象。因儷烏龜之跡，遂定書字之形。造化不能藏其秘，故天雨粟;靈怪不能遁其形，故鬼夜哭。是時(shí)也，書畫同體而未分，象制肇創(chuàng)而猶略。無以傳其意故有書，無以見其形故有畫，天地圣人之意也”(張彥遠(yuǎn)歷代名畫記·敘畫之源流)。清代書畫家沈宗驀也認(rèn)為，“六書之有形，即畫之源也。且畫之為言畫也，以筆直取萬物之形，灑然脫于腕而落于素，不價(jià)扭捏，無事修飾，自然形神具得，意致流動(dòng)，是謂得畫源”(沈宗驀1996:3215)。

中國(guó)古代的詩歌、繪畫、書法等作品，常常是多種模態(tài)并存，詩中有畫，畫中題詩、題詞、題字，講究文字與藝術(shù)的融合;許多藝術(shù)家把自然作為藝術(shù)的對(duì)象，在他們的詩、畫、書等作品中，山水、花鳥、樹枝、竹枝成為其表現(xiàn)手段，人、詩、畫、景、言融為一體，讓人從各種模態(tài)的融合中獲得啟示和美感，領(lǐng)會(huì)超越于自然和人生之上的妙道，可謂“詩中有畫，畫中有詩”。早期的無聲電影、無線電等也都具有明顯的多模態(tài)特征，現(xiàn)代的電影、電視及各類廣告中，意義的表達(dá)更有賴于圖像、聲音、以及各種符號(hào)的協(xié)同作用。人們通過對(duì)各種器皿、雕塑、壁畫等作品對(duì)古代生活、文化、宗教等的推測(cè)、探討，對(duì)各種藝術(shù)珍品的把玩、欣賞，以及對(duì)其所蘊(yùn)含的歷史、文化、風(fēng)土人情的領(lǐng)悟，少兒對(duì)連環(huán)畫的癡迷，歷代對(duì)《清明上河圖》所反映的北宋時(shí)期的城市文明、風(fēng)土人情的賞析和探討等皆是話語的多種模態(tài)的具體體現(xiàn)。

事實(shí)上在我國(guó)古代，人們就意識(shí)到多模態(tài)的重要性。早在先秦時(shí)期，《易傳》在言意之間引入“象”的概念，以當(dāng)代意義上的“符號(hào)學(xué)”方式，創(chuàng)造性地建立了物理世界與經(jīng)驗(yàn)世界的聯(lián)系(王瀚東2001)。“觀象于天”，“觀法于地”，“近取諸身，遠(yuǎn)取諸物”，“圣人之情見乎辭”，“圣人立象以盡意”等，不僅對(duì)卦象生成的描述指向語言的起源問題，也體現(xiàn)了先哲對(duì)話語的多模態(tài)特征的認(rèn)識(shí)和關(guān)注。西晉著名文學(xué)家陸機(jī)曾提出，“宣物莫大于言，存形莫善于畫?！辈苤舱J(rèn)為圖像比語言文字更能起到勸誡作用。唐初裴孝源在《貞觀公私畫史》中提出圖像有重要作用。張彥遠(yuǎn)也認(rèn)為圖像在記錄歷史事件、人物容貌、風(fēng)俗習(xí)慣等方面比文字更加有效:“記傳所以敘其事，不能載其容，贊頌有以詠其美，不能備其象，圖畫之制，所以兼之也。”。宋代鄭樵認(rèn)為僅憑書面語言的記載會(huì)使學(xué)問淪為虛學(xué)，“見書不見圖，聞其聲不見其形;見圖不見書，見其人不聞其語。后之學(xué)者，離圖即書，尚辭務(wù)說，故人亦難為學(xué)，學(xué)亦難為功?！庇盅浴稗o章雖富，如朝霞晚照，徒焜耀人耳目;義理雖深，如空谷尋聲，糜所底止。二者殊途而同歸，是皆從事于語言之末，而非為實(shí)學(xué)也。以圖譜之學(xué)不傳，則實(shí)學(xué)盡化為虛文矣?！彼摹锻ㄖ尽冯m無圖像，但在理論上強(qiáng)調(diào)了圖像的重要性。鄭振鐸有言“從自然環(huán)境、歷史人物、歷史事件、歷史現(xiàn)象，到建筑、藝術(shù)、日常用品、衣冠制度，都是非圖不明的。有了圖，可以少說了多少的說明，少了圖便使讀者有茫然之感”(鄭振鐸1988，李彥鋒2010:9－10)。

在西方，早在古羅馬時(shí)期，人們就注意到話語的這一特征:“我已從一個(gè)不言不語的嬰兒，成長(zhǎng)為呀呀學(xué)語的孩子了……聽到別人指稱一件東西，或看到別人隨著某種聲音做相應(yīng)的動(dòng)作，我便記下來:記住這種東西叫什么，要那件東西時(shí)，便發(fā)出相應(yīng)的聲音。又從別人的動(dòng)作了解別人的意愿，這是各民族的自然語言:用表情、目光、其他肢體動(dòng)作和聲音表達(dá)內(nèi)心的情感，或?yàn)橐?、或是拒絕、或是逃避……從此，我開始用互相達(dá)意的符號(hào)與周圍的人們交流……”(奧古斯汀1963:11－12)。這種原始語言的多模態(tài)特征同樣存在于人的幼年時(shí)期(Halliday 1975)。當(dāng)原始語言進(jìn)化為語言、幼兒語言轉(zhuǎn)化為成人語言時(shí)，語言的多模態(tài)性得以保留和發(fā)展。

語言的聲音特征被古希臘時(shí)期斯多葛學(xué)派視作語言的3個(gè)重要特征之一，古希臘、羅馬時(shí)期的演講也非常注重姿態(tài)、手勢(shì)、表情等輔助手段。昆提利安(Quintilian)的《演說原理》(Institutes of Oratory)不僅強(qiáng)調(diào)“面貌”、“形象”等符號(hào)意義的重要性，他對(duì)體態(tài)的描述更是精細(xì)到頭、眼、手臂、手指、服飾等(從萊庭等2007:30)。即便在以語言為主導(dǎo)的研究中，人們也注意到話語的多模態(tài)特征，即不同的表達(dá)形式時(shí)常與不同的意義形式相聯(lián)系:手勢(shì)與面部表情變成“身體語言”的一部分，聲音仍然是語言的表達(dá)手段，韻律、節(jié)奏、響亮程度等成為“副語言”的表達(dá)資源。發(fā)聲具有兩種“模態(tài)”——清晰度與韻律感，后者不僅可以表現(xiàn)為抑揚(yáng)頓挫的語調(diào)，也可以以不同的節(jié)奏呈現(xiàn)。語言與身體語言、副語言特征等在具體的語境中共同建構(gòu)意義。而在現(xiàn)代技術(shù)環(huán)境中，意義的建構(gòu)方式又越來越多地延伸到身體、語言之外。

盡管人們對(duì)各種視覺、聽覺符號(hào)的認(rèn)識(shí)一直伴隨著人類的發(fā)展進(jìn)程，然而在學(xué)術(shù)研究中，人們對(duì)多模態(tài)話語的認(rèn)識(shí)和研究經(jīng)歷了一個(gè)相對(duì)漫長(zhǎng)的過程。

在哲學(xué)、人類學(xué)、符號(hào)學(xué)、文化研究等領(lǐng)域，學(xué)者們以不同形式、從不同視角對(duì)其予以關(guān)注、進(jìn)行探討。維特根斯坦認(rèn)為盡管非語言符號(hào)不容易變成系統(tǒng)、準(zhǔn)確的語言，但它們具有表達(dá)態(tài)度與情緒、輔助語言交際、替代語言等功能，社會(huì)中大量的信息正是通過它們傳達(dá)的(維特根斯坦2001)。胡塞爾持有類似的觀點(diǎn)，將符號(hào)分為自然符號(hào)和人為符號(hào)兩種基本類型，自然符號(hào)具有指示某個(gè)對(duì)象的功能，不具有意義。人為符號(hào)則是具有意指功能的“表達(dá)”符號(hào)，又可進(jìn)一步分為語言符號(hào)和非語言符號(hào)(胡塞爾1999)。在二戰(zhàn)期間及之后的一段時(shí)間內(nèi)，受索緒爾等的影響，包括列維－斯特勞斯在內(nèi)的諸多人類學(xué)家在考察人類實(shí)踐的過程中將目光轉(zhuǎn)向了語言，認(rèn)為“構(gòu)成文化的社會(huì)行為事實(shí)上也表現(xiàn)為一種按照語言的模式進(jìn)行‘編碼’的活動(dòng)，或許它本身就是一種語言”(Hawkes 1977:19)。即人類活動(dòng)本身，其各個(gè)方面都具有索緒爾意義上的符號(hào)或符號(hào)潛能。符號(hào)既可由身體有機(jī)地產(chǎn)生，也可借助身體在技術(shù)上的延伸工具化地產(chǎn)生。當(dāng)媒介使我們的身體延伸時(shí)，我們面對(duì)的便是具有生命的自主的符號(hào)系統(tǒng)(霍克斯1987:140)。這里的符號(hào)及其系統(tǒng)都超出語言符號(hào)之外，包括人類活動(dòng)各個(gè)方面及由于技術(shù)上的延伸而引起的媒介變化，從而理所當(dāng)然地將話語的多種模態(tài)涵蓋其中，盡管當(dāng)時(shí)的主流研究尚未將其納入學(xué)術(shù)研究視野。

根據(jù)格雷馬斯的觀點(diǎn)，一部電影、一幕街景同時(shí)具有多種代碼，并使用多種交際渠道，構(gòu)成具有整體意義的文化現(xiàn)象(格雷馬斯2009:43)。在某些沒有語言起源傳說的非洲社會(huì)，服飾文化(服裝、紋身)起源的傳說替代了語言的作用。服飾的內(nèi)涵意義與自然語言一樣，既造成語言群體間的區(qū)別，又形成鞏固社會(huì)團(tuán)體的歸屬感和凝聚力。從這個(gè)角度看，語言研究屬于一門更寬泛的社會(huì)符號(hào)學(xué)的學(xué)科，該學(xué)科既包括語言，也包括服飾、食物、手勢(shì)等方面的研究……眾多的符號(hào)共同構(gòu)建意義、產(chǎn)生社會(huì)影響。因此，應(yīng)該對(duì)這些復(fù)雜的符號(hào)系統(tǒng)進(jìn)行分析、梳理、描述，提出適用于社會(huì)語言學(xué)的內(nèi)涵意義范疇和分類模式:(1)空間關(guān)系學(xué)范疇與模式;(2)形態(tài)學(xué)范疇與模式;(3)功能范疇與模式等(格雷馬斯2009:55－60)。

本工作介紹了一種改進(jìn)型DIC分析技術(shù).基于室內(nèi)模型試驗(yàn),結(jié)合改進(jìn)型DIC分析技術(shù),針對(duì)靜壓沉樁過程中樁-土界面土體位移進(jìn)行了測(cè)量和分析,得到以下幾點(diǎn)結(jié)論.

巴爾特也將符號(hào)學(xué)的對(duì)象視為包括形象、姿勢(shì)、有旋律的聲音，以及作為意義系統(tǒng)的語言等在內(nèi)的一切符號(hào)系統(tǒng):“最有趣的系統(tǒng)是那些涉及不同實(shí)體的復(fù)合系統(tǒng)。在那些至少屬于大眾傳播社會(huì)學(xué)的復(fù)合系統(tǒng)，如電影、電視及廣告中，意義的表達(dá)有賴于圖像、聲音和其他各種符號(hào)的協(xié)作，因而要確定這些系統(tǒng)中的語言事實(shí)與言語事實(shí)的類別，時(shí)機(jī)還欠成熟。一方面，我們還不能斷定每個(gè)復(fù)合系統(tǒng)中‘語言’到底是原創(chuàng)還是僅僅由其中的各種輔助‘語言’組成;另一方面，這些輔助語言還未曾得到分析，原因是雖然我們了解語言學(xué)的‘語言’，但不了解圖像或音樂的‘語言’”(巴爾特1999b:20)。他認(rèn)為世界上的每一種物體，都可以從一個(gè)封閉、寂靜的存在，衍生到一個(gè)口頭說明的狀態(tài)……它可以包含寫作或者描繪、照片、電影、報(bào)告、運(yùn)動(dòng)、表演和宣傳等，這些都可以作為神話言談的資源(巴爾特1999a:167－168)和素材(語言本身、照片、圖畫、海報(bào)、儀式、物體等)(巴爾特1999a:173)。這里，巴爾特對(duì)各種符號(hào)、各種模態(tài)構(gòu)成的整體的強(qiáng)調(diào)，無疑具有先見之明，這一點(diǎn)正是目前多模態(tài)話語研究關(guān)注的焦點(diǎn)。

在強(qiáng)調(diào)其他符號(hào)不容忽視的同時(shí)，這位符號(hào)學(xué)大家還特別提醒人們語言的重要性，以及語言學(xué)與符號(hào)學(xué)之間的關(guān)系:“所有的符號(hào)系統(tǒng)都與語言糾纏不清……當(dāng)代社會(huì)的符號(hào)學(xué)家，盡管一開始就以非語言實(shí)體為研究對(duì)象，遲早要在他的研究道路上遭遇到(‘真正的’)語言……符號(hào)學(xué)也許注定要深入到跨語言領(lǐng)域……有朝一日索緒爾的主張有可能會(huì)被推翻:語言不是普遍的符號(hào)學(xué)科的一部分，哪怕是有特殊地位的一部分;相反，符號(hào)學(xué)乃是語言學(xué)的一部分，是具體負(fù)責(zé)話語中的大的意義單位的那部分”(巴爾特1999b:2－3)。

無獨(dú)有偶，利科也認(rèn)為，“語言的確不只是最重要的符號(hào)學(xué)系統(tǒng)，而且語言學(xué)是最高級(jí)的符號(hào)學(xué)科學(xué)，一切其他符號(hào)系統(tǒng)都以某種方式歸結(jié)于語言，雖然每個(gè)系統(tǒng)都有其個(gè)性”(利科1988:346)。盡管他們對(duì)語言學(xué)與符號(hào)學(xué)之間的關(guān)系所持觀點(diǎn)不同，但對(duì)語言重要性的強(qiáng)調(diào)、對(duì)語言符號(hào)之外其他符號(hào)的重視、對(duì)話語的多模態(tài)性的認(rèn)識(shí)是一致的。

此外，巴爾特還將第一個(gè)符號(hào)系統(tǒng)(語言，包括能指和所指)看成第二個(gè)更大的符號(hào)系統(tǒng)(意識(shí)形態(tài))的能指，對(duì)不同模態(tài)所蘊(yùn)含的意識(shí)形態(tài)意義進(jìn)行探討，從而拓開了多模態(tài)話語分析中的批評(píng)話語分析之先河。他舉的一個(gè)有名的例子是:“我在理發(fā)店里，有人給我一本《巴黎競(jìng)賽畫報(bào)》。封面上是一個(gè)身著法國(guó)軍服的年輕黑人在敬禮，兩眼上揚(yáng)，也許凝神注視著一面法國(guó)國(guó)旗。這些就是這張照片的意義。但不論天真與否，我很清楚地看見它對(duì)我意指:法國(guó)是一個(gè)偉大的帝國(guó)，她的所有的子民，沒有膚色歧視，忠實(shí)地在她的旗幟下服務(wù)，這個(gè)黑人在為所謂其壓迫者服務(wù)時(shí)表現(xiàn)出來的忠誠，再好不過地回答了那些對(duì)所謂殖民主義進(jìn)行詆毀的人”(巴爾特1999b:175－187)。

在語言學(xué)領(lǐng)域，現(xiàn)代語言學(xué)的開創(chuàng)者索緒爾認(rèn)為，“語言問題主要是符號(hào)學(xué)問題，我們的全部理論都從這一重要事實(shí)獲得意義。要發(fā)現(xiàn)語言的真正本質(zhì)，首先必須知道它跟其他一切同類的符號(hào)系統(tǒng)的共同點(diǎn)”(索緒爾1980:39)，從而強(qiáng)調(diào)了語言符號(hào)之外其他符號(hào)，以及對(duì)其進(jìn)行研究、比較的必要性。布拉格學(xué)派的代表人物雅各布森也曾指出，“人類社會(huì)中最社會(huì)化、最豐富和最貼切的符號(hào)系統(tǒng)顯然以視覺和聽覺為基礎(chǔ)”(霍克斯1987:139)，即包括以視覺、聽覺為基礎(chǔ)的語言符號(hào)、非語言符號(hào)等多種模態(tài)。20世紀(jì)初俄國(guó)形式主義對(duì)語言的音質(zhì)、節(jié)奏的重視，Bransford和Johnson(1973)對(duì)視覺符號(hào)在話語理解中的重要性的強(qiáng)調(diào)，拉波夫?qū)︸R撒葡萄園島(Martha’s Vineyard)的英語語音變體特征進(jìn)行的分析(Labov 1963:307)，Crystal關(guān)于音高范圍、響度、節(jié)奏、聲音特征均有可能成為說話人群體歸屬的表征信息的來源(Crystal 1975:84－95)等，都從不同側(cè)面強(qiáng)調(diào)了話語的多模態(tài)特征。事實(shí)上，語言學(xué)研究過程中對(duì)各種非語言特征、副語言特征、語言韻律等方面的探討，以及文學(xué)研究中對(duì)各種書寫形式、書寫格式等特征的關(guān)注等，都是對(duì)話語的多模態(tài)特征的關(guān)注和探討。

在話語分析領(lǐng)域內(nèi)部，早期的學(xué)者們對(duì)話語的多模態(tài)特征雖多有關(guān)注，但并未作為主要研究對(duì)象。Brown和Yule認(rèn)為，“音調(diào)也常常用來表示某種信息。在講話中，新信息常用較高的音調(diào)，而已知信息則用較低的音調(diào);有時(shí)高音調(diào)也可用來表示發(fā)話人更換話題或新的話題開始，或表示強(qiáng)調(diào)、對(duì)比，低音調(diào)也可表示聽話人不必重視的東西”(Brown＆ Yule 1983:F20)。Couper-Kuhlen在提出話語層面研究語調(diào)的3種路徑的基礎(chǔ)上(語調(diào)是語法的一部分，語調(diào)與信息流相關(guān)，語調(diào)作為語境線索)，認(rèn)為在今后的研究中節(jié)首(onset)、聲域(register)、節(jié)奏(rhythm)、響度(volume)、副語言音質(zhì)效應(yīng)(paralinguistic voice-quality effects)等韻律語境線索(prosodic contextualization cues)將引起更多關(guān)注(Schiffrin et al.2001)。Fairclough(1992，2003a)和 van Dijk(1997，1998)都曾明確提出話語包括口語、書面語以及非語言交際等多種模式。他們認(rèn)為，在面對(duì)面交流中、在看電影電視節(jié)目時(shí)，伴隨著聲音出現(xiàn)的非語言活動(dòng)，如手勢(shì)、面部表情、身體姿勢(shì)、親近、掌聲、笑聲等對(duì)話語意義及功能的理解起著至關(guān)重要的作用(Van Dijk 1997:6)，因此隨著現(xiàn)代社會(huì)多媒體交流的普及，話語的視覺形式不可忽視，特別是對(duì)廣告、電視節(jié)目的研究更需跨媒體、多模態(tài)的探討。Fairclough在吸收Foucault和Harvey等社會(huì)學(xué)理論的基礎(chǔ)上發(fā)展了話語概念，認(rèn)為社會(huì)實(shí)踐是抽象的社會(huì)結(jié)構(gòu)和具體的社會(huì)行為之間的橋梁，話語則是社會(huì)實(shí)踐的一個(gè)重要組成部分，它既包括語言因素，也包括非語言的交際因素和視覺形象……話語秩序是社會(huì)實(shí)踐在語言層面上的反映(Fairclough 2003:24)。因此應(yīng)“將話語概念加以延伸，使之不僅包括作為文字和影像結(jié)合物的文本，也涵蓋其他符號(hào)形態(tài)”(費(fèi)爾克拉夫 2003:4)。Halliday也指出，社會(huì)體系或文化可以表述為一種意義建構(gòu)和符號(hào)系統(tǒng)，構(gòu)成社會(huì)體系的意義是通過許多模式和渠道傳遞的，語言只是其中的一種交際模式，除語言外，還有很多其他符號(hào)模式(Halliday 1978/2001:189)。只是在傳統(tǒng)的研究過程中，人們更多的關(guān)注語言模式而已。

目前，在多模態(tài)話語分析領(lǐng)域較活躍的主要有社會(huì)符號(hào)學(xué)，互動(dòng)社會(huì)語言學(xué)和認(rèn)知語言學(xué)等3個(gè)流派，其研究范圍包括語言之外的各種符號(hào)資源的理論體系和工作機(jī)制、及其對(duì)社會(huì)符號(hào)進(jìn)程的建構(gòu)，以及對(duì)各模態(tài)之間形成的關(guān)系及意義進(jìn)行探討(O’Halloran 2011)。

社會(huì)符號(hào)學(xué)和批評(píng)話語分析的研究者:Kress＆ van Leeuwen(1996);O’Toole(1994);Lemke(1998，2002，2009);Baldry ＆ Thibault(2006);Bateman(2008);Bednarek＆Martin(2010);Jewitt(2009);Unsworth(2008);Ventola＆Moya(2009);O’Halloran(2011)以及 Machin(2007)，van Leeuwen(2008)都以Halliday的系統(tǒng)功能語言學(xué)為理論基礎(chǔ)。其中，Kress＆van Leeuwen(1996)在語篇分析的基礎(chǔ)上提出圖像分析的總體原則，基于Halliday的3個(gè)元功能提出的圖像的再現(xiàn)功能、互動(dòng)功能和構(gòu)成功能。O’Toole(1994)將Halliday的理論用于對(duì)繪畫、雕塑、建筑的研究，通過自下而上的分析建立起來的可資借鑒的分析框架為80、90年代的多模態(tài)話語研究奠定了基礎(chǔ)。隨后的學(xué)者又將越來越多的模態(tài)納入研究視野，如對(duì)聲音與音樂(van Leeuwen 1999)、科學(xué)課本(Lemke 1998)、動(dòng)作與手勢(shì) (Martinec 2000)、教育研究(Jewitt 2006)及多模態(tài)讀寫能力(New London Group 2000)等進(jìn)行的研究。而Delin和Bateman(2002)提出的GeM(genre and multimodality)模型，從內(nèi)容、修辭、布局、導(dǎo)航(navigation)、語言等5個(gè)層面對(duì)電子和書面文本進(jìn)行的多模態(tài)分析，為探討由文本、布局、圖案、圖畫、圖解等構(gòu)成的不同話語提供了參考，為分析文本和視覺意義提供了可資借鑒的模型。

以認(rèn)知語言學(xué)為基礎(chǔ)發(fā)展起來的多模態(tài)話語分析(Forceville 1996，2006;Forceville＆ Urios-Aparisi 2009)認(rèn)為關(guān)聯(lián)理論不局限于言語交際，也適用于非言語的、多模態(tài)的話語分析，并運(yùn)用圖像隱喻(pictorial metaphor)理論研究多模態(tài)話語?；?dòng)社會(huì)語言學(xué)的多模態(tài)話語分析(Norris 2004，Norris＆Jones 2005，Scollon 2001)將語言看成社會(huì)行為，認(rèn)為互動(dòng)進(jìn)程是共同參與過程，話語分析不僅要考慮語言，更要考慮語言在互動(dòng)過程中的作用，以及互動(dòng)過程中的其他因素(Scollon 1998)。多模態(tài)互動(dòng)話語分析旨在理解、描述話語互動(dòng)的進(jìn)程，關(guān)注人們?cè)诮浑H過程中運(yùn)用不同方式構(gòu)建情景和身份的過程，將話語融入人們的行為進(jìn)程，分析話語和行為構(gòu)成的整體(Norris 2004:5－20)。

3 結(jié)束語

對(duì)話語的多模態(tài)性、多模態(tài)話語的認(rèn)識(shí)與研究是一個(gè)逐漸認(rèn)知、不斷深化的過程。在相對(duì)較長(zhǎng)的認(rèn)識(shí)、研究過程中，學(xué)者們逐漸認(rèn)識(shí)到，盡管語言在意義構(gòu)建過程中起著舉足輕重的作用，是最重要的符號(hào)資源，然而，在話語領(lǐng)域，它也只是眾多的符號(hào)資源之一，對(duì)語言的單模態(tài)研究需要與視覺、聽覺、媒介等研究相結(jié)合，從社會(huì)、認(rèn)知、文化、媒介、哲學(xué)等各領(lǐng)域考察話語的多模態(tài)性質(zhì)和特征。只有重視各模態(tài)的內(nèi)在規(guī)律和協(xié)同作用，才能更深入地理解、揭示多模態(tài)話語發(fā)生、發(fā)展的內(nèi)在機(jī)制和規(guī)律。

目前，在社會(huì)符號(hào)學(xué)、互動(dòng)社會(huì)語言學(xué)和認(rèn)知語言學(xué)的相關(guān)研究走向縱深的同時(shí)，多模態(tài)話語研究的領(lǐng)域和視野也隨之更廣泛、更開闊:研究?jī)?nèi)容從對(duì)多模態(tài)話語性質(zhì)的關(guān)注到對(duì)各模態(tài)的深入研究，從單一模態(tài)的探討到多種模態(tài)的融合，以及各模態(tài)之間的關(guān)系的研究;研究對(duì)象從紙質(zhì)媒體到電視、網(wǎng)絡(luò)媒體，從對(duì)成品的分析到對(duì)互動(dòng)性話語進(jìn)程的探討;研究方法也從經(jīng)驗(yàn)性描寫到理性、批評(píng)性分析，從多學(xué)科關(guān)注到多學(xué)科的交叉與融合等。同時(shí)，多模態(tài)語言教學(xué)、多元讀寫能力的培養(yǎng)等應(yīng)用領(lǐng)域的研究也引起重視，并將其融入現(xiàn)代社會(huì)急需的批判性閱讀能力的培養(yǎng)。因此，我們有理由相信，隨著現(xiàn)代技術(shù)的運(yùn)用和多模態(tài)話語研究的不斷深入，其成果將不僅為現(xiàn)代技術(shù)環(huán)境中多媒體話語的理解、欣賞與制作，為多模態(tài)話語教學(xué)等應(yīng)用領(lǐng)域提供理論和實(shí)踐支持(代樹蘭2011)，也更有利于我們更深入地理解、揭示話語發(fā)生、發(fā)展的內(nèi)在機(jī)制和規(guī)律。

奧古斯汀.懺悔錄［Z］.北京:商務(wù)印書館，1963.

巴爾特·羅蘭.神話——大眾文化詮釋［M］.上海:上海人民出版社，1999a.

巴爾特·羅蘭.符號(hào)學(xué)原理［M］.北京:三聯(lián)書店，1999b.

從萊庭徐魯亞.西方修辭學(xué)［M］.上海:上海外語教育出版社，2007.

代樹蘭.電視訪談的多模態(tài)話語性質(zhì)［Z］.浙江大學(xué)第三屆當(dāng)代中國(guó)話語研究討論會(huì)，2009年12月.

代樹蘭.關(guān)注多模態(tài)話語教學(xué) 提高學(xué)生交際能力［J］.山東外語教學(xué)，2011(3).

費(fèi)爾克拉夫.話語與社會(huì)變遷［M］.北京:華夏出版社，2003.

格雷馬斯，A.J.符號(hào)學(xué)與社會(huì)科學(xué)［M］.天津:百花文藝出版社，2009.

胡塞爾.邏輯研究［M］.上海:上海譯文出版社，1999.

胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化［J］.語言教學(xué)與研究，2007(1).

霍克斯·特倫斯.結(jié)構(gòu)主義和符號(hào)學(xué)［M］.上海:上海譯文出版社，1987.

利科·保羅.哲學(xué)主要趨向［M］.北京:商務(wù)印書館，1988.

李彥鋒.中國(guó)繪畫史中的語圖關(guān)系研究［D］.上海大學(xué)博士論文，2010.

索緒爾.普通語言學(xué)教程［M］.北京:商務(wù)印書館，1980.

王瀚東.先秦語言哲學(xué)與美學(xué)的關(guān)系初探［J］.華中科技大學(xué)學(xué)報(bào)(社科版)，2001(3).

維特根斯坦.哲學(xué)研究［M］.上海:上海人民出版社，2001.

沈宗驀.傳世藏書、積庫、文藝評(píng)論(3)［Z］.?？?海南國(guó)際新聞出版社，1996.

鄭振鐸.中國(guó)歷史參考圖譜·跋［A］.鄭爾康編.鄭振鐸藝術(shù)考古文集［C］.北京:文物出版社，1988.

Baldry，A.P.＆ Thibault，P.J.Multimodal Transcription and Text Analysis［M］.London:Equinox，2006.

Bateman，J.Multimodality and Genre:A Foundation for the Systematic AnalysisofMultimodalDocuments［M］.Hampshire:Palgrave Macmillan，2008.

Bednarek，M.＆ Martin，J.R.New Discourse on Language:Functional Perspectives on Multimodality，Identity，and Affiliation［M］.London and New York:Continuum，2010.

Brown，G.＆ G.Yule.Discourse Analysis［M］.Cambridge:Cambridge University Press，1983.

Bransford，J.＆ Johnson，M.Considerations of some Problems of Comprehension［A］.In W.G.Chase(ed.).Visual Information Processing［C］.London:Academic Press，1973.

Crystal，D.The English Tone of Voice:Essays in Intonation，Prosody and Paralanguage［M］.London:Edward Arnold，1975.

Delin，J.＆ Bateman，J.Describing and Critiquing Multimodal Documents［J］.Document Design，2002(3).

Fairclough，N.Discourse and Social Change［M］.Oxford:Blackwell Publishers Ltd.，1992.

Fairclough，N.Analysing Discourse:Textual Analysis for Social Research［M］.London and New York:Routledge，2003.

Fairclough，N.，Jessop，B.＆ Sayer，A.Critical Realism and Semiosis［A］.In J.M.Robert ＆ J.Joseph(eds.).Realism，Discourse and Deconstruction［C］.London:Routledge，2003a.

Forceville，C.Pictorial Metaphor in Advertising［M］.London:Routledge，1996.

Forceville，C.Non-verbal and Multimodal Metaphor in a Cognitive Framework:Agendas for research［A］.In G.Kristiansen，M.Achard，R.Dirven＆ F.R.de M.Ibanez(eds.).Cognitive Linguistics:Current Applications and Future Perspectives［C］.Berlin/New York:Mouton de Gruyter，2006.

Forceville，C.J.＆ Urios-Aparisi，E.Multimodal Metaphor［M］.Berlin and New York:Mouton de Gruyter.2009.

Halliday，M.A.K.Learning How to Mean:Explorations in the Development of Language［M］.London:Arnold.1975.

Halliday，M.A.K.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London/Beijing:Edward Arnold/Foreign Language Teaching and Research Press，1978/2001.

Hawkes T.Structuralism and Semiotics［M］.London and New York:Routledge，2003.

Iedema，R.Multimodality，Resemioticization:Extending the Analysis of Discourse as a Multisemiotic Practice［J］.Visual Communication，2003(2).

Jewitt，C.Technology，Literacy and Learning:A Multimodal Approach［M］.London:Routledge，2006.

Jewitt，C.Different Approaches to Multimodality［A］.In C.Jewitt(ed.).Handbook of Multimodal Analysis［C］.London and New York:Routledge，2009.

Kress，G.＆ van Leeuwen，T.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.

Kress，G.＆ T.van Leeuwen.Front Pages:The Critical A-nalysis of Newspaper Layout［A］.In A.Bell＆ P.Garrett(eds.).Approaches to Media Discourse［C］.London:Times New Roman，1998.

Kress，G.＆ van Leeuwen，T.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Arnold，2001.

Labov，W.The Social Motivation of a Sound Change［J］.Word，1963(19).

Lemke，J.L.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［A］.In J.R.Martin ＆ R.Veel(eds.).Reading Science:Critical and Functional Perspectives on Discourses of Science［C］.London:Routledge，1998.

Lemke，J.L.Travels in Hypermodality［J］.Visual Communication，2002(3).

Lemke，J.L.Multimodal Genres and Transmedia Traversals:Social Semiotics and the Political Economy of the Sign［J］.Semiotica，2009(177).

LeVine，P.＆ R.Scollon.Multimodal Discourse Analysis as the Confluence of Discourse and Technology［A］.In P.LeVine ＆ R.Scollon(eds.).Discourse and Technology:Multimodal Discourse Analysis［C］.Washington DC:Georgetown University Press，2004.

Machin，D.Introduction to Multimodal Analysis［M］.London and New York:Hodder Arnold，2007.

Norris，S.Analyzing Multimodal Interaction:A Methodological Framework［M］.New York/London:Routledge，2004.

Norris，S.＆ Jones，R.H.Discourse in Action:Introducing Mediated Discourse Analysis［C］.London:Routledge，2005.

O’Halloran，K.L.Multimodal Discourse Analysis［A］.In K.Hyland＆ B.Paltridge(eds.).Companion to Discourse［C］.London and New York:Continuum.2011.

O’Toole，M.The Language of Displayed Art(2nd ed)［M］.London and New York:Routledge，1994.

Schiffrin，D.，Tannen，D.＆ H.E.Hamilton.The Handbook of Discourse Analysis［M］.Malden MA and Oxford:Blackwell，2001.

Scollon，R.Mediated Discourse as Social Interaction［M］.London:Longman，1998.

Scollon，R.Mediated Discourse:The Nexus of Practice［M］.London and New York:Routledge，2001.

Unsworth，L.Multimodal Semiotics:Functional Analysis in Contexts of Education［M］.London and New York:Continuum，2008.

van Leeuwen，T.Speech，Music，Sound［M］ .London:Macmillan，1999.

van Leeuwen，T.Discourse and Practice:New Tools for Critical Discourse Analysis［M］.Oxford:Oxford University Press，2008.

van Dijk T.A.Discourse as Structure and Process:Discourse Studies:A Multidisciplinary Introduction［M］.London:SAGE Publications Ltd.，1997.

van Dijk，T.A.Ideology:A Multidisciplinary Approach［M］.London:Sage，1998.

Ventola，E.＆ Moya，J.The World Told and the World Shown:Multisemiotic Issues［M］.Hampshire:Palgrave Macmillan，2009.