多模態(tài)語篇研究的理論探索

董志友

(黑龍江外國語學(xué)院 英語系，黑龍江 哈爾濱 150025)

一、引言

語篇分析研究的歷史由來已久，然而現(xiàn)代語篇分析始于Z. Harris，他在1952年發(fā)表了“Discourse Analysis”一文，采取形式化的方法來分析語篇的結(jié)構(gòu)[1](P1-30)。Mitchell(1957)用語義分析法來分析語篇，并將語篇分為若干階段。此后，多種語篇分析理論逐漸形成并發(fā)展起來，具體有會話分析(conversational analysis)、語篇人種學(xué)(ethnography of speaking)、互動社會語言學(xué)(interactional sociolinguistics)、變異理論(variation theory)、言語行為理論(speech act theory)、語用學(xué)(pragmatics)、語類分析(genre analysis)、敘事分析(narrative analysis)、系統(tǒng)功能語言學(xué)(systemic functional linguistics)、批評語篇分析(critical discourse analysis)、語料庫語篇分析(corpus approach to discourse analysis)等[2]。上述語篇分析方法無一例外所關(guān)注的主要都是口頭或書面語言，而忽視了非語言因素，如手勢、身勢、目光接觸、音樂、圖片、影像等，也是構(gòu)成語篇意義很重要一部分的事實。人們逐漸發(fā)現(xiàn)僅僅從語言的角度分析語篇是不充分的，因為語篇的意義很大一部分是由非語言因素體現(xiàn)的，如音高、語調(diào)、語速等聲音特征，手勢、身勢、表情、動作等身體特征，音響、圖片、視頻、網(wǎng)絡(luò)等工具和環(huán)境特征等。交際也不僅僅只是通過單一感官實現(xiàn)，而可能會涉及聽覺、視覺、觸覺等多種感官共同實現(xiàn)，這樣由多種交際方式共同產(chǎn)生的語篇就是多模態(tài)語篇。由此可見，運用視覺、聽覺、觸覺等多種感覺，通過語言、圖像、聲音等多種手段和符號資源進行交際的現(xiàn)象就叫多模態(tài)語篇[3]。多模態(tài)語篇是集語言與非語言因素于一體進行交際的話語，是現(xiàn)代社會最為普遍的交流形式。

二、多模態(tài)語篇研究的起源與發(fā)展

在多模態(tài)話語分析方面最早的研究者之一是R. Barthes，他在1977年發(fā)表的《圖像的修辭》(Rhetoric of the Image)中探討了圖像在表達意義上與語言的相互作用[4]。多模態(tài)研究從20世紀90年代開始得到語言學(xué)界的廣泛關(guān)注。O’ Toole (1994)對繪畫、雕塑和建筑等藝術(shù)作品進行符號學(xué)分析；Kress, G. & van Leeuwen, T. (1996; 2001; 2003)從社會符號學(xué)角度以Halliday的功能語法理論為基礎(chǔ)，建立了圖像分析的多模態(tài)話語分析框架，主要分析圖像、顏色等在語篇中的作用；Lemke(1998, 2002, 2009)研究了科技語篇、超文本的多模態(tài)特征并對新媒體時代的讀寫教育提出新的觀點；O’Halloran, K.L. (& Jewitt 2004, 2005, 2007, & Smith 2011)在探討了多模態(tài)的理論建構(gòu)的同時，還就數(shù)學(xué)語篇中的多模態(tài)現(xiàn)象進行深入的研究，并嘗試設(shè)計多模態(tài)分析軟件；Martinec (2000) 則通過對杰克遜音樂的分析提出自己的“音樂語法”；Royce,T. (2002, 2007)在研究中重點關(guān)注多模態(tài)話語中不同符號之間的互補性以及多模態(tài)話語的協(xié)同性在第二語言課堂教學(xué)中的體現(xiàn)等。近年來，多模態(tài)研究者在探索更多社會符號的同時(如電影語篇，Bateman & Schmidt 2012)，開始注重不同學(xué)科視角的融合(Forceville & Urios-Aprarisi 2009)；就研究方法而言，研究者開始應(yīng)用數(shù)字技術(shù)對復(fù)雜的多模態(tài)語篇進行注解和模擬(Lim 2001; O’Halloran, et al. 2012)；并建立多模態(tài)語料庫，開發(fā)多模態(tài)檢索軟件(Baldry & Thibault 2008)；還有通過問卷調(diào)查、眼動實驗、甚至腦成像技術(shù)等考察讀者對多模態(tài)語篇認知的實證研究[5](P88-89)。

我國相關(guān)領(lǐng)域的研究始于21世紀，李戰(zhàn)子教授于2003年把多模態(tài)話語研究引介到國內(nèi)。2007年，朱永生教授撰文從系統(tǒng)功能語言學(xué)角度探討了多模態(tài)話語分析的理論基礎(chǔ)和分析方法。近年來，我國多模態(tài)話語研究發(fā)展迅速，多模態(tài)分析已廣泛運用到符號學(xué)、哲學(xué)、社會學(xué)、人類學(xué)、政治學(xué)、新聞學(xué)、心理學(xué)、法學(xué)、美學(xué)和醫(yī)學(xué)等領(lǐng)域，研究對象也從語言文字擴展到音樂、圖片、影像、網(wǎng)頁設(shè)計等多種社會符號系統(tǒng)。我國學(xué)者對于多模態(tài)的研究主要集中在以下三個方面：一是理論研究。如李戰(zhàn)子(2003)探討多模態(tài)話語的社會符號學(xué)分析；朱永生(2007)從系統(tǒng)功能語言學(xué)視角為多模態(tài)話語研究提供了理論基礎(chǔ)和分析方法；張德祿(2009)探索了多模態(tài)話語分析的綜合理論框架；李華兵(2013)總結(jié)了多模態(tài)研究的常用方法和研究領(lǐng)域等；馮德正(2014)等綜合梳理了多模態(tài)語篇分析的研究進展，并探討了該領(lǐng)域研究的前沿問題。二是多模態(tài)語篇分析。多模態(tài)應(yīng)用于語篇分析的研究主要有多模態(tài)與廣告語篇、多模態(tài)與詩歌、多模態(tài)與政治漫畫、多模態(tài)與電視新聞、多模態(tài)與網(wǎng)絡(luò)視頻等。三是多模態(tài)與外語教學(xué)研究。多模態(tài)與外語教學(xué)相關(guān)研究主要包括：多模態(tài)在聽、說、讀、寫、文學(xué)、翻譯教學(xué)方面的應(yīng)用，多模態(tài)與教材編寫，多模態(tài)學(xué)習(xí)模式培養(yǎng)研究等[6]。

三、多模態(tài)語篇研究的理論框架

通過前文不難看出，多模態(tài)語篇研究日益深入，研究的理論視角和研究方法多樣，歸結(jié)起來，其理論框架主要有以下四個方面：

(一)多模態(tài)語篇的系統(tǒng)功能語言學(xué)和社會符號學(xué)分析

系統(tǒng)功能語言學(xué)和社會符號學(xué)理論把語言看作一種“社會符號”,具有意義潛勢(Halliday:1978)[7]。多模態(tài)研究借鑒系統(tǒng)功能語言學(xué)和社會符號學(xué)的理論，認為不僅僅“語言是社會符號”，圖片、顏色、建筑、音樂、視頻等也都是社會符號，具有意義潛勢。因此，既適用于語言的理論和研究方法，也適用于其他可以構(gòu)建意義的社會符號。多模態(tài)研究還接受了系統(tǒng)功能語言學(xué)關(guān)于語言具有概念功能、人際功能和語篇功能等三大元功能的觀點，如O’ Toole(1994；2011)在針對繪畫、雕塑和建筑等陳列藝術(shù)建立的視覺語法中，提出視覺藝術(shù)作品具有再現(xiàn)意義(representational meaning)、情態(tài)意義(modal meaning)和構(gòu)圖意義(compositional meaning)等三種元意義[8]。Kress & van Leeuwen(1996；2006)構(gòu)建的視覺語法框架中用再現(xiàn)意義(representational meaning)、互動意義(interactive meaning)和構(gòu)圖意義(compositional meaning)來對視覺圖像進行分析[9]。

(二)多模態(tài)互動分析

交際互動分析以語篇分析、交際互動語言學(xué)和中介語篇分析為理論基礎(chǔ)。Norris(2004)認為任何交際都是多模態(tài)的，語言只是眾多交際模態(tài)之一。交際中除了語言以外，體距、姿勢、手勢、眼神等也起到同等重要的作用，都能構(gòu)建互動意義[10]。一是介入行為：她發(fā)展了Scollon(2001，2004)介入語篇分析理論[11]，把介入行為作為多模態(tài)互動分析的基本單位，并把介入行為分為低級行為、高級行為和凍結(jié)行為。高級行為由低級行為構(gòu)成，低級行為是多模態(tài)互動分析的最小單位，低級行為由某一種模態(tài)完成，而高級行為可能會由多種模態(tài)相互作用來共同完成。凍結(jié)行為是指交際互動行為發(fā)生的環(huán)境及環(huán)境中的物品。二是模態(tài)密度和模態(tài)結(jié)構(gòu)：模態(tài)密度與模態(tài)強度和模態(tài)復(fù)雜度相關(guān)；模態(tài)結(jié)構(gòu)是指在完成某一高級行為時不同模態(tài)間各自的重要程度和彼此間的相互關(guān)系。三是注意、意識和前景——背景連續(xù)體：在現(xiàn)實的交際活動中，常常會幾種高級活動同時進行，但交際主體給予各種高級活動的注意程度各不相同。受注意程度最高的高級活動被稱為前景高級活動，中景高級活動受到的注意程度次之，背景高級活動受到的注意程度最低。這種活動主體對多種不同高級活動給予不同程度注意的現(xiàn)象被稱為前景——背景連續(xù)體。四是模態(tài)結(jié)構(gòu)：社會活動具有多模態(tài)性。模態(tài)結(jié)構(gòu)是指各種模態(tài)在高級活動中的相互關(guān)系。確切而言，就是某一高級活動中都涉及哪些模態(tài)、各種模態(tài)間的重要程度排序，以及不同模態(tài)彼此之間的相互關(guān)系等。

(三)多模態(tài)語篇的認知隱喻分析

認知語言學(xué)觀點認為，隱喻是人的思維方式，是人類認識世界的手段。認知語言學(xué)最初關(guān)于隱喻的研究主要關(guān)注的是語言層面，而人類認識世界的手段顯然并非只有語言，而是多方面的。隨著多模態(tài)研究的深入，隱喻被用于研究語言之外的圖像和其他模態(tài)，從而引發(fā)多模態(tài)隱喻研究的熱潮。作為多模態(tài)隱喻研究的代表人物，F(xiàn)orceville(2009:22-23)探討了單模態(tài)隱喻和多模態(tài)隱喻的概念，二者的主要區(qū)別在于其源域和目標域是通過同一種模態(tài)來體現(xiàn)的隱喻，還是通過不同模態(tài)來體現(xiàn)的隱喻[12]。在此基礎(chǔ)上，隱喻理論被用來研究廣告、政治漫畫、音樂與聲音、電影以及手勢等多種符號資源，不但使人們能從新的視角來分析多模態(tài)語篇，而且打破了以往概念隱喻僅僅局限于語言層面研究的局面，更好地詮釋隱喻的體驗哲學(xué)的本質(zhì)，豐富了認知語言學(xué)的概念隱喻理論。

(四)多模態(tài)語篇的語料庫分析

隨著現(xiàn)代數(shù)碼科技的發(fā)展，交流方式日益多模態(tài)化，多模態(tài)語篇也越來越復(fù)雜化，如何對多模態(tài)語篇進行記錄、加工，并采用科學(xué)的手段加以分析，成為許多學(xué)者關(guān)注的重要課題。為了解決這一問題，一些學(xué)者開發(fā)了多模態(tài)語料庫標注和檢索軟件，建立多模態(tài)語料庫。多模態(tài)語料庫分析在原有單模態(tài)文本語料庫理論基礎(chǔ)上，建立包括文本、圖片、音頻、視頻等多模態(tài)符號資料在內(nèi)的多模態(tài)語料庫，以系統(tǒng)功能語言學(xué)和社會符號學(xué)為理論基礎(chǔ)對多模態(tài)符號進行標注，通過語料庫語言學(xué)的研究手段分析多模態(tài)符號的意義建構(gòu)，為多模態(tài)語篇分析提供了科學(xué)、高效的研究方法。

四、結(jié)語

以上對多模態(tài)語篇分析幾種主要的理論進行簡要歸納和梳理。首先，通過上文不難看出，多模態(tài)語篇研究的理論日漸豐富。對于多模態(tài)語篇的研究，除了采取上述提到的系統(tǒng)功能語言學(xué)、社會符號學(xué)、互動社會學(xué)、認知隱喻和語料庫語言學(xué)等理論視角以外，近年來還有學(xué)者以語用學(xué)、文體學(xué)和修辭學(xué)為基礎(chǔ)進行多模態(tài)語篇研究。在多模態(tài)研究中，各種理論視角相互借鑒、相互融合。同時，多模態(tài)語篇研究的范圍不斷拓寬。從最初研究靜態(tài)的語言和圖片的社會符號意義，逐漸擴展到對動態(tài)的音頻、視頻意義的探討，以及對于日常對話、課堂教學(xué)等方面的研究。此外，多模態(tài)語篇研究的方法呈多樣化趨勢。對典型實例和少量文本在某一理論框架內(nèi)進行定性分析，挖掘文本深層次的語篇特征，建立大型多模態(tài)語料庫，并對多模態(tài)符號進行定量分析，發(fā)現(xiàn)其普遍的語篇特征。還有通過心理學(xué)實驗分析受試者對多模態(tài)語篇的認知和理解?？傊嗄B(tài)多模態(tài)語篇的研究理論框架和研究方法日益融合，研究范圍越來越廣。

[1]Harris, Z. Discourse Analysis[J]. Language, 1952(28).

[2]McCarthy, M., Matthiessen, C., Slade, D. “Discourse Analysis” in Schmitt, N. (eds)[C]//An Introduction to Applied Linguistics.London: Arnold, 2002.

[3]張德祿. 多模態(tài)話語分析綜合理論框架探索[J]. 中國外語, 2009(1).

[4]Barthes, R. Image-Music-Text[M]. London: Fontana, 1977.

[5]馮德正, 張德祿, O’Halloran, K. 多模態(tài)語篇分析的進展與前沿[J]. 當(dāng)代語言學(xué), 2014(1).

[6]潘艷艷, 李戰(zhàn)子. 國內(nèi)多模態(tài)話語分析綜論(2003—2017)——以CSSCI來源期刊發(fā)表成果為考察對象[J]. 福建師范大學(xué)學(xué)報：哲學(xué)社會科學(xué)版, 2017(5).

[7]Halliday, M. A. K. Language as Social Semiotic: The Social Interpretation of Language and Meaning[M]. London: Edward Arnold, 1978.

[8]O’ Toole, M. The Language of Displayed Art[M]. London: Leicester University Press, 1994.

[9]Kress, G. & van Leeuwen, T. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 2006.

[10]Norris, S. Analyzing Multimodal Interaction: A Methodological Framework[M]. London: Routledge, 2004.

[11]Scollon, R. and Levine, P. Multimodal Discourse Analysis as the Confluence of Discourse and Technology[C]//In P. Levine and R. Scollon (eds.) Discourse and Technology: Multimodal Discourse Analysis. Georgetown: Georgetown University Press, 2004.

[12]Forceville, C. and E. Urios-Aparisi[C]// Multimodal Metaphor. Berlin: Mouton de Gruyer, 2009.