國內(nèi)外多模態(tài)隱喻研究綜述

朱娜

摘要：多模態(tài)隱喻是多模態(tài)話語分析的一個(gè)研究方向，學(xué)術(shù)界開展此項(xiàng)研究已有 20 多年時(shí)間?；谙到y(tǒng)功能語言學(xué)理論和認(rèn)知語言學(xué)的研究方法，國內(nèi)外學(xué)者對(duì)多模態(tài)隱喻的意義構(gòu)建、模態(tài)之間的互補(bǔ)協(xié)同進(jìn)行了理論探討和實(shí)證研究，并對(duì)多模態(tài)隱喻在不同領(lǐng)域間的應(yīng)用進(jìn)行了研究。由于多模態(tài)隱喻研究發(fā)展歷史短暫，在研究方法、研究視角等方面依然存在不足，隨著科學(xué)技術(shù)的發(fā)展和研究的深入，多模態(tài)隱喻定會(huì)穩(wěn)步發(fā)展，進(jìn)而推動(dòng)話語分析乃至整個(gè)語言學(xué)的發(fā)展。

關(guān)鍵詞：多模態(tài)隱喻;理論探討;應(yīng)用研究;綜述

1960年代，英國語言學(xué)家Halliday創(chuàng)立了系統(tǒng)功能語言學(xué)。他認(rèn)為語言系統(tǒng)具有三種元功能：概念功能、人際功能和語篇功能。這三種功能同時(shí)在語言中起作用。交際者通過語言與他人進(jìn)行交流，語言作為一種社會(huì)符號(hào)，同時(shí)反映了客觀世界及其內(nèi)在世界。但是，Halliday的系統(tǒng)功能僅適用于語言系統(tǒng)，對(duì)其他社交符號(hào)系統(tǒng)則沒有影響。

此后，Kress和Van Leeuwen進(jìn)一步發(fā)展了系統(tǒng)功能理論，并將圖像視為一種社會(huì)符號(hào)，將Halliday基于語言符號(hào)系統(tǒng)的社會(huì)符號(hào)理論擴(kuò)展到視覺符號(hào)系統(tǒng)。他們認(rèn)為讀者可以根據(jù)圖像的呈現(xiàn)方式來進(jìn)行解讀，圖像也具有自己的語法特征，像語言一樣語言，也可以實(shí)現(xiàn)三種元功能，Kress和Van Leeuwen將其稱為再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義。他們創(chuàng)建了基于多模態(tài)話語分析的視覺語法框架，并在1996年出版了Reading Image： the Grammar of Visual Design，其中詳細(xì)闡述了視覺語法。根據(jù)這一理論，交流可以通過除語言之外諸如圖片、色彩、聲音等多種模態(tài)。

（一） 國外視頻廣告多模態(tài)隱喻研究

國外認(rèn)知語言學(xué)框架下多模態(tài)隱喻研究的倡導(dǎo)者和發(fā)起人是Charles Forceville，他的多模態(tài)隱喻理論的創(chuàng)立可追溯到他于 1996 年公開發(fā)表的博士論文Pictorial Metaphor in Advertising，該專著首次提出了概念“圖像隱喻”，指出隱喻思維的另一種有效表達(dá)方式是圖像，以Black的隱喻互動(dòng)論為理論框架，借鑒Sperber&Wilson的關(guān)聯(lián)理論，詳細(xì)解釋了廣告（主要是平面廣告） 中圖像隱喻的組成、分類及解讀策略。盡管非統(tǒng)一的分類標(biāo)準(zhǔn)和重疊的類別存在不足之處，但用非語言的媒介來嘗試隱喻研究非常新穎，確實(shí)為以后的嚴(yán)格意義上的多模態(tài)研究奠定了堅(jiān)實(shí)的基礎(chǔ)。Forceville將模式定義為“某種感知過程的可解釋符號(hào)系統(tǒng)”，其中人們表達(dá)圖像，書面語言，口語，手勢(shì)，聲音，音樂，氣味，味道，觸感等。且可以分類為單模態(tài)隱喻和多模態(tài)隱喻。Forceville（2009）認(rèn)為，單模態(tài)隱喻是指主要通過一種模態(tài)呈現(xiàn)的源域和目標(biāo)域，而多模態(tài)隱喻在源域和目標(biāo)域中涉及兩個(gè)或多個(gè)表達(dá)。多模態(tài)隱喻更加關(guān)注基于概念隱喻的隱喻表達(dá)的創(chuàng)造力和多樣性（鐘安林 2018）。例如，O'Toole擴(kuò)展了語言的元功能，擴(kuò)展到繪畫，建筑和CD-ROM交互格式等領(lǐng)域。在他的《展覽藝術(shù)語言》（1994）一書中，視覺形象的功能被定義為功能框架內(nèi)的具象、模式和構(gòu)圖。2005年7月，第九屆國際語用學(xué)會(huì)議在意大利召開，為《多模態(tài)隱喻》論文集的出版做出了貢獻(xiàn)。該論文由Forceville&Urios-Aparisi編輯，已收集了許多論文。研究類型包括廣告，政治漫畫，連環(huán)漫畫，動(dòng)畫，樂譜，口頭對(duì)話，講座，故事片等。其中大多數(shù)集中于多模態(tài)隱喻的研究重點(diǎn)，例如：多模態(tài)隱喻的語類型、區(qū)別性特征，多模態(tài)隱喻與轉(zhuǎn)喻之間的關(guān)系，多模態(tài)隱喻的相似性表征方式等。

從跨文化角度來分析多模態(tài)隱喻要源自于Lakoff & Johnson（1980）認(rèn)為認(rèn)知隱喻的體驗(yàn)性雖然是物質(zhì)層面的，但受到文化差異的影響。文化認(rèn)知模型可以為人們了解和理解周圍的世界提供參考點(diǎn)，但它通常表現(xiàn)為某種社會(huì)成員的價(jià)值觀，民間哲學(xué)，經(jīng)驗(yàn)知識(shí)，文化傳統(tǒng)，社會(huì)習(xí)俗等，這是一種社會(huì)化的習(xí)慣性認(rèn)知模型。在純語言隱喻中，通常會(huì)投射源域的內(nèi)涵含義，而不是字面意義，并且在不同的文化（亞文化）中，這種內(nèi)涵含義可能會(huì)完全不同。同年，Yu（2009）提出概念隱喻的經(jīng)驗(yàn)基礎(chǔ)是物質(zhì)的和文化的，概念隱喻源于經(jīng)驗(yàn)與文化的相互作用。

（二） 國內(nèi)多模態(tài)隱喻研究

國內(nèi)認(rèn)知語言學(xué)框架下的多模態(tài)隱喻研究起步較晚。曾力（2004）年在語言隱喻之外，開始關(guān)注語義沖突和相似性在圖形隱喻作中的作用。之后，侯瑞潘和趙秀峰參照Forceville的分類，對(duì)平面廣告中的多模態(tài)隱喻進(jìn)行了系統(tǒng)的劃分，并結(jié)合實(shí)例探討了其構(gòu)成、識(shí)別和解釋。同年，李毅，石磊，趙秀峰和蘇慧艷也分別撰文從不同角度對(duì)多模態(tài)隱喻進(jìn)行了探討。

從研究?jī)?nèi)容的角度看，主要可以分為以下兩類，首先是基于Forceville提出的多模態(tài)隱喻理論及其相關(guān)著作的理論綜述研究，如趙秀峰結(jié)合國外最新研究成果對(duì)多模態(tài)隱喻認(rèn)知研究的綜合評(píng)述;謝競(jìng)賢以Kress和Forceville的多模態(tài)理論為框架，從“超語言環(huán)境”的角度進(jìn)一步探討隱喻意義的建構(gòu)和理解。其次是多模態(tài)隱喻理論在不同語類中的具體應(yīng)用。例如，潘艷艷（2011）討論了政治漫畫中的隱轉(zhuǎn)喻現(xiàn)象和源域的文化內(nèi)涵，進(jìn)一步解釋了源域選擇的重要意義，源域的文化內(nèi)涵在多模態(tài)隱喻形成中的重要性及其在身份建構(gòu)和重構(gòu)中的作用;張輝和展偉偉（2011）在廣告語篇中重點(diǎn)研究了多模態(tài)隱喻和轉(zhuǎn)喻的動(dòng)態(tài)建構(gòu)。劉福英（2012）對(duì)演講手勢(shì)中的多模態(tài)隱喻和轉(zhuǎn)喻現(xiàn)象進(jìn)行了分析。

從研究方法的角度來看，主要是定性描述和分析，缺乏大規(guī)模的實(shí)證研究和數(shù)據(jù)統(tǒng)計(jì)的定量研究，并且基本上沒有使用高級(jí)計(jì)算機(jī)輔助研究方法（如語料庫或神經(jīng)影像學(xué)的實(shí)驗(yàn)方法）進(jìn)行的研究成果。很多研究者選擇引用一兩個(gè)具體的例子進(jìn)行詳細(xì)的分析，從中探討和總結(jié)多模態(tài)隱喻的認(rèn)知建構(gòu)原則、語言特點(diǎn)以及多模態(tài)隱喻轉(zhuǎn)喻之間的關(guān)系，如張輝、展偉偉等。此外，還涉及某些主題，例如對(duì)多模式隱喻理解的文化和個(gè)體差異，以及模態(tài)來源選擇的體裁特征等，這些都需要進(jìn)行大規(guī)模歷時(shí)研究和實(shí)證研究以確保研究結(jié)果可靠性和有效性。

從研究視角來看，與跨學(xué)科和跨領(lǐng)域的研究成果相比，更多的研究成果僅限于單一學(xué)科和單一理論框架。前者（例如潘艷艷等）和后者（例如陳明瑤和謝莉）結(jié)合了認(rèn)知和語用觀點(diǎn)，分析了隱喻在多模式交流中的認(rèn)知和情感說服功能，擴(kuò)大了隱喻的語用研究。趙秀鳳和蘇會(huì)艷（2010）在概念整合理論的框架內(nèi)解釋了多模態(tài)隱喻，而且總結(jié)了多模態(tài)隱喻特征，并進(jìn)一步探索了多模態(tài)隱喻的映射和綜合機(jī)制。

綜上所述，國內(nèi)大多數(shù)研究者關(guān)注的研究熱點(diǎn)包括多模態(tài)隱喻的識(shí)別與解釋，區(qū)別特征，認(rèn)知建構(gòu)以及多模態(tài)話語中隱喻與轉(zhuǎn)喻的相互作用，這些基本與國外相吻合。大規(guī)模的實(shí)證和數(shù)據(jù)統(tǒng)計(jì)類的定量研究，借助語料庫等先進(jìn)的計(jì)算機(jī)輔助研究方法或神經(jīng)成像的實(shí)驗(yàn)手段的研究將會(huì)成為今后的趨勢(shì);最后，跨學(xué)科、跨領(lǐng)域的研究成果將會(huì)在未來大量涌現(xiàn)，多模態(tài)隱喻的跨學(xué)科本質(zhì)內(nèi)在地要求了研究者從不同學(xué)科汲取營養(yǎng)、對(duì)相關(guān)領(lǐng)域融會(huì)貫通，不斷擴(kuò)寬多模態(tài)隱喻的研究視野，這也將為概念隱喻理論提供更加詳實(shí)的佐證。

參考文獻(xiàn)：

[1]Christie， F. Classroom Discourse Analysis： A Functional Perspective [M]. London： Continuum International Publishing Group， 2005.

[2]Forceville， C. 1996. Pictorial Metophor in Advertising [M] . London： Routledge.

[3]Forceville， C. & E. Urios - Aparisi. 2009. Multimodal Metaphor [M]. Berlin： Mouton De Gruyter.

[4]Halliday， M. A. K.& Matthiessen， C. M. I. M. Introduction to Functional Grammar（third edition） [M]. London： Edward Arnold， 1989： 78-96.

[5]Kress， G.&T. van Leeuwen. Multi-modal Discourse： The Modes and Media of Contemporary Communication [M]. London： Arnold， 2001.

[6]Kress， G.&T. van Leeuwen. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 2006.

[7]Lakoff， G. & M. Johnson. 1980. Metaphors We Live By [M]. Chicago： University of Chicago Press.

[8]Lemke， J. Travels in Hypermodality[M]. Visual Communication， 2006： 124-159.

[9]Multimodal Discourse Analysis： Systemic Functional Perspectives[M]. New York： Continuum， 2004： pp. 19-69.

[10]O'Halloran， K.L. Towards a systematic functional analysis of multisemiotic mathematics texts[J]. Semiotica， 1999：5一55.

[11]O'Toole， M. The Language of Displayed Art [M]. London： Leicester University Press，1994.

[12]The Language of Displayed Art by Michael O'Toole Volume：54 Journal： The Journal of Aesthetics and Art Criticism DOI：10.2307/431639 Date： January， 1996

[13]Yu，Ning. Nonverbal and multimodal manifestations of metaphors and metonymies： A case study [A]. Forceville，C.& Urios- Aparisi，E. Multimodal Metaphor [C]. Berlin/New York： Mouton de Gruyter，2009. 119 -143.

[14]馮德正，趙秀鳳.多模態(tài)轉(zhuǎn)喻與圖像語篇意義建構(gòu)[J].外語學(xué)刊，2017（06）：8-13.

[15]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007（01）：1-10.

[16]劉福英.演講手勢(shì)中多模態(tài)隱喻與轉(zhuǎn)喻互動(dòng)整合分析[J].欽州學(xué)院學(xué)報(bào)，2012，27（04）：52-55.

[17]亓玉杰，馮德正.多模態(tài)隱喻與廣告語篇分析：隱喻系統(tǒng)的建立與定量分析[J].北京科技大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2014，30（06）：8-13.

[18]曾立.廣告圖文隱喻運(yùn)作機(jī)制初探[J].外語與外語教學(xué)，2004（06）：11-14.

[19]張德祿.多模態(tài)外語教學(xué)的設(shè)計(jì)與模態(tài)調(diào)用初探[J].中國外語，2010，7（03）：48-53+75.

[20]張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)[J].外語學(xué)刊，2010（02）：97-102.

[21]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009，6（01）：24-30.

[22]張輝，展偉偉.廣告語篇中多模態(tài)轉(zhuǎn)喻與隱喻的動(dòng)態(tài)構(gòu)建[J].外語研究，2011（01）：16-23.

[23]張莉 孫來麟.我國多模態(tài)話語研究綜述[J].教育教學(xué)論壇，2015（45）：225-227.

[24]趙秀鳳.多模態(tài)隱喻構(gòu)建的整合模型——以政治漫畫為例[J].外語研究，2013（05）：1-8+112.

[25]趙秀鳳.概念隱喻研究的新發(fā)展——多模態(tài)隱喻研究——兼評(píng)Forceville & Urios-Aparisi《多模態(tài)隱喻》[J].外語研究，2011（01）：1-10+112.

[26]趙秀鳳，蘇會(huì)艷.多模態(tài)隱喻性語篇意義的認(rèn)知構(gòu)建——多模態(tài)轉(zhuǎn)喻和隱喻互動(dòng)下的整合[J].北京科技大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2010，26（04）：18-24+30.