形式、編碼與賦意：論多模態(tài)隱喻的具身表征

王小平，王 軍

(蘇州大學 外國語學院，江蘇 蘇州 215006)

一、引言

隱喻是人類思維的基本結(jié)構(gòu)[1-2]，可幫助人們認知及加工復雜、抽象或不可見的概念?；谥X格式塔和意象圖式，隱喻不僅是符號層面上兩個實體的類比，從更深的層面來講，它建立在概念映射(即將一個認知域的某一知覺特征投射到一個不同認知域的知覺及認知特征)的基礎之上[3]。有學者指出，隱喻的概念性特征決定了隱喻性圖式不應只體現(xiàn)于語言系統(tǒng)，也必須適用于視覺及其他非語言符號資源[4]。Fahlenbrach認為，新聞、廣告等不同媒體調(diào)用圖片、聲音和語言等不同符號資源的組合進行策略性“推銷”的過程中，可利用概念隱喻以一種反射性的方式在具身格式塔(embodied gestalt) 中傳達復雜含義，但他對此未加詳述，給后續(xù)研究留下不少探討空間[5]。目前概念隱喻在多模態(tài)領域的融合性研究仍主要集中于多模態(tài)隱喻在廣告[6-7]、海報[8]、電影及電視節(jié)目[9-10]、漫畫[11-12]等語類的應用探索，主要關(guān)注其在不同語類中的類型、表征方式以及語篇機制等，對多模態(tài)隱喻的本體性問題則關(guān)注不夠。近年來，雖然有學者開始這一方面的研究，嘗試探索視聽媒體中審美體驗與動態(tài)圖像意義[13]、感官與知覺隱喻[14-15]之間的關(guān)系等問題，但從研究對象來看，他們主要關(guān)注動態(tài)多模態(tài)隱喻，對于靜態(tài)多模態(tài)隱喻的研究則不多見；從理論視角來看，這些研究主要基于具身認知理論，但分析視角往往忽視隱喻表征的多維性。

事實上，隱喻本體的表征作為一個復雜的認知過程，至少涉及語言表達和概念層兩個不同層次[16]，然而，概念層面的體驗圖式必須基于具體場景下的涉身體驗進行識解，換言之，形式表達和概念內(nèi)容兩個層面需要認知場景連接。因而，隱喻表征可至少從語言表達層、概念內(nèi)容層以及認知場景三個不同層面來闡釋，就多模態(tài)隱喻而言，語言層可置換為形式表達層。對應以上三個層面，本文將探索具身視角下在多模態(tài)隱喻本體的表征，主要回答以下三個問題：第一，知覺體驗在多模態(tài)隱喻表征中的作用是什么？第二，多模態(tài)形式下，隱喻如何實現(xiàn)符號編碼？第三，不同場景下多模態(tài)隱喻的符號意義如何實現(xiàn)？

二、知覺仿擬：多模態(tài)隱喻的形式表征與概念識解

具身認知認為，認知主體與認知對象互動所獲得的知覺體驗通過感官通達認知系統(tǒng)，在此基礎上形成對事物或概念的認識。從知覺體驗的角度來看，不少概念，無論抽象或具體，都基于具體或直接的感官體驗而得到建構(gòu)。例如，“觀點”作為一個抽象概念可以被認為很“模糊”，也可以“振聾發(fā)聵”；一件棘手的事情可以被喻為“燙手的山芋”；而毫無感情的話語則可被稱為“冷言冷語”等。這些隱喻性表達之所以可以成立，主要是“由于概念表征和身體體驗享有共同的神經(jīng)基礎，因此對概念的加工會激活相應的身體經(jīng)驗”[17]。換言之，在對特定事物進行概念化的過程中，人們可以通過知覺來“仿擬”對應的感知狀態(tài)，或者說，對概念的理解與認知是一種體驗過程，是感知經(jīng)驗的再現(xiàn)。值得注意的是，概念的建構(gòu)通?；诙嘀馗泄偾繹18]，例如，在接觸“玫瑰花”這一事物時，人們會接收到多種知覺刺激，如玫瑰花的花型(視覺)、顏色(視覺)、香氣(嗅覺)、尖刺(觸覺)等，這些對應不同身體知覺的屬性實際上構(gòu)成了主體對“玫瑰花”這一概念的復合知覺建構(gòu)。人們在通過隱喻性思維對兩個不同概念進行識別、分類和認知的過程中，需要再次激活當初建構(gòu)某一概念所訴諸的多元知覺[19]。換言之，隱喻的實現(xiàn)需要通過對源域概念的多元知覺特征進行表征，以激活認知的仿擬過程，進而確立其與目標域的相似性。

知覺仿擬雖然廣泛存在于概念隱喻及多模態(tài)隱喻中，然而它在兩者中的實現(xiàn)方式卻存在較大差異。對概念隱喻來說，無論涉及幾種知覺體驗，都只能以文字描述的方式間接表征相關(guān)概念的知覺特征。例如，《紅樓夢》中有一句有關(guān)“玫瑰花”隱喻的描寫：“三姑娘的諢名叫‘玫瑰花’，又紅又香，無人不愛的，只是刺戳手。”這一句話雖然試圖以文字描述玫瑰花的視覺、嗅覺以及觸覺特征，卻無法再現(xiàn)不同感官的知覺特征。在多模態(tài)語篇中，知覺系統(tǒng)則可由不同的表征模態(tài)直接呈現(xiàn)。作為一種“利用感知過程可闡釋的符號”[20]，多模態(tài)隱喻的類比過程可直接訴諸這些感官模態(tài)仿擬相關(guān)概念的知覺特征，因而更容易激活認知主體對相關(guān)概念或事物的體驗性圖式。

知覺仿擬的優(yōu)勢及其認知效果之一在于“形象”的塑造。由于構(gòu)成元素比文字更加豐富多元，模態(tài)在多模態(tài)語篇中的具體參數(shù)分別對應大小、形狀、顏色等不同的概念屬性，因此，多模態(tài)表達形式可塑造比文字表述更為生動的隱喻意象或形象。如一幅以“中美貿(mào)易爭端”為主題的漫畫，漫畫中巨龍和工人分別代表著中國和美國。從形式來看，漫畫分別突顯了“龍”與“工人”不同的知覺特征：巨大的身體、火紅鱗片、口噴烈火等突顯了“龍”的威脅性；“工人”卻被塑造為一個身材矮小，神情呆滯無奈，身體在逐漸消融的弱者形象。綜合對比兩者形象發(fā)現(xiàn)，“龍”相對于“工人”處于強勢地位，這映射了漫畫作者所要塑造的隱喻性關(guān)系，即“中國占據(jù)絕對優(yōu)勢地位”，借此渲染“中國威脅論”。這表明，在塑造概念或表征形象的過程中，多模態(tài)隱喻可通過設置并突顯相應的知覺特征來影響隱喻內(nèi)容的認知及解讀方向，因為知覺不僅簡單記錄外部世界及其已然安排好的構(gòu)造形式，而且參與到世界的主動構(gòu)建中，這一過程中的世界早已被賦予意義并處于意向性當中[21]。換言之，知覺表征的世界并非是對客觀世界的還原式反映，相反，其表征過程本身攜帶并表達了特定意義及其背后的意向性態(tài)度或立場。

對于施喻者來說，理想狀態(tài)是其意向性通過隱喻對認知主體產(chǎn)生直接影響，并促使他們按照前者的意向性來解讀。由于源域與目標域概念的多維性，施喻者的意向性在相當程度上決定了隱喻所突顯的相似性。多模態(tài)隱喻可通過模態(tài)的形式組織功能仿擬兩個概念域之間的相似性，進而影響多模態(tài)隱喻的識解方向。根據(jù)操作方式上存在的差異，多模態(tài)隱喻相似性的表征模式可分為兩種情況：一類基于知覺相似性，即訴諸多模態(tài)表征將兩個及以上的物體并列呈現(xiàn)，直接塑造源域和目標域的相似性，以此達到仿擬的認知效果，引導隱喻的發(fā)生方向。這類相似性的組織方式最為基礎，可用于塑造隱喻中的概念實體，例如，漫畫中“中國龍”的形象在塑造的過程中所使用的身體形狀、顏色、鱗片、肉翅等都是西方文化中“dragon”形象的要素，這可為西方觀者人為地建立其與“Dragon”的相似性，進而達到扭曲中國形象的目的。另一類基于關(guān)系的相似性，這一方式通過源域和目標域概念間的關(guān)系或者在完成步驟上的類似來引導認知主體的解讀方向。再以此漫畫為例，整幅漫畫所著意突顯的中美兩國在經(jīng)濟上不平等關(guān)系是通過“龍”和“工人”在視覺上的不平等關(guān)系實現(xiàn)的，具體表現(xiàn)為兩者在體量的“大”與“小”、視角的“俯視”與“仰視”、位置關(guān)系的“上”與“下”三個不同方面的顯著對比，兩概念域間在關(guān)系上的內(nèi)在相似性由此得到表達與突顯。

簡言之，感官模態(tài)訴諸一定的表征方式及時空組織原則塑造概念外在形式上的知覺突顯或者程序相似性來引導或加強主體對信息內(nèi)容本身的關(guān)注，進而促成對多模態(tài)隱喻的定向識解，正如朱璟所言，“感官將人的注意力直接導向自己身體的快適感受，并因此讓人對刺激物的‘質(zhì)料’本身進行判斷”[22]。更確切地說，這些參數(shù)所形成的合力對多模態(tài)隱喻認知表征及解讀的方向形成了反撥作用，透過概念外在特征的塑造引導了多模態(tài)隱喻的識解方向。

三、取象賦形：隱喻義的符號編碼

符號本質(zhì)上指的是表意過程中可有效替代另一種概念或事物的物體[23]，而隱喻的基本運作機制則是通過一種事物或經(jīng)驗來體驗或理解另一種事物或經(jīng)驗，某種程度上也內(nèi)隱著替代性的意涵，從這個意義上講，事物或概念在不同隱喻表達中使用的固化也可被視為一種符號化。具身認知理論認為，認知內(nèi)容源于身體格式(body format)或身體內(nèi)容，隱喻的符號化編碼也概莫能外。人們將身體的結(jié)構(gòu)、活動等投射到認知的事物或周圍世界，通過體驗賦予認知對象意義，正如歐陽燦燦所說，“對事物的理解是身體在理解，意義也是由身體確定的意義”[24]。這一符號實踐方式由來已久，早在原始社會，人類祖先已開始逐漸習得利用身體的涂畫裝飾以及巫祝舞蹈等身體活動傳遞特定的意義及文化意涵，這些“以身言事”的行為，在使用過程中被逐漸圖式化，固有意義逐步脫離本體及其舊有的所指對象，演變?yōu)橛杀韺咏Y(jié)構(gòu)和具體的使用語境所決定的符號，并在不同場景中建構(gòu)或指向不同的意義或主題。隨著現(xiàn)代社會的生活形態(tài)的變化，身體符號的這一編碼方式體現(xiàn)為更為多元的形式和更加廣泛的適用范圍。由文字達意的文學，由顏色及塊面組合構(gòu)筑的圖畫，由音符及旋律所演繹的音樂，以及集文字、聲音、顏色、圖像等為一體的動態(tài)影像，無不訴諸身體符號系統(tǒng)及其象征意義架構(gòu)思想框架及主題意涵。文學作品和日常語言中不乏此類運用身體意象模擬物體形態(tài)對“它象”進行塑造和表現(xiàn)的表征模式，諸如在“泉眼”“電子眼”“臺風眼”等隱喻性表達中，“眼”本義作為人體的視覺器官，實際上已成為一種可用于表征不同概念的符號編碼。這種由此及彼，通過“身體”來類比和模擬的認知過程可稱之為身體的符號化，其具體的操作方式可稱之為“取象賦形”，即利用身體及其活動表達客觀事物的形貌特征[25]。值得注意的是，“取象”與“賦形”是一個聯(lián)動性操作，“取象”更像選材的過程，涉及從身體及相關(guān)活動上選取合適的內(nèi)容，而“賦形”則更像組合過程，將不同來源的內(nèi)容或特征融于本體之中，兩者的特征決定了前者更注重范圍，后者更注重方式。雖然從本質(zhì)上來講，多模態(tài)語境下身體符號的認知過程依然遵循“取象賦形”的基本原則，然而歸因于其顯著的知覺性特征及其附隨的意義潛勢，無論是“取象”范圍還是“賦形”方式都較文字語篇中的身體符號形式更為多元，也因此而具有相當?shù)奶禺愋浴?/p>

從取象范圍來看，相較于概念隱喻，多模態(tài)隱喻的符號編碼過程雖然仍以“具象事物”為主要取象范疇。不過，由于在呈現(xiàn)方式上可訴諸多元知覺，并充分調(diào)用形狀、顏色、方位和大小等不同參數(shù)對基于身體構(gòu)造及器官所形成身體圖式進行擬態(tài)呈現(xiàn)，因而在多模態(tài)隱喻之中，認知對象的知覺性特征可以得到充分地刻畫與彰顯。除此之外，基于知覺化表征的時空組織功能，多模態(tài)隱喻的“取象”范圍也拓展到特定身體動作或活動中的程式性特征。多數(shù)情況下，動作或活動本身與認知對象并不存在外在形象的相似，然而，前者的可重復性及周期性決定了在經(jīng)歷重復性的刻寫之后，它可成為特定文化社團內(nèi)部的一種身體符號，因而可以激活并突顯概念間的關(guān)系或者完成某一事件步驟上的相似性，實現(xiàn)其意指的實質(zhì)內(nèi)涵。例如，西方婚儀中的一個經(jīng)典場景是以婚禮進行曲為背景，新人依偎著走過紅毯，而一則食品廣告則將這一幕移植進入廣告場景，“玉米”與“豌豆”雖然在形象上與新人并不相似，但兩者在“婚禮進行曲”背景下依偎在一起的畫面成功地指向了“玉米和豌豆是一對新人”的隱喻，進而可突顯兩者在食品原料中是完美的結(jié)合?？梢?，認知思維雖然以身體為基礎，卻又在此基礎上超越自身，可將各種類型的活動都納入身體的架構(gòu)來理解，這賦予其建構(gòu)的能產(chǎn)性與象征性。

從賦形的方式來看，基于文字的線性規(guī)則，文本語篇中的“賦形”過程只能按照時間先后順序進行描述，無法完全用語言精確而具體地塑造隱喻意象的知覺呈現(xiàn)，以“在她深紅而微黑的嘴唇上閃著一點光，好像一只油亮的甲蟲”[26]為例，“甲蟲”除了“油亮的”這一定語之外，并不能得到更為清晰的呈現(xiàn)，賦形的結(jié)果只是在語言上將一個意象引向另外一個意象。然而這一劣勢在多模態(tài)隱喻的表征過程中似乎并不存在，這在某種程度上同樣歸功于訴諸知覺化的表征形式。每一類模態(tài)基于自身特點，具有不同的意義潛勢。以圖像模態(tài)為例，其符號邏輯兼具時間性與空間性[27]，具有較強的時空組織功能，可在同一框架內(nèi)共時呈現(xiàn)多種元素，因而隱喻意象可訴諸不同模態(tài)參數(shù)同時為主體所感知。然而，選擇哪些元素進行呈現(xiàn)以及它們以何種組合方式得到呈現(xiàn)，則是一個深具選擇性與創(chuàng)造性的過程。一方面，身體特征早已超越了身體本身的生理意義，而是一種承載象征意義的符號，選擇不同的符號進行賦形，對隱喻象征義的表達會產(chǎn)生不同的影響；另一方面，感官模態(tài)的時空組織性賦予身體符號同時接納多“象”之形的能力，即同一身體符號可在仿擬過程中同時融合來自不同本體的特征或要素。例如，在對“龍”這一意象進行“賦形”操作的過程中，在原有“龍”的文化本體之上，又同時引入了西方“龍”意象中的肉翅等不同要素，這些元素的共時呈現(xiàn)，實現(xiàn)了利用西方“火龍”之象，賦“中國龍”之形。在此情況下，此處的“中國龍”形象顯然已超越了“龍”固有的指涉內(nèi)容，而被賦予西方文化中“dragon”所附帶的邪惡、危險等象征意義。這表明，在多模態(tài)隱喻的表征過程中，承載著文化及知識的身體特征以多模態(tài)的表征形式編碼進入認知對象，因而透過隱喻投射到事物或概念身上的，不再是身體的結(jié)構(gòu)、部位或特征，而是觀念、文化、審美以及信仰等抽象層面的具象呈現(xiàn)。

四、與認知場景的交融：身體符號的重新賦意

一旦成為一種符號，身體就不再是一個生理存在，而成為表意過程中某些事物或概念的一種有效替代，可在一定語境之中指涉其他事物。在這種情況下，“身體”的固有意義會被該場景中的意涵所暫時取代，以此類推，在不同場景中變換的“身體”似乎成為了一個被占用和重新占用的場所，身體的符號化編碼也因而可被界定為一個在場景中被重新賦意的過程。一般來說，“重新賦意(re-signification)指的是從一個意義系統(tǒng)中借來的物品結(jié)合到另一個意義系統(tǒng)的代碼當中，以此來轉(zhuǎn)變它們‘既定’意義，或者通過添加意義的方式對一個物品進行改造”[28]。身體的重新賦意則指在認知場景的框定下，身體從生理肉身轉(zhuǎn)換為認知符碼的符號化過程中被添加新的意義。有研究表明，所處場景與人的認知及情感等方面存在相關(guān)性[29]。當人們訴諸“寫生”方式描摹一個空曠而又荒無人煙的虛擬空間時，人就容易產(chǎn)生寂寞、渺小之感；而以多模態(tài)形式呈現(xiàn)的寒風刺骨、大雪紛飛的場景也會激活“寒冷”的體驗圖式，產(chǎn)生相應的知覺體驗，因而考察身體符號的意義不能脫離其所處認知場景。“取象賦形”既然是身體符號化過程的基本編碼方式，那么，其所取之“象”及其意涵將在很大程度上決定身體符號的象征意義。此處的“象”來源于身體，是身體的一部分或身體動作或活動的程序性表征，而身體又是場景的一部分。一方面，身體作為嵌入場景的一環(huán)，承載著后者對它的影響與塑造；而另一方面，人往往從身體出發(fā)來認知整個環(huán)境、空間關(guān)系乃至價值觀念的認知都突顯出身體的中心性，兩者體現(xiàn)了一種相互交融的認知關(guān)系。多模態(tài)表征的認知場景在某種程度上賦予了身體在與環(huán)境的互動交融中超越時空閥限而獲得了“在場”的權(quán)力。文字與感官模態(tài)的此消彼長，使認知主體似乎可以直接感知到身體符號的存在，讓原本含義模糊的身體在具體情境中得到清晰地再造與呈現(xiàn)。

從實現(xiàn)方式來看，多模態(tài)隱喻可利用復合知覺仿擬身體符號所處環(huán)境，并運用特定的意象激活認知場景。由于不同形象譜系內(nèi)隱著相差迥異的象征意涵，因而特定意象一旦被放置在所要表征的認知場景中，將會對場景建構(gòu)及象征義的彰顯產(chǎn)生重要影響。例如，幾米著名的漫畫集《時光電影院》中的一幅插畫(見圖1)呈現(xiàn)的是電影院內(nèi)部場景，其中的亮點之一在于“雪花”意象的獨特運用，獨自觀影的“我”雖然身處室內(nèi)，卻處于飛舞的雪花與寒風之中，周圍座椅也落滿了雪花，在營造一種超現(xiàn)實主義場景的同時，更通過人與空間場景的交融映射了“我”內(nèi)心世界的孤寂與凄涼。意象作為一個概念，可能與一系列的物體、事件、文化發(fā)生聯(lián)系[30]，因而可能包含豐富的特征、認知或情感的鏈接，那么，若要確保被激活的是與語境相關(guān)的概念特征或文化意義，就要求人們訴諸多重感官對意象本身的知覺化特征及其語境進行營造與突顯。從色彩基調(diào)來說，整幅畫面以暗色系為主，由于畫面所呈現(xiàn)色調(diào)可以影響觀者的心情與認知，因而在某種程度上可以影響隱喻的識解方向；從畫中的意象本身的知覺塑造來說，主人公自身特征并不被突顯，身體所占畫面比例很小，且被置于畫面一隅，幾乎與空曠的背景融為一體，似乎暗示了她的處境；從視角呈現(xiàn)方式來說，雖然是面對觀眾的正面視角，然而使用遠焦鏡頭則表明了她與觀眾的心理及認知距離，這些模態(tài)呈現(xiàn)方式雖然涉及意象的不同方面，然而卻合力為畫中人物塑造了一種孤寂的處境，形成了特定的指涉意義。

圖1 時光電影院[注]原圖為彩色。圖片來源：幾米漫畫集《時光電影院》。

隱喻所營造的認知場景并不是對現(xiàn)實環(huán)境的復刻，而是一種經(jīng)過身體“丈量”的環(huán)境，不但諸如上—下、前—后等物理空間關(guān)系以身體為中心而得到確定，甚至價值觀念等抽象概念的形成與實踐也深受身體思維的影響。身體與環(huán)境間的這種互動更加決定了隱喻具身認知過程的情境性。訴諸不同感官模態(tài)，重新賦意的過程雖然可在相當程度上仿擬或再造真實的時空環(huán)境，然而這只是為身體的在場性提供認知場景，最終使身體及其附屬物轉(zhuǎn)換為指示符號的依然是文化或社會要素的影響。最明顯的證據(jù)是營造多模態(tài)的認知場景或情境所訴諸的顏色、形狀等不同感官模態(tài)以及身體符號的認知編碼本身就具有相當?shù)奈幕奢d，那么它們在不同場景下的選擇與應用自然就體現(xiàn)了一種文化或價值的選擇、判斷甚至突顯，在此基礎上所構(gòu)擬的認知情境也自然地帶有某種文化或認知的傾向性，而這種傾向性基于身體與環(huán)境的互動滲透入多模態(tài)隱喻的表征過程，最終促使身體符號固化成為這一情境下具有特定象征意義的文化符碼。這意味著，身體符號與其指向的客體并不完全等同，雖然某些符號經(jīng)由感官模態(tài)的仿擬性塑造與其表征的客體可能存在感知上的相似性，然而，符號和現(xiàn)實客體之間并不是簡單對應的關(guān)系，身體符號可指向的范圍除現(xiàn)實世界本身之外，更包括思想或觀念的世界。

五、結(jié)語

隱喻的概念性特征已得到語言學界的廣泛認同，然而由于語言只是意義符號資源的一種，單純基于語言文本而提出的概念隱喻理論難免受到多方挑戰(zhàn)。近年來，基于不同語類提出的多模態(tài)隱喻理論在相當程度上佐證了概念隱喻在圖像、聲音及動態(tài)視頻等非語言模態(tài)中的普遍性與系統(tǒng)性。這一理論提出的初衷旨在“對比多模態(tài)隱喻與純文字隱喻之異同，拓寬隱喻研究的范疇，推動概念隱喻理論體系的發(fā)展和完善”[31]，因而在將這一理論推向廣泛應用領域的同時，也應及時從本體維度上總結(jié)、思考相關(guān)的理論問題，基于這一初衷，本研究基于具身認知視角重新審視多模態(tài)隱喻本體的表征過程。

與概念隱喻基于文本表征完成認知構(gòu)建不同，多模態(tài)隱喻主要訴諸多元知覺符號表征激活相關(guān)概念圖式的知覺特征。通過調(diào)用不同模態(tài)參數(shù)，可將人們的注意力導向認知內(nèi)容，引導對多模態(tài)隱喻的定向識解，體現(xiàn)了表征形式對內(nèi)容的反撥作用；訴諸多元知覺表征，隱喻符號可將來源不同“象”融為一體，由此形成的符號意義復合性程度更高；而符號意義的解讀則不能脫離認知場景。多模態(tài)隱喻一方面利用復合知覺表征文化意象，激活相關(guān)的場景圖式；另一方面利用模態(tài)參數(shù)導向性地激活與語境相關(guān)的知覺特征，進而形成具有導向性的場景及氛圍，賦予符號特定的指涉意義。具身認知理論不但為多模態(tài)隱喻本體的表征提供了理論視角，而且將其形式、內(nèi)容和場景三個不同層次的闡釋關(guān)聯(lián)成為一個統(tǒng)一的系統(tǒng)。多模態(tài)隱喻作為研究對象也拓展了具身認知理論的闡釋空間，顯示出這一理論在面對新衍生現(xiàn)象及傳播手段的解釋力，對其理論基礎及創(chuàng)新實踐研究有一定的啟發(fā)意義。