《文本與圖像：視覺和言語(yǔ)劃界的批評(píng)性導(dǎo)論》評(píng)介

李健雪　鄭慧

1.引言

繼《多模態(tài)與體裁》（Multimodality and Genre）（2008）與《多模態(tài)電影分析》（Multimodal Film Analysis）（2012）之后，德國(guó)不萊梅大學(xué)應(yīng)用英語(yǔ)語(yǔ)言學(xué)教授John A.Bateman于2014年隆重推出了由勞特利奇出版社出版的學(xué)術(shù)巨著《文本與圖像：視覺和言語(yǔ)劃界的批評(píng)性導(dǎo)論》（Text and Image： A critical introduction to the visual/verbal divide.）。該書從社會(huì)符號(hào)、視覺交際、話語(yǔ)的心理語(yǔ)言學(xué)方法、廣告和視覺勸說(shuō)及認(rèn)知隱喻理論等多維視角，探討了文本與圖像關(guān)系的各種多模態(tài)分析方法，為英語(yǔ)語(yǔ)言和語(yǔ)言學(xué)、媒體傳播學(xué)、視覺設(shè)計(jì)等研究提供了理論借鑒。

2.主要內(nèi)容

全書共分三個(gè)部分，每個(gè)部分又分成不同的模塊和單元。

第一部分是建立文本和圖像的聯(lián)系。這一部分由模塊一及兩個(gè)單元組成。在第1單元中，作者從多模態(tài)性和“意義增值”的關(guān)系出發(fā)，尋找建立文本與圖像聯(lián)系的基礎(chǔ)。作者指出，文本和圖像既非完全相似，又非截然不同，將文本和圖像結(jié)合起來(lái)，可使兩者在相似中融合、在差異中增值，從而建立兩者之間的兼容和對(duì)話。為此，作者提出了構(gòu)成全書基礎(chǔ)的圖文關(guān)系整體觀，認(rèn)為“文本和圖像是一個(gè)二維及靜態(tài)特質(zhì)組成的合成體。在這個(gè)合成體中，文本和圖像既是視覺實(shí)例，又是意圖的共現(xiàn)”（P.28）。在第2單元中，作者以文本—圖像結(jié)合所產(chǎn)生的意義類型為出發(fā)點(diǎn)，對(duì)文本與圖像關(guān)系的研究進(jìn)行了理論回顧。作者發(fā)現(xiàn)，自羅蘭·巴特（Roland Barthes）將文本—圖像關(guān)系劃分為錨定、說(shuō)明和傳遞這三種關(guān)系以來(lái)，文本—圖像關(guān)系開始進(jìn)入學(xué)術(shù)研究的領(lǐng)域。其中，系統(tǒng)功能語(yǔ)言學(xué)及其純理功能思想正式確定了文本—圖像的多模態(tài)意義建構(gòu)關(guān)系，使視覺模式具備了語(yǔ)言的性質(zhì)，也為視覺語(yǔ)法的建立奠定了理論基礎(chǔ)。

第二部分聚焦視覺語(yǔ)境，探究在不同視覺語(yǔ)境中，文本—圖像關(guān)系在實(shí)現(xiàn)多模態(tài)語(yǔ)篇的敘事功能（模塊二）和勸說(shuō)功能（模塊三）中的途徑與方法。模塊二的主題是視覺敘事，包括第3-5單元。在第3單元中，作者引入了敘事學(xué)和語(yǔ)類兩大理論框架，作為視覺敘事的理論基礎(chǔ)。作者發(fā)現(xiàn)，聚焦、時(shí)間順序和敘事角度等基本的語(yǔ)言敘事策略，可以拓展到非語(yǔ)言的模態(tài)。同樣，不同語(yǔ)類的會(huì)呈現(xiàn)出獨(dú)特的語(yǔ)言特征，語(yǔ)類所表現(xiàn)的語(yǔ)言特性同樣適用于視覺模態(tài)。第4單元和第5單元分別聚焦兒童圖畫書和漫畫。作為視覺敘事的兩大典型語(yǔ)類，圖畫書和漫畫存在許多相似點(diǎn)，作者對(duì)二者做了詳細(xì)的區(qū)分，二者之間在圖文的相對(duì)位置、距離，時(shí)間順序的表現(xiàn)，以及同一頁(yè)面圖像數(shù)量等方面存在不同。作者認(rèn)為，這些不同點(diǎn)會(huì)直接影響圖文關(guān)系。在第4單元中，作者首先對(duì)兒童圖畫書語(yǔ)類涉及的實(shí)證和理論研究進(jìn)行梳理，然后概括總結(jié)出兒童圖畫書這一語(yǔ)類中存在的圖文關(guān)系的類型、可靠判斷組合關(guān)系的標(biāo)準(zhǔn)，以及文本—圖像關(guān)系對(duì)整體意義建構(gòu)的作用（P.73）。在第5單元中，作者回顧了針對(duì)漫畫語(yǔ)類的研究，介紹了Neil Cohn 和Thierry Groensteen兩位學(xué)者的研究成果，并詳述了前者提出的內(nèi)在關(guān)系、相鄰關(guān)系、獨(dú)立關(guān)系、浮現(xiàn)關(guān)系四種圖文關(guān)系（P.107）。

模塊三是視覺勸說(shuō)，包括視覺修辭（第6單元）和視覺勸說(shuō)與廣告（第7單元）。在第6單元中，作者首先介紹了傳統(tǒng)修辭分類（包括結(jié)構(gòu)性修辭與轉(zhuǎn)義性修辭兩大類），然后對(duì)現(xiàn)有修辭研究進(jìn)行了梳理和總結(jié)，發(fā)現(xiàn)傳統(tǒng)語(yǔ)言修辭逐漸擴(kuò)展到視覺材料和語(yǔ)言—圖像組合的分析中。作者認(rèn)為以修辭概念為基礎(chǔ)的文本—圖像關(guān)系分類，在可靠性、關(guān)系識(shí)別和分類效果方面還有待進(jìn)一步驗(yàn)證。第7單元是第6單元的延伸，即以廣告語(yǔ)篇中視覺修辭的實(shí)證研究為基礎(chǔ)，驗(yàn)證了將傳統(tǒng)的修辭概念應(yīng)用于視覺材料和圖文組合分析的可行性與效果。

第三部分涉及具體圖文關(guān)系的理論框架，由模塊四和模塊五組成。模塊四包括第8-11單元，主要側(cè)重建立語(yǔ)言系統(tǒng)框架下，以語(yǔ)法層面、語(yǔ)篇層面、修辭層面為核心的圖文關(guān)系理論框架。第8單元側(cè)重多模態(tài)銜接和圖文關(guān)系。作者介紹了現(xiàn)有以銜接理論為基礎(chǔ)建立的多模態(tài)圖文關(guān)系框架，如基于頁(yè)面的符際互補(bǔ)框架。這些框架雖然在概念意義層面肯定了圖像和文本之間存在著類似于語(yǔ)言實(shí)體之間的關(guān)系，如重復(fù)、同義、反義、部分—整體和上下義搭配關(guān)系，但作者認(rèn)為這些多模態(tài)銜接框架還存在諸多問(wèn)題，譬如何識(shí)別并說(shuō)明多模態(tài)銜接關(guān)系、假定的銜接關(guān)系和讀者的理解過(guò)程是否一致、歸納出的銜接關(guān)系或圖文關(guān)系對(duì)解讀多模態(tài)意義的作用等。在第9單元中，作者基于現(xiàn)有的多模態(tài)隱喻研究，認(rèn)為隱喻有能夠連接不同領(lǐng)域的功能（如從源域向目標(biāo)域進(jìn)行屬性轉(zhuǎn)移），非常適用于解釋信息在不同模態(tài)間流動(dòng)的運(yùn)作機(jī)制。鑒于隱喻和合成（Blending）是既有聯(lián)系又有區(qū)別的兩種概念，即前者具備定向?qū)傩赞D(zhuǎn)移且過(guò)程不可逆的特質(zhì)，后者是可逆的。因此，作者認(rèn)為多模態(tài)隱喻理論有助于理清多種模態(tài)結(jié)合后意義得到增值的原理，有助于說(shuō)明圖像和文本關(guān)系在意義建構(gòu)過(guò)程中作用。第10單元是語(yǔ)法層面的圖文關(guān)系建構(gòu)。本章中，作者首先綜述了前人依據(jù)系統(tǒng)功能語(yǔ)法中的及物性和小句關(guān)系建立的圖文關(guān)系框架，認(rèn)為此框架優(yōu)點(diǎn)在于分類標(biāo)準(zhǔn)明確、體系具有封閉性。盡管如此，該框架也存在難以確定分析單位、忽視布局對(duì)多模態(tài)意義建構(gòu)的影響、沒能涵蓋所有的圖文關(guān)系等不足，并提出了針對(duì)性的建議和設(shè)想。第11單元從語(yǔ)篇層面對(duì)圖文關(guān)系進(jìn)行了解讀。鑒于語(yǔ)言不是實(shí)現(xiàn)交際目標(biāo)的唯一方式，語(yǔ)篇的不同成分如連接關(guān)系和修辭結(jié)構(gòu)等可以共同作用，推動(dòng)語(yǔ)篇實(shí)現(xiàn)特定的交際目標(biāo)。隨后作者介紹了以連接關(guān)系為基礎(chǔ)的圖文關(guān)系分類，以及多模態(tài)修辭結(jié)構(gòu)理論（Rhetorical Structure Theory） 語(yǔ)篇分析法。但是作者認(rèn)為前者面臨劃分標(biāo)準(zhǔn)不夠精確和實(shí)證研究數(shù)據(jù)不足的問(wèn)題；后者也面臨一些挑戰(zhàn)，譬如修辭結(jié)構(gòu)分類多大程度上可以解釋圖文關(guān)系，RST分析方法針對(duì)的是線性符號(hào)模態(tài)（如文本），對(duì)于非線性、空間性的符號(hào)模態(tài)（如圖像）的適用性問(wèn)題等。

模塊5包括第12-14單元。第12單元從語(yǔ)用學(xué)和交往行為角度考察了文本—圖像關(guān)系的建構(gòu)。作者發(fā)現(xiàn)從語(yǔ)言的角度研究視覺表征或圖文關(guān)系面臨諸多挑戰(zhàn)，主要原因是由于圖文關(guān)系缺少像句法、音系學(xué)、語(yǔ)音學(xué)這樣具體明確的分析單位，也很難識(shí)別抽象的、脫離語(yǔ)境的形式特征。因此，研究從純語(yǔ)言系統(tǒng)層面向語(yǔ)用學(xué)、視覺交際方向轉(zhuǎn)向，更有利于關(guān)注圖像的使用，而非圖像的形式，從而有效彌補(bǔ)語(yǔ)言系統(tǒng)解讀圖文關(guān)系的不足。語(yǔ)用學(xué)能夠有效解決多模態(tài)語(yǔ)篇中的圖片關(guān)系類型；交際行為能夠解決圖文關(guān)系（即多模態(tài)交流）以外受眾的接受過(guò)程。在第13單元中，作者介紹了探究圖文關(guān)系所用到的實(shí)證研究方法，如眼球追蹤技術(shù)（Eye-tracking methods）和語(yǔ)料庫(kù)方法。前者可以用來(lái)探索讀者對(duì)圖文材料實(shí)際理解和接受過(guò)程，后者可以以大量實(shí)際數(shù)據(jù)為基礎(chǔ)檢測(cè)圖文關(guān)系分類的信度和準(zhǔn)確性。在第14單元中，作者總結(jié)了今后還有待研究的領(lǐng)域并提出了建議。

3.簡(jiǎn)評(píng)

本書有以下幾個(gè)方面的特點(diǎn)：

第一，視角的廣泛性。該書涉及的內(nèi)容涵蓋了社會(huì)符號(hào)學(xué)、視覺傳播學(xué)、修辭學(xué)（針對(duì)廣告和視覺勸說(shuō)）、認(rèn)知心理學(xué)（隱喻）等諸多方面。多模態(tài)分析對(duì)象種類多樣，包括廣告語(yǔ)篇、兒童圖畫書、漫畫、新聞?wù)Z篇、教科書，等等。作者將多模態(tài)文本—圖文關(guān)系置于廣泛的背景之下，有助于讀者形成對(duì)圖文關(guān)系全方位的認(rèn)識(shí)，對(duì)從事多模態(tài)研究的學(xué)者來(lái)說(shuō)是必不可少的參考書。

第二，內(nèi)容的系統(tǒng)性。首先，內(nèi)容全面完善，本書是一部聚焦圖文關(guān)系的綜述類文獻(xiàn)，作者多學(xué)科多角度地介紹了現(xiàn)階段國(guó)外圖文關(guān)系的框架和模型，共介紹了Barthes、Kloepfer、North、Pegg、Spiller McQuarrie &Mick、Van Mulken、Groupe Mu、Forceville、Phillip & McQarrie、Martinec & Salway、Unsworth、Kong、 van Leeuwen等二十余位該領(lǐng)域領(lǐng)銜學(xué)者對(duì)于多模態(tài)研究中圖文關(guān)系的論述，他們從各自的研究興趣和關(guān)注點(diǎn)出發(fā)，探索文本和圖像在多模態(tài)整體意義建構(gòu)中的作用，尋求多模態(tài)意義倍增的運(yùn)作機(jī)制。這些學(xué)者的研究一定程度上可以代表和反映現(xiàn)階段國(guó)外圖文關(guān)系研究的水平和進(jìn)度，研究中存在的問(wèn)題和不足之處都是國(guó)內(nèi)外多模態(tài)研究者未來(lái)努力的方向。其次，內(nèi)容系統(tǒng)連貫。本書并不是簡(jiǎn)單羅列各位學(xué)者的理論，而是采用“理論基礎(chǔ)導(dǎo)入—學(xué)者研究成果介紹—評(píng)述”的方式，對(duì)他們提出的圖文關(guān)系分類追根溯源，從理論角度論述這些圖文關(guān)系框架的分類依據(jù)，如在介紹基于頁(yè)面的符際互補(bǔ)框架時(shí)，作者先簡(jiǎn)要闡述銜接理論的關(guān)鍵點(diǎn)，從而清晰地展示從語(yǔ)言向圖像—文本結(jié)合的推導(dǎo)過(guò)程。同時(shí)，作者比較各個(gè)圖文關(guān)系框架的異同點(diǎn)，如對(duì)現(xiàn)有研究者的圖文關(guān)系的分類進(jìn)行了標(biāo)注、解釋和說(shuō)明，為正確把握文本—圖像關(guān)系關(guān)系及其發(fā)展提供了清晰的脈絡(luò)。

第三，理論的前瞻性。作者對(duì)各個(gè)理論框架的評(píng)述，對(duì)今后圖文關(guān)系的研究具有啟發(fā)和借鑒意義。在評(píng)估各個(gè)圖文關(guān)系分類時(shí)，作者反復(fù)強(qiáng)調(diào)對(duì)圖文關(guān)系的探究要注意以下五個(gè)方面：

（1）分析單位（Unit）的識(shí)別和確定問(wèn)題。語(yǔ)言的分析單元容易確定，但是圖像的最小分析單位到目前為止沒有精確的劃分標(biāo)準(zhǔn)。如采用“視覺語(yǔ)法”解讀圖像意義，其方法是分解圖像，提取出視覺信息元素，然后和文本進(jìn)行意義匹配，從而確定圖像—文本的關(guān)系。這種做法的弊端在于如果缺少對(duì)文本的理解，分析者就不可能提前鎖定某些視覺信息元素。也就是說(shuō)，正因?yàn)閳D像和文本之間存在互動(dòng)，才使得一些視覺信息元素必須得以重視。

（2）重視布局（Layout）對(duì)圖文關(guān)系的影響。布局是視覺設(shè)計(jì)或頁(yè)面組織的重要組成部分，對(duì)文本的理解有很大的影響，但是在圖文關(guān)系探究中經(jīng)常被忽略。Pegg（2002）的圖文關(guān)系分類就強(qiáng)調(diào)了頁(yè)面的布局和構(gòu)成對(duì)圖文關(guān)系的影響。

（3）圖文關(guān)系分類標(biāo)準(zhǔn)的準(zhǔn)確性有待提高。圖文關(guān)系分類容易存在不詳盡和有重疊的問(wèn)題。比如Barthes（1977）提出基本的圖文關(guān)系只有三種，分類未免過(guò)于簡(jiǎn)單，不能涵蓋所有圖文關(guān)系；Marsh 和 White（2003）的圖文關(guān)系分類包含三層，第一層分為三大類，三大類再細(xì)化為11種關(guān)系，11種關(guān)系又可以區(qū)分成30種分類，如此分類雖然很詳細(xì)，但難免會(huì)有所重疊。精準(zhǔn)的分類標(biāo)準(zhǔn)有助于不同的分析者在使用同一種圖文關(guān)系分類框架時(shí)得到相同的結(jié)論，從而增強(qiáng)圖文關(guān)系框架的內(nèi)部信度。

（4）根據(jù)語(yǔ)類探究圖文關(guān)系。Bateman（2008：147）指出不同語(yǔ)類的語(yǔ)篇不能用同一種圖文關(guān)系解釋。比如漫畫書和廣告語(yǔ)篇分別實(shí)現(xiàn)敘事和勸說(shuō)兩大功能，圖文關(guān)系在實(shí)現(xiàn)這兩大語(yǔ)類功能時(shí)發(fā)揮的作用不同，存在的圖文關(guān)系也會(huì)有所差別。歸納出同一語(yǔ)類圖文關(guān)系的普遍模式，有利于比較不同語(yǔ)類在建構(gòu)多模態(tài)意義時(shí)所使用策略的異同。

（5）利用實(shí)證研究增強(qiáng)分類的科學(xué)性。研究者在對(duì)圖文關(guān)系歸納時(shí)，如果主觀判斷讀者對(duì)于多模態(tài)文本的理解過(guò)程和結(jié)果，缺少實(shí)際數(shù)據(jù)的支撐，這樣的分類框架就有待進(jìn)一步實(shí)證研究的驗(yàn)證和改善。開展大量的實(shí)證研究得出的結(jié)論很可能會(huì)與理論推導(dǎo)出的結(jié)果不同，例如Holsanova 等人（2006）在利用眼球追蹤技術(shù)探究讀者對(duì)圖文并置的新聞?wù)Z篇的理解過(guò)程時(shí)發(fā)現(xiàn)，根本不存在從左到右，從上到下的閱讀路徑（Reading path），讀者閱讀時(shí)會(huì)跳過(guò)某些圖片，而在“視覺語(yǔ)法”中，理解圖像構(gòu)圖意義的方式之一是通過(guò)判斷各元素在圖像中占據(jù)不同的位置，左邊的代表已知信息，右邊的代表新信息，上方的代表理想的信息，下方的代表真實(shí)的信息。

當(dāng)然，本書還存在一些不足和局限性。首先，本書將研究對(duì)象——圖文關(guān)系做了嚴(yán)格的范圍限定，必須滿足三個(gè)條件要素：視覺共存、二維平面及有意被放置在一起共同建構(gòu)意義。這樣就排除了許多其他種類的組合關(guān)系，比如口語(yǔ)與圖像、三維的圖像文本組合。還有一些在范圍內(nèi)但沒有涉及的領(lǐng)域，如新聞?wù)掌臀淖謽?biāo)題的關(guān)系、網(wǎng)頁(yè)中的圖文關(guān)系等。這些沒有涉及的模態(tài)間關(guān)系都值得今后進(jìn)一步研究。其次，本書更多關(guān)注對(duì)各個(gè)圖文關(guān)系分類的理論闡述和評(píng)估、異同點(diǎn)比較，缺少在實(shí)際案例中的運(yùn)用。雖然給讀者展現(xiàn)了多種多樣的圖文關(guān)系分類框架，但是在多模態(tài)語(yǔ)篇分析的實(shí)際操作層面的指導(dǎo)相對(duì)較少，難免給分析者造成困惑。最后，本書可以用作反映多模態(tài)意義建構(gòu)的教材，教材與其他理論著作在體例上有所不同，優(yōu)點(diǎn)是具有可讀性，便于理解，但是正因?yàn)槿绱?，?duì)書中涉及的理論框架的闡述的深度就會(huì)有所減損。

總體來(lái)說(shuō)，本書聚焦圖文關(guān)系，以清晰合理的結(jié)構(gòu)安排、簡(jiǎn)潔易懂的語(yǔ)言向讀者展示了現(xiàn)階段國(guó)外在該領(lǐng)域的研究成果，它的出版對(duì)今后多模態(tài)研究中的模態(tài)間相互關(guān)系探究有很多借鑒和啟發(fā)，是多模態(tài)研究中的一本重要的參考資料。

參考文獻(xiàn)：

[1]Bateman， J.A.2008.Multimodality and Genre： A Foundation for the Systematic Analysis of Multimodal Documents[M].London & New York： Palgrave Macmillan.

[2]Bateman，J.A.& K-H.Schmidt.2012.Multimodal Film Analysis： How Films Mean[M].London & New York ： Routledge.

基金項(xiàng)目：本文為江蘇省2014年度普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目《視頻廣告的多模態(tài)批評(píng)話語(yǔ)分析》（編號(hào)：KYZZ_ 0312）的階段性成果。