音樂視頻語篇的多模態(tài)話語分析

摘 要：傳統(tǒng)的語篇分析基本集中在文本語言分析，忽視非語言符號資源對語篇意義的構(gòu)建所起的作用。而實(shí)際上在各種語篇中圖像、聲音、顏色、動漫等其他意義的表現(xiàn)形式對整體語篇的構(gòu)成意義也有很大的作用。20世紀(jì)90年代在西方興起的多模態(tài)語篇分析促進(jìn)了傳統(tǒng)單一的語言交流手段與視覺、聽覺、手勢等其他表意方式的有機(jī)結(jié)合。本文嘗試用Kress和Leeuwen的視覺圖像分析語法框架以及聽覺模態(tài)方面的聲音透視理論對復(fù)興路上工作室制作發(fā)行的音樂視頻《十三五之歌》中的聲音和圖像進(jìn)行意義構(gòu)成的分析，以說明各種模態(tài)和符號在視頻中是如何相互關(guān)聯(lián)共同實(shí)現(xiàn)語篇的整體意義的。

關(guān)鍵詞：多模態(tài)語篇分析；意義構(gòu)建；視覺模態(tài)；聽覺模態(tài)

1.引言

隨著數(shù)字化和信息化時代的到來，人類交際活動中出現(xiàn)了多種符號相融合的現(xiàn)象，這種話語的多模態(tài)現(xiàn)象是當(dāng)今人類交際中使用各種話語時的一個重要特征（Kress&Leeuwen，2001：2）。電腦技術(shù)和多媒體技術(shù)的不斷進(jìn)步與發(fā)展、廣泛運(yùn)用與普及，更始人類社會跨入了豐富多彩的信息時代。人們觀察世界、認(rèn)知世界與表達(dá)感情的渠道也日益多元化，實(shí)現(xiàn)了多模態(tài)交際。 20世紀(jì)90年代，多模態(tài)語篇分析在西方語言學(xué)界應(yīng)運(yùn)而生。早期的研究多集中在對靜態(tài)多模態(tài)語篇的分析上，隨著多媒體和數(shù)碼技術(shù)的發(fā)展，研究重心開始逐漸轉(zhuǎn)向動態(tài)多模態(tài)語篇，如視頻語篇和網(wǎng)頁超文本等。但是由于涉及對音頻和視頻的采集、合成、重現(xiàn)等技術(shù)過程及其符號的動態(tài)性、分析的復(fù)雜性和對其它相關(guān)學(xué)科知識的要求，動態(tài)多模態(tài)視頻語篇成為近年來多模態(tài)語篇研究者面臨的一大挑戰(zhàn)。

國外從事多模態(tài)語篇分析的學(xué)者有很多，其中Kress&vanLeeuwen根據(jù)Halliday的系統(tǒng)功能語言學(xué)理論，將語言的三大元功能看作是任何人類交際系統(tǒng)所必須具備的，并以此為基礎(chǔ)建立了對圖片進(jìn)行分析的視覺語法框架：再現(xiàn)結(jié)構(gòu)、互動意義和構(gòu)圖意義，分別與語言的概念功能、人際功能和語篇功能相對應(yīng)。近年來，國內(nèi)也興起了多模態(tài)語篇分析，本文將以Kress&vanLeeuwen所提出的視覺語法框架和系統(tǒng)功能語法為基礎(chǔ)，來對多模態(tài)視頻語篇《十三五之歌》進(jìn)行分析。

2 多模態(tài)語篇及視覺圖像語法框架理論基礎(chǔ)

2.1 多模態(tài)語篇的定義

“多模態(tài)”一詞源于英語中的“multimodality”，其中“modality”一詞源自“mode”，意為“模態(tài)/模式/方式”。本文采用“多模態(tài)”譯法，與單一模態(tài)相對。近年來，多模態(tài)語篇研究引起了國內(nèi)外許多學(xué)者的關(guān)注，但對如何定義模態(tài)，何為多模態(tài)，尚未達(dá)成一致意見。Kress&vanLeween認(rèn)為，多模態(tài)語篇（multimodal discourse）是一種融合了多種交流模態(tài)（如聲音、文字、形象等）來傳遞信息的語篇。李戰(zhàn)子則指出，多模態(tài)語篇是指除了文本之外，還帶有圖像、圖表等的復(fù)合話語，或者說任何由一種以上的符號編碼實(shí)現(xiàn)意義的文本。也就是說，區(qū)分單一與多模態(tài)的關(guān)鍵在于有多少種符號參與意義構(gòu)建。顧曰國則認(rèn)為，模態(tài)指人類通過感官（如視覺、聽覺等）跟外部環(huán)境（如人、機(jī)器、物件、動物等）之間的互動方式。用單個感官進(jìn)行互動的叫單模態(tài)，用兩個的叫雙模態(tài)，三個或以上的叫多模態(tài)。他認(rèn)為區(qū)分關(guān)鍵在于有多少感官參與互動，比如視覺、聽覺或觸覺的同時參與或只有一種參與。朱永生認(rèn)為多模態(tài)話語的判斷有兩條標(biāo)準(zhǔn)，第一是看涉及的模態(tài)種類有多少，第二是看涉及的符號系統(tǒng)有多少。他的第一條標(biāo)準(zhǔn)與顧曰國的多感官互動觀點(diǎn)相似，而第二條標(biāo)準(zhǔn)與李戰(zhàn)子的多符號觀點(diǎn)相似。如上所述，諸多學(xué)者從不同角度對多模態(tài)語篇進(jìn)行了界定。本文認(rèn)為，可以從語篇構(gòu)建要素和語篇處理者兩個角度對其定義。前者強(qiáng)調(diào)的是參與意義構(gòu)建的各種符號，后者強(qiáng)調(diào)的是作為語篇處理者的人的感官系統(tǒng)。將兩條標(biāo)準(zhǔn)合二為一可得出以下結(jié)論：單一模態(tài)語篇為僅有單一感官參與互動且僅含一種符號的語篇，比如看只含文字的書本或聽僅有聲音傳達(dá)的收音機(jī)；多模態(tài)語篇可分為啟用單一感官的多符號語篇或啟用多感官的多符號語篇，比如看既有文字又有圖片的書本或既有圖像又有聲音的電視。而現(xiàn)實(shí)生活中，絕對的單一模態(tài)語篇是很少的，多模態(tài)語篇則是普遍存在的，比如人們說話時常伴隨手勢，人們可在一張網(wǎng)頁上既看到文字又看到圖像，同時又可聽到音樂。因此，語言是人類進(jìn)行表意交流的主要渠道，但不是唯一有效的渠道。

2.2 多模態(tài)話語分析方法

目前對視頻語篇的分析還沒有統(tǒng)一的框架，而視頻語篇出現(xiàn)的模態(tài)主要有視覺模態(tài)和聽覺模態(tài)，因此，本文在分析復(fù)興路上工作室出版的《十三五之歌》音樂視頻的視覺模態(tài)方面，將借鑒 Kress & Van Leeuwen（ 2006） 的理論建立對視覺圖像語法的分析框架，包括再現(xiàn)意義、互動意義和構(gòu)圖意義。再現(xiàn)意義包括敘事再現(xiàn)和概念再現(xiàn)； 實(shí)現(xiàn)互動意義的要素包括： 視點(diǎn)、距離、接觸和情態(tài)； 實(shí)現(xiàn)構(gòu)圖意義的資源有信息值、取景和顯著性。在聽覺模態(tài)方面，本文將采用VanLeeuwen（ 1999） 的聲音透視和社會距離系統(tǒng)網(wǎng)絡(luò)對MV中聲音與聽者的關(guān)系進(jìn)行解讀。聽覺透視系統(tǒng)把同時出現(xiàn)的聲音進(jìn)行分層使聽者能分辨出聲音重要性的不同，而這種聽覺透視由音量的大小來實(shí)現(xiàn)。同時出現(xiàn)的聲音按照位置可分為三組： 主角、背景和場。主角聲音是關(guān)注的重點(diǎn)，也是聽者需要確認(rèn)、做出回應(yīng)或采取行動的聲音。被置于背景位置的聲音對聽者來說是次要、不那么明顯的。場聲音存在于聽者的物理世界，不期待聽者適應(yīng)它或采取任何評論性的姿態(tài)。社會距離系統(tǒng)包括五種距離： 親密距離、個人距離、非正式距離、正式距離和公共距離。這些距離由音質(zhì)體現(xiàn)，包括喉嚨肌肉張力、音高和音量，例如親密距離由極輕柔的聲音低聲密語實(shí)現(xiàn)。

在研究視覺模態(tài)和聽覺模態(tài)如何體現(xiàn)各自意義的同時，我們也將借鑒張德祿（ 2009） 和 Royce（ 2007） 的研究成果，考查各種模態(tài)和符號之間如何相互關(guān)聯(lián)共同實(shí)現(xiàn)語篇整體意義。張德祿（ 2009： 26） 認(rèn)為人類在交際中會用多模態(tài)的最主要原因是因?yàn)椤耙环N模態(tài)不足以表達(dá)清楚交際者的意義，從而利用另一者來進(jìn)行強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到更加充分，或者盡量充分表達(dá)意義，讓聽話者理解話語的目的”。他把模態(tài)間的關(guān)系分為互補(bǔ)關(guān)系（ 強(qiáng)化和非強(qiáng)化） 和非互補(bǔ)關(guān)系（ 交疊、內(nèi)包和語境） 。具體到圖像和文本的關(guān)系，Royce（ 2007： 70） 把圖像和文本的合作作用稱作“符號間互補(bǔ)”，他認(rèn)為，從概念意義上，圖像與文字材料之間存在重復(fù)、同義、反義、上下義、部分整體義和搭配等關(guān)系； 圖文的人際意義互補(bǔ)可以通過符際語氣（ 兩種模態(tài)呈現(xiàn)給讀者的方式） 和情態(tài)（ 態(tài)度一致和態(tài)度不一致） 進(jìn)行分析； 在組篇意義上，圖像和文本涉及到信息值、顯著性、取景和閱讀途徑等方面的協(xié)作。

3 分析與討論

3.1 視覺主題

復(fù)興路工作室制作發(fā)行的《十三五之歌》于2015年10月27日由新華社在其官方twitter上首先發(fā)布，長三分鐘，四個歐美年輕人以民謠的形式反復(fù)吟唱“十三五”。按照“十三五”是什么、誰制定、怎樣制定、制定完成還要執(zhí)行、完善等邏輯順序，層層推進(jìn)，對每個問題的詮釋、演繹都非常通俗。歌詞中反復(fù)歌唱“分散調(diào)研、集中討論、再分散 調(diào)研、再集中討論?！币源藖硐蛲饨缃榻B“十三五規(guī)劃”是什么以及是怎樣出臺的。在MV方面，《十三五之歌》所展現(xiàn)的視覺元素也頗為講究，它主打的是波普拼貼風(fēng)格，是歐美流行文化的典型代表，將人民幣、長城、烤鴨等中國符號展現(xiàn)出來，極具文化親和力。MV的主角之一的卡通形象，選擇了英國著名歌手大衛(wèi).鮑勃。這位被稱作“搖滾變色龍”的樂壇老將在歐美家喻戶曉，由他“闡述”中國十三五，大大拉近了與國外人民的距離。而不同膚色的手，共同擺出“135”的數(shù)字手勢，也象征著中國與世界成為更加緊密的“命運(yùn)共同體”：中國的十三五并非只是自身矚目的政治焦點(diǎn)，也是影響世界的大事件。

Baldry & Thibault（ 2006： 185） 認(rèn)為階段之間的過渡可以從表達(dá)層面或內(nèi)容層面的變化得到提示，我們依內(nèi)容層面的視覺主題把整部作品劃分為五個階段，它們所表達(dá)的內(nèi)容如表1所示：

1，習(xí)大大的new style“十三五規(guī)劃”像中國一樣大

2，人民幣的圖像及各行業(yè)照片表示黨中央國務(wù)院各級黨政辦參與制定“十三五規(guī)劃”

3，雨中人頭不斷出現(xiàn)又消失形容制定過程

4，中國地圖、高樓的崛起以及百家姓名冊描述“十三五規(guī)劃”的未來執(zhí)行狀態(tài)

5，電視中人頭不斷涌現(xiàn)提出未來還有“十四五規(guī)劃”

根據(jù)視覺分類的關(guān)聯(lián)元素，作品中四個演唱者站在大巴車頂上，邊走邊長，其中場景涵蓋范圍非常廣泛，依次有：森林中、藍(lán)天白云下、長城上、花叢中、細(xì)雨中、高樓崛起的城市以及邊疆的荒原等等。結(jié)合

關(guān)聯(lián)元素和視覺連接手段，作者發(fā)現(xiàn)這五個階段均由兩個或兩個以上的場景組成。將如此多且豐富的背景運(yùn)用到一首MV中，恰好說明了了中國“十三五規(guī)劃“所涉及的范圍之廣、制定過程的復(fù)雜性以及參與人員的多樣性，與歌曲主題相互呼應(yīng)。

3.2 視覺模態(tài)

雖然在一首歌曲中，聽覺模態(tài)是主模態(tài)，但在音樂視頻中，往往視覺模態(tài)能賦予MV不同尋常的表現(xiàn)力。本文將從再現(xiàn)意義、互動意義和構(gòu)圖意義三方面入手分析該音樂視頻的視覺模態(tài)。再現(xiàn)意義表示視覺圖像能如實(shí)再現(xiàn)客觀世界中的人、地點(diǎn)和事物以及人類內(nèi)心世界的活動。整個作品中，既有敘事再現(xiàn)的行動過程，又有概念再現(xiàn)的象征過程。

在《十三五之歌》的MV中，提到習(xí)大大style的時候，配圖背景是習(xí)近平主席微笑向觀眾招手的照片，表現(xiàn)了他對人民的熱情以及對“十三五規(guī)劃”的滿意程度；在歌詞唱到“十三五”計劃的宏偉時，配圖背景是一位父親背著一個小女孩兒，兩人紛紛張開雙臂，面帶笑容，顯示了他們對黨中央“十三五規(guī)劃”的擁護(hù)。

互動意義是指圖像的制作者、圖像所表征的事物和圖像的觀看者之間的關(guān)系，同時提示觀看者對表征事物應(yīng)持的態(tài)度。觀看者對畫面內(nèi)容的觀看角度，即視點(diǎn)有平視、俯視和仰視之分，它體現(xiàn)了參與者與觀看者之間的權(quán)勢關(guān)系。整部作品基本采取平視的視角，讓觀看者感覺平等親切融入其中。此首MV的目的是不僅向中國人民更向全世界人民介紹中國“十三五規(guī)劃”是什么、由誰制定以及怎樣出臺的，因此，在整首MV中，大部分畫面人物都未與觀看者有直接眼神接觸，主要以提供信息為主。它主打的是波普拼貼風(fēng)格，是歐美流行文化的典型代表，并選擇了英國著名歌手大衛(wèi).鮑勃作為MV的主角之一，大大拉近了與國外人民的距離。而不同膚色的手，共同擺出“135”的數(shù)字手勢，也象征著中國與世界成為更加緊密的“命運(yùn)共同體”：中國的十三五并非只是自身矚目的政治焦點(diǎn)，也是影響世界的大事件。整部MV的畫面色彩飽和度高，具有高情態(tài)，而且呈現(xiàn)一定的色彩傾向，以粉紅、黃、綠三者為主色調(diào)，象征著生命力蓬勃、溫暖可親和年輕活力，拉近了與觀眾的距離，同樣也以飽滿的色彩改變了傳統(tǒng)傳播政治要聞時肅穆莊重的氣氛，愉悅了觀眾的心情。

構(gòu)圖意義通過信息值、顯著性和取景實(shí)現(xiàn)。信息值與元素在構(gòu)圖中的放置有關(guān)，Kress & van Leeuwen （ 2006） 認(rèn)為左到右的放置造成了已知 - 新信息的結(jié)構(gòu)，置于上方的是“理想的”，下方的是“真實(shí)的”； 顯著性可通過被放置在前景或背景、相對尺寸、色調(diào)值的對比、鮮明度的不同等來實(shí)現(xiàn)； 取景可通過造成分割線條或?qū)嶋H分割框架的線條來實(shí)現(xiàn)。Baldry & Thibault（ 2006： 189） 認(rèn)為在動態(tài)的畫面中已知信息和新信息的確定還要看元素是不是逐漸變得顯著或成為焦點(diǎn)，而不單純依靠左右的放置。MV中四個歌手站立的大巴首先是位于整個視頻的中心靠前位置，而后，穿過森林、平原以及后來又出現(xiàn)許多其他人物時，他們總是時而靠前時而被虛化。例如在MV剛開始時，四位歌手處于前置位置，突出了他們的顯著性，后來在用不同顏色的手比劃“135”時，他們處于后置位置，顯著性被降低。

3.3 聽覺模態(tài)

整部作品的聽覺模態(tài)有旁白、歌唱、音樂和效果音響，各種符號高度協(xié)調(diào)。旁白是活潑的男聲或女生不斷提出的問題，演唱部分由兩男兩女交替或者合唱完成，曲風(fēng)以民謠為主，搭配朋克和獨(dú)白，整體風(fēng)格酷似70年代風(fēng)靡于日本的迷幻搖滾。

首先由一位女聲的旁白提出的問題 “Have you guys heared whats going on in China？” 引出了整首歌曲。而在歌曲中間也總是用疑問的形式引出后面的演唱，例如，在49秒的時候，男生問“the 13 what？”；在51秒時問“who makes all the plans？”等，用疑問旁白的形式不僅能使整首歌曲聽上去符合邏輯順序，也引起了聽眾的興趣。

3.4 模態(tài)的整合

整部作品中視覺模態(tài)和聽覺模態(tài)對構(gòu)建意義缺一不可，互為補(bǔ)充，為互補(bǔ)關(guān)系的非強(qiáng)化關(guān)系，有協(xié)調(diào)、聯(lián)合和交叉三種形式。在協(xié)調(diào)關(guān)系中，不同的模態(tài)共同表達(dá)交際者的整體意義，該音樂視頻中的畫面和歌唱聲音都是必需的，缺乏任何一者將難以理解，因?yàn)榇耸譓V不同于以往的音樂視頻，它的演唱語言是英語，而字幕是漢語，而背景又是融合了中西方不同的文化形象，它的受眾群體是全世界的人民，所以兩者是協(xié)調(diào)關(guān)系缺一不可，共同構(gòu)建語篇的整體意義。

4 結(jié)語

本文探討了對動態(tài)多模態(tài)音樂視頻語篇分析的理論框架，并基于此對《十三五之歌》MV進(jìn)行了多模態(tài)話語分析，闡釋了視覺模態(tài)和聽覺模態(tài)在語篇意義建構(gòu)中的作用，以及各種模態(tài)和符號如何相互關(guān)聯(lián)共同實(shí)現(xiàn)語篇的整體意義。研究表明，音樂視頻中文字、背景圖像和音樂通過互相增強(qiáng)或補(bǔ)充形成合力構(gòu)建意義，取得傳遞信息的最佳效果。但不可否認(rèn)的是，對圖像的語法分析存在主觀性，而且各種模態(tài)之間的互動和互補(bǔ)作用難以確定。因此在某種程度上，多模態(tài)語篇分析有一定的局限性和片面性，但隨著越來越多的學(xué)者開始關(guān)注多模態(tài)語篇，其分析方法和理論定會進(jìn)一步完善。希望此篇文章對后續(xù)的研究能有一定的借鑒意義。

參考文獻(xiàn)

[1]KressG，vanLeeuwenT.ReadingImages：TheGram-marofVisualDesign[M].London：Routledge，1996.

[2]李戰(zhàn)子.多模式話語的符號學(xué)分析[J].外語研究，2003，（5）： 1- 8.

[3]HallidayMAK.AnIntroductiontoFunctionalGram-mar[M].London：EdwardArnold，1985.

[4]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)，2007，（114）： 3- 12.

[5]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J]，外語學(xué)刊， 2007，（5）： 82- 86.

[6]洪崗，張振. 多模態(tài)視頻語篇《我和你（ You And Me） 》的構(gòu)成意義分析[J]，外語電化教學(xué)，2010（ 6） .

[7]唐青葉. 電視民生新聞的多模式積極話語分析[J]. 外語研究，2008（ 4） .

[8]張德祿. 多模態(tài)話語分析綜合理論框架研究[J]. 中國外語，2009（ 1） .

作者簡介

王晶晶（1991-），女，漢族，籍貫，河北省泊頭市，大連外國語大學(xué)在讀研究生，研究方向：跨文化交際