英語宣傳片的多模態(tài)話語分析
——以“山西8分鐘”英語宣傳片為例

高志英，米錦平，趙京博

（山西大同大學外國語學院，山西 大同 037009）

模態(tài)(modal)是指人們在社會交往中所利用的手段和媒介，包括語言、圖像、聲音、手勢、顏色等各種符號資源。隨著科技的發(fā)展和互聯(lián)網(wǎng)的普及，人們?nèi)粘＝涣髦械男畔⒁愿鞣N各樣的模態(tài)存在，純語言文本已無法滿足表達意義的需求，語言文字也不再是現(xiàn)代語篇中的唯一模態(tài)，人們之間的溝通更多地采用語言、聲音、圖像、手勢等各種符號資源協(xié)同表達意義的方式，也就是多模態(tài)話語。多模態(tài)話語是指運用視覺、聽覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象。[1]例如，同時包含文字和圖像的電影海報、夾雜語調(diào)和手勢變化的交談、動態(tài)的廣告片或視頻等都屬于多模態(tài)話語。

話語分析(discourse analysis)是研究語言的一種方法，由語言學家Harris提出。話語分析的研究對象是人們在日常生活中所使用的語言，通過觀察和描述語言的特征來分析語言的功能和用途。多模態(tài)話語分析(Multimodal Discourse Analysis)理論興起于20世紀90 年代。在多模態(tài)話語分析中，非語言符號（如繪畫、雕塑、音樂、舞蹈等）和語言一起都屬于符號資源，這些符號都具有表達和傳遞意義的功能。不同種類的符號模態(tài)可以用來表達相同的含義，多種符號模態(tài)也可以分工合作，協(xié)同傳遞一個意思。近些年來，多模態(tài)話語研究呈現(xiàn)蓬勃發(fā)展態(tài)勢，研究范疇和領域不斷拓展，其代表人物包括Kress，Van Leeuwen，O’Toole，Lemke，O’Halloran，Jewitt 等。Kress 和Van Leeuwen 提出了視覺語法理論，他們認為“視覺語法不僅適用于語言符號分析，也適用于圖像、聲音、顏色、版面等非語言符號研究”。[2]

國內(nèi)最早引入的有關多模態(tài)研究的論文是李戰(zhàn)子《多模態(tài)話語的社會符號學分析》。[3]隨后，胡壯麟、朱永生、張德祿、陳蔭等研究者也在該領域進行了一系列相關研究。多模態(tài)話語分析將語言和其他符號資源整合起來加以研究，使符號在社會交往中具有更大的應用價值。多模態(tài)話語分析已經(jīng)廣泛應用到社會學、新聞傳播、藝術、美學、教育等領域。

在新聞傳播領域，多模態(tài)話語分析的對象過去多為海報或者時常較短的電視廣告，對宣傳片的研究較少。相關的研究集中于對英文譯文的探討，如吉文凱《文化宣傳片對外譯介傳播的多模態(tài)協(xié)同重構》，[4]劉春陽《省份形象宣傳片解說詞的英譯》。[5]從多模態(tài)話語分析的角度來研究宣傳片也有一些，如翟海霞《安徽省旅游形象廣告宣傳片的多模態(tài)語篇分析》，[6]賈延云《城市形象建構的多模態(tài)話語分析》。[7]

實際上，宣傳片是非常典型的多模態(tài)語篇，多模態(tài)語篇分析就是將語言符號和其他符號資源整合起來，從綜合和宏觀的視角來研究語篇。在多模態(tài)分析領域，語言不再被看作是信息傳遞的唯一渠道，非語言符號(如圖像、音樂、空間安排等)也不再像傳統(tǒng)語言學認為的那樣在交際中只是扮演著輔助語言的角色，它們和語言一同成為符號資源，共同表達和傳遞著意義。[6]多模態(tài)語篇的角度分析不僅可以在提升英語宣傳片的制作方面尋求更多的思路和理論依據(jù)，而且，在多模態(tài)語篇分析的過程中，我們可以更多的將多模態(tài)理論應用到中華文化“走出去”戰(zhàn)略中，整合多種模態(tài)資源全方位分享中國近些年的發(fā)展成果，更好地講述中國故事。

一、多模態(tài)話語分析理論依據(jù)

多模態(tài)話語分析是以系統(tǒng)功能語言學為理論基礎，運用聽覺、視覺、觸覺等多種感覺模式，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象。[6]多模態(tài)話語分析的理論基礎是Halliday 的系統(tǒng)功能語法和Kress 和Van Leeuwen的視覺語法。

根據(jù)社會符號學(Social Semiotics)的理論，日常生活中的任何符號都是有意義的單位，如文字、圖像、手勢、聲音等。人類的社會交往實際上可以理解為符號的傳播。Saussure 所提出的“語言學是符號學的組成部分”這一觀點，在系統(tǒng)功能語法理論中得到了延續(xù)。Halliday 認為語言是社會符號，語言符號具有概念功能、人際功能、語篇功能等三大元功能。概念功能表征周圍的世界,人際功能觸發(fā)社會交流,語篇功能使文本中所有要素內(nèi)部銜接并與外部環(huán)境相關聯(lián)。[6]因為語言是社會交往中各種符號系統(tǒng)中的一種，所以各種符號系統(tǒng)都有相似之處，在研究其他符號系統(tǒng)時可以借鑒現(xiàn)有的語言學理論。

Kress & Van Leeuwen 的視覺語法(Visual Grammar)的概念就是基于社會符號學理論和系統(tǒng)功能語法而提出，同時還受到了Barthes 在視覺符號學方面研究的啟發(fā)。他們將帶有顏色、音樂、排版和其他視覺特征的圖像視為和語言一樣的符號，認為它們具有和語言一樣的概念、人際和語篇功能。由此，Kress&Van Leeuwen 提出視覺符號具有的三個功能意義，即再現(xiàn)意義(representational meaning)、互動意義(interactional meaning)和構圖意義(compositional meaning)。Kress &Van Leeuwen 第一次將對語言語法圖展到視覺領域，對視覺符號進行了非常全面地分析和研究，為多模態(tài)語篇研究提供了扎實的理論基礎，具有開創(chuàng)性意義。

二、英語宣傳片多模態(tài)話語分析

英語宣傳片是一種文化輸出的形式，以電視傳媒為手段，對外宣傳某個國家、地區(qū)或城市的形象，往往會對當?shù)氐恼?、?jīng)濟、文化、歷史、人文風貌等進行全方位的展現(xiàn)。在我國政府加快實施“走出去”戰(zhàn)略的過程中，英語宣傳片已經(jīng)成為對外傳播的一種很好的方式。

2019 年2 月25 日，外交部舉辦山西省的全球推介活動，期間播放的一條關于山西省的8分鐘主題宣傳片，被媒體紛紛轉(zhuǎn)發(fā)，引爆朋友圈。視頻以“新時代的中國：山西新轉(zhuǎn)型 共享新未來”為主題，介紹了山西省近年來大力推動能源革命、打造新興產(chǎn)業(yè)集群、實現(xiàn)經(jīng)濟轉(zhuǎn)型的概況，目的是向與會者和各界人士展示、傳播古老山西的新面貌，讓全國人民乃至世界人民看到生機勃勃、奮進崛起的山西。

英語宣傳片是一種典型的多模態(tài)話語，通過圖像、背景音樂和聲音、字幕等多種模態(tài)協(xié)同表達和傳遞某個地區(qū)的概況。在對宣傳片進行多模態(tài)話語分析時，以社會符號學為理論基礎的系統(tǒng)功能語法主要用來分析和闡釋宣傳片中的語言文本所表達的意義，視覺語法則是用來解讀其中的圖像所傳達的意義。兩種理論共同為英語宣傳片中多種模態(tài)的相互作用提供了有效的分析工具?；谙到y(tǒng)功能語法和視覺語法，本研究將以“山西8分鐘”宣傳片中的圖片為例，對這部英文宣傳片進行了多模態(tài)話語分析。

（一）再現(xiàn)意義 根據(jù)視覺語法理論，視覺符號具有的三個功能意義，即再現(xiàn)意義、互動意義和構圖意義。其中，再現(xiàn)意義所反映的是畫面中呈現(xiàn)的各種元素之間的關系，以及觀者從圖像中所獲得的感受。再現(xiàn)意義主要分為敘事再現(xiàn)(narrative representation)和概念再現(xiàn)(conseptual representation)。區(qū)別敘事圖像與概念圖像要看圖像中是否存在矢量(vector)。矢量(向量)即動作、行為的方向，通常為一條斜線，在具體的圖像中可能是參與者(participent)視線的方向，也可能是手臂所指的方向。在多模態(tài)話語分析中，先辨別圖像是屬于敘事再現(xiàn)還是概念再現(xiàn)有助于進一步探討圖像的再現(xiàn)意義。

此宣傳片中既有概念再現(xiàn)，也有敘事再現(xiàn)。概念再現(xiàn)主要通過分類過程(classificational process)、分析過程(analytical process)、象征過程(symbolic process)等來表現(xiàn)。分類過程反映圖像參與者之間的類屬關系。分析過程反映圖像中整體與部分之間的關系。象征過程探討圖像參與者的象征意義。

宣傳片開始部分從1 分零1 秒到1 分35 秒出現(xiàn)了概念再現(xiàn)的分類過程，這段視頻由一系列山西省境內(nèi)的歷史文物古跡的圖像組成，如陶寺觀象臺、晉侯鳥尊、侯馬盟書、五臺山、云岡石窟（如圖1）、平遙古城等，旁邊配有中英文名稱，文物遺址一類的圖像是靜態(tài)的展現(xiàn)，一般用來表現(xiàn)一個地方悠久的歷史，屬于概念再現(xiàn)。背景配音是“Here in Shanxi a birthplace of the Chinese civilization preserves the heritages of over 5000 years of Chinese civilization.(這里是華夏文明起源之一，留下了豐富的歷史遺存，貫通上下五千年，成為了解中華文明首選之地)”圖像、文字和聲音共同構建出語篇的概念意義——山西有厚重的歷史文化，境內(nèi)保存著豐富的旅游資源。該段視頻中的圖像、文字和聲音三者之間是互補和強化的關系。

圖1 視頻截圖（概念再現(xiàn)的分類過程）

當圖像中出現(xiàn)矢量(參與者的動作方向)時，就形成敘事過程。敘事再現(xiàn)可以通過行動過程(action process)、反應過程(reactional process)、言語和心理過程(speech process and mental process)、轉(zhuǎn)化過程(conversion process)、幾何象征(geometrical symbolism)等體現(xiàn)。行動過程一般涉及行動者(actor)和目標(goal)，行動者是動作的發(fā)出者，是矢量的起點，目標是動作的接收者，是矢量的終點。反應過程往往由一個或多個參與者的目光凝視構成，視線即矢量，矢量兩端的行動者和目標分別被轉(zhuǎn)化為反應者(reactor)和現(xiàn)象(phenomenon)。對參與者和矢量的分析是研究敘事過程的重點。

圖2 是“山西8 分鐘”宣傳片中2 分56 秒的一個畫面，反映的是山西省在教育方面的發(fā)展。圖像中的小學生們正在教室里學習交流，前景中央的兩個學生坐在課桌前好像在探討課本上的問題，處于右邊的小學生用左手指向桌子上的課本，形成一個矢量，這一過程屬于行動過程，行動過程是圖像中參與者發(fā)出矢量的過程。右邊學生在此行動過程中是行動者(actor)，是矢量的起點，書是目標(goal)，是矢量的終點。另外，兩名學生的目光同時看向課本的內(nèi)容，好像在思考問題，兩個學生的視線各自形成一個矢量，這個過程屬于反應過程。反應過程中的矢量通常是人的視線，這一過程中兩名學生都是反應者(reactor)，是矢量的起點，課本是現(xiàn)象(phenomenon)，是引起學生做出反應的原因，是矢量的終點。這一幀畫面中出現(xiàn)了兩種敘事過程，圖像的再現(xiàn)意義是由行動過程和反應過程兩種過程共同體現(xiàn)。背景配音和字幕是“Nine-year compulsory education extended to the furthermost cornors.(最邊遠的山區(qū)全部實現(xiàn)九年義務教育)”，對畫面的意義進行了有效的補充和加強，視覺模態(tài)和聽覺模態(tài)協(xié)同表達出的意義是：山西在教育方面做出了巨大努力和投入，給孩子們創(chuàng)造了良好的條件，使他們都能夠走進學校接受義務教育，從而提高人口對整體素質(zhì)。

圖2 視頻截圖（敘事再現(xiàn)的行動過程和反應過程）

（二）互動意義 互動意義通常指圖像的作者、圖像與觀者之間的互動和交流，主要通過接觸(contact)、社交距離(social distance)、態(tài)度(attitude)和情態(tài)(modality)等要素來體現(xiàn)，幾個要素之間可以相互作用，共同闡述影像中的參與者與現(xiàn)實中觀者產(chǎn)生的特定關系和互動。

接觸是指觀者與視頻畫面中的參與者之間的互動關系，這種互動關系一般通過參與者的視線建立起來。觀看者不可能與圖像中的人物有肢體的接觸和互動，所以圖像的互動意義主要是通過觀看者和圖像參與者之間的目光接觸來實現(xiàn)的。圖像中參與者的目光凝視傳達出的意義，可分為提供類(offer)與需求類(demand)。其中，在提供類圖像中，圖像參與者與觀者沒有目光接觸，而在需求類圖像中圖像參與者的目光是看向觀者的。

社交距離體現(xiàn)圖像參與者與觀者之間的關系，通過近景、中景和長景的選擇來區(qū)分圖像參與者與觀者之間或遠或近的社交關系。

態(tài)度往往憑借視角來體現(xiàn)，一般分為水平視角和垂直視角。水平視角里常見的有正面視角、背面視角、側面視角等。水平視角就是人們平時正常的視角，所表現(xiàn)的畫面效果與日常生活相似，給人以平和、自然、平等的心理效果，使觀者有現(xiàn)場感。相較于側面視角，正面角度的圖像給觀者更強的參與感。垂直視角包括仰角和俯角。仰角度有利于主體的突出，使畫面主體顯得高大、醒目、優(yōu)越、令人敬仰。俯角度有利于展示空間、規(guī)模和層次，表達一種客觀、公正、強調(diào)的效果。

情態(tài)一詞源于語言學。無論是語言符號，還是其他符號系統(tǒng)，在表達意義方面存在一個真實性的問題。而情態(tài)一詞強調(diào)就是所表達意義的可信度或真實性。圖像中的情態(tài)主要通過觀察圖像的色彩飽和度、色彩區(qū)分度、色調(diào)、背景等方面來確定。情態(tài)反映事物的真實性，一般來說，顏色較飽滿、色彩區(qū)分度高、背景較清晰的畫面更自然，給人的感覺也更真實。

圖3 是宣傳片2 分22 秒的視頻截圖，在圖3 中，一位農(nóng)民手捧豐收的果實，眼睛望向鏡頭之外，與觀者形成目光對接，圖像屬于需求類。她的意圖非常明顯，就是想和觀者一起分享豐收的喜悅，渴望得到觀者的共情。圖像是近景拍攝，農(nóng)民只露出上半身，與觀者的距離很近，反映了親切的社交距離。拍攝角度是水平正面，相較于側面視角，正面角度的圖像給觀者更強的現(xiàn)場感和參與感。這里表達出圖像中的農(nóng)民希望觀者能夠參與其中，分享自己喜悅的心情。畫面色彩豐富，飽和度高，植物綠色的葉子，紅彤彤的西紅柿，農(nóng)民身上鮮亮的衣服，給人身臨其境的感覺，畫面自然，情態(tài)值高。與圖像同步的配音是“People’s lives have changed significantly from food and clothing shortage to initial prosperity (人們生活迎來從溫飽不足到全面小康。)”圖像和聲音共同呈現(xiàn)的互動意義是：山西普通老百姓的生活水平顯著提高，過去缺衣少食，如今已邁步進入小康社會。一般來說，宣傳片中提供類圖像所占比重較大，需求類圖像相對來說占比較小，但需求類圖像往往能夠達到使觀者產(chǎn)生共鳴的效果，不可或缺。

圖3 視頻截圖（需求類圖像的互動意義）

圖4 是宣傳片3 分37 秒的視頻截圖。畫面呈現(xiàn)的是人們植樹造林的場景。圖像中沒有人看向鏡頭外的觀者，參與者和觀者之間沒有目光接觸，所以該圖像屬于提供類圖像。圖像參與者與觀者之間的社交距離也比較遠，屬于公眾距離。拍攝視角為俯視，這種視角可以讓更多元素進入到畫面中，視覺沖擊力大，給觀者一種縱觀全局的體驗。整個圖像是向觀者展現(xiàn)在“右玉精神”的指引下，當?shù)馗麟A層人民為使綠色成為美麗山西的底色，大力開展植樹造林的宏大場面。圖像色彩飽滿鮮明，色調(diào)均勻，背景的藍天和山巒，黃土地上插滿紅色的旗幟，人群中穿校服的學生，使得畫面真實自然。背景配音是“The Youyu Spirit, features proudly in the history of the People’s Republic(右玉精神載入共和國史冊)”。如果只聽配音，受眾可能無法理解“右玉精神”的內(nèi)涵，只有看到圖像，結合視頻之前提供的信息，觀者才能體會其中的含義。從這里可以看到圖像和聲音在表達意義方面相互補充、缺一不可的關系。

圖4 視頻截圖（提供類圖像的互動意義）

（三）構圖意義 構圖意義指的是圖像整體傳達出的意義，主要是通過圖像中各元素的位置和畫面的布局來體現(xiàn)。構圖意義的要素包括信息值(information value)、顯著性(salience)、取景(framing)等。信息值是由各元素在視頻圖像中所處的位置(左邊或右邊、上方或下方、中間或邊緣)決定，位置不同，信息值不同，也就是重要性不同。根據(jù)視覺語法理論，圖像中各元素所處的位置不同，體現(xiàn)的意義也不同。一般來說，處于圖像右邊的元素代表新信息，左邊則代表已知信息，處于圖像上方的元素代表理想信息，下方則代表真實信息，處于圖像中央的元素代表最主要信息，邊緣則代表次要信息。顯著性要素反映的是圖像中某個元素對觀看者的吸引力，可以從元素的大小、色調(diào)、色彩的對比、前景元素和背景之間的關系等方面進行分析。圖像中某個元素的面積越大，與周圍元素的色差越大，顯著性越高。取景是通過使用邊框線條、圖像組件之間的空白、或者顏色的間斷等來表達意義上的從屬或者不從屬關系的。例如，網(wǎng)站一般會通過線條、空白或者色差來把網(wǎng)頁分成幾個模塊，不同模塊的重要性也有區(qū)別。

圖5 是宣傳片4 分15 秒的視頻截圖。圖像中處于最中心位置的是一臺風力發(fā)電機，上面站著兩名工程技術人員正在現(xiàn)場討論相關技術問題。圖像中央表示最主要信息。并且，這個風力發(fā)電機占據(jù)畫面很大的面積，相比其他風力發(fā)電機大得多，顯著性最高。構圖中色彩對比非常強烈，在深綠色背景的襯托下，白色的風葉尤其突出，使觀者第一眼就會注意到它。這幅圖著重強調(diào)新時代的山西，不再只靠煤炭產(chǎn)業(yè)，而是正在努力發(fā)展像風能這樣的新型能源產(chǎn)業(yè)，構建起多元支撐的現(xiàn)代產(chǎn)業(yè)體系。背景配音是“Entering the new era, Shanxi, no longer a‘coal giant’,is striving to be a pioneer in energy revolution.(新時代，山西作別‘煤老大’，爭當能源革命排頭兵)”對畫面進行了很好的補充說明。

圖5 視頻截圖（構圖意義）

圖6 是一幅城市的夜景，出現(xiàn)在宣傳片8 分30秒。畫面處于中心位置的樓宇燈光璀璨，區(qū)別于周圍的點點燈光，樓體表面是一大塊紅色的燈牌，在夜景黑色調(diào)的襯托下尤其顯眼。這幅圖像的特別之處在于畫面中出現(xiàn)了語言符號，而且語言符號位于圖像的正中央，那么燈牌上“還看今朝”四個大字體現(xiàn)的就是圖像的主要信息，旨在表達希望世界看到山西省的今天，對她充滿信心的愿望，與配音相互呼應“Shanxi,together with the world,is pursuing a dream for all.(山西與世界一起追夢前行。)”但是，在傳達意義方面，“還看今朝”四個漢字其實并沒有起到應有的作用。眾所周知，“還看今朝”來自于毛澤東詩詞《沁園春·雪》，中國觀眾很熟悉其中的含義。但是一部英文宣傳片的受眾應該是使用英語的外國人，在沒有英文解釋的情況下，觀者很可能不認識漢字或者不理解其中的深意。作為圖像的焦點，也是視覺的焦點，最重要的信息如果不能被理解的話，實際上視覺模態(tài)在這里并沒有對語篇意義的傳達做出貢獻。在對外宣傳片中，語言符號的交際功能和語境是必須要考慮的因素，宣傳片要達到對外傳播的效果，制作者應該時刻站在觀者的角度來合理地安排符號資源，而不僅僅是將中文解說詞翻譯成英文，其他方面簡單地照搬中文宣傳片而已。所以，作為一種文化傳播的方式，英語宣傳片在制作時應該綜合考慮多模態(tài)話語中各種模態(tài)在目的語文化語境中意義的重構,使英語宣傳片在目的語文化中被充分接受，從而得到有效的傳播。

圖6 視頻截圖（構圖意義存在缺陷）

整部“山西8分鐘”英文宣傳片全方位、多角度地展現(xiàn)了山西省悠久的歷史、壯美的風景、人民的生活和經(jīng)濟的轉(zhuǎn)型。宣傳片的最后強調(diào)了山西的區(qū)位優(yōu)勢、充足的資源、先進的通訊網(wǎng)絡、完善的城市安全與衛(wèi)生體系、便捷的交通出行條件，以吸引企業(yè)家和游客來山西進行投資與觀光。[5]8 分鐘左右的視頻要涵蓋大量的信息，圖像的選擇，文本的編輯，聲音的配合，多種模態(tài)相互配合，統(tǒng)籌協(xié)調(diào)，才能實現(xiàn)語篇再現(xiàn)意義、互動意義和構圖意義的傳遞，從而達到對外宣傳的效果。

三、結語

本研究基于系統(tǒng)功能語法和視覺語法理論,對外交部發(fā)布的“山西8 分鐘”英文宣傳片進行了多模態(tài)話語分析，闡釋了不同模態(tài)之間相互協(xié)作，共同呈現(xiàn)語篇的整體意義的過程。研究發(fā)現(xiàn)，“山西8分鐘”英文宣傳片中圖像、文字、聲音各模態(tài)的結合遵循了系統(tǒng)功能語法和視覺語法理論的原則，使山西省悠久的歷史文化、人民幸福的生活、優(yōu)美的生態(tài)環(huán)境、富有活力的產(chǎn)業(yè)轉(zhuǎn)型等良好的形象得以傳播，視覺與聽覺模態(tài)的互補和強化使整部宣傳片的再現(xiàn)意義、互動意義和構圖意義完整展現(xiàn)，引起觀者的共鳴，達到了提升山西省整體形象的目的。但不可否認的是，由于對目的語受眾的接受程度欠缺考慮，導致宣傳片中的個別地方的圖像、文字方面的處理還不夠完美?？偟膩碚f，本文旨在從觀者的角度更深入、更透徹地解讀英語宣傳片這類多模態(tài)語篇，了解多種模態(tài)的協(xié)同作用，為對外的媒介傳播提供合適的理論框架。