一篇TED演講多模態(tài)語(yǔ)篇的模態(tài)協(xié)同研究

宋冠辰

摘要：隨著現(xiàn)代技術(shù)的發(fā)展，語(yǔ)言不再是人們交際的唯一方式，而是由多種模態(tài)——空間、手勢(shì)、移動(dòng)、音樂(lè)、書(shū)面語(yǔ)、圖像、圖表等共同完成。本文擬以TED演講為語(yǔ)料，應(yīng)用系統(tǒng)功能語(yǔ)言學(xué)理論和胡壯麟的PowerPoint文體系統(tǒng)框架，分析一篇TED演講動(dòng)態(tài)多模態(tài)語(yǔ)篇的模態(tài)之間的協(xié)同關(guān)系。本文發(fā)現(xiàn)在TED演講多模態(tài)語(yǔ)篇中，聽(tīng)覺(jué)模態(tài)為主要模態(tài)，為了實(shí)現(xiàn)話語(yǔ)的有效傳遞，需要PPT、演講者和布局背景對(duì)其進(jìn)行補(bǔ)充和強(qiáng)化，內(nèi)包和交疊。

關(guān)鍵詞：動(dòng)態(tài)多模態(tài)語(yǔ)篇；協(xié)同；TED演講

中圖分類號(hào)：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2017）03-0054-02

一、理論基礎(chǔ)

1.動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架。多模態(tài)話語(yǔ)指運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。基于Martin的系統(tǒng)功能語(yǔ)言學(xué)理論和Lim在研究圖畫(huà)與語(yǔ)言形成的多模態(tài)話語(yǔ)，張德祿從文化層面、語(yǔ)境層面、內(nèi)容層面和表達(dá)層面提出了多模態(tài)話語(yǔ)分析綜合理論框架。

2.胡壯麟的PowerPoint文體系統(tǒng)框架。胡壯麟把PowerPoint作為語(yǔ)類的語(yǔ)篇分為四種基本類型：點(diǎn)句、圖像、圖表、色彩/音響。點(diǎn)句的主要功能是提示性，有助于幫助演講者組織思路，突出重點(diǎn)。圖像的功能是直觀性，用圖像的方法將真實(shí)世界展現(xiàn)在受眾之前，有助于加深印象。圖表有助于實(shí)現(xiàn)分析性功能，演講者基于圖表分析項(xiàng)目的運(yùn)作系統(tǒng)、內(nèi)部關(guān)系或發(fā)展趨勢(shì)。色彩/音響屬于勸誘型，演講者運(yùn)用色彩、動(dòng)畫(huà)和音樂(lè)，使受眾產(chǎn)生美的感受，接受幻燈片的內(nèi)容，進(jìn)而達(dá)到演講者的勸誘意圖。

二、TED演講的多模態(tài)話語(yǔ)分析

1.文化語(yǔ)境。文化語(yǔ)境是使多模態(tài)交際成為可能的關(guān)鍵層面，決定交際的傳統(tǒng)、交際的形式和技術(shù)。具體到TED演講來(lái)說(shuō)，它是由一個(gè)非盈利的國(guó)際組織TED于1984年創(chuàng)辦，起初演講內(nèi)容主要包括科技，文娛和設(shè)計(jì)三個(gè)主題，現(xiàn)如今涉及眾多領(lǐng)域。TED演講形式和傳播方式多樣，主要以演講者口頭表達(dá)結(jié)合PPT演示的形式向現(xiàn)場(chǎng)的觀眾演講，同時(shí)演講實(shí)況錄像在網(wǎng)絡(luò)發(fā)布。受眾的廣泛性決定了TED演講的影響力集中在廣大網(wǎng)絡(luò)觀眾。加之時(shí)間、空間條件限制，本文將研究限定在TED演講者和網(wǎng)絡(luò)觀眾之間的話語(yǔ)交際。TED演講在一定程度上可以歸類為學(xué)術(shù)演講，圍繞3D打印藥物的主題其演講體裁可以分為三個(gè)階段：開(kāi)始階段：提出化學(xué)軟件化的設(shè)想；中間階段：描述研究現(xiàn)狀和研究思路；結(jié)束階段：引導(dǎo)觀眾思考未來(lái)3D打印設(shè)想。

2.TED演講的情景語(yǔ)境分析。從韓禮德（1978）的系統(tǒng)功能語(yǔ)言學(xué)理論看，情景語(yǔ)境是文化語(yǔ)境的具體體現(xiàn)，包括：語(yǔ)場(chǎng)，語(yǔ)旨和語(yǔ)式。在本篇TED演講中可以描述為：（1）語(yǔ)場(chǎng)：一篇關(guān)于個(gè)人如何實(shí)現(xiàn)3D打印藥物的TED演講；（2）語(yǔ)旨：TED演講者和其觀眾；（3）語(yǔ)式：TED利用聲項(xiàng)合一的網(wǎng)絡(luò)傳播媒介，供全世界觀眾學(xué)習(xí)；TED演講的演講者與觀眾之間的交際呈現(xiàn)單項(xiàng)性，演講者輕松幽默又不失學(xué)術(shù)嚴(yán)謹(jǐn)性的英語(yǔ)口語(yǔ)作為聽(tīng)覺(jué)模態(tài)傳播演講的聲音意義；身體媒體（演講者自身的表情、眼神、手勢(shì)、姿勢(shì)、移動(dòng)等）和非身體媒體（PPT和場(chǎng)地布局）的變化形成的動(dòng)態(tài)畫(huà)面作為視覺(jué)模態(tài)傳播TED演講的圖像意義。

三、TED演講多模態(tài)話語(yǔ)的模態(tài)協(xié)同

在TED演講中，兩種模態(tài)的協(xié)同對(duì)于實(shí)現(xiàn)演講者話語(yǔ)的有效傳遞不可或缺。要克服時(shí)間有限的矛盾，只有通過(guò)視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)之間的相互配合、相互補(bǔ)充，才能最大限度地實(shí)現(xiàn)TED演講的宗旨。下面將依據(jù)演講內(nèi)容進(jìn)一步細(xì)分不同模態(tài)。

1.演講場(chǎng)地布局。TED演講的布局簡(jiǎn)單鮮明，除演講者身后用來(lái)展示PPT的屏幕、TED標(biāo)志外，紅色燈光打成的圓形區(qū)域突顯了演講者的位置。講臺(tái)布置和演講者是觀眾的視覺(jué)對(duì)象，講臺(tái)建立起了演講者不同于觀眾的信息傳遞的職能，觀眾處于一種信息接收的角色。

2.聽(tīng)覺(jué)模態(tài)。聽(tīng)覺(jué)模態(tài)是線性模態(tài)，TED演講的進(jìn)程是根據(jù)口交際的時(shí)間過(guò)程向前推進(jìn)的，這不僅符合信息獲取循序漸進(jìn)的特點(diǎn)，也說(shuō)明場(chǎng)地布局提供的只是背景信息和條件，對(duì)聽(tīng)覺(jué)模態(tài)起輔助作用。

3.演講者視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)之間的協(xié)同關(guān)系。演講者本人通過(guò)視覺(jué)模態(tài)來(lái)補(bǔ)充和強(qiáng)化自己的話語(yǔ)。本篇TED演講可以歸為：（1）用手勢(shì)來(lái)模擬所講的事物和概念。事件12中，演講者連續(xù)用三個(gè)動(dòng)詞短語(yǔ)表達(dá)制作化學(xué)工具箱的思路，動(dòng)作與話語(yǔ)同起同落，連貫形象，便于觀眾理解。（2）用手勢(shì)來(lái)表示演講節(jié)奏。事件1、8、9、16、19、20和21中演講者手臂抬到半空，隨講話的節(jié)奏或上下或前后晃動(dòng)來(lái)幫助自己把握說(shuō)話的語(yǔ)調(diào)。

4.PPT視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)之間的協(xié)同關(guān)系。不同于一般的口語(yǔ)交際，TED演講具有學(xué)術(shù)性和專業(yè)性，因而演講者借助PPT便于向觀眾傳達(dá)信息。（1）點(diǎn)句。事件15和事件16中PPT上的點(diǎn)句基本可以看做是對(duì)演講者話語(yǔ)的重復(fù)，從表達(dá)的內(nèi)容上看沒(méi)有附加，也沒(méi)有縮減。因此，兩事件中的PPT視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)形成交疊類型的非互補(bǔ)關(guān)系。但是在事件18中，PPT上的點(diǎn)句對(duì)演講者的話語(yǔ)有補(bǔ)充，此時(shí)PPT視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)之間形成強(qiáng)化類型的互補(bǔ)關(guān)系。（2）點(diǎn)句和圖像的組合。事件3、4、5、6、10、13中，演講者抓住圖像的直觀性特點(diǎn)，運(yùn)用點(diǎn)句強(qiáng)化演講內(nèi)容，形成強(qiáng)化類型的互補(bǔ)關(guān)系。

5.PPT、演講者和布局背景視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)之間的協(xié)同關(guān)系事件7、15和22出現(xiàn)演講者、PPT和背景同時(shí)存在的情況。這樣的視覺(jué)模態(tài)和聽(tīng)覺(jué)的模態(tài)的結(jié)合從整體的視角將演講者的聲音、PPT圖像、演講者和布局背景結(jié)合起來(lái)，向觀眾表達(dá)了TED演講的整體意義。

四、模態(tài)之間的協(xié)同關(guān)系討論

1.模態(tài)的配合要以增加正向效應(yīng)為原則。本篇TED演講中，聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)所形成的模態(tài)協(xié)同關(guān)系中互補(bǔ)關(guān)系占最高比例?；パa(bǔ)關(guān)系在聽(tīng)覺(jué)模態(tài)和演講者視覺(jué)模態(tài)所形成的協(xié)同關(guān)系中所占的比例是70%，在聽(tīng)覺(jué)模態(tài)和PPT視覺(jué)模態(tài)所形成的協(xié)同關(guān)系中所占的比例是40%。在聽(tīng)覺(jué)模態(tài)與PPT視覺(jué)模態(tài)之間的協(xié)同關(guān)系中，交疊類型的非互補(bǔ)關(guān)系所占比例次之，18.19%。在聽(tīng)覺(jué)模態(tài)與PPT視覺(jué)模態(tài)之間的協(xié)同關(guān)系中，內(nèi)包類型的非互補(bǔ)關(guān)系所占比例最少，9.10%。

2.在整個(gè)交際過(guò)程中，聽(tīng)覺(jué)模態(tài)是主模態(tài)，主導(dǎo)交際進(jìn)程，始終處于前景化的位置。只有當(dāng)聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)之間的協(xié)同關(guān)系是強(qiáng)化類型的互補(bǔ)關(guān)系時(shí)，視覺(jué)模態(tài)處于前景化的位置。在本TED演講中，聽(tīng)覺(jué)模態(tài)單獨(dú)處于前景化的比例為42.86%，聽(tīng)覺(jué)模態(tài)和演講者視覺(jué)模態(tài)處于前景化的比例為31.82%，其余為聽(tīng)覺(jué)模態(tài)和PPT視覺(jué)模態(tài)處于前景化的比例。

通過(guò)以上分析，本文發(fā)現(xiàn)了TED演講中演講者為實(shí)現(xiàn)話語(yǔ)意義的有效傳遞，采用多種多模態(tài)話語(yǔ)交際的組合；通過(guò)分析不同模態(tài)的表現(xiàn)以及模態(tài)之間的關(guān)系還發(fā)現(xiàn)了不同模態(tài)雖各自有一定的特點(diǎn)，但需要結(jié)合具體語(yǔ)境具體分析模態(tài)之間的協(xié)同關(guān)系。在整個(gè)交際過(guò)程中，聽(tīng)覺(jué)模態(tài)是主模態(tài)，始終處于前景化；演講者視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)起強(qiáng)化類和協(xié)調(diào)非強(qiáng)化類的互補(bǔ)關(guān)系；PPT視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)之間形成強(qiáng)化類互補(bǔ)和非強(qiáng)化類、內(nèi)包類或交疊類的非互補(bǔ)關(guān)系；場(chǎng)地布局視覺(jué)模態(tài)與聽(tīng)覺(jué)模態(tài)之間形成語(yǔ)境交互類的非互補(bǔ)關(guān)系。本文雖然初步探討了TED演講的多模態(tài)話語(yǔ)，但仍存在不足，希望能對(duì)動(dòng)態(tài)多模態(tài)話語(yǔ)分析做出貢獻(xiàn)。

參考文獻(xiàn)：

[1]Baldry，A.P.& P.J，Thibault（2006）Multimodal Transcription and Text Analysis[M].London：Equinox.

[2]張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ)，2009a，（01）：24-30.

[3]胡壯麟.PowerPoint——工具，語(yǔ)篇，語(yǔ)類，文體[J].外語(yǔ)教學(xué)，2007，（04）：1-5.

Synergy of Different Modes in Multimedal Discourse： TED Speech

SONG Guan-chen

（School of Foreign Languages，Hohai University，Nanjing，Jiangsu 211100 ，China）

Abstract：As the development of modern technology，Language is not the only way for human communication，but combines with various modes including space，gestures，movements，music，written language，images，graphics，etc.This present article is intended to explore the synergy of different modes in the TED Speech dynamic multimodal discourse on the basis of the synthetic theoretical framework as well as the system of styles from Hu Zhuanglin.It found that the auditory mode is the main mode in the TED Speech，and to achieve effective transfer of discourse，PPT，speaker and layout of background are needed to play the roles of complementary，highlight and inclusion.

Key words：dynamic multimodal discourse；synergy；TED Speech