副語(yǔ)言意義研究
——系統(tǒng)功能語(yǔ)言學(xué)視角*

詹姆斯·馬丁 米歇爾·扎帕維尼婭

(1 澳大利亞悉尼大學(xué)語(yǔ)言學(xué)系；上海交通大學(xué)馬丁適用語(yǔ)言學(xué)研究中心；2 澳大利亞新南威爾士大學(xué)藝術(shù)與媒體學(xué)院)

吳啟競(jìng) 王振華 譯

(上海交通大學(xué)外國(guó)語(yǔ)學(xué)院，上海 200240)

副語(yǔ)言意義研究
——系統(tǒng)功能語(yǔ)言學(xué)視角*

詹姆斯·馬丁1米歇爾·扎帕維尼婭2

(1 澳大利亞悉尼大學(xué)語(yǔ)言學(xué)系；上海交通大學(xué)馬丁適用語(yǔ)言學(xué)研究中心；2 澳大利亞新南威爾士大學(xué)藝術(shù)與媒體學(xué)院)

吳啟競(jìng) 王振華 譯

(上海交通大學(xué)外國(guó)語(yǔ)學(xué)院，上海 200240)

提 要系統(tǒng)功能語(yǔ)言學(xué)對(duì)早期兒童語(yǔ)言發(fā)展有獨(dú)到的研究。受其啟發(fā)，本文建構(gòu)了副語(yǔ)言的分析框架。本文中區(qū)分了非符義行為(具身表征)和意義(符義過(guò)程)。在符義過(guò)程方面，文章區(qū)分了語(yǔ)言與副語(yǔ)言兩種符義過(guò)程(副語(yǔ)言指依賴語(yǔ)言、通過(guò)音質(zhì)和諸如面部表情、手勢(shì)和身姿在內(nèi)的身勢(shì)語(yǔ)實(shí)現(xiàn)的符義過(guò)程)。在副語(yǔ)言方面，文章區(qū)分了口語(yǔ)中的音韻融合型資源和語(yǔ)義融合型資源。前者與口語(yǔ)的韻律音系共時(shí)或共鳴，后者在口語(yǔ)的內(nèi)容平面上對(duì)概念、人際和謀篇三種意義資源起加強(qiáng)作用。文章最后討論了語(yǔ)言、副語(yǔ)言和其他交際模態(tài)之間的關(guān)系。

關(guān)鍵詞副語(yǔ)言 具身表征 符義過(guò)程 多模態(tài) 系統(tǒng)功能語(yǔ)言學(xué)

*感謝本文研究小組成員(Sue Hood, Thu Ngo, Clare Painter和Brad Smith)的付出，全文中的“本文”和“我們”均表明此文為共同著作。感謝吳啟競(jìng)、王振華的翻譯工作，感謝王品、張先剛、程微、張冉冉、石春煦、李文和趙海燕參與譯文的討論。

一、 意 義 表 征

本文是繼Chris Cleírigh(未發(fā)表)以及Zappavigna和Martin (2017)對(duì)副語(yǔ)言的后續(xù)研究。Chris Cleírigh參考了Matthiessen(2004, 2007, 2009)關(guān)于兒童早期語(yǔ)言發(fā)展的系統(tǒng)功能語(yǔ)言學(xué)研究，探討了新南威爾士州青少年司法調(diào)節(jié)語(yǔ)篇中的身勢(shì)語(yǔ)①，本文第二節(jié)將回顧這些研究。第三節(jié)和第四節(jié)首先區(qū)分具身表征(somasis)和符義過(guò)程(semiosis)，然后構(gòu)建副語(yǔ)言系統(tǒng)框架。文中副語(yǔ)言指依賴語(yǔ)言符號(hào)，通過(guò)音質(zhì)和身勢(shì)語(yǔ)(包括面部表情、身體動(dòng)作和身體姿勢(shì))體現(xiàn)意義的表達(dá)方式。第五節(jié)討論語(yǔ)言、副語(yǔ)言和其他交際模態(tài)之間的關(guān)系。

二、 個(gè) 體 發(fā) 生 學(xué)

Matthiessen (2004, 2007, 2009)在Halliday (1975, 2003)、Painter (1984)和Torr (1991)對(duì)兒童語(yǔ)言發(fā)展研究的基礎(chǔ)上，探討了語(yǔ)言和其他符號(hào)系統(tǒng)的產(chǎn)生過(guò)程。這些研究表明，語(yǔ)言源自原始母語(yǔ)系統(tǒng)。該系統(tǒng)中，兒童將聲音、面部表情和身體動(dòng)作用作符號(hào)資源。然而，隨著成人語(yǔ)言的出現(xiàn)，這些資源的使用更加專門化、具體化。音段發(fā)音和韻律(包括節(jié)奏和語(yǔ)調(diào))歸屬于口頭語(yǔ)言的音韻②；而音色(timber)、語(yǔ)速(tempo)、聲音松緊度(tension)和音量(loudness)依然歸屬于語(yǔ)言表達(dá)層，通常被稱為音質(zhì)。(詳見(jiàn)van Leewuen 1999, 2009)身體動(dòng)作、身體姿勢(shì)和面部表情則發(fā)展為身勢(shì)語(yǔ)資源。Matthiessen指出，音質(zhì)和身勢(shì)語(yǔ)在語(yǔ)篇展開(kāi)過(guò)程中與語(yǔ)言協(xié)同共現(xiàn)：

……語(yǔ)言中一些人際意義的差異是通過(guò)不同的音調(diào)(音高變化)和與之伴隨的面部表情(包括眉毛運(yùn)動(dòng))體現(xiàn)的；指示性謀篇意義通常伴有指向性動(dòng)作；和嬰兒說(shuō)話可以圓唇或撅嘴，這樣不僅聲音變化，而且形象生動(dòng)；具體研究還表明，通過(guò)語(yǔ)言與通過(guò)身勢(shì)語(yǔ)(如凝視)提及他人，兩者之間具有復(fù)雜的關(guān)系。(2007: 6-7)

本文沿用Matthiessen (2009: 21-22)的觀點(diǎn)，將音質(zhì)和身勢(shì)語(yǔ)視為副語(yǔ)言。

三、 具 身 表 征

研究副語(yǔ)言的一個(gè)挑戰(zhàn)就是如何區(qū)分副語(yǔ)言和行為，即區(qū)分符義過(guò)程和非符義過(guò)程。Trevarthen(2005)等個(gè)體發(fā)生學(xué)學(xué)者在追溯前語(yǔ)言交際中產(chǎn)生的原始母語(yǔ)時(shí)，也面臨相同的挑戰(zhàn)。Halliday和Painter判斷符義過(guò)程和非符義過(guò)程的標(biāo)準(zhǔn)是：1)動(dòng)作是否可以解讀為“內(nèi)容/表達(dá)”系統(tǒng)(即意義符號(hào))中的內(nèi)容或者表達(dá)；2)動(dòng)作可否用于多種不同的場(chǎng)合③(不是在一個(gè)互動(dòng)中的簡(jiǎn)單重復(fù))。例如，Halliday(1984/2003: 240)提到，他兒子8個(gè)月大時(shí)使用的原始母語(yǔ)涉及三種行動(dòng)符號(hào)，分別體現(xiàn)為如下內(nèi)容/表達(dá)組合：“我想要/牢牢抓住”“我不想要/輕輕觸摸”以及“用某物做某事/用力觸摸”。這里符義過(guò)程和非符義過(guò)程的區(qū)別是顯而易見(jiàn)的，也許在“輕輕觸摸”(符義)和“推開(kāi)某物”(非符義)的對(duì)比中體現(xiàn)得更為明顯。采用Peirce的術(shù)語(yǔ)④，我們可以說(shuō)符義過(guò)程象征(symbolise)說(shuō)話者的意圖，而非符義過(guò)程則暗示(index)這種意圖。

圖1 早期原始母語(yǔ)(動(dòng)作系統(tǒng))(Halliday 1984/2003: 240, Figure 9)

下文中，具身表征(somasis)指非符義行為，符義過(guò)程(semiosis)指符號(hào)(sign)系統(tǒng)。Halliday(1996: 388, 2005: 67-68)對(duì)人類活動(dòng)的分類有助于劃分具身表征。該分類從復(fù)雜程度上分為四級(jí)，由簡(jiǎn)至繁分別為：物理系統(tǒng)、生物系統(tǒng)、社會(huì)系統(tǒng)和符號(hào)系統(tǒng)。基于此，本文認(rèn)為，具身表征包括物理活動(dòng)、生物行為和社會(huì)交流。物理活動(dòng)指實(shí)體之間關(guān)系變化的物質(zhì)行動(dòng)(如走路、跑步、跳躍、投擲、打破、挖掘、吃飯、喝水)。生物行為分為恢復(fù)舒適的行為(如打噴嚏、咳嗽、大笑、整理服飾或發(fā)型)和暗示不舒適的行為(如咬指甲、小動(dòng)作、煩躁、臉紅、哭)。社會(huì)交流分為相互感知(如在目光、音高、距離、觸覺(jué)和嗅覺(jué)等方面)和相互依戀(如懷抱、牽手、擁抱、親吻)。這些分類見(jiàn)圖2。

圖2 行為模型(具身表征)

作為語(yǔ)言學(xué)者和符號(hào)學(xué)者，我們嘗試總結(jié)和歸納一系列類似于符義行為的、可被社會(huì)符號(hào)動(dòng)物理解的目的性行為，對(duì)進(jìn)一步發(fā)展這個(gè)模型⑤是有幫助的。正如Halliday和Painter指出的，早期原始母語(yǔ)的符義過(guò)程將一些具身表征視為符號(hào)的表達(dá)層。目前為止，我們所建立的行為模型見(jiàn)圖3。

圖3 具身表征和符義過(guò)程

四、 符 義 過(guò) 程

Painter等學(xué)者(Painter & Martin 2012; Painteretal. 2013)在研究?jī)和L本中的模態(tài)關(guān)系時(shí)，建構(gòu)了言語(yǔ)和圖像融合度的模型。這個(gè)模型是基于元功能的，涉及言語(yǔ)和圖像在概念意義上的共現(xiàn)程度、人際意義上的共鳴程度和謀篇意義上的共時(shí)程度。該模型中的術(shù)語(yǔ)見(jiàn)表1。

言語(yǔ)融合關(guān)系圖像概念意義共現(xiàn)概念意義人際意義共鳴人際意義謀篇意義共時(shí)謀篇意義

表1 兒童繪本中言語(yǔ)和圖像的融合關(guān)系

我們采用以上術(shù)語(yǔ)，從語(yǔ)言和副語(yǔ)言融合關(guān)系的角度區(qū)分兩種類型的副語(yǔ)言，即Cleírigh所指的語(yǔ)言學(xué)意義上的身勢(shì)語(yǔ)(linguistic body language)和非語(yǔ)言學(xué)意義上的身勢(shì)語(yǔ)(epilingusitic body language)⑥。前者是與口頭語(yǔ)言的韻律(即節(jié)奏和語(yǔ)調(diào))共鳴或共時(shí)的副語(yǔ)言，后者是像語(yǔ)言一樣獨(dú)立生成意義的副語(yǔ)言。為使表1中的術(shù)語(yǔ)更加明晰，本文把與音韻融合的副語(yǔ)言稱為音韻融合型副語(yǔ)言(sonovergent paralanguage)，與語(yǔ)義融合的副語(yǔ)言稱為語(yǔ)義融合型副語(yǔ)言(semovergent paralanguage)，見(jiàn)表2。

Cleírigh(未發(fā)表)本文修正后的術(shù)語(yǔ) 語(yǔ)言學(xué)意義上的身勢(shì)語(yǔ) 音韻融合型副語(yǔ)言(音韻上融合) 非語(yǔ)言學(xué)意義上的身勢(shì)語(yǔ) 語(yǔ)義融合型副語(yǔ)言(語(yǔ)義上融合)

表2 音韻融合型副語(yǔ)言和語(yǔ)義融合型副語(yǔ)言

下文通過(guò)Youtube上一段名為L(zhǎng)et’s Talk. | Random Chatty Vlog’ (https://youtu be/YRx-zDoPbVw)的視頻來(lái)闡釋音韻融合型和語(yǔ)義融合型兩種副語(yǔ)言系統(tǒng)(已獲視頻中人物許可)?！耙曨l博客”(派生自“博客”⑦)是一段講述或展示個(gè)人活動(dòng)的視頻(如關(guān)于“每日生活”的話題，用戶介紹他們?cè)谝惶熘械木势?。下文是對(duì)視頻博客的文字介紹：

準(zhǔn)備一杯咖啡和一份小吃，坐下來(lái)聊聊吧！今天我將和大家聊聊在停車場(chǎng)被人尾隨、孩子們?cè)谙奶旄乙澄铩⑽业念^發(fā)、腳、Youtube等等。講這些對(duì)我來(lái)說(shuō)小菜一碟！如果你喜歡這個(gè)視頻，請(qǐng)給我點(diǎn)贊哦！這樣我就知道你們喜歡看什么內(nèi)容了。 感謝大家的收看，歡迎訂閱，以防錯(cuò)過(guò)！我會(huì)在每周一、周二和周四美國(guó)東部時(shí)間下午2點(diǎn)準(zhǔn)時(shí)發(fā)布。

本文所采用的多數(shù)例子⑧都來(lái)自該視頻博客中有關(guān)染發(fā)劑的片段。(參見(jiàn)附錄1)

1. 音韻融合型副語(yǔ)言

音韻融合型副語(yǔ)言與口頭語(yǔ)言中的韻律呈融合關(guān)系(Halliday 1967, 1970; Halliday & Greaves 2008; Smith 2015)。從人際意義上看，音韻融合型副語(yǔ)言與聲調(diào)共鳴，身體部分(如眉毛或手臂)的上下移動(dòng)與調(diào)群(聲調(diào)系統(tǒng)‘tone’和標(biāo)記性語(yǔ)音凸顯‘marked salience’)中的音調(diào)變化產(chǎn)生共鳴。從謀篇意義看，音韻融合型副語(yǔ)言涉及身體部位⑨(如手和頭)與言語(yǔ)格律的同步節(jié)奏，包括身體部位與音步中凸顯音節(jié)或調(diào)群中的音調(diào)音節(jié)(tonic syllable)同步，或者身體動(dòng)作與調(diào)群同時(shí)展開(kāi)(即與調(diào)位‘TONALITY’、調(diào)核‘TONICITY’或節(jié)奏‘RHYTHM’同步)。音韻融合型副語(yǔ)言見(jiàn)表3。

言語(yǔ)音韻融合副語(yǔ)言(韻律性的)人際意義:聲調(diào)共鳴人際意義:共感謀篇意義:調(diào)位、調(diào)核、節(jié)奏共時(shí)謀篇意義:同步

表3 音韻融合型副語(yǔ)言系統(tǒng)

聲調(diào)系統(tǒng)通過(guò)音高變化實(shí)現(xiàn)。在下面的例子中，視頻博客中的人物眉毛上挑，與prev這個(gè)音節(jié)上的升調(diào)(調(diào)二)形成共鳴，見(jiàn)例1。

例1

音系//2 bought / previously when I副語(yǔ)言眉毛上下運(yùn)動(dòng)圖像

調(diào)位系統(tǒng)將口語(yǔ)組織為以調(diào)群為單位的信息波，其中某一凸顯音節(jié)承載聲調(diào)變化。身體動(dòng)作通常與這個(gè)格律單位同時(shí)發(fā)生。在例2和例3中，視頻中人物從右向左⑩揮動(dòng)手臂表示過(guò)去時(shí)間，整個(gè)動(dòng)作過(guò)程與調(diào)群時(shí)長(zhǎng)相當(dāng)。

例2

音系//2 bought / previously when I副語(yǔ)言揮動(dòng)手臂,指示過(guò)去時(shí)間圖像

例3

音系//3 loved the / first time副語(yǔ)言揮動(dòng)手臂,指示過(guò)去時(shí)間圖像

例4

音系//3 dyed my / hair which I副語(yǔ)言拍手圖像

調(diào)核系統(tǒng)通過(guò)定位調(diào)群中某個(gè)具有顯著音高變化的凸顯音節(jié)(非標(biāo)記性最凸顯音節(jié)‘unmarked culminative salient syllable’)來(lái)體現(xiàn)最突出的信息。在例4中，該視頻中的人物在明顯體現(xiàn)調(diào)群音高變化的音節(jié)hair上伴以拍手動(dòng)作。

在英語(yǔ)中，節(jié)奏系統(tǒng)通過(guò)每個(gè)音步第一個(gè)凸顯音節(jié)的時(shí)長(zhǎng)體現(xiàn)(以重音為節(jié)奏的語(yǔ)言中凸顯音節(jié)的時(shí)長(zhǎng)基本相等)。在例5中，視頻中的人物在/not/, /find the/和/hairdye that I/音步的凸顯音節(jié)上伴以節(jié)拍，最后一個(gè)節(jié)拍落在hair這個(gè)音調(diào)音節(jié)上。

例5

音系//4 but/^ I could/ not/ find the/hair dye that I副語(yǔ)言向下的節(jié)拍向下的節(jié)拍向下的節(jié)拍圖像

非音調(diào)音節(jié)的凸顯音節(jié)可以通過(guò)多種方式凸顯。下面序列中，第一個(gè)調(diào)群的音高異常高，與下一調(diào)群中的下降音高形成對(duì)比(類似于sing/song的效果)。

//3 hopefully / next ↑timeI will (希望下次我能夠)

//1 get my / ↓haircolour / back (把我的頭發(fā)染回來(lái))

而且在第二個(gè)調(diào)群的音高下降之前，視頻中人物的眉毛伴隨/hopefully/的音高上挑。這一動(dòng)作與音調(diào)達(dá)成了韻律上的一致，見(jiàn)例6。

例6

音系//3 hopefully / next time I will副語(yǔ)言眉毛上挑圖像

同樣的sing/song效果在該節(jié)視頻中一直持續(xù)，直到/now//上的上升音高與/do//上的下降音高對(duì)比出現(xiàn)為止。此時(shí)，該視頻中人物的眉毛又一次上下移動(dòng)，與音高(此處為音調(diào)音節(jié)的音高)的對(duì)比形成一致。

//3 [handclap] / um /but for / ↑now([拍手]額，但是現(xiàn)在)

//3 this will / ↓do// (只能這樣了)

這些有節(jié)奏的、與音韻共鳴的身體動(dòng)作加強(qiáng)了節(jié)奏和調(diào)核所體現(xiàn)的態(tài)度意義。(參見(jiàn)本節(jié)2.2)

副語(yǔ)言與音韻在該視頻的第15個(gè)調(diào)群中停止融合，在調(diào)群16到調(diào)群19之間保持非融合狀態(tài)，一直到調(diào)群20才繼續(xù)融合。在融合關(guān)系擱置期間，該視頻中人物的左手一直抓撓其右臂，產(chǎn)生了一個(gè)具身表征相(somatic phase)。該具身表征相展開(kāi)如下：

//3 lighter than it / was a few /daysago (顏色比前幾天淡了)

//1 ^ but /yeahit’s (但是，是的，這個(gè)顏色染得確實(shí))

//1 such a /bummer and then I (太失敗了，于是我)

//2 went to /Target // (去了Target這家店)

//3 ^ like / two days /later and there / was a (大概是染完兩天后去的，這家店有……)

在調(diào)群15的最后一個(gè)音步上，視頻中的人物開(kāi)始抓撓動(dòng)作，不再與觀眾互動(dòng)，見(jiàn)例7。

例7

音系//3 lighter than it / was a few/ days ago副語(yǔ)言攤手具身表征抓撓; 無(wú)目光交流圖像

接下來(lái)的兩個(gè)調(diào)群中，該視頻中的人物繼續(xù)抓撓動(dòng)作，與觀眾仍無(wú)目光交流，如例8和例9。

例8

音系//1 ^ but / yeah its具身表征抓撓; 無(wú)目光交流圖像

例9

音系//1 such a / bummer and then I具身表征抓撓; 無(wú)目光交流圖像

在調(diào)群18的最后一個(gè)音步時(shí)，該視頻中的人物恢復(fù)與觀眾的目光交流，見(jiàn)例10。接下來(lái)，她又開(kāi)始使用身體動(dòng)作，見(jiàn)例11。

例10

音系//2 went to / Target具身表征抓撓;恢復(fù)目光交流圖像

例11

音系//3 ^ like/ two days/ later and there/ was a副語(yǔ)言繼續(xù)使用身體動(dòng)作圖像

有趣的是，盡管視頻中人物的抓撓動(dòng)作持續(xù)了兩個(gè)半調(diào)群的時(shí)間，卻沒(méi)有在凸顯音節(jié)和音調(diào)音節(jié)上出現(xiàn)。這說(shuō)明該視頻中人物沒(méi)有同時(shí)使用具身表征與節(jié)奏、調(diào)核和調(diào)位系統(tǒng)資源。但是，副語(yǔ)言和音韻在這段視頻中卻是共時(shí)的。副語(yǔ)言在調(diào)群15的音調(diào)音節(jié)上(/daysago//)停止使用，直到調(diào)群18的音調(diào)音節(jié)(//Target/)才恢復(fù)使用，通過(guò)微笑表情體現(xiàn)，在調(diào)群19開(kāi)始又通過(guò)手勢(shì)語(yǔ)體現(xiàn)。

2. 語(yǔ)義融合型副語(yǔ)言

語(yǔ)義融合型副語(yǔ)言與口語(yǔ)的詞匯語(yǔ)法和語(yǔ)篇語(yǔ)義(口語(yǔ)的內(nèi)容層面)具有融合關(guān)系，本文從語(yǔ)篇語(yǔ)義角度(Martin & Rose 2007)研究語(yǔ)義融合型副語(yǔ)言。概念性副語(yǔ)言是模仿性的(mimetic)，與概念系統(tǒng)和聯(lián)結(jié)系統(tǒng)共現(xiàn)；人際性副語(yǔ)言是表達(dá)性的(expressive)，與協(xié)商系統(tǒng)和評(píng)價(jià)系統(tǒng)共鳴；謀篇性副語(yǔ)言是指示性的(deictic)，與識(shí)別系統(tǒng)和格律系統(tǒng)共時(shí)。語(yǔ)言與副語(yǔ)言的語(yǔ)義融合關(guān)系見(jiàn)表4。

言語(yǔ)語(yǔ)義融合副語(yǔ)言:動(dòng)性的概念意義:概念系統(tǒng)/聯(lián)結(jié)系統(tǒng)共現(xiàn)概念意義:模仿性的人際意義:協(xié)商系統(tǒng)/評(píng)價(jià)系統(tǒng)共鳴人際意義:表達(dá)性的謀篇意義:識(shí)別系統(tǒng)/格律系統(tǒng)共時(shí)謀篇意義:指示性的

表4 副語(yǔ)言系統(tǒng)和語(yǔ)篇語(yǔ)義系統(tǒng)的融合

2.1 概念性語(yǔ)義融合型副語(yǔ)言

口語(yǔ)的概念意義涉及實(shí)體、事件、性質(zhì)和時(shí)空環(huán)境等成分如何構(gòu)成配列小句(概念系統(tǒng))，以及這些小句之間如何產(chǎn)生語(yǔ)義聯(lián)系(聯(lián)結(jié)系統(tǒng))。語(yǔ)義融合型副語(yǔ)言可與語(yǔ)言資源一同構(gòu)建概念意義。手形傾向于與實(shí)體共現(xiàn)，手/手臂動(dòng)作傾向于與事件共現(xiàn)，動(dòng)作方向通常與時(shí)空方向一致(空間位置是去往/來(lái)自某地，時(shí)間方向是截至/起始于某時(shí))。由于概念性副語(yǔ)言能夠脫離口語(yǔ)獨(dú)立使用，所以它與語(yǔ)言的共現(xiàn)是“潛在性共現(xiàn)”。見(jiàn)本節(jié)第三部分對(duì)“啞劇”的討論。

下面，我們分析博客視頻中的人物看皮膚科醫(yī)生的故事(治療肉芽腫)，來(lái)闡釋概念性語(yǔ)義融合型副語(yǔ)言。相關(guān)事件的調(diào)群序列如下：

// and so the dermatologist um took like thisneedle (皮膚科專家拿著這個(gè)針)

// and under each likebump(在每個(gè)腫塊下)

// and injected this likesteroid (注射了類似類固醇的東西)

// and like it allbubbled up // (所有的腫塊都隆起了)

從語(yǔ)言角度看，以上序列提到了四個(gè)實(shí)體(皮膚科醫(yī)生(dermatologist)、針(needle)、腫塊(bump)和類固醇(steroid))。手形副語(yǔ)言與其中兩個(gè)實(shí)體(針和腫塊)共現(xiàn)，“針”首先被比作拇指和食指拿著的尖細(xì)實(shí)體，后又通過(guò)雙手握著注射器的手形呈現(xiàn)。由此可見(jiàn)，語(yǔ)言和副語(yǔ)言構(gòu)建的意義相互照應(yīng)或彼此互補(bǔ)。從意義權(quán)重來(lái)看(Martin 2010; Painteretal. 2013)，“皮膚科醫(yī)生”和“類固醇”這兩個(gè)實(shí)體通過(guò)語(yǔ)言實(shí)現(xiàn)，而“針”更形象地通過(guò)副語(yǔ)言呈現(xiàn)。

例12

語(yǔ)言needle bump副語(yǔ)言拿著針握著注射器彎曲的手形圖像

從動(dòng)態(tài)角度看，該序列中明確提及的三個(gè)事件(“拿起”“注射”和“隆起”)都伴隨副語(yǔ)言資源體現(xiàn)。此外，六次快速刺入動(dòng)作凸顯了第二個(gè)調(diào)群中的事件。見(jiàn)例13。

例13

語(yǔ)言// and so the dermatologist um took like this needle 副語(yǔ)言:實(shí)體拇指和食指“拿著針”副語(yǔ)言:事件手指捏著針,同時(shí)抬手圖像語(yǔ)言// and under each like bump副語(yǔ)言:實(shí)體拇指和食指“捏著針”副語(yǔ)言:事件六次刺入動(dòng)作圖像

在每個(gè)例子中，與手形有關(guān)的實(shí)體均處于動(dòng)態(tài)過(guò)程中。比如，該視頻中的人物通過(guò)不同手形體現(xiàn)皮膚科醫(yī)生拿針、刺穿腫塊、注射類固醇和腫塊隆起等動(dòng)態(tài)過(guò)程。

例14

語(yǔ)言// and injected this like steroid 副語(yǔ)言:實(shí)體“手握注射器”的手形副語(yǔ)言:事件拇指按壓“注射器”圖像語(yǔ)言// and like it all bubbled up 副語(yǔ)言:實(shí)體模仿腫塊的隆起手形副語(yǔ)言:事件雙手分開(kāi),右手抬高圖像

和電影、動(dòng)畫、插圖小說(shuō)、連環(huán)畫、漫畫和繪本中的圖像序列一樣，身體動(dòng)作序列并不能明示事件之間的聯(lián)系，需要通過(guò)其本身和與之共現(xiàn)的語(yǔ)言判斷(Bateman 2007)。例13和例14涉及的語(yǔ)言序列僅用到了加和類連結(jié)詞and，未明顯呈現(xiàn)出時(shí)間先后和因果關(guān)系。為此，本文提供了如下解讀版本，以明示事件之間的聯(lián)系：

// and so the dermatologist um took like thisneedle (皮膚科專家拿著這個(gè)針)

(temporalsequential) (時(shí)間序列)

// and under each likebump(在每個(gè)腫塊下)

(temporaloverlapping) (時(shí)間重疊)

// and injected this likesteroid (注射類似于類固醇的東西)

(causal) (因果關(guān)系)

// and like it allbubbled up // (所有的腫塊都隆起了)

上述例子使用的副語(yǔ)言序列結(jié)合了手形和動(dòng)作。其實(shí)，手形副語(yǔ)言也可以單獨(dú)使用。比如下面的序列中，視頻中人物關(guān)注的是她給孩子們的點(diǎn)心數(shù)量，沒(méi)有把遞碗的動(dòng)作表現(xiàn)出來(lái)，見(jiàn)例15。

// then they had a snack I (他們拿到了小吃，我……)

// gave them each a / bowl (……給了每個(gè)人一個(gè)碗)

// like a heaping bowl full of Chex Mix and applesauce squeeze//

(就是一個(gè)裝滿Chex Mix和蘋果醬的碗)

例15

heaping bowl full副語(yǔ)言:實(shí)體體現(xiàn)數(shù)量的垂直手形體現(xiàn)碗型的水平手形圖像

動(dòng)作副語(yǔ)言可不與表現(xiàn)實(shí)體的手形副語(yǔ)言一起使用，如例16。該視頻中的人物在//tried washing it out//這個(gè)調(diào)群上用手做畫圈動(dòng)作(兩圈)。

例16

語(yǔ)言// tried washing it out and its副語(yǔ)言:事件用手做畫圈動(dòng)作圖像

例17

語(yǔ)言// hopefully next time I will副語(yǔ)言:事件手/手臂向右運(yùn)動(dòng)圖像

動(dòng)作副語(yǔ)言也可指示時(shí)空方向。比如，上文例2和例3中提到的，從右向左地?fù)]動(dòng)手臂指示過(guò)去時(shí)間，與調(diào)群//boughtpreviouslywhenI//和//lovedthefirsttime//共現(xiàn)；相反，從左至右的揮動(dòng)指示將來(lái)時(shí)間。比如，例17中，向右的手臂運(yùn)動(dòng)與//hopefullynexttimeIwill//調(diào)群共現(xiàn)。同時(shí)，指示手勢(shì)加強(qiáng)了向右手勢(shì)的指示作用。這一點(diǎn)將在本節(jié)2.3中討論。

2.2 人際性語(yǔ)義融合型副語(yǔ)言

口語(yǔ)的人際意義涉及態(tài)度表達(dá)、性質(zhì)分級(jí)和非說(shuō)話者聲音定位(評(píng)價(jià)系統(tǒng))，以及對(duì)話中的情感、問(wèn)候、關(guān)注、信息和商品/服務(wù)的交換(協(xié)商系統(tǒng))。語(yǔ)義融合型副語(yǔ)言中的面部表情、身體姿勢(shì)、肌肉張力、手部/手臂位置和動(dòng)作(Hood 2011; Ngo 待發(fā)表)以及音質(zhì)等與評(píng)價(jià)資源形成潛在的共鳴?？谡Z(yǔ)可蘊(yùn)含不同種類的態(tài)度(情感反應(yīng)、人物判斷和物品鑒賞)，但副語(yǔ)言僅能夠傳遞情感。副語(yǔ)言對(duì)人際意義的表達(dá)具有局限性(Cleírigh提出的)。這種局限性除了體現(xiàn)在象征性手勢(shì)的使用上(在本節(jié)第四部分討論)，還體現(xiàn)在語(yǔ)義融合型副語(yǔ)言不能區(qū)分對(duì)話交換中的語(yǔ)步類型(盡管音韻融合型副語(yǔ)言能夠幫助選擇語(yǔ)步的聲調(diào))。

副語(yǔ)言中的面部表情和身體姿勢(shì)可以傳遞態(tài)度。例18中，該視頻中的人物用上挑的眉毛和側(cè)歪的嘴型細(xì)致地表達(dá)了對(duì)其盛裝出席的街坊聚會(huì)的評(píng)價(jià)(“令人激動(dòng)的”)。(有些受眾可能認(rèn)為此表情不能體現(xiàn)“令人激動(dòng)的”)。

例18

語(yǔ)言// thats kind of exciting副語(yǔ)言:面部表情吃驚圖像

例19

語(yǔ)言// went to / Target副語(yǔ)言:面部表情微笑圖像

Martin & White (2005)提到，說(shuō)話者可以在言語(yǔ)中明示態(tài)度，也可用體現(xiàn)概念意義的語(yǔ)言資源來(lái)引發(fā)態(tài)度。在本節(jié)2.1的染發(fā)劑例子里，該視頻中人物在介紹染發(fā)劑仍有庫(kù)存的好消息時(shí)，通過(guò)笑臉表達(dá)了語(yǔ)言中沒(méi)有明示的情感，見(jiàn)例19。

面部表情和身體動(dòng)作可以結(jié)合起來(lái)表達(dá)情感。該視頻中的人物在抱怨停車位問(wèn)題時(shí)同時(shí)使用了這兩種副語(yǔ)言資源，相關(guān)調(diào)群如下。這里我們只關(guān)注視頻中人物如何通過(guò)面部表情和手臂位置夸大自己的困擾，見(jiàn)例20。對(duì)此視頻啞劇效果的討論見(jiàn)本節(jié)第三部分。

// some guy was sitting there (有個(gè)人坐在那里)

// and there was cars behind him (他后面也有輛車)

// and he was like (他好像……)

// [模仿該人的副語(yǔ)言]

// [再次模仿] like (好像)

// waving me out // (揮手催我離開(kāi))

例20

副語(yǔ)言:面部表情夸張圖像

關(guān)于級(jí)差資源，Hood (2011)提出手形范圍的大小和手部/手臂的動(dòng)作范圍可以強(qiáng)化語(yǔ)言所表達(dá)的極差意義。例21中，該視頻中人物手部/手臂的大幅度動(dòng)作凸顯了染發(fā)劑的庫(kù)存量之大(whole stack)。

例21

語(yǔ)言// whole stack of them so I 副語(yǔ)言右臂從左下運(yùn)動(dòng)至右上圖像

在關(guān)于頭發(fā)顏色的片段中，最能體現(xiàn)態(tài)度強(qiáng)度的例子是，視頻中人物用整個(gè)身體的運(yùn)動(dòng)表現(xiàn)對(duì)發(fā)色之深的反應(yīng)。她向后甩頭、抬手，同時(shí)身體后仰，這些動(dòng)作都體現(xiàn)了強(qiáng)烈的情感，如例22。

例22

語(yǔ)言// so:: / dark I副語(yǔ)言:手臂、身體圖像

例23

語(yǔ)言// and under each like bump 副語(yǔ)言:手臂、身體稍稍皺眉,加大面部肌肉和手部張力圖像

Hood認(rèn)為副語(yǔ)言不僅可與語(yǔ)勢(shì)(force)資源融合，手形和肌肉張力也可與聚焦(focus)資源產(chǎn)生共鳴。在例23中(對(duì)此段視頻的更多分析見(jiàn)本節(jié)2.1)，該作者做出緊捏細(xì)針的動(dòng)作，同時(shí)稍稍皺眉以表專心，再現(xiàn)了皮膚科醫(yī)生刺入腫塊時(shí)的動(dòng)作和表情。

Hao & Hood(待發(fā)表)舉了一個(gè)生物學(xué)講座中的例子，來(lái)說(shuō)明副語(yǔ)言與聚焦資源的融合。講座主講人在用到“非收縮”(fairly non-contractile)時(shí)伴以聳肩動(dòng)作。Hao & Hood認(rèn)為這是一種離心姿勢(shì)(de-centering postures)，體現(xiàn)模糊聚焦(soften)。這樣的聳肩副語(yǔ)言多呈現(xiàn)出一種不平衡的體態(tài)，比如不對(duì)稱的面部表情、不平衡的身體姿勢(shì)或者環(huán)繞的手勢(shì)。下面第二個(gè)調(diào)群涉及這類副語(yǔ)言，分析見(jiàn)例24。該例中，視頻中的人物拉長(zhǎng)了臉，努力描述自己的皮膚情況，同時(shí)還伴有兩次搖頭。

//anyway (反正)

//^ ’it was / some / granuloma /: / /^ /something (好像是肉芽腫之類的東西)

// I don’t know- it’s /called- it’s (我不知道到底是什么)

// some sort of /skinthing (就是某種皮膚問(wèn)題)

例24

語(yǔ)言//2 ^ it was / some / granuloma /: //^ / something副語(yǔ)言:臉部、頭圖像

關(guān)于介入資源，Hood強(qiáng)調(diào)了手部位置對(duì)于擴(kuò)展性(expansion)或緊縮性(contraction)借言(heteroglossia)的重要性。其中，手掌向上表示打開(kāi)對(duì)話空間，手掌向下表示壓縮對(duì)話空間。例25中，該視頻中人物攤開(kāi)的雙手與情態(tài)詞probably(很可能)共現(xiàn)，打開(kāi)了對(duì)話空間。

例25

語(yǔ)言// probably / seeing how / dark my / hair is well 副語(yǔ)言:手?jǐn)傞_(kāi)的雙手圖像

例26

語(yǔ)言// but /^ I could / not / find the /hair dye that I副語(yǔ)言:手掌心向下圖像

兩個(gè)語(yǔ)步之后，該視頻中人物雙手反轉(zhuǎn)、手掌向下，強(qiáng)化了語(yǔ)步中表達(dá)的消極情感。她明確表示自己駕馭不了這個(gè)新發(fā)色，從而關(guān)閉了與觀眾的對(duì)話空間，見(jiàn)例26。

在本節(jié)第一部分關(guān)于染發(fā)劑視頻的分析中，視頻中人物在最后四個(gè)調(diào)群中用音高的變化結(jié)束對(duì)染發(fā)劑事件的敘述。從評(píng)價(jià)的角度看，這里涉及的音質(zhì)與作者對(duì)染發(fā)劑的無(wú)奈是一致的。關(guān)于體現(xiàn)人際意義的聽(tīng)覺(jué)類副語(yǔ)言資源，本文不過(guò)多介紹，有興趣的讀者可參見(jiàn)van Leeuwen (1999)。

2.3 體現(xiàn)謀篇意義的副語(yǔ)言

口語(yǔ)謀篇意義關(guān)注如何呈現(xiàn)和追蹤語(yǔ)言中的實(shí)體(識(shí)別系統(tǒng))，以及如何組織調(diào)群、小句和更高級(jí)階單位中的信息波(格律系統(tǒng))。語(yǔ)義融合型副語(yǔ)言中的指示手勢(shì)、身體位置和動(dòng)作可以協(xié)助語(yǔ)言資源體現(xiàn)謀篇意義。

對(duì)指示手勢(shì)的謀篇意義，我們?nèi)杂帽竟?jié)第一部分和第二部分2.1中對(duì)比過(guò)去和將來(lái)的例子來(lái)解釋。視頻中人物在指示過(guò)去時(shí)間時(shí)用到整個(gè)手部，而指示未來(lái)時(shí)間時(shí)僅用了兩個(gè)食指，如例27和例28。

例27

音系//3 loved the / first time副語(yǔ)言:手整體手部指示過(guò)去時(shí)間圖像

例28

語(yǔ)言// hopefully next time I will副語(yǔ)言:手兩個(gè)食指指示未來(lái)時(shí)間圖像

對(duì)于副語(yǔ)言和長(zhǎng)信息波的融合，由于視頻中的人物自始至終都是坐著的，沒(méi)有身體的整體位置移動(dòng)，所以不會(huì)對(duì)音質(zhì)產(chǎn)生較大影響(不像講座中來(lái)回走動(dòng)引起的音質(zhì)變化，參見(jiàn)Hood 2011)。但是，如本節(jié)第一部分和第二部分2.2中所示，視頻中人物在結(jié)束染發(fā)劑片段的講述時(shí)的確用到了音高對(duì)比。具有上升音高的調(diào)群以一個(gè)伴隨拍手動(dòng)作的音步展開(kāi)，緊接著是一個(gè)含有輔助音/um/的音步，見(jiàn)例29。

例29

音系// 3/ um/ but for/ ↑now副語(yǔ)言拍手高音調(diào)圖像

該上升音高調(diào)群后又跟了一個(gè)具有下降音高的調(diào)群，此時(shí)視頻中的人物情緒逐漸舒緩。隨后，她閉上眼睛，頭稍前傾，沒(méi)有使用任何語(yǔ)言和副語(yǔ)言，見(jiàn)例30。

例30

音系//3 this will / ↓do (沉默)副語(yǔ)言低音高無(wú)動(dòng)作具身表征閉眼,低頭圖像

例31

音系// Im a / picky / ↓eater(沉默)副語(yǔ)言低音高無(wú)動(dòng)作具身表征閉眼,低頭圖像

例30和例31中的調(diào)群以相似的方式結(jié)束(下降音高、閉眼和低頭)。由此可見(jiàn)，用具身表征來(lái)替代語(yǔ)言和副語(yǔ)言有助于較長(zhǎng)信息波的停頓。在停頓的同時(shí)，視頻中的人物開(kāi)始講述其他內(nèi)容(因?yàn)樗窒氲搅四承┮窒淼氖虑?。

3. 意義加強(qiáng)

音韻融合型和語(yǔ)義融合型副語(yǔ)言系統(tǒng)見(jiàn)圖4(含Cleírigh的術(shù)語(yǔ))。圖4的分類盡管簡(jiǎn)單，但這五種次類的副語(yǔ)言可彼此結(jié)合，來(lái)強(qiáng)化某個(gè)調(diào)群所表達(dá)的意義。

圖4 音韻融合型副語(yǔ)言和語(yǔ)義融合型副語(yǔ)言

上文其實(shí)已經(jīng)介紹了多種副語(yǔ)言資源與同一個(gè)調(diào)群結(jié)合的例子(如例17同時(shí)使用了指向未來(lái)的動(dòng)作和指示手勢(shì))。更準(zhǔn)確地說(shuō)，語(yǔ)義融合型副語(yǔ)言無(wú)論在什么時(shí)候使用，都與調(diào)位系統(tǒng)、調(diào)核系統(tǒng)和節(jié)奏系統(tǒng)有關(guān)，即語(yǔ)義融合中隱含音韻融合。此外，音韻融合型副語(yǔ)言也可脫離語(yǔ)義融合型副語(yǔ)言單獨(dú)使用，通過(guò)身體動(dòng)作與韻律音韻形成共感或同步(僅限于此種情況)。

需要注意的是，以上副語(yǔ)言使用原則并不適用于啞劇。根據(jù)本文提出的模型，啞劇是一種不與語(yǔ)言同現(xiàn)的語(yǔ)義融合型副語(yǔ)言，而語(yǔ)義融合型副語(yǔ)言與語(yǔ)言是融合關(guān)系，這就造成了術(shù)語(yǔ)定義上的矛盾。對(duì)于這個(gè)問(wèn)題，我們還用上文提到的關(guān)于停車場(chǎng)事件的啞劇片段加以解釋。該事件的相關(guān)描述如下：

今年夏天讓我特別討厭的另一件事就是去停車場(chǎng)，真是個(gè)繁忙的地方啊。本來(lái)上車后可以等一會(huì)離開(kāi)，給亨利測(cè)測(cè)血糖，或者給孩子們拿個(gè)零食。如果是在游泳池的停車場(chǎng)，還可以用手機(jī)發(fā)個(gè)短信或玩點(diǎn)別的。這時(shí)你發(fā)現(xiàn)有輛車就在你后邊等著你離開(kāi)，真是太讓人無(wú)語(yǔ)了。這種事發(fā)生了不止一次。剛剛我在美國(guó)購(gòu)物中心的停車場(chǎng)，上車后本想發(fā)個(gè)Instagram或臉書網(wǎng)，這時(shí)……

緊接著，視頻中的人物講述了在停車場(chǎng)發(fā)生的一件小事，見(jiàn)如下調(diào)群：

// just got in mycar(剛上車)

// got myphoneand (拿出手機(jī))

// as I wasdoing that (正拿著呢)

// some guy wassitting there and (有個(gè)人坐在那里)

// there was cars behindhim and (他后面也有輛車)

// he was like (他好像……)

// [模仿該人的副語(yǔ)言]

// [再次模仿] like (好像)

//waving me out and (揮手催我離開(kāi))

// I was so upsetlike (真無(wú)語(yǔ))

// I immediately gotup(我馬上抬起頭)

// put my phonedown(放下手機(jī))

// I immediately drove awaya bit (趕緊向前開(kāi)了一點(diǎn))

// I wasn’t eventhinking I (我當(dāng)時(shí)連想都沒(méi)想)

//shouldn’t have done that I (本來(lái)不用那么做)

// shouldnothave done that (真的不用那么做)

// but it was just like “What!” (但是，“什么！”)

// There’s a guysitting there (有個(gè)家伙坐在那兒)

//waving and (向我揮手)

//angry at me be- (還很生氣)

// cause I was sitting in mycar/ (就因?yàn)槲易谖易约旱能嚴(yán)?

就該語(yǔ)音序列的調(diào)位而言，視頻中有兩個(gè)模仿挑釁者的啞劇片段本可伴有語(yǔ)音調(diào)群。第一個(gè)片段模仿的是體現(xiàn)態(tài)度意義的副語(yǔ)言，這點(diǎn)在本節(jié)2.2中已討論，再現(xiàn)如下：

例32

副語(yǔ)言:面部表情夸張圖像

第二個(gè)片段首先模仿的是挑釁者的兩次催促離開(kāi)的手勢(shì)(第二次揮動(dòng)手勢(shì)同時(shí)含有表達(dá)謀篇意義的指向動(dòng)作)，是表達(dá)概念意義的動(dòng)態(tài)副語(yǔ)言，見(jiàn)例33和例34。

例33

副語(yǔ)言:手臂從肩后到右上運(yùn)動(dòng)圖像

例34

副語(yǔ)言:手臂從胸前到右上運(yùn)動(dòng),同時(shí)食指指向某處圖像

該片段中的第三次模仿與以上兩次不同。這次模仿中動(dòng)態(tài)手勢(shì)和語(yǔ)言是共現(xiàn)的，見(jiàn)例35。

例35

語(yǔ)言// waving me out and 副語(yǔ)言:手臂從臉前到右上運(yùn)動(dòng),同時(shí)食指指向某處圖像

這兩個(gè)啞劇片段的意義在很大程度上依賴于上下文的語(yǔ)言描述，借此觀眾可以更清楚地了解該視頻中的人物在停車場(chǎng)經(jīng)常被人尾隨和被催促離開(kāi)停車位的情況。具體地說(shuō)，該視頻中的人物通過(guò)一個(gè)沒(méi)有調(diào)核的調(diào)群//he was like… //引入啞劇相關(guān)動(dòng)作，表現(xiàn)該調(diào)群的意義，并在做第三次模仿手勢(shì)時(shí)用語(yǔ)言明示這段啞劇的意義。

暫且不考慮啞劇(Marcel Marceau稱其為“沉默的藝術(shù)”)，本文認(rèn)為對(duì)于脫離語(yǔ)言單獨(dú)使用的語(yǔ)義融合型副語(yǔ)言，其意義的理解需要結(jié)合上下文語(yǔ)境。語(yǔ)言表達(dá)出的、但啞劇動(dòng)作沒(méi)有呈現(xiàn)的意義，可通過(guò)上下文獲取。所以說(shuō)，語(yǔ)義融合型副語(yǔ)言與語(yǔ)言的融合關(guān)系是顯而易見(jiàn)的。

4. 象征性手勢(shì)

本文還要介紹Kendon(2004)提到的象征性手勢(shì)，包括豎起或倒置的拇指(象征“表?yè)P(yáng)或責(zé)備”)、食指貼住嘴唇(象征“保持安靜”)、手掌彎曲貼在耳邊(象征“聽(tīng)不清”)以及豎中指(象征“去死吧”)等動(dòng)作。本文視頻中的人物在第一次解釋她發(fā)色變深時(shí)，豎起食指，表明她正在說(shuō)明的是第一個(gè)原因。

例36

音系// one its/ wet手勢(shì)象征“第一個(gè)原因”圖像

象征性手勢(shì)與上文提到的語(yǔ)義融合型副語(yǔ)言在以下兩個(gè)方面有明顯的不同。一方面，象征性手勢(shì)的意義是特定的，在沒(méi)有上下文時(shí)也可以識(shí)別出來(lái)。這種特定意義使象征性手勢(shì)可以用作交換結(jié)構(gòu)中的語(yǔ)步，表示陳述和請(qǐng)求(本部分第一段中提到的象征性手勢(shì))、問(wèn)候和告別(揮手)、呼喚(召喚的手勢(shì))、同意(點(diǎn)頭)、不同意(搖頭)和挑戰(zhàn)(手掌豎起、手心向外，象征“停”)等等。另一方面，這些手勢(shì)的意義更容易識(shí)別，因?yàn)槟硞€(gè)手勢(shì)動(dòng)作出現(xiàn)時(shí)人們會(huì)首先想到其象征意義。也正因此，象征性手勢(shì)通常具有文化特性(例如，盎格魯人豎起手掌表示呼喚，菲律賓人則平攤雙手以示問(wèn)候)。不管從哪個(gè)方面看，象征性手勢(shì)都不同于本節(jié)第一和第二部分提到的副語(yǔ)言，不像后者那樣被認(rèn)為是不符合常識(shí)的(盡管所有人都能夠正確解讀他人使用的音韻融合型和語(yǔ)義融合型副語(yǔ)言)。象征性手勢(shì)類似于聾啞人的手語(yǔ)，是意義的手勢(shì)表達(dá)形式。類似于文字書寫系統(tǒng)(比如漢字系統(tǒng))中的文字，不過(guò)是通過(guò)手勢(shì)體現(xiàn)的。

這說(shuō)明，象征性手勢(shì)更應(yīng)屬于語(yǔ)言系統(tǒng)而非副語(yǔ)言系統(tǒng)。圖5以zero,one,two,three,four和five為例，展示了象征性手勢(shì)和其他表達(dá)層面系統(tǒng)的關(guān)系。在英語(yǔ)中，這些單詞的意義可分別通過(guò)音系(如/tuw/)、字系(如“2”)或手勢(shì)(如“豎起的食指和中指”)體現(xiàn)。

圖5 表達(dá)層面的體現(xiàn)形式(手勢(shì)、字系和音系)

本文討論的符義過(guò)程系統(tǒng)見(jiàn)圖6。其中，象征性手勢(shì)屬于語(yǔ)言的一種表達(dá)形式。

圖6 象征性手勢(shì)作為手勢(shì)符號(hào)

五、 交 叉 模 態(tài)

本文構(gòu)建了一個(gè)區(qū)分行為和意義(具身表征和符義過(guò)程)的模型。符義過(guò)程又包括語(yǔ)言和副語(yǔ)言系統(tǒng)。根據(jù)與語(yǔ)言內(nèi)容層或表達(dá)層的融合關(guān)系，副語(yǔ)言又系統(tǒng)化為音韻融合型和語(yǔ)義融合型，前者與韻律音韻共感和同步，體現(xiàn)人際意義和謀篇意義；后者與語(yǔ)義(以及語(yǔ)義在詞匯語(yǔ)法層的體現(xiàn)形式)融合，共同構(gòu)建概念意義、產(chǎn)生人際意義并形成謀篇意義。

與其他交際模態(tài)相比，副語(yǔ)言與語(yǔ)言之間關(guān)系特別，因?yàn)楦闭Z(yǔ)言同韻律音韻是協(xié)調(diào)一致的。這一點(diǎn)可以由音韻融合型副語(yǔ)言的定義看出。此外，語(yǔ)義融合型副語(yǔ)言也和調(diào)位、調(diào)核、節(jié)奏和聲調(diào)這些系統(tǒng)協(xié)調(diào)一致，如一些身體動(dòng)作、面部表情、身體姿勢(shì)和聲音，與節(jié)奏和語(yǔ)調(diào)等單位共現(xiàn)。即使是簡(jiǎn)單的啞劇片段，也可通過(guò)填補(bǔ)調(diào)核成分或調(diào)群的“缺失”，與韻律音韻形成一致。除了對(duì)語(yǔ)言表達(dá)形式的時(shí)間依賴性，副語(yǔ)言表意不確定的內(nèi)在屬性使其同樣依賴于語(yǔ)言的內(nèi)容形式，比如語(yǔ)義融合型副語(yǔ)言表達(dá)的意義需借助語(yǔ)言進(jìn)一步闡釋。副語(yǔ)言的這兩種依賴性也合理地解釋了該術(shù)語(yǔ)中“副(para)”這個(gè)前綴(意為“旁邊的”)。

在“副語(yǔ)言”這個(gè)術(shù)語(yǔ)中，前綴“副”依附于詞干“語(yǔ)言”，那么“副語(yǔ)言”在構(gòu)詞上以“語(yǔ)言”為詞干是否合適呢？Fricke (2013)的研究?jī)A向于將本文中的副語(yǔ)言視為語(yǔ)言的一部分(確切地說(shuō)，F(xiàn)ricke認(rèn)為是語(yǔ)法的一部分)。這種觀點(diǎn)被身體動(dòng)作的相關(guān)研究廣泛認(rèn)可?；诖?，本文從系統(tǒng)功能語(yǔ)言學(xué)的角度重新闡釋了圖6的分類(見(jiàn)表5)，將副語(yǔ)言歸為語(yǔ)言的一種表達(dá)形式。在這個(gè)模型中，面對(duì)面語(yǔ)言交流的內(nèi)容可通過(guò)音系(口語(yǔ))或符號(hào)(包括手語(yǔ)和象征性手勢(shì))配合音韻融合型和語(yǔ)義融合型副語(yǔ)言來(lái)體現(xiàn)。對(duì)有些語(yǔ)言來(lái)說(shuō)，書面交流通過(guò)字系系統(tǒng)體現(xiàn)。這種重新闡釋對(duì)于命名本文中提到的音質(zhì)和動(dòng)作等副語(yǔ)言資源提出了挑戰(zhàn)，我們將另文討論。

內(nèi)容層面表達(dá)層面語(yǔ)篇語(yǔ)義詞匯語(yǔ)法音系符號(hào)副語(yǔ)言字系

表5 作為表達(dá)層面的副語(yǔ)言

這種闡釋也使語(yǔ)言和副語(yǔ)言之間的關(guān)系成為交叉模態(tài)研究中的一個(gè)有趣的話題，有助于闡明Martin(2011)提到的理論和描寫方面的難題。

本文對(duì)語(yǔ)言和副語(yǔ)言間依賴關(guān)系的研究參考了Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013) , Zappavigna & Martin (2017)以及Hao & Hood (待發(fā)表)。在系統(tǒng)功能語(yǔ)言學(xué)中，與這些文獻(xiàn)最相關(guān)的是Painteretal.(2013)對(duì)模態(tài)關(guān)系(兒童繪本中語(yǔ)言和圖片關(guān)系)的研究。此外，交叉模態(tài)的研究也可參考Batemanetal. (2017)。

作者簡(jiǎn)介

*James R. Martin，博士、教授，澳大利亞悉尼大學(xué)語(yǔ)言學(xué)系前任系主任，國(guó)際著名系統(tǒng)功能語(yǔ)言學(xué)家，系統(tǒng)功能語(yǔ)言學(xué)的主要繼承人和發(fā)展者，“悉尼學(xué)派”領(lǐng)軍人物，語(yǔ)言評(píng)價(jià)理論創(chuàng)始人，積極話語(yǔ)分析理論創(chuàng)始人，語(yǔ)類理論主要發(fā)展者。1998年當(dāng)選為澳大利亞人文科學(xué)院院士，2003年因其對(duì)語(yǔ)言學(xué)及語(yǔ)文學(xué)的杰出貢獻(xiàn)被澳大利亞聯(lián)邦政府授予“世紀(jì)勛章”。Martin教授的主要研究領(lǐng)域包括系統(tǒng)理論、功能語(yǔ)法、語(yǔ)篇語(yǔ)義學(xué)、語(yǔ)域、語(yǔ)類、多模態(tài)理論及批評(píng)話語(yǔ)分析，主要研究語(yǔ)種為英語(yǔ)和他加祿語(yǔ)。此外，Martin教授還從事教育語(yǔ)言學(xué)、司法語(yǔ)言學(xué)及社會(huì)語(yǔ)符學(xué)、多模態(tài)等交叉學(xué)科的研究，著述等身，主要論文收集在王振華主編的八卷本《馬丁文集》(上海交通大學(xué)出版社)。

Michele Zappavigna，博士，澳大利亞新南威爾士大學(xué)高級(jí)講師。主要研究興趣是社交媒體，相關(guān)著作有Bloomsbury出版社2012年出版的《推特與社交媒體》(DiscourseofTwitterandSocialMedia(Bloomsbury, 2012)), Routledge出版社2014年出版的《社交媒體語(yǔ)言研究》(與Ruth Page, Johann Unger and David Barton合著)(ResearchingtheLanguageofSocialMedia(Routledge, 2014))和Bloomsbury出版社2018年出版的《可搜索交談：帖子標(biāo)題與社交媒體語(yǔ)篇》(SearchableTalk:HashtagsandSocialMediaMetadiscourse(Bloomsbury, 2018))。

注釋

① 相關(guān)文章題為“Gesturalandposturalsemiosis:asystemic-functionallinguisticapproachto’bodylanguage’”。此文為Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013)以及Zappvigna & Martin (2017)奠定了研究基礎(chǔ)。

② 這種歸類正如手勢(shì)和面部表情發(fā)展為聾啞人手語(yǔ)的表達(dá)層面(參見(jiàn)Johnston 2013, 待發(fā)表)一樣。此類資源目前被視為副語(yǔ)言，與手語(yǔ)一同使用。

③ Halliday和Painter認(rèn)為“多種”至少是4種以上。

④ 對(duì)皮爾斯符號(hào)模型的介紹參見(jiàn)https://plato.stanford.edu/entries/peirce-semiotics/。

⑤ 對(duì)該模型的介紹詳見(jiàn)Martinec (1998, 2000a, 2000b, 2001, 2004)。這些研究以系統(tǒng)功能語(yǔ)言學(xué)理論為基礎(chǔ)，將具身表征視為符義過(guò)程。

⑥ Cleírigh提出的原型語(yǔ)言學(xué)身勢(shì)語(yǔ)(protolinguistic body language)在本文中被歸為具身表征和人際性語(yǔ)義融合型副語(yǔ)言，這種術(shù)語(yǔ)的變化使相關(guān)身勢(shì)語(yǔ)可與語(yǔ)言一同產(chǎn)生意義(原始母語(yǔ)是最早的符義資源，按其定義，不與語(yǔ)言一同使用)。此外，這種重新劃分將評(píng)價(jià)系統(tǒng)與副語(yǔ)言系統(tǒng)結(jié)合起來(lái)，擴(kuò)展了副語(yǔ)言資源，也完善了Cleírigh的研究。

⑦ “博客”(網(wǎng)絡(luò)日記的簡(jiǎn)版)是由博文組成的網(wǎng)頁(yè)，內(nèi)容根據(jù)由近及遠(yuǎn)的發(fā)文時(shí)間排列。個(gè)體用戶通常用博客記載日常往事，企業(yè)和組織有可能將博客內(nèi)容導(dǎo)入其在線資料中。

⑧ 感謝Brad Smith博士對(duì)本文例子語(yǔ)料分析的大力幫助。

⑨ 長(zhǎng)于一個(gè)調(diào)群的信息波會(huì)伴隨整個(gè)身體的運(yùn)動(dòng)。

AppendixA:Thehairdyenarrative(附錄1：關(guān)于染發(fā)劑的敘述)

1:26-2:01

調(diào)群1 //5ohand you’re

調(diào)群2 //1 probably / seeing how / dark my /hairis well

調(diào)群3 //3 one it’s /wet

調(diào)群4 //4 but /^ I could / not / find the /hairdye that I

調(diào)群5 //2 bought /previously when I

調(diào)群6 //3 dyed my /hairwhich I

調(diào)群7 //3lovedI

調(diào)群8 //3 loved the/firsttime

調(diào)群9 //3 ^ so I / ended up having to / do like a / different /^ /shadethat I

調(diào)群10 //3 didn’t / use /previously and it’s

調(diào)群11 //1 so:: /darkI

調(diào)群12 //1hateit I

調(diào)群13 //3 hate the the /colour of it so I’ve

調(diào)群14 //1 tried washing it /outand it’s

調(diào)群15 //3 lighter than it / was a few /daysago

調(diào)群16 //1 ^ but /yeahit’s

調(diào)群17 //1 such a /bummer and then I

調(diào)群18 //2 went to /Target //

調(diào)群19 //3 ^ like / two days /later and there / was a

調(diào)群20 //1 whole:: / stack of them so I

調(diào)群21 //1 bought /threeof them so

調(diào)群22 //3 hopefully / nexttimeI will

調(diào)群23 //1 get my /haircolour / back

調(diào)群24 //3 [handclap] / um /but for /now

調(diào)群25 //3 this will /do//

(//:調(diào)群分界線；/:音步分界線；調(diào)型1-5：音調(diào)選擇；黑體：音調(diào)音節(jié)； ^：空拍)

AppendixB:Thevisittothedermatologistanecdote(附錄2：看皮膚科專家軼事)

I was going to vlog the day I went to the dermatologist because I have these like marks on my feet. I’ll show you. Let’s see if I can show you from here. [lifting up leg] Ooh. I don’t know if you can see that. I have that mark and then there’s another one and then another one and then on my other feet and it was all like bumpy and stuff. And it was spreading and it tripled quadrupled in size in a year. It actually was there for two years. Anyway, it was some granuloma something I don’t know- it’s called- it’s some sort of skin thing. And so the dermatologist took like this needle and under each like bump and injected this like steroid and it all bubbled up. It was really gross and it hurt so bad but I didn’t film it because there’s like feet people out there that like are obsessed with feet and I didn’t want to- you know. I didn’t want those people attracted to my videos so Andy said not to film it but it was really itchy. And the bumps are supposed to go away and it shouldn’t spread anymore but the discoloration might stay there for a really really long time so. Yeah. But that was good to get checked out.

AppendixC:Theparkinglotnarrative(附錄3:關(guān)于停車場(chǎng)的敘事)

Oh another thing that has been really annoying this summer is you know when you go to a parking lot and it’s a busy place. You get in your car and you don’t necessarily want to leave immediately. Like you might want to- I might want to have Henry test his blood sugar, give the kids snacks. Or if we were at the pool, like change or look at my phone or send a text message or whatever. It drives me crazy when a car is like sitting there following you and then they just wait for you to leave. I cannot stand that. And that has happened so many times. And I was just at the mall of America and I got back to my car and I went into-. And I met up with a Kimmy from the Dodge family and I went to- I wanted to like Instagram a picture of us and FaceBook whatever. And as I was doing that I- I had just got in my car, got my phone and as I was doing that some guy was sitting there and there was cars behind him and he was like [mimics man’s gesture] like waving me out. And I was so upset. Like I immediately got up, put my phone down. I immediately drove away but- I wasn’t even thinking I shouldn’t have done that. I should not have done that. But it was just like “what!” There’s a guy sitting there waving and angry at me because I was sitting in my car. It’s like I am sitting in my car. I shouldn’t have to leave. Mad at myself that I did that but from now on I am not moving. I don’t care if they follow me around the whole parking lot get to my car. I am not moving.