英語學(xué)習(xí)者英漢口語產(chǎn)出多模態(tài)話語分析

王平平 洪雅妮

內(nèi)容摘要：二語學(xué)習(xí)者的口語產(chǎn)出作為重要且棘手的問題一直受到學(xué)界的高度關(guān)注，但鮮有研究提及到口語產(chǎn)出中的多模態(tài)特征。本文運(yùn)用多模態(tài)的方法，基于張德祿構(gòu)建的多模態(tài)話語分析的綜合理論框架，借助ELAN5.5作為多模態(tài)視頻分析軟件，對2名研究生產(chǎn)出的英漢口語中涉及到的符號模態(tài)做定量標(biāo)注，并對收集到的數(shù)據(jù)進(jìn)行定性分析。研究顯示：（1）在語言層面上，相較于漢語口語產(chǎn)出，兩名被試的英語口語產(chǎn)出存在一些問題，表現(xiàn)在語速慢，停頓多;句子聲調(diào)單一，傾向于使用降調(diào)等。（2）在非語言層面，兩名被試的個體差異較大，動作特征因人而異，但存在的共同問題是目光交流偏少。

關(guān)鍵詞：多模態(tài)話語分析 口語產(chǎn)出 ELAN

1.引言

Vygotsky（1978）認(rèn)為語言習(xí)得是將認(rèn)知過程和社會活動聯(lián)系在一起的社會文化現(xiàn)象，是個體與外部世界不斷相互作用的結(jié)果。這一過程是間接的，需借助中介工具調(diào)節(jié)完成，這些中介工具包括物質(zhì)工具（如電腦）和心理工具/符號（如語言）。除語言本身外，非語言手段（如手勢），也具有認(rèn)知和交際雙重功能（McNeill，1992）。然而，人類的交際方式多種多樣，因此僅僅關(guān)注語言和手勢是不全面的。例如，本文所關(guān)注的二語學(xué)習(xí)者的口語產(chǎn)出就具有很強(qiáng)的多模態(tài)性，語調(diào)、語速、頭部移動、面部表情、眼神、手勢等都在口語產(chǎn)出中發(fā)揮作用。20世紀(jì)90年代興起的多模態(tài)話語分析（Multimodal Discourse Ananlysis）則可以在很大程度上克服目前二語習(xí)得研究的局限性，將對語言的研究擴(kuò)展到其他表達(dá)意義的符號資源，如圖像、聲音、動作等。

2.社會文化理論與多模態(tài)話語分析

社會文化理論最基本的概念是人類的思維是有中介的（Lantolf，2000）。其核心思想是：人類高級思維功能的發(fā)展是依靠文化建構(gòu)的中介工具的調(diào)節(jié)完成的，這些中介工具包括數(shù)字、地圖、手勢等。在此基礎(chǔ)上，McNeill（1992）提出手勢-語言辯證觀，引起國內(nèi)外二語研究者對手勢研究的關(guān)注。由此可見，社會文化視角下的語言研究不僅僅局限于語言本身，也關(guān)注其他表達(dá)意義的符號資源（手勢）。研究視角由宏觀轉(zhuǎn)向微觀，但目前僅局限于手勢研究。

多模態(tài)話語分析領(lǐng)域的學(xué)者Scollon（1998）將語言看作社會行為，以中介活動（mediation action）為基本分析單位。在此基礎(chǔ)上，Norris（2004）提出高層活動（higher-level action）和低層活動（lower-level action）的概念，例如，一次晚餐是高層活動，而其中具體使用的話語、手勢、表情等屬于低層活動。多模態(tài)話語分析就是對這種現(xiàn)象的分析，強(qiáng)調(diào)話語意義不止由語言因素組成，非語言因素同樣占據(jù)舉足輕重的地位（張德祿，2009）。O'Halloran （2011）指出，在話語研究中，多模態(tài)話語分析是一種新興的范式。它不僅可以顯示出語言系統(tǒng)在交際過程發(fā)生的作用，而且可以呈現(xiàn)出圖像、手勢等其他符號系統(tǒng)在這個過程中所產(chǎn)生的的效果，從而使話語研究更加全面、更加準(zhǔn)確，進(jìn)而發(fā)現(xiàn)人們?nèi)绾瓮ㄟ^多模態(tài)實(shí)現(xiàn)交際的目的。

綜上發(fā)現(xiàn)，社會文化理論與多模態(tài)話語分析不謀而合，即信息交互是多模態(tài)性的，這其中包括語言及非語言行為（手勢、表情等）。但多模態(tài)話語分析更勝一籌，將除語言和手勢之外的符號模態(tài)納入考慮之中。因此，本文基于多模態(tài)話語分析的研究方法，運(yùn)用ELAN5.5對2名被試的英漢口語產(chǎn)出視頻進(jìn)行標(biāo)注，考量2名被試口語產(chǎn)出中的多模態(tài)特征。

3.研究設(shè)計(jì)

3.1被試

被試是某外國語大學(xué)英語專業(yè)研二的2名學(xué)生，均通過專八考試，且順利通過本校研究生部組織的研究生英語綜合水平測試口試考試。2名學(xué)生均沒有海外生活經(jīng)歷，學(xué)習(xí)英語時間約為15年，被試被標(biāo)記為被試A和被試B。

3.2實(shí)驗(yàn)材料

因此本研究采用圖片故事Frog， where are you？《青蛙你在哪里？》（Mayer，1969）作為實(shí)驗(yàn)材料，全書共有25張圖片（加封面），沒有文字介紹，在故事理解上沒有難度。但是在進(jìn)行實(shí)際操作中，發(fā)現(xiàn)由于圖片數(shù)量過多，被試在進(jìn)行故事敘述的過程中會有不同程度的遺漏，因此本研究在正式實(shí)驗(yàn)之前調(diào)整了實(shí)驗(yàn)材料，選取其中16張（加封面）圖片組成完整的故事。

3.3研究工具

本研究以ELAN5.5作為研究工具進(jìn)行定量標(biāo)注，該軟件可以幫助ELAN還可以開展多種語言研究，尤其是對應(yīng)用語言學(xué)研究十分有用，例如，可以對演講話語、教師課堂話語、學(xué)生口頭中介語等進(jìn)行多模態(tài)分析（王立非等， 2008）。

3.4實(shí)驗(yàn)過程

為避免實(shí)驗(yàn)過程中相互干擾，2名被試分別進(jìn)入一個安靜的房間內(nèi)參與實(shí)驗(yàn)。除被試外，研究者也會參與到實(shí)驗(yàn)中，擔(dān)任聽話者及錄制視頻的角色。在實(shí)驗(yàn)過程中，2名被試分別在規(guī)定時間內(nèi)自行瀏覽完圖片故事，然后使用漢語進(jìn)行故事復(fù)述。間隔四周后，同樣的實(shí)驗(yàn)流程，被試再使用英語進(jìn)行故事復(fù)述。研究者對復(fù)述過程進(jìn)行全程錄像，最終得到4段完整視頻。

3.5標(biāo)注框架

張德祿（2009）將多模態(tài)話語分為語言媒體和非語言媒體兩個層面，嘗試建立了一個多模態(tài)話語分析的綜合框架。本研究以該框架為基礎(chǔ)，結(jié)合二語學(xué)習(xí)者口語產(chǎn)出的實(shí)際情況，提煉出了一套詳細(xì)的標(biāo)注框架（表1）。

4.結(jié)果與討論

4.1語言特征

表2顯示被試A在進(jìn)行漢語口語產(chǎn)出中純語言為20句，時長約為96秒。這其中語速標(biāo)記10處，主要以慢速和停頓為主，快速較少;聲音標(biāo)記2處;語調(diào)較單一，多以降調(diào)為主。同樣，表3顯示被試B共產(chǎn)出26句，時長約為103秒，包括語速標(biāo)記5處，以停頓和慢速為主;聲音標(biāo)注2處，以音量提高為主;語調(diào)以降調(diào)為主，平調(diào)次之。由此可見，兩名被試的語調(diào)使用較單一（降調(diào)），語速時有減慢或停頓，有時會出現(xiàn)音量提高的現(xiàn)象。在英語口語產(chǎn)出中，兩名被試的語言產(chǎn)出時長增長。如表2所示，被試A共使用句子18句，時長為106秒。語調(diào)仍以降調(diào)為主;慢速和停頓標(biāo)注10次。在表3中，被試B共使用句子22句，總時長為155秒，語調(diào)較豐富，包括降調(diào)，升調(diào)和變調(diào);語速7處，以停頓為主。相較于漢語口語產(chǎn)出，英語口語中出現(xiàn)了語調(diào)變化特征;語速更慢，停頓次數(shù)更多;音量大小無明顯變化。

造成上述現(xiàn)象的原因有很多。首先本文口語產(chǎn)出方式為故事敘述，大多是陳述句，因此語調(diào)上更多出現(xiàn)降調(diào)。在英語表達(dá)中并未出現(xiàn)過度使用變調(diào)的現(xiàn)象，相反，其中一名被試語調(diào)比較單一，多為降調(diào)。其次，在英漢口語產(chǎn)出中都出現(xiàn)了語速慢且停頓的現(xiàn)象，且多出現(xiàn)在故事情境變換或推進(jìn)的時候，尤其是在英語口語中更為明顯。因此本文認(rèn)為在這一過程中被試既要思考故事發(fā)展、內(nèi)容表達(dá)，又要兼顧單詞和語法等的準(zhǔn)確性，加重了工作記憶的負(fù)擔(dān)，造成語速減慢，停頓的現(xiàn)象。最后是聲音特征，英漢口語產(chǎn)出都出現(xiàn)了音量小的特征。被試在此時往往是對自己的表達(dá)猶豫不決;而對某一些詞或句子提高音量則是想進(jìn)行強(qiáng)調(diào)

4.2非語言特征

本研究以身體部位作為劃分單位，從上到下依次觀察被試頭部、四肢和軀干動作。頭部動作細(xì)分為頭部移動、眼神和表情;四肢動作包括手勢和腿部動作;軀干動作則主要觀察姿勢變化。在分析被試非語言特征時發(fā)現(xiàn)，兩人一致的特征較少，動作的差別較大。在漢語故事敘述中，被試A和被試B（表2、表3）的動作都集中在頭部和四肢。其中被試A頭部移動較多;與聽話者的眼神接觸少;表情一直保持微笑狀態(tài)，無明顯變化。四肢的動作以手部動作為主，無腿部動作，且手勢標(biāo)以指示手勢、隱喻手勢為主。被試B（表2、表3）的頭部移動較少;與聽話者的眼神接觸較多;表情平靜，同樣無明顯變化。無腿部動作，手勢標(biāo)注多，以圖示手勢為主;姿勢變化有6處，以身體左傾和前傾為主。相比之下，在使用英語進(jìn)行故事復(fù)述時，被試A（表2）的非語言特征與漢語表達(dá)相似，但是手勢減少。同樣被試B（表3）僅有細(xì)微變化，例如眼神接觸減少。

總的來看，非語言特征的個體差異性強(qiáng)。被試A在進(jìn)行英漢口語產(chǎn)出時以頭部移動為主，且習(xí)慣頭部右傾進(jìn)行思考;眼神交流、手勢、姿勢偏少。被試B則是手勢產(chǎn)出較多，且以圖示手勢為主，頭部移動、眼神交流和姿勢特征偏少。其次，較漢語口語產(chǎn)出而言，兩名被試在使用英語時相應(yīng)的非語言特征有不同幅度的下降且類別減少。再就單個動作來看，腿部動作和軀干動作在標(biāo)注中極少出現(xiàn)，這是因?yàn)閷?shí)驗(yàn)對象坐在椅子上，可能限制了一部分動作的產(chǎn)出。手勢特征的差別很大，被試A手勢較少，而被試B則傾向于大量運(yùn)用手勢來配合表達(dá)。此外二者存在的一個共同問題是與聽話者的目光交流少，她們傾向于不斷變換的目光接觸（如向下看、向上看、向左右看等），顯然將此次實(shí)驗(yàn)當(dāng)做任務(wù)來完成，而非一次交流活動。

5.結(jié)語

本文分析了兩名英語專業(yè)研究生的英漢口語產(chǎn)出的多模態(tài)特征，彌補(bǔ)社會文化理論當(dāng)下研究的不足，肯定了交際的多模態(tài)性。同時發(fā)現(xiàn)，在語言層面上，相較于漢語口語產(chǎn)出，兩名被試的英語口語產(chǎn)出存在一些問題，表現(xiàn)在語速慢，停頓多;語音語調(diào)還有待完善。在非語言層面，兩名被試的個體差異較大，但存在的共同問題是目光交流偏少。本文是一個探索性的研究，選取的被試數(shù)量較少，因此后續(xù)研究需要繼續(xù)進(jìn)行完善，在大樣本的基礎(chǔ)上對中國英語學(xué)習(xí)者的口語產(chǎn)出進(jìn)行多模態(tài)研究。

參考文獻(xiàn)

[1]Lantolf， J.P. Sociocultural Theory and Second Language Learning[D]. Oxford： Oxford University Press，2000.

[2]Mayer， M.Frog， Where Are You？ New York：Dial Press.1969.

[3]McNeill， David. Hand and Mind. What Gestures Reveal about Thought [M]. Chicago： Chicago University Press， 1992.

[4]Norris， S. Analyzing Multimodal Interaction. A methodological framework[M]. New York & London： Routledge， 2004.

[5]OHalloran， K. L. Multimodal Discourse Analysis[A]. In K. Hyland and B. Paltridge（eds） Companion to Discourse[C]. London&New York： Continuum. 2011.

[6]Scollon， R. Mediated Discourse as Social Interaction[M]. London： Longman. 1998.

[7]Vygotsky， L.S.Mind in Society： the Development of Higher Psychological Processes[M]. Cambridge， MA： Harvard University Press，1978.

[8]王立非，文艷.應(yīng)用語言學(xué)研究的多模態(tài)分析方法[J].外語電化教學(xué)，2008（03）：8-12.

[9]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009，6（01）：24-30.

基金：大連外國語大學(xué)研究生創(chuàng)新項(xiàng)目“中國英語學(xué)習(xí)者英漢口語產(chǎn)出的多模態(tài)話語分析-對3名研究生的個案研究”（YJSCX2018-099）的研究成果。

（作者介紹：王平平，洪雅妮，大連外國語大學(xué)英語學(xué)院碩士研究生，研究方向：二語習(xí)得）