大學生多模態(tài)意義構建實證研究

黃媛媛

（中國藥科大學 外語系，江蘇 南京 211198）

一、引言

系統(tǒng)功能語言學認為語言不僅是具有社會功能的符號系統(tǒng)，也是一套與社會環(huán)境相聯(lián)系的供人們選擇的意義“潛勢”（意義的有規(guī)則的源泉）。在多元化的信息時代，語言以外的其他符號系統(tǒng)也成為意義的源泉。人們利用聽覺、視覺、觸覺等多種感官，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際和意義建構，形成了多模態(tài)話語。（張德祿，2009）多模態(tài)話語最合適的理論模式是系統(tǒng)功能語言學理論，它所包含的元功能假說認為多模態(tài)話語與純語言符號話語一樣,也具有多功能性,即概念功能、人際功能和語篇功能。元功能假說為課堂教學中通過各符號間相互作用來表達意義提供了分析工具。了解和提高學生識解和利用多符號資源建構意義的能力，是多模態(tài)課堂需要探討的重要問題之一。

二、文獻回顧

最早研究者之一R.Barthes（1977）探討了在表達意義中圖像與語言的相互作用。Lemke（1995，1998）基于系統(tǒng)功能語言學，對多符號在超文本語篇中的功能進行了研究。Kress,G.&T.van Leeuwen（1996）提出有意義的話語構建要依靠相互聯(lián)系的符號系統(tǒng)。O’Toole（1994，1995）的研究證明,系統(tǒng)功能模式不僅可以用于對自然語言的分析,同時也為研究其他符號形式提供了可行的分析框架。在國內(nèi)，李戰(zhàn)子（2003）提出了多模態(tài)話語的社會符號學分析方法和理論。胡壯麟（2007）把多模態(tài)話語定義為有表達意義的兩個或兩個以上的模態(tài)所構成的話語。張德祿（2009）基于系統(tǒng)功能語言學，探討了多模態(tài)話語分析的理論框架。

三、意義建構實踐框架

為了在一定的文化語境，意識形態(tài)制約下，根據(jù)具體的情境語境，即話語范圍（教學內(nèi)容涉及的領域）、話語基調（授課者和教學對象關系）和話語方式（教學場所，條件，渠道），引導學生進行多符號協(xié)同下的意義構建，必須先確立多模態(tài)話語實踐框架。本研究根據(jù)語言的三大功能，為學生指派了不同的多模態(tài)話語實踐任務：

⑴情境語境:①話語范圍：多模態(tài)意義構建；②話語基調：學生在教師組織輔導下進行的多媒體演示及表演；③話語方式：在多媒體教室，利用多媒體軟件（2）功能的具體表現(xiàn)形式：

表1:多模態(tài)實踐框架

元功能假設是對語言所完成的具有無限可能性的功能的抽象概括，它包括：概念功能、人際功能、和語篇功能。（曾蕾，廖海青，2010）①概念功能是指語言對現(xiàn)實世界與說話人內(nèi)心世界中種種經(jīng)歷和體驗的反映。我的家鄉(xiāng)或大學生活介紹是以學生熟悉的本土文化中的生活經(jīng)驗為基礎，是學生基于自身經(jīng)歷和知識結構對符號意義的解碼。②人際功能反映人與人之間的關系并對話輪的選擇做出規(guī)定。新聞播報要求學生選取熱門話題播報并對其他學生進行現(xiàn)場采訪互動；話劇表演是在一定的情境語境下，表演者本身以及表演者和觀眾進行的雙重人際交流。學生從視覺和聽覺方面理解事件及環(huán)境意義，建立人際關系。③語篇功能是以篇章為單位的語言研究的理論指導，沒有相當?shù)姆治稣Z篇的意識和能力就難以深刻理解作者的意圖。文學作品或電影劇本賞析強調以篇章為單位，要求學生能夠對文學及影視作品的可用設計文本進行

批評，賞析，設計及重新設計。

四、研究設計

（一）研究具體問題

1.學生實現(xiàn)多模態(tài)話語元功能假設中三大功能時的表現(xiàn)是否有差異？

2.學生在多模態(tài)意義建構中存在怎樣的問題，如何解決？

（二）研究對象

從南京某高校非英語專業(yè)一年級2700名學生中隨機抽取了150名學生完成本次實驗。其中,女生80名，男生70名。

（三）研究材料及方法

研究所用材料有：①基于新倫敦小組（1996）多元識讀能力水平具體描述的評估表（表2）②多模態(tài)話語調查問卷（用SPSS軟件對問卷進行Alpha信度分析，得出問卷總的內(nèi)部一致性信度系數(shù)為0.9343，說明問卷的信度良好。）

表2：多元識讀水平評估表（5=最好,4=好,3=中等,2=不好,1=很差）

本研究采用定量研究、定性研究和訪談的形式進行。150名學生隨機分成3個班，學生任選一種語言功能，利用圖片，圖像，聲音，動作等多元符號完成表1任務。學生表演時進行錄像，作品電子稿上交。由兩位教學經(jīng)驗同樣豐富的教師根據(jù)多元識讀能力評估標準（表2）為學生作品進行打分，取平均分記錄。滿分25分，以20分為界限劃分高、低分組。

表3：人次分布及分數(shù)統(tǒng)計表

（四）數(shù)據(jù)分析與收集

表面上看，選取人際功能的學生偏多，選取三種功能的人次不同，但因為這是抽樣調查，造成這種結果有兩方面原因：①學生對三種功能的選擇確實存在不相等，所以抽取的樣本對于不同功能選擇不相等。②學生對三種功能的選擇是相等的，但由于抽樣誤差而造成了樣本對不同功能的選擇不相等。為進行差異顯著性檢驗，做出虛無假設H0：假設學生對三種功能的選擇是相等的，即選取不同功能的學生人數(shù)不存在顯著差異。接下來要檢驗樣本頻數(shù)分布是否在抽樣誤差允許的波動范圍內(nèi)，如果在這個范圍內(nèi)，則接受虛無假設；如果超出了這范圍，則拒絕虛無假設。現(xiàn)用SPSS軟件對選擇三大類任務的不同人數(shù)進行卡方檢驗中的適合性X2檢驗，得出結果為X2=24.960，p=.000<0.05,因此拒絕虛無假設，認為學生在利用多元符號實現(xiàn)多模態(tài)話語的三大功能選擇上存在顯著差異。接下來對于三大功能組的高低分人次分布進行卡方檢驗中的獨立性X2檢驗得到結果如表4：X2=10.694，p=.005<0.05,說明三個組的學生在高低分人次分布上存在顯著差異。概念組的高分率為66.67%，人際組為42%，而語篇組只有30%。

表4：獨立性X2檢驗結果（Chi-Square Tests）

（五）結果與討論

在得出以上數(shù)據(jù)的基礎上，對學生發(fā)放了多模態(tài)話語調查問卷，并在每一大組都隨機抽取了5名學生進行了訪談。最終得出以下結論：

1.學生在利用多模態(tài)實現(xiàn)語言的三大功能選擇上存在顯著差異。52%的學生選擇了利用多元符號實現(xiàn)多模態(tài)話語的人際功能。根據(jù)調查問卷和訪談，78個學生選擇人際功能的原因為：①人際功能的任務相比另兩種功能任務來說：a.使用的非語言因素特征更為明顯，如伴語言特征：聲調、語調變化范圍更大。b.使用的非語言因素特征更為豐富,如身體特征：表情、手勢、動作、空間移動等更多；②完成人際任務涉及的多媒體軟件操作也更為豐富，如新聞播報中對圖片、音頻和視頻的編輯和剪輯以及話劇表演中可以使用到的DV拍攝。③人際功能任務趣味性強，和觀眾有更多互動，能夠刺激他們創(chuàng)作的深層動機。④由于任務涉及多人合作，在表演者本身以及表演者和觀眾進行的雙重人際交流中進行，可以有效地降低學生的情感焦慮。

2.根據(jù)表4，三大功能組的高低分人次分布也存在顯著差異，概念組的高分人次比率最高，低分人次比率最低，且平均分最高，這說明由于學生對本土文化和自身經(jīng)歷更為熟悉，濃厚思鄉(xiāng)情結及對大學生活的熱愛給予他們更多的創(chuàng)作源泉，故學生在表現(xiàn)概念功能時的多元識讀水平最高，作品思想挖掘的層次更深。相比之下，語篇組的選擇人次最少，且高分人次比率最低，低分人次比率最高，平均分也最低。在電影和文學作品賞析兩種任務選擇中，僅有36.67%的學生選擇了后者。結合訪談和問卷，發(fā)現(xiàn)學生在語篇批評賞析方面存在認知困難和心理排斥，作品水平也不高。大部分學生認為看英語文學名著費時費力，且做講座時慣于直接使用大篇幅未經(jīng)加工，自己也沒有充分理解的原版英語段落，致使觀眾理解困難，興趣低下。觀眾的消極反應使得更多學生不愿再做篇章分析，這也構成了極少學生選擇表現(xiàn)多模態(tài)話語語篇功能的重要原因之一。此外，學生在賞析電影劇本時傾向于將重點放在大段劇情介紹上，對于電影的文化背景及主題思想理解不夠透徹。還有的學生直接從網(wǎng)絡上下載現(xiàn)成的影評，忽略了對自身批判性思維的培養(yǎng)。

3.根據(jù)收集的電子作品和課堂錄像，發(fā)現(xiàn)一些學生在多模態(tài)表達方面也存在很多問題: ①PPT頁面上的圖片量太少，文字量太多；對字體和印刷版式等符號資源的運用較混亂，不注意排版和編輯；背景色和文字顏色對比度太小，畫面模糊不清。②過度使用背景音樂，影響演講的聽覺效果；過度使用畫面復雜繁瑣的背景圖片和活動圖標，轉移了觀眾對主題內(nèi)容的注意力。③對視頻編輯工具的操作不夠熟悉，導致視頻作品的字幕效果和視聽效果都較差；PPT中插入的視頻，音頻和文本、圖片內(nèi)容不銜接。

五、結論與局限性

總之，在建構概念意義，人際意義，及篇章意義的過程中，大部分大學生可以通過空間、圖像、聲音、顏色等多元符號的參與運用，配合自然語言，使主題意義得到完整的表達。然而，學生的多模態(tài)話語表現(xiàn)作品仍停留在直接利用所獲取的網(wǎng)絡資源階段，對超文本資源的加工，篩選，處理能力都還有限。尤其是在實現(xiàn)多模態(tài)話語的語篇功能方面，學生的水平尚處于初級階段。因此在英語課堂中教師應該在多媒體技術的支持下，多導入文本批判技巧的介紹；多鼓勵學生利用多媒體資源閱讀英文世界名著，小說；多開展小組討論，提高學生建構多模態(tài)話語語篇意義的內(nèi)在動力，全方面多角度地培養(yǎng)學生的多元識讀能力。本研究僅為探索性研究，由于所抽取的樣本容量不夠大，且話題內(nèi)容及任務設定有相當?shù)木窒扌裕虼搜芯拷Y果有待進一步的檢驗和考證。

[1]Halliday.M.A.K.An Introduction to Functional Grammar[M].London:Arnold,1985.

[2]Halliday.M.A.K.Language as Social Semiotic [M].London:Arnold,1978.

[3]Kress,G.&T.van Leeuwen.Reading Images:The Grammar of Visual Design[M].London:Routledge,1996.

[4]Lemke,J.Intertextuality and Text Semantics[A].In Gregory,M.&P.Fries(ed.).Discourse in Society:Functional Perspectives[C].Norwood,N.J.:Ablex,1995.

[5]Lemke,J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text [A].In Martin,J.R.&R.Veel(ed.).Reading Science[C].London:Routledge,1998.

[6]New England Group.A pedagogy of multiliteracies:Designing social futures[J].Harvard Educational Review,1996,66 （1）:60-92.

[7]O’Toole.M.A systemic-functional semiotics of art [A].In P.Fries & M.Gregory (eds.). Discourse in Society: Systemic Functional Perspectives[C].Nor-wood:Ablex,1995.185-209.

[8]胡壯麟.社會符號學研究中的多模態(tài)化[J].外語教學與研究,2007，（1）:1-10.

[9]李戰(zhàn)子.多模式話語的社會符號學分析[J].外語研究,2003，（5）:1-4.

[10]韋琴紅.多模態(tài)化與大學生多元識讀能力研究[J].外語電化教學,2009，（3）:28-32.

[11]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語,2009，（1）:24-30.

[12]曾蕾,廖海青.功能語言學與外語教學研究[M].北京:外語教學與研究出版社,2010.86-88.