多模態(tài)輸入對二語寫作中內(nèi)容創(chuàng)造的影響探討

陳睿殷 閆秀娟 馬英超

摘 要：多模態(tài)輸入方式能有效將寫作教學(xué)從語言應(yīng)用層面，提升到創(chuàng)造能力引導(dǎo)開發(fā)層面，從本質(zhì)上提高學(xué)生二語寫作的思維活躍性。文章通過定性、定量研究分析輸入模態(tài)對大學(xué)生二語寫作內(nèi)容創(chuàng)造的影響。研究在使用測量指標(biāo)的情況下，對比分析“文本+視頻”、視頻、文本等三類輸入模態(tài)下大學(xué)生寫作內(nèi)容中的創(chuàng)造力，發(fā)現(xiàn)多模態(tài)輸入下的作文內(nèi)容創(chuàng)造力在流利性、新穎性、靈活性及豐富性等方面均優(yōu)于單模態(tài)輸入下的作文內(nèi)容創(chuàng)造力。

關(guān)鍵詞：多模態(tài);輸入模態(tài);二語產(chǎn)出;協(xié)同效應(yīng);英語教學(xué)

中圖分類號：G642 文獻(xiàn)標(biāo)志碼：A文章編號：1008-3561（2022）01-0114-03

近年來，多模態(tài)輸入模式在二語習(xí)得領(lǐng)域引起廣泛關(guān)注，一些研究圍繞多模態(tài)輸入對二語寫作的影響展開。本研究旨在調(diào)查輸入模式對大學(xué)生的二語寫作創(chuàng)造力的影響，順應(yīng)了這種趨勢。讀后續(xù)寫是一種新興的寫作練習(xí)模式，其操作方法是將一篇短文的結(jié)尾抹去，讓學(xué)生閱讀截留部分，并要求學(xué)生在理解截留部分的基礎(chǔ)上續(xù)寫，以補(bǔ)全內(nèi)容，使短文完整。筆者將多模態(tài)輸入方式與讀后續(xù)寫有機(jī)結(jié)合，通過不同輸入模態(tài)（單模態(tài)輸入、多模態(tài)話語輸入）來對比輸入模態(tài)對二語寫作中內(nèi)容創(chuàng)造的影響，以期找到最有利于學(xué)習(xí)者的多模態(tài)輸入方法，從而為大學(xué)英語教學(xué)提供有參考價值的調(diào)研信息。

一、關(guān)于多模態(tài)輸入和讀后續(xù)寫的研究概述

1.多模態(tài)輸入

對于“多模態(tài)”一詞的定義，顧曰國教授認(rèn)為，模態(tài)即人類通過感官（如視覺、聽覺等）跟外部環(huán)境（如人、機(jī)器、物件、動物等）之間的互動方式。用單個感官進(jìn)行互動的叫單模態(tài)，用兩個感官進(jìn)行互動的叫雙模態(tài)，用三個或三個以上感官進(jìn)行互動的叫多模態(tài)。人類利用三個或三個以上的感官與外部環(huán)境互動就稱作多模態(tài)互動方式，而多模態(tài)互動教學(xué)法則由多模態(tài)互動方式衍生而來。王炤教授提到，多模態(tài)的概念產(chǎn)生于現(xiàn)代信息技術(shù)高度發(fā)達(dá)的背景下，指的是在教學(xué)過程中，通過教學(xué)主體與客體、客體與客體之間的相互作用來實現(xiàn)教學(xué)參與對象之間的多向互動，如師生互動、生生互動等。吳玲娟老師在文獻(xiàn)中提到，模態(tài)是以媒介為物質(zhì)基礎(chǔ)的，多模態(tài)教學(xué)模式必須與多媒體學(xué)習(xí)相結(jié)合才能實現(xiàn)效益最大化。在多模態(tài)互動教學(xué)中，教師需通過多媒體設(shè)備，綜合利用語言文字、圖像、聲音、動畫、色彩、表情及其他符號資源，來激發(fā)學(xué)生的視、聽、觸覺多種感官協(xié)同運(yùn)作，能更有效地提高學(xué)生的閱讀、聽力和口語等語言水平。戴勁教授在其研究中提到，聽力和閱讀是兩種最主要的語言輸入模式，也是接受性語言技能最基本的教學(xué)和訓(xùn)練形式。就話語理解而言，聽覺提示固然很重要，但聽者同時還需要借助一些非語言性提示，因為語言信息與非語言信息通常是相輔相成的。視聽教學(xué)法的特點是在提供聽覺語言輸入的同時，還為學(xué)習(xí)者提供視覺輸入，這便是其優(yōu)勢。綜上所述，在視覺輸入、聽覺輸入等多種信息源的協(xié)同刺激下，外語學(xué)習(xí)者的學(xué)習(xí)積極性會有所提升。本文主要探討多模態(tài)輸入方式對激發(fā)學(xué)生在二語寫作創(chuàng)造力方面的作用。

2.讀后續(xù)寫

20世紀(jì)90年代末，外語界首次提出外語寫長法（王初明2000）。隨著“學(xué)伴用隨”原則（王初明2015）提出后，讀后續(xù)寫的理論意義逐漸被外語學(xué)者及教師所認(rèn)識，其應(yīng)用價值被重新挖掘。讀后續(xù)寫被視為促學(xué)外語最有效的方法之一，因為讀后續(xù)寫使得學(xué)習(xí)者必須與閱讀材料及其作者互動，從而向本族語者學(xué)習(xí)并在本族語境中學(xué)習(xí)地道表達(dá)（王初明 2012）。但讀后續(xù)寫同時也具有不足之處，這是因為閱讀材料是靜態(tài)的，動態(tài)特征不如雙向互動的對話明顯，不能有效地向?qū)W習(xí)者提供即時反饋，所以這對學(xué)習(xí)者的學(xué)習(xí)自主性要求較高（王初明，2012）。以往有關(guān)讀后續(xù)寫的實證研究大都停留在單模態(tài)輸入及雙模態(tài)話語輸入，鮮有多模態(tài)輸入。本次研究的創(chuàng)新之處在于通過不同輸入模態(tài)（單模態(tài)輸入、多模態(tài)話語輸入）來對比輸入模態(tài)對二語寫作中內(nèi)容創(chuàng)造的影響。

二、多模態(tài)輸入對二語寫作中內(nèi)容創(chuàng)造影響的實驗設(shè)計

1.測試的對象

本次研究的被試（測試的對象）是廣州某高校商務(wù)英語專業(yè)三年級的5名學(xué)生。他們都通過了大學(xué)英語六級考試，且成績都在500分以上。這5名學(xué)生通過不同模態(tài)輸入，先后經(jīng)歷了兩次英語讀后續(xù)寫，即多模態(tài)輸入讀后續(xù)寫和單模態(tài)輸入讀后續(xù)寫。

2.實驗過程

本次實驗采用線上寫作與線下采訪相結(jié)合的方式。線上寫作任務(wù)在批改網(wǎng)完成，這5名被試先后完成2次續(xù)寫任務(wù)。其中，故事一是一篇魔法小說的節(jié)選，被試在看完文本后再看一個小視頻（與故事一內(nèi)容完全一致）;故事二則是世界名著《金銀島》的節(jié)選片段，被試在看完文本后直接寫作。這兩篇故事難易適中，故事情節(jié)引人入勝，生詞較少，適合被試當(dāng)前英語水平。這兩篇英語故事篇幅為370詞～ 385詞，被試?yán)m(xù)寫詞數(shù)要求不少于220詞，不限時間完成。

3.作文內(nèi)容創(chuàng)造力測量

由于外語界對于創(chuàng)造力的定義說法不一，經(jīng)研究人員討論，本次實驗將分別從以下四個測量指標(biāo)統(tǒng)一對被試作文內(nèi)容進(jìn)行創(chuàng)造力評判。

（1）流利性：過程視角的寫作流利性主要理解為產(chǎn)出語句的輕松自如程度，作文內(nèi)容的流利性將通過每篇作文中包含的情節(jié)個數(shù)來評判。

（2）新穎性：寫作新穎性是指內(nèi)容創(chuàng)造的“前所未有性”。在本次評判中，內(nèi)容創(chuàng)造的新穎性將側(cè)重每篇作文中包含的新的人物和場景個數(shù)。

（3）靈活性：寫作靈活性是指安排寫作內(nèi)容的方式、方法及藝術(shù)性，具體測量指標(biāo)將通過每篇作文中包含的新的人物關(guān)系及不同視角的數(shù)量來評判。

（4）豐富性：詞匯豐富性對二語學(xué)習(xí)者寫作評分具有顯著影響。本次評判將從每篇作文所包含的形容詞與副詞的數(shù)量來測量內(nèi)容創(chuàng)造的豐富性。

三、多模態(tài)輸入對二語寫作中內(nèi)容創(chuàng)造影響的數(shù)據(jù)分析

對于流利性、新穎性、靈活性三個方面的創(chuàng)造力指標(biāo)，本次評判采用兩位統(tǒng)計員分別人工點數(shù)的方式統(tǒng)計，最終個數(shù)取兩位統(tǒng)計員點數(shù)數(shù)值的平均值。而對于豐富性這一指標(biāo)，研究小組借助工具Tree Tagger與AntConc3.4.4.0進(jìn)行詞性統(tǒng)計。最后，統(tǒng)計員再應(yīng)用描述統(tǒng)計和定性分析相結(jié)合的方法對大學(xué)生不同輸入模態(tài)下對英語續(xù)寫任務(wù)的看法進(jìn)行評判。

四、多模態(tài)輸入對二語寫作中內(nèi)容創(chuàng)造影響的實驗結(jié)果

1.實驗工具

本次研究先使用工具Tree Tagger（詞性標(biāo)注、詞型還原的工具）對被試作文進(jìn)行詞性編碼，再使用AntConc3.4.4.0（語料庫檢索軟件）處理被試作文文本。

2.結(jié)果分析

（1）兩組作文的流利性對比分析。多模態(tài)組所包含的情節(jié)個數(shù)平均值為3，而單模態(tài)組所包含的情節(jié)個數(shù)的平均值為2.6。由此可見，在多模態(tài)輸入的影響下，被試能夠想象出更多的故事情節(jié)，使得其所完成的作文內(nèi)容相對豐富。相比之下，單模態(tài)輸入影響下被試所輸出的內(nèi)容情節(jié)較為單一。這說明多模態(tài)輸入有利于作文內(nèi)容、故事情節(jié)的創(chuàng)造。另外，多模態(tài)組中有80%的學(xué)生采用對話形式作為續(xù)寫的開頭，這一點延續(xù)了視頻中人物的對話，而單模態(tài)組學(xué)生的作文開頭則各式各樣。由此可見，多模態(tài)輸入為二語寫作的內(nèi)容創(chuàng)造提供了良好的情境背景，有利于學(xué)生較為輕松地完成寫作任務(wù)。

（2）兩組作文的新穎性對比分析。多模態(tài)組中有2名學(xué)生引入了新的場景，1名學(xué)生引入了新的人物;而單模態(tài)組中只有2名學(xué)生引入了新的場景。由此可見，兩組新穎性都有所欠缺，但是相比較而言，多模態(tài)組略勝于單模態(tài)組。

（3）兩組作文的靈活性對比分析。多模態(tài)組包含的新的人物關(guān)系數(shù)量為8個，全部采用第三人稱視角續(xù)寫，這與故事一的敘事視角相吻合。單模態(tài)組包含的新的人物關(guān)系數(shù)量為4個，其中有80%的學(xué)生延續(xù)了故事二的第一人稱視角，只有1名學(xué)生采用了第三人稱視角。實驗數(shù)據(jù)表明，多模態(tài)組在作文內(nèi)容創(chuàng)造的靈活性方面明顯高于單模態(tài)組。多模態(tài)輸入通過把故事人物角色的動作、語言和神情形象化、可視化地表現(xiàn)出來，為被試提供了更多寫作內(nèi)容的細(xì)節(jié)，幫助他們較快建立角色關(guān)系，從而幫助被試更加清晰地了解文章的主要內(nèi)容。

（4）兩組作文的豐富性對比分析。多模態(tài)組所包含的細(xì)節(jié)個數(shù)平均數(shù)為41.4個，而單模態(tài)組所包含的細(xì)節(jié)個數(shù)平均數(shù)為38.2個，多模態(tài)組略高于單模態(tài)組。因樣本數(shù)量較少，該項仍需日后深入研究。

（5）兩組作文整體對比分析。總的來說，多模態(tài)輸入下的作文內(nèi)容創(chuàng)造力在流利性、新穎性、變通性及豐富性等各方面均優(yōu)于單模態(tài)輸入下的作文內(nèi)容創(chuàng)造力。

五、多模態(tài)輸入對二語寫作中內(nèi)容創(chuàng)造影響的討論內(nèi)容及結(jié)論分析

主觀上的“創(chuàng)造”和客觀模型所規(guī)定的“創(chuàng)造”不具有同一含義，人的標(biāo)準(zhǔn)、心智的標(biāo)準(zhǔn)，和機(jī)械的標(biāo)準(zhǔn)、羅格斯式的標(biāo)準(zhǔn)有非常大的差異。受試者在采訪中表達(dá)出強(qiáng)烈的創(chuàng)造欲望，對于文章續(xù)寫有著獨(dú)特的視角。特別是他們提到，視頻有助于學(xué)習(xí)者從文章中學(xué)習(xí)到新的詞匯含義，理解人物形象，提供新的解讀視角，發(fā)揮想象力寫作，這些想法與實驗理念是一致的。這說明多模態(tài)輸入對于激發(fā)學(xué)生的創(chuàng)造性有所裨益。另外，實驗中對結(jié)論產(chǎn)生負(fù)面影響的與靈活性和豐富性有關(guān)的人稱視角和情節(jié)處理不一定適用于創(chuàng)造性續(xù)寫。

根據(jù)討論內(nèi)容，本篇依次得出以下分析結(jié)論。1）在教學(xué)中仍然要以人文的標(biāo)準(zhǔn)為主，盡量從人的角度看待創(chuàng)造性語域和創(chuàng)造力范疇。2）多模態(tài)輸入對發(fā)散性寫作的影響應(yīng)試行更積極的標(biāo)準(zhǔn)，打開寫作教學(xué)中關(guān)于“創(chuàng)造”的視野。3）在實際教學(xué)的早期階段，仍有必要把學(xué)生詞匯的充分使用和場景的豐富化作為學(xué)生創(chuàng)造力發(fā)展的標(biāo)準(zhǔn)。這一點可以通過詞匯問卷、閱讀問卷等方式在教學(xué)中實現(xiàn)量化可控的研究。4）在教學(xué)中要體現(xiàn)實驗理念的多模態(tài)輸入對學(xué)生寫作創(chuàng)造力激發(fā)的四個標(biāo)準(zhǔn)，還需要更多樣的訓(xùn)練方法和更開放的寫作手段。5）在實際教學(xué)中，創(chuàng)新教學(xué)依然要和傳統(tǒng)教學(xué)一樣有必要的獎懲機(jī)制，比如要求寫作和平時成績掛鉤，以課堂限時的方式完成，隨機(jī)抽取人員上臺介紹自己的寫作想法等，以此提高學(xué)生學(xué)習(xí)的積極性和主觀能動性，減少學(xué)生的抵觸心理。這種做法應(yīng)該能為后續(xù)的研究帶來更理想的結(jié)果。

綜上所述，多模態(tài)輸入對于激發(fā)學(xué)生的寫作創(chuàng)造力有積極的影響，教師在實際教學(xué)中應(yīng)繼續(xù)采取多模態(tài)輸入的寫作教學(xué)方法，來提高學(xué)生二語寫作中的內(nèi)容創(chuàng)造力。

參考文獻(xiàn)：

[1]蘇冬涼.多模態(tài)視角下高校英美文學(xué)課翻轉(zhuǎn)課堂教學(xué)模式構(gòu)建[J].黑河學(xué)院學(xué)報，2021（01）.

[2]申旭娜.感知學(xué)習(xí)風(fēng)格與任務(wù)模態(tài)配置對漢語學(xué)習(xí)成績的影響[D].北京外國語大學(xué)，2020.

[3]吳靜靜.基于ELAN的多模態(tài)話語分析——以第九屆“外教社杯”全國高校外語教學(xué)大賽獲獎視頻為例[J].湖北文理學(xué)院學(xué)報，2020（12）.

[4]蔣新莉，吳紅云.二語寫作元認(rèn)知體驗研究述評[J].西安外國語大學(xué)學(xué)報，2017（04）.

[5]裘瑩瑩，馬廣惠.二語寫作中同伴反饋研究述評[J].西南交通大學(xué)學(xué)報：社會科學(xué)版，2017（04）.

[6]李紹鵬，楊連瑞.二語習(xí)得“以寫促學(xué)”的理據(jù)及其路徑[J].北京第二外國語學(xué)院學(xué)報，2019（03）.

[7]孫厭舒，王俊菊.二語寫作體裁教學(xué)研究的回顧與反思[J].解放軍外國語學(xué)院學(xué)報，2015（01）.

[8]張?；?，夏文靜.二語寫作思辨能力教學(xué)策略[J].東北師大學(xué)報：哲學(xué)社會科學(xué)版，2012（05）.

Exploration of the Influence of Multimodal Input on Content Creation in Second Language Writing

Chen Ruiyin， Yan Xiujuan， Ma Yingchao

（School of Foreign Languages， South China University of Technology， 510000， China）

Abstract： Multimodal input can effectively promote writing teaching from the level of language application to the level of creative ability guidance and development， and essentially improve students' thinking activity in second language writing. This paper analyzes the influence of input mode on college students' second language writing content creation through qualitative and quantitative research. Using the measurement indicators， this study compares and analyzes the creativity of college students' writing content under the three input modes of "text + video"， video and text， it is found that the creativity of composition content under multimodal input is better than that under single-mode input in terms of fluency， novelty， flexibility and richness.

Key words： multimodal; input mode; second language output; synergy; English teaching