多模態(tài)元語言的互動闡釋及優(yōu)化設(shè)計(jì)

摘要：EFLT多模態(tài)微課元語言中各模態(tài)不同的互動關(guān)系可以實(shí)現(xiàn)不同的闡釋功能：模態(tài)轉(zhuǎn)換可以實(shí)現(xiàn)異位闡釋，模態(tài)互補(bǔ)可以實(shí)現(xiàn)協(xié)同闡釋，模態(tài)嵌套可以實(shí)現(xiàn)重點(diǎn)闡釋，模態(tài)疊合可以實(shí)現(xiàn)動態(tài)闡釋。EFLT微課元語言的優(yōu)化設(shè)計(jì)要考慮社會適應(yīng)性、語境制約性和多層需求性，應(yīng)采用多元模態(tài)，在手段、功能、內(nèi)容和理念等方面進(jìn)行優(yōu)化設(shè)計(jì)。

關(guān)鍵詞：多模態(tài)元語言；微課；互動闡釋；優(yōu)化設(shè)計(jì)

隨著科技的發(fā)展，多媒體對語義傳遞的介入加深，話語分析領(lǐng)域從只關(guān)注語言本身這一模態(tài)轉(zhuǎn)向多模態(tài)話語分析方法（MDA）研究語符和非語符表達(dá)形式，嘗試獲得“統(tǒng)一而全面的描述”[1]。雖然研究成果豐碩，不少學(xué)者證實(shí)了多模態(tài)與我國以英語為外語的教學(xué)（EFLT）關(guān)系密切。張德祿、李玉香、王璐等強(qiáng)調(diào)了英語課堂的多模態(tài)的協(xié)同作用[2]，但是，從多模態(tài)角度，對于元語言（Matalanguage，簡稱ML）——用于描寫和解釋對象語言（Object Language，簡稱OL） 的第二層次語言的研究卻極少。本文試從多模態(tài)角度出發(fā)，以EFLT教學(xué)微課為例，分析基本的元語言單元內(nèi)，元語言的各模態(tài)互動闡釋特征，并探討所呈現(xiàn)的特征是受哪些因素影響和制約，以期為實(shí)現(xiàn)多模態(tài)元語言優(yōu)化提供參考。

一、多模態(tài)元語言與EFLT微課元語言

1.多模態(tài)元語言

20世紀(jì)30年代，波蘭邏輯學(xué)家塔斯基指出，因所指稱的對象不同，語言可分為兩個(gè)層次：用來談?wù)撝車澜绲恼Z言為第一層次語言，即對象語言；而用來談?wù)撜Z言本身的語言為第二層次語言，即元語言。[3]元語言是用來描寫和闡釋語言的。在現(xiàn)代社會，傳統(tǒng)單一模態(tài)（如文本）的闡述形式已經(jīng)被各種模態(tài)有機(jī)結(jié)合的闡述方式所替代。因此，對于元語言的研究不能僅關(guān)注文本這一層面，而應(yīng)進(jìn)行全面的研究。

2.EFLT微課元語言

EFLT為外語教學(xué)領(lǐng)域，教學(xué)內(nèi)容為英語語言，涉及英語國家學(xué)習(xí)生活的方方面面。教學(xué)語言分為兩個(gè)部分，一是師生的交際語言，二是對目的語進(jìn)行描寫和闡釋的語言，即是元語言。微課元語言是具有典型性和代表性的元語言：第一，“微課”的核心組成內(nèi)容是教學(xué)視頻（課例片段）或?qū)ｎ}講解片段，具有時(shí)間較短、內(nèi)容精煉、主題集中等特點(diǎn)；第二，與現(xiàn)代技術(shù)結(jié)合的微課語言具有超文本的多模態(tài)性質(zhì)；第三，微課比日常課堂教學(xué)語言的隨機(jī)性小，更具有代表性，有助于研究的科學(xué)性。

二、微課元語言的互動闡釋特征

在Lim和張德祿的多模態(tài)分析框架中，各模態(tài)間的關(guān)系被區(qū)分為互補(bǔ)（強(qiáng)化互補(bǔ)與非強(qiáng)化互補(bǔ)）和非互補(bǔ)關(guān)系（交疊、內(nèi)包和語境交互）[4][5]。參考該理論結(jié)果，結(jié)合元語言的闡釋性特征，可對雅思微課元語言各模態(tài)間的互動闡釋關(guān)系進(jìn)行分析研究。

筆者抽樣選取了外語教學(xué)權(quán)威網(wǎng)站、全國微課大賽外語獲獎微課及湖南農(nóng)業(yè)大學(xué)外語類優(yōu)質(zhì)網(wǎng)絡(luò)示范課共30節(jié)微課進(jìn)行分析，并與3所學(xué)校的10名雅思教師和20 名學(xué)生進(jìn)行訪談和調(diào)查。

多模態(tài)互動研究多以“活動”為基本單位。因此，本研究將教學(xué)微課元語言以一個(gè)元語言闡釋活動為單位進(jìn)行拆分研究。 結(jié)果表明，教學(xué)微課元語言的各模態(tài)的最基本的關(guān)系可以歸納為以下幾類，并實(shí)現(xiàn)了不同的闡述功能。

1.模態(tài)轉(zhuǎn)換（Model Transfer）——實(shí)現(xiàn)異位闡釋OL——ML：A→B

EFLT語域內(nèi)各模態(tài)的轉(zhuǎn)換一直就有，但比較單一，大多數(shù)情況下，OL為文本模態(tài)，ML基本以教師的口語模態(tài)的闡述形式為主?，F(xiàn)代多媒體技術(shù)干預(yù)的微課內(nèi)，這種模態(tài)轉(zhuǎn)換有了更為便利的條件，打破了從文本到口語模態(tài)的固有模式，變成了從文本到聽覺模態(tài)、甚至動態(tài)視覺模態(tài)等轉(zhuǎn)換的方式，從而達(dá)到異位闡釋的目的。例如： 某英語文章是講述咖啡的制作過程，一般是用中文口頭翻譯來進(jìn)行內(nèi)容解釋，但是容易讓學(xué)生覺得抽象且枯燥。在微課中，有教師運(yùn)用無聲視頻動畫描述和解釋了文本內(nèi)容，生動形象的過程再現(xiàn)有助于學(xué)生迅速了解文章的大意，而且大膽的猜測、主動的記憶和理解有助于鍛煉學(xué)生的語言思維能力。更重要的是，異位闡述的實(shí)現(xiàn)，有助于運(yùn)用非傳統(tǒng)的異質(zhì)模態(tài)進(jìn)行闡述的微課堂元語言的優(yōu)化，有助于教學(xué)方式和手段的創(chuàng)新，有助于意義潛勢的實(shí)現(xiàn)及意義闡述的突破和發(fā)展。

·學(xué)科與專業(yè)·多模態(tài)元語言的互動闡釋及優(yōu)化設(shè)計(jì)

2.模態(tài)互補(bǔ)（Modal Complement）——實(shí)現(xiàn)協(xié)同闡釋OL——ML：A+B

微課ML中，多模態(tài)的協(xié)同方式還有模態(tài)的互補(bǔ)。模態(tài)互補(bǔ)是各模態(tài)在闡述的不同時(shí)期出現(xiàn)，如前半部分闡述用A模態(tài)，后半部分闡述用B，或者多個(gè)模態(tài)或交替或輪換出現(xiàn)的模式，沒有疊合部分，但因闡述主題相互關(guān)聯(lián)，共同作用。模態(tài)的選擇多基于不同的闡釋需求，而各個(gè)模態(tài)在整個(gè)元語言闡釋過程中相互補(bǔ)充，共同完成整個(gè)闡釋過程。如，有教師在解釋palm這個(gè)詞時(shí)，先使用身體語言，通過手掌的展示，讓學(xué)生猜palm所含的“手掌”的意思，然后轉(zhuǎn)換模態(tài)，通過PPT上的“棕櫚樹”圖片將palm所含“棕櫚樹”的意思告知學(xué)生，并放置手掌與棕櫚樹的圖片相似形狀對比讓學(xué)生將這兩個(gè)意思相聯(lián)系，最后再使用音頻模態(tài)糾正發(fā)音。這幾種模態(tài)是分步的，起協(xié)同闡釋的功能。

3.模態(tài)嵌套（Modal Insertion）——實(shí)現(xiàn)重點(diǎn)闡釋OL——ML：（ A （B） ）

模態(tài)嵌套是指以一種模態(tài)闡釋為主，另一種模態(tài)嵌入其中進(jìn)行強(qiáng)化，以突出重點(diǎn)的基本模式。如圖，A一直貫穿闡釋過程始終，而B是為加強(qiáng)其中一部分嵌套進(jìn)去的。在高校教學(xué)中，教學(xué)內(nèi)容豐富、目的明確，但課時(shí)有限，強(qiáng)調(diào)重點(diǎn)突出，因此，這種闡釋方式經(jīng)常被選擇。例如，在用口語模態(tài)闡述寫作的連貫與銜接的過程中，教師在口頭講完“l(fā)inking back”（“鏈接回”） 這一技巧后，就在PPT上展示一段英文文章，用回指箭頭和環(huán)環(huán)相扣的圖形生動形象地表現(xiàn)出來。此時(shí)，圖形模態(tài)與口語模態(tài)在教師需要強(qiáng)調(diào)的部分同時(shí)出現(xiàn)，因有不同模態(tài)插入，突出強(qiáng)化了重點(diǎn)，加強(qiáng)了學(xué)生的認(rèn)知和理解。

4.模態(tài)疊合（Modal Superposition）——實(shí)現(xiàn)動態(tài)闡釋OL——ML：AB…

模態(tài)疊合是現(xiàn)代技術(shù)支撐下的EFLT語域中較常用的方式，指一個(gè)以上模態(tài)從闡釋之初就開始出現(xiàn)，直至闡釋完成，微課中最常見這種模式。講解的聲音、動態(tài)視頻、字幕等疊加，共同發(fā)揮作用。

根據(jù)多模態(tài)互動分析理論， “共時(shí)” 疊加的幾種模態(tài)，根據(jù)注意度或意識度（levels of attention/ awareness）， 應(yīng)區(qū)為“前景”、“中景”和“背景”等層次[6]。前景注意度最高，背景最低。在微課元語言的疊合結(jié)構(gòu)中，對于不同的學(xué)習(xí)者而言，會出現(xiàn)注意度不同的情況，這是由于外語教學(xué)的特殊性、學(xué)生外語能力差異造成的。如：微課中的多模態(tài)元語言闡釋時(shí)，對于語言能力強(qiáng)的學(xué)生，教師的口語模態(tài)多為前景，但是對于英語聽力差的學(xué)生來說，字幕、甚至是圖像則變成了前景。因此，微課元語言的模態(tài)注意度并不是固定或確定的，而是動態(tài)的，動態(tài)可變的前景為動態(tài)闡釋奠定了基礎(chǔ)。

據(jù)微課教師與學(xué)生的訪談結(jié)果也呈現(xiàn)相應(yīng)的結(jié)果，模態(tài)疊合可以解決雅思學(xué)習(xí)者語言基礎(chǔ)不同的問題。比如，基礎(chǔ)好的學(xué)習(xí)者可以直接從音頻模態(tài)理解意義，而基礎(chǔ)不好的學(xué)習(xí)者可借助字幕，甚至結(jié)合視頻理解意義，從而實(shí)現(xiàn)微課中的多模態(tài)元語言的動態(tài)闡釋功能。這里的動態(tài)是指闡釋重點(diǎn)模態(tài)的可變性、動態(tài)性特征。

三、微課元語言的優(yōu)化設(shè)計(jì)原則

基于多模態(tài)相關(guān)理論，結(jié)合微課元語言的模態(tài)互動關(guān)系及其相應(yīng)闡釋功能，可以總結(jié)EFLT微課元語言的優(yōu)化要基于以下原則。

1.社會適應(yīng)原則

語言應(yīng)具有社會適應(yīng)性，這是語言的本質(zhì)特征。信息多模態(tài)化的背景下，人類進(jìn)入了社會符號 “多模態(tài)化”的新世紀(jì)[7]。知識的載體已經(jīng)從傳統(tǒng)文本的“單一模態(tài)”向基于多符號系統(tǒng) （如視頻、音頻、圖片、手勢、空間等）的“多模態(tài)”轉(zhuǎn)變。學(xué)生和教師可共享利用的資源從文本向立體化、多元化發(fā)展。教學(xué)元語言及語義闡釋的多模態(tài)化，使得闡釋更加充分和生動，順應(yīng)社會發(fā)展的，具有現(xiàn)代教育發(fā)展的特性。這迫切要求傳統(tǒng)教學(xué)元語言向多模態(tài)方向發(fā)展。

2.語境制約原則

多模態(tài)分析框架指出，多模態(tài)語言首先受語境的制約，包括情景語境與文化語境。EFLT微課教學(xué)以幫助學(xué)生解決國際交流中的語言文化障礙、適應(yīng)英語語言環(huán)境、提高英語綜合運(yùn)用能力為教學(xué)目的，受情景語境和文化語境的制約明顯。一方面，情景語境對于幫助學(xué)生適應(yīng)出國留學(xué)的學(xué)習(xí)生活具有重要的作用；另一方面，文化元語言對于學(xué)生理解異域文化具有相當(dāng)重要的作用，也應(yīng)當(dāng)在教學(xué)微課元語言中得到重視。但是，情景語境在文化語境的背景下起作用。因此，EFLT多模態(tài)元語言的內(nèi)容優(yōu)化首先要優(yōu)先文化闡釋。

3.多層需求原則

微課元語言要考慮多層需求，主要原因在于闡釋對象的差異性，即教學(xué)對象的外語水平的差異。中國典型的EFLT課堂中，每班至少20-30人，有的課堂甚至超過50人，學(xué)生語言能力差異較大。另外，學(xué)生語言學(xué)習(xí)的目標(biāo)不同造成各自對自己語言水平要求的差異。傳統(tǒng)課堂里，教師只能根據(jù)多數(shù)中等學(xué)生水平制定教學(xué)目標(biāo)、闡釋教學(xué)內(nèi)容。語言能力特別強(qiáng)的學(xué)生和特別差的兩極學(xué)生很難適應(yīng)，這是中國英語教育長期以來難以解決的問題。因?yàn)槲⒄n多以學(xué)生分散自主學(xué)習(xí)的形式使用，且具有實(shí)現(xiàn)多層闡釋的功能，因此，在設(shè)計(jì)時(shí)需要、并且能夠嘗試解決這個(gè)問題。

四、微課元語言的優(yōu)化設(shè)計(jì)方法

1.手段優(yōu)化——重多元

微課元語言要符合社會適應(yīng)原則，就要在設(shè)計(jì)時(shí)重視其“多模態(tài)”特征。從抽樣的微課來看，高校英語教育者（即微課元語言的設(shè)計(jì)者）雖然多贊同和支持微課元語言多模態(tài)化方向，但對于多模態(tài)的認(rèn)識不足和表述手段單一。因此，首先要提高多模態(tài)意識，優(yōu)化微課元語言的表述手段，實(shí)現(xiàn)真正的“多模態(tài)化”。

表述手段的優(yōu)化要強(qiáng)調(diào)語符與非語符等多元模態(tài)的結(jié)合。部分高校微課評價(jià)標(biāo)準(zhǔn)及高層次微課建設(shè)標(biāo)準(zhǔn)中，已經(jīng)將字幕設(shè)計(jì)、圖像表達(dá)等非語符模態(tài)考慮在內(nèi)。微課中，對于目的語進(jìn)行闡釋時(shí)，圖畫模態(tài)、圖表模態(tài)、動畫模態(tài)、包含影視作品在內(nèi)的試聽結(jié)合模態(tài)、甚至是音樂模態(tài)等等，能在特定層面促進(jìn)和強(qiáng)化學(xué)生的認(rèn)知和理解，是充分進(jìn)行闡釋的可選元素，可以作為優(yōu)化設(shè)計(jì)的基本模態(tài)。

值得一提的是，在教學(xué)微課設(shè)計(jì)中，有的教育者表示多元模態(tài)的設(shè)計(jì)想法得不到實(shí)現(xiàn)，主要是因?yàn)榧夹g(shù)的缺失。因此，設(shè)計(jì)者要不斷提高資源共享意識與能力，選擇性地加以利用大數(shù)據(jù)背景下豐富的EFLT多模態(tài)資源或工具。高校教學(xué)改革中也應(yīng)當(dāng)實(shí)施多模態(tài)教育技術(shù)培訓(xùn)機(jī)制、技術(shù)團(tuán)隊(duì)輔助英語教師團(tuán)隊(duì)等機(jī)制，促進(jìn)微課元語言的優(yōu)化設(shè)計(jì)，更好服務(wù)于教學(xué)。

2.功能優(yōu)化——重合成

相比時(shí)間、地點(diǎn)統(tǒng)一條件下的、相對固定的傳統(tǒng)課堂教學(xué)元語言，多模態(tài)微課元語言應(yīng)該具有“可選擇性”和“非固定性”，即“[+選擇]”“[-固定]”[8]，能解決教學(xué)對象水平和學(xué)習(xí)目的的差異問題。

這就要求微課元語言需以各模態(tài)及其不同的結(jié)合及互動形式形成綜合的載體，以實(shí)現(xiàn)合成性的功能。也就是說，兼顧不同學(xué)習(xí)目的和語言水平學(xué)生要求的各項(xiàng)功能要合成在同一微課元語言中。最理想的狀態(tài)是，這些合成功能反過來又可以由教師或?qū)W習(xí)者自行選擇進(jìn)行拆解，完成分項(xiàng)教學(xué)目標(biāo)。

教師可以多設(shè)計(jì)模態(tài)疊合的微課元語言活動單元（如既有音頻，又有圖片、字幕、視頻、注釋等），設(shè)置單個(gè)模態(tài)拆解、多個(gè)模態(tài)合成選項(xiàng)。如，設(shè)置字幕或視頻屏蔽的可選模式，指導(dǎo)語言水平較高的優(yōu)秀學(xué)生拆解模態(tài)，以音頻為主要前景（注意力焦點(diǎn)），而自動屏蔽除音頻外的其它模態(tài)，而語言基礎(chǔ)較差的學(xué)生，可以選擇點(diǎn)擊音視頻合成模式，由視頻輔助理解音頻內(nèi)容，最后再進(jìn)入添加字幕模式和其它備注闡釋方式，進(jìn)行整體合成的元語言闡釋。調(diào)查顯示，成績較差的學(xué)生也不會完全以視頻為前景，而是在視頻、字幕、音頻、注釋等模態(tài)之間轉(zhuǎn)換，這有助于保護(hù)學(xué)生的學(xué)習(xí)積極性，也是因材施教、分層教學(xué)的重要嘗試。在學(xué)生語言能力進(jìn)步的過程中，學(xué)生自己可以發(fā)現(xiàn)其前景從輔助語言模態(tài)到模態(tài)間轉(zhuǎn)換再到語言模態(tài)的變化。因此，微課元語言要重視將不同的功能合成在元語言闡釋中，以滿足多層次的學(xué)習(xí)需要。

3.內(nèi)容優(yōu)化——重闡釋

EFLT微課元語言應(yīng)具有EFL元語言的共同特征，兼具對對象語言的描寫和闡釋，即“描寫+闡釋”[9]。描寫是表層，闡釋才是深層。但現(xiàn)今，闡釋性元語言只在優(yōu)秀的微課（如微課大賽獲獎作品）中才有充分的體現(xiàn)，大多數(shù)EFLT微課元語言多進(jìn)行語言及其表象的描述，只是解決了是什么的問題，沒有解決為什么的問題。闡釋性元語言在英語教學(xué)中還沒有得到足夠的重視。所以， 進(jìn)行EFLT微課元語言優(yōu)化設(shè)計(jì)時(shí)，在內(nèi)容上應(yīng)該要更加重視闡釋，以期從深層分析語言現(xiàn)象產(chǎn)生的原因。

闡釋需要確保有效性。有效的闡釋應(yīng)是以教學(xué)目的為基礎(chǔ)的闡釋。因此，在設(shè)計(jì)多模態(tài)微課元語言時(shí)，除了考慮整個(gè)課程教學(xué)目標(biāo)和每一微課的教學(xué)目標(biāo)外，還要將每一個(gè)元語言活動單元的教學(xué)目標(biāo)細(xì)化設(shè)置。根據(jù)不同的已經(jīng)細(xì)化了的目標(biāo)，選擇相應(yīng)的多模態(tài)互動闡釋方式，以確保闡釋的有效性。如前所述，教師可以選擇模態(tài)間的相互協(xié)作形式，達(dá)到不同的闡釋效果：如果要突出教學(xué)重點(diǎn)，就要多用重點(diǎn)闡釋，就多用模態(tài)嵌套；如果要實(shí)現(xiàn)多層目標(biāo)，就要多用動態(tài)闡釋，多用模態(tài)疊合實(shí)現(xiàn)等等。

4.理念優(yōu)化——重文化

情景語境與文化語境是多模態(tài)元語言的制約因素。其中，情景語境又受文化語境的制約。因此，多模態(tài)微課元語言優(yōu)化時(shí)要進(jìn)行理念優(yōu)化，確定文化的核心地位，將文化納入語言學(xué)習(xí)的重要范疇，培養(yǎng)學(xué)生對多元文化的識讀能力及跨文化交際能力。

在中國的英語課堂中，雖然英語學(xué)習(xí)是為了掃清交流障礙，但是也不能忽視文化的導(dǎo)向作用。不管是從素質(zhì)教育的角度，還是從避免被西方文化同化的角度考慮，文化元語言需重視中西文化對比，吸收異域文化的精華，突出中國文化的優(yōu)點(diǎn)，從而引導(dǎo)學(xué)生形成正確的文化價(jià)值觀。

五、結(jié)語

綜上所述，多模態(tài)微課元語言中各模態(tài)不同的互動關(guān)系可以實(shí)現(xiàn)不同的闡釋效果：運(yùn)用模態(tài)轉(zhuǎn)換可以實(shí)現(xiàn)異位闡釋，運(yùn)用模態(tài)互補(bǔ)可以實(shí)現(xiàn)協(xié)同闡釋，運(yùn)用模態(tài)嵌套可以實(shí)現(xiàn)重點(diǎn)闡釋，運(yùn)用模態(tài)疊合可以實(shí)現(xiàn)動態(tài)闡釋。從多模態(tài)元語言的發(fā)展及其模態(tài)互動闡釋特征來看，中國EFLT多模態(tài)微課元語言，不僅需要考慮社會適應(yīng)性，充分運(yùn)用現(xiàn)代技術(shù)成果，還需要重視語境的制約，滿足教學(xué)的多層次需求。在進(jìn)行設(shè)計(jì)時(shí)，要在手段、功能、內(nèi)容和理念等方面進(jìn)行優(yōu)化，靈活運(yùn)用現(xiàn)代化的多元模態(tài)，實(shí)現(xiàn)功能的合成，重視對目的語的有效闡釋，揭示深層的文化理念，把握價(jià)值觀導(dǎo)向等。

本研究雖然只是多模態(tài)研究的冰山一角，但是將模態(tài)互動、語義闡釋與元語言設(shè)計(jì)相結(jié)合，不僅關(guān)注了多模態(tài)元語言語義闡釋的微觀特征，也期望為中國EFLT多模態(tài)教學(xué)提供一定的參考。

參考文獻(xiàn)：

[1]Flewitt，R.et al.What are multimedia data and transcription[A].In C.Jewitt（ed.）.The Routledge Handbook of Multimodal Analysis[C].London & New York： Routledge，2009：41-53.

[2]張德祿，李玉香.多模態(tài)課堂話語的模態(tài)配合研究[J].外語與外語教學(xué)，2012（1）：39-42.

[3]Lyons， John.Language and Linguistics[M].Cambridge and New York： Cambridge University Press，1981：171.

[4]張德祿，丁肇芬.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的作用[J].外語學(xué)刊，2010（2）：97-102.

[5]Lim Fei V.Developing an Integrative Multi-semiotic Model[C]In O Halloran， Kay L.Multimodal Discourse Analysis： Systemic-Functional Perspectives.London： Continuum， 2004：220-246.

[6][8]Norris，S.Identity in （Inter）action： Introducing Multimodal Interaction Analysis[M].Berlin and New York： Mouton de Gruyter，2011：48-50.

[7]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007（1）：1-10.

[9]燕莉.EFL課堂元語言表達(dá)式的優(yōu)化設(shè)計(jì)[J].吉首大學(xué)學(xué)報(bào)，2011（4）：153.

（責(zé)任編輯賴佳）