融媒體視角下多模態(tài)詞典文本的設計構(gòu)想

摘 要 隨著信息和通信技術(shù)的發(fā)展以及數(shù)字媒體在辭書編纂中的運用，多模態(tài)和融媒體詞典成為辭書界熱議的話題。但從發(fā)表的文章來看，它們大多模糊了媒體與模態(tài)的關(guān)系，所涉詞典并不具有真正的多模態(tài)特征。文章從紙質(zhì)辭書的困境與數(shù)字化辭書的必然性入手，從三個方面來探討如何在融媒體框架下設計多模態(tài)詞典文本，闡釋多模態(tài)元素的釋義功能，包括詞典從平面媒體向融媒體的進化、融媒體框架下的媒體與模態(tài)的融合、多模態(tài)詞典文本的特征與數(shù)據(jù)結(jié)構(gòu)等。

關(guān)鍵詞 融媒體 多媒體詞典 多模態(tài)詞典文本 多模態(tài)釋義

詞典與新媒體的結(jié)合使詞典的查閱終端發(fā)生了很大變化，這種詞典表象的變化倒逼詞典文本結(jié)構(gòu)和釋義內(nèi)容不得不發(fā)生改變，因為詞典只有多模態(tài)化和數(shù)據(jù)化才能適應融媒體的技術(shù)需要，且其改變程度也決定著詞典滿足數(shù)字時代詞典用戶需求的程度。（章宜華2019）本文從融媒體視角探討（外語）語文學習詞典如何進行模態(tài)與媒體的融合，并提出多模態(tài)釋義構(gòu)想。

一、 紙質(zhì)辭書的困境與數(shù)字化辭書的必然

詞典的核心問題是釋義，這是國際辭書界的共識。但釋義是一個復雜的問題，盡管詞典編者把主要精力都放在釋義上，但其問題仍是層出不窮。在紙媒時代，詞典學家們?yōu)榱耸贯屃x準確易懂，把使用了幾千年，但釋義模糊且容易引起循環(huán)釋義的同義對釋逐漸轉(zhuǎn)換成了“解述型”釋義，或以括注的形式對釋義詞進行各種限制，并在學習詞典中推行控制性釋義詞匯（controlled defining vocabulary：2000—3000基本詞匯）。釋義方式經(jīng)歷了從詞匯對釋到短語釋義（phase definition），從短語釋義到句子釋義（sentence definition），又從句子釋義到情景釋義（situational definition）的過程;但循環(huán)釋義、內(nèi)涵不彰，或釋義龐雜（釋義夾雜各種注釋）、理解困難，以及注釋信息冗余與文化信息欠缺、釋義過度與釋義不足、概念模糊與用法不清等問題同時存在。為此，詞典又增加了文化信息、用法說明和語義辨析等附加內(nèi)容，百科性詞典和學習型詞典還引入了插圖。

但無論詞典學家如何努力，紙質(zhì)詞典的“進化”變得越來越困難。譬如，“牛津”“朗文”等系列學習詞典雖然還在不斷修訂，但也僅是注釋方法的微調(diào)和注釋項目量的變化，難有大的提升，以致用戶對紙質(zhì)詞典的興趣逐年下降。作者在多年前的調(diào)查發(fā)現(xiàn)，在接受型的語言活動中，大學生中使用電子詞典者居多，達52.23%。（章宜華2015）而近些年，隨著新媒體終端的普及，紙質(zhì)詞典的使用率已經(jīng)降至“冰點”。據(jù)張恒等（2017）118-120，155調(diào)查，經(jīng)常使用紙質(zhì)詞典的為4%，偶爾使用的占26%，極少使用的占51%，從不使用的有19%之多。而與此相反，91%的學生表示經(jīng)常使用電子詞典，極少或從不使用的只有3%。這些數(shù)據(jù)基本符合當時辭書市場的現(xiàn)實;事實上，現(xiàn)在基本100%的學生都使用詞典App，經(jīng)常使用紙質(zhì)詞典的人大致占10%。而筆者接觸到的詞典學碩士生許多都沒有紙質(zhì)學習詞典，需要參考時還要到資料室去借。在這種情況下，數(shù)字化就成為辭書發(fā)展的必然，也正是在2017年前后，我國專業(yè)辭書出版社開始加快數(shù)字詞典的研發(fā)。

二、 詞典從平面媒體向融媒體的進化

從信息技術(shù)角度講，當代詞典的發(fā)展要經(jīng)歷從紙質(zhì)詞典到電子化，再到數(shù)字化的過程;前者指詞典承載方式由物理媒介向電子媒介轉(zhuǎn)化，后者指將詞典中的圖像、聲音、文字等模擬信號轉(zhuǎn)換為數(shù)字信號，是信息數(shù)據(jù)化和網(wǎng)絡化的技術(shù)保證。從辭書表征的視角講，詞典則由平面媒體向多媒體、多模態(tài)和融媒體方向發(fā)展，而媒體融合的對象就是詞典的多模態(tài)表征。

早在20世紀90年代，紙質(zhì)詞典電子化和網(wǎng)絡化已經(jīng)開始。當時，國內(nèi)市場上出現(xiàn)了一大批光盤詞典，如《康普頓交互式百科全書》《IBM智能詞典》《微軟書架》《韋氏新世界光盤詞典》《美國傳統(tǒng)有聲詞典》等，“牛津”“朗文”也先后推出了光盤和網(wǎng)絡詞典。盡管這些詞典大多是紙質(zhì)版的電子化，體例結(jié)構(gòu)與傳統(tǒng)詞典并無二致，但有的學者還是捕捉到了多媒體辭書的動向，并認識到多媒體有三個重要特性：用戶友好界面、查閱的交互性、信息的多樣性。（麥志強1994;夏南強2000）國內(nèi)在90年代中期也推出了網(wǎng)絡詞典（如洪恩在線，1996），《漢語大詞典》光盤版（1997）等。但進入21世紀后，專業(yè)辭書出版社在“觸網(wǎng)”方面一直停滯不前，市場上流行的網(wǎng)絡詞典和詞典App大多出自IT公司，《金山詞霸》《有道》《海詞》《百度百科》等占據(jù)了在線詞典的主要市場份額。

《金山詞霸》（以下簡稱《詞霸》）是一款比較經(jīng)典的電子詞典，最大的特點就是全文發(fā)音。最初同步發(fā)音效果并不理想，2005年引入英語培訓品牌視頻詞庫，用戶可與教師“面對面”學習，練習聽力、發(fā)音和語音語調(diào)等。2010年后，《詞霸》開始整本內(nèi)置“牛津”和“柯林斯”等品牌詞典，但多媒體元素并沒有實質(zhì)性改變，基本不用圖形或視頻，詞典的查詢顯示仍是平面格式，只是在左邊加入一列選擇鏈接（釋義、例句、搭配、辨析等）。《有道》和《海詞》也都宣稱是面向?qū)W習者編寫的，但在多媒體方面仍是以“讀音”為主。《有道》的體例和結(jié)構(gòu)與《詞霸》類似，也內(nèi)置了《柯林斯英漢雙解大詞典》和《牛津詞典》等內(nèi)容，在少量實物詞條（如anchor、animal、car、leapfrog等）中配有圖片（參見圖1）?！逗Ｔ~》主要是自編內(nèi)容，沒有發(fā)現(xiàn)“插圖”，但每一詞條都提供了“釋義常用度分布圖”，在“欄目”設置和查詢選擇方面，可以通過選擇“詳盡釋義”“雙語釋義”“英英釋義”提取和顯示不同的釋義內(nèi)容。

總體來講，上述幾種“學習詞”主要是信息的堆積，并沒有突出的多媒體和多模態(tài)特征，且詞典信息項的表述方法和質(zhì)量都不太適合“學習”的需要。例如，《有道》和《海詞》都不分義項，把不同的意義混淆在一起，例如：《有道》的“l(fā)eapfrog v.玩跳背游戲;越級提升;超過，超越;跨越（障礙）”，《海詞》的“anchor v. 拋錨;停泊;用錨系住;擔任（廣播電視新聞節(jié)目）的主持人”等。此外，釋義和標注錯誤時有發(fā)生，如“cheerleader（啦啦隊員）”被釋為“啦啦隊長”，“get on ones nerves（讓人厭煩）”被釋為“令人不安”，及物動詞“consolidate（使加強）”后出現(xiàn)了“合計金額”的名詞性“對等詞”等。《有道》的不少釋義是從網(wǎng)上提取的，錯誤似乎更常見一些，如purple patch本來是“幸運時刻”的意思，卻被釋為“辭藻華麗的段落”;purchase則釋為“……支點;（地產(chǎn)的）年收益;緊握;起重裝置”等;boardroom則釋為：“會議室;交換場所”;更奇怪的是informations被立為詞目[1]，釋為“information的復數(shù)[2]”。這些詞典的一大特點是例證豐富，并且還做了分類，但大多是從網(wǎng)上抓取的，未經(jīng)細致的篩選和區(qū)分，也無義項針對性，只是重復的堆積，對學習者的作用有限。

在學界，介紹和研究這類詞典的文章也不少，在知網(wǎng)檢索到有關(guān)《詞霸》和《有道》的論文分別為107和20篇，但極少有人把它們作為多媒體詞典來研究，批評其編纂質(zhì)量的卻不少。從媒體性質(zhì)來講，含有文本、聲音和圖像等內(nèi)容的就可以叫作多媒體詞典，而上述詞典并沒有系統(tǒng)、平衡地運用這些媒體，所以其多媒體特征不強。

然而，語言教學界對多媒體和多模態(tài)詞典的呼聲很高，這是因為：1） 語言的自然習得和日常交流都發(fā)生在多模態(tài)場景;2） 通信技術(shù)的發(fā)展使人們的閱讀習慣發(fā)生了改變;3） 多元識讀與多模態(tài)語境被引入二語教學，對詞典提出了新的要求。近十年來，有關(guān)多模態(tài)詞典的研究引起學界重視，波蘭學者Lew（2010）提出了多模態(tài)詞典學（Multimodal Lexicography），黨軍（2010）也提出了“雙語詞典多模態(tài)化”。但他們的研究混淆了“媒體”與“模態(tài)”的概念，把復雜的模態(tài)簡化為了媒體。之后一些研究（閆美榮2011;羅永勝2012，2015;陳維紅2015）大多也是這個路子，有些則從功能語言學的視角來談詞典的圖文和語義關(guān)系（楊信彰2012;張春燕，陳思一葉2016），有的從界面設置或插圖位置來談多模態(tài)電子詞典（錢亦斐2016），都沒有涉及多模態(tài)元素的性質(zhì)特征和語義表征機制。

那么，模態(tài)與媒體之間是什么樣的關(guān)系？模態(tài)的實質(zhì)特征是什么？多模態(tài)元素的語義機制和釋義方法是什么呢？我們將在融媒體的框架下來討論這些問題。

三、 融媒體框架下的媒體與模態(tài)的融合

多模態(tài)源于系統(tǒng)功能語言學的多模態(tài)語篇分析，其主旨在于用各種語言和非語言符號來解釋語言的三大元功能：概念功能、人際功能和語篇功能，并指出不同模態(tài)可使用不同媒介來的表達。（Kress & van Leeuwen1990/2006;Martinec2005;Royce2007;Matthiessen2007）然而，盡管我們可以從功能的角度來研究詞典學（語篇詞典學），但詞典的語篇畢竟不同于自然語篇，當然也不宜直接用功能語言學中的多模態(tài)方法來描述詞典中的模態(tài);因為詞典組織“語篇”的方法與自然語篇有很大不同。前者是“從具體到抽象”，后者則是“由抽象到具體”的認知過程。另一方面，詞典用戶是語言“學習者”，查閱詞典往往是任務驅(qū)動，所以必須要結(jié)合詞典釋義的實際來談多模態(tài)，而不是純粹套用語篇分析的方法。

（一） 多模態(tài)的必要性與可行性

多模態(tài)語義表征方法比較適用于二語學習詞典，因為成人在學習二語前已經(jīng)具有比較成熟的母語知識系統(tǒng)，但缺乏或沒有二語的語感，離散的（不系統(tǒng)的）詞匯知識或孤立的解釋往往會受其母語負遷移或目的語規(guī)則過度泛化的影響，從而產(chǎn)生中介語偏誤。（章宜華2012）從這個角度講，二語學習者沒有一語自然習得的那種語言環(huán)境，這就需要我們在詞典中營造一種學習者缺乏的自然語境，而多模態(tài)釋義就是營造這種語境最有效的方法。多元識讀理論（New London Group1994，1996）的提出和多模態(tài)教學的實施從理論和實踐兩個方面證明了多模態(tài)詞典釋義的必要性和可行性。多元識讀就是對多媒體和多模態(tài)信息的解讀能力（Williamson2005），已經(jīng)被證明是一種二語習得的有效的學習方法（吳玲娟2013;張燕2018;高麗華2018），傳統(tǒng)的以讀寫為主的識讀能力在多媒體時代已不夠用了（胡壯麟2007）。

實際上，多模態(tài)交際方式普遍存在于我們的日常生活，也就是說，我們的任何交際都是多模態(tài)的，所以很容易被識讀和記憶。然而，傳統(tǒng)詞典受限于信息媒介的限制，只能是單媒體語境，查閱和理解有一定難度。進入融媒體時代，信息技術(shù)和媒體融合技術(shù)為多模態(tài)在詞典中的運用創(chuàng)造了條件，使各種模態(tài)可以與數(shù)字媒體有機結(jié)合起來，能大幅提升詞典釋義和使用效果。

（二） 多模態(tài)表征與承載形式

在詞典釋義中提供多模態(tài)語境或多模態(tài)元素有助于二語學習和用戶對詞典釋義的解讀。（楊信彰2012;錢亦斐2016）但模態(tài)的形成、承載和傳輸是一個復雜的語言認知和信息處理過程，涉及媒體、多媒體、多模態(tài)、融媒體諸多要素。語言認知始于感官（眼、耳、鼻、舌、身），通過光波、聲波、嗅覺傳感器、味覺傳感器和觸感傳感器獲得承載某種信息的圖形、聲音、氣味、口味、感應等意象圖式，這就是模態(tài)——一種在大腦中形成的心理實體（mental entity）。如果要表達這些模態(tài)信息、讓他人知曉，就需要借助特定的媒體，包括邏輯媒介和物理媒介，前者包括文字、聲音、圖像、圖形、圖表、色彩、結(jié)構(gòu)、動畫、視頻和音頻流等，后者包括紙張、磁盤、光盤、網(wǎng)絡、云平臺、電波，以及各種終端設備（平板電腦、手機、閱讀器等）。從詞典學的角度講，語義模態(tài)（詞典信息）需要邏輯媒介來承載，而邏輯媒介則需要物理媒體來承載和傳播。在融媒框架下，這些元素可以得到有效融合（見圖3）。模態(tài)因為有媒體承載而具有一定的形式，而媒體則因為承載了模態(tài)才具有一定的意義。

（三） 多媒體與多模態(tài)的融合

總體來講，多模態(tài)首先是一個“感官模態(tài)系統(tǒng)”（sensory modalities）。（顧曰國2015）人們通過這些感官與客觀世界互動，并由此產(chǎn)生對應于多個感官的多模態(tài)心理意象，然后合成具有語言學意義的模態(tài)。具體地講，多模態(tài)是詞典用戶感知到的詞典信息與其指稱的實體發(fā)生映射而形成的心理意象，并觸發(fā)相應的心理空間形成“新”“舊”知識的觸發(fā)和聯(lián)想，最終形成被釋義詞的概念圖式，以特定的語音、聲音、圖形、顏色、動作、結(jié)構(gòu)等來表達。這個認知融合過程（化學反應）需有兩個條件或“催化劑”：邏輯媒體和物理媒體——媒體是外在形式，模態(tài)才是知識內(nèi)容，兩者需要有機融合（參見圖3）。

具體地講，概念圖式是抽象的、心理的，它需要用文字、聲音、圖像或音樂等來表達，通過網(wǎng)絡、電視、廣播等來傳輸。這就是模態(tài)與媒體融合的邏輯機制。這種融合機制可以有效幫助詞典編纂者建立多模態(tài)詞典釋義情景，特別是將來擬真模態(tài)和VR技術(shù)的運用，它可以模擬一切人類所擁有的感知功能，甚至連嗅覺和味覺也可以參與多模態(tài)釋義情景的構(gòu)建，使學習者用戶能有身臨其境的感覺，使詞典的查閱變得“輕松有趣”。

事實上，在多模態(tài)環(huán)境中，所有的模態(tài)都參與意義的構(gòu)建，（Kress & van Leeuwen1996/2006）因此可以有效提升二語學習者的識讀能力。在詞典查閱過程中，學習者從所指物→意象→圖式概念→文字的感知，要比從文字→意象→圖式概念→所指物的感知容易得多。譬如，一張企鵝在北極冰雪中的照片，或其行走姿態(tài)、鳴叫聲音比任何文字釋義的解釋都要清楚得多。中國文化特色詞，如“算盤”“旗袍”“二胡”“古箏”“秧歌舞”等，對于漢語二語學習者或母語初學者來說，語言解釋再配上圖像，或集聲音、姿態(tài)于一體的動態(tài)演示或演奏視頻，無疑會給用戶鮮明、深刻的印象（見圖4）。

四、 多模態(tài)詞典文本的特征與數(shù)據(jù)結(jié)構(gòu)

釋義是詞典編纂的核心內(nèi)容。如果我們認可這種觀點，那么我們所做的一切工作（包括語料、信息提取、提煉，以及表述方法和組織形式）都要圍繞釋義這項核心工作來做。概括地講，詞典釋義一是要從語料中提煉出詞義的“不變量”（invariant）（Wierzbicka1996），二是要用多模態(tài)來表征語義，因為這種形式可以強化詞典查閱中的語言輸入，增加用戶對詞典信息的注意力和可理解度（intelligibility）。

（一） 詞典釋義中的多模態(tài)元素

多模態(tài)元素指詞典釋義所涉及的各種模態(tài)表征形式，是媒體融合的對象。Bernsen（2008）從信息處理角度來劃分模態(tài)，共4類67種。Kress（2009，2010）從多元識讀的角度把模態(tài)概括為能夠產(chǎn)生意義的任何符號資源，如文字、圖像、顏色、版式、手勢、音樂、動漫畫等。Lew（2010）從詞典編纂的角度分為文字模態(tài)、語音頻模態(tài)和非文字模態(tài)，后者又分為：非語言音頻、插圖、圖像、圖形和視頻片段。國內(nèi)的研究主要集中在對現(xiàn)有詞典所用媒體的分析上（見本文第二節(jié)）。從詞典釋義的角度講，語義表征所涉及的基本模態(tài)有視覺、聽覺和（視）觸覺等模態(tài)元素，但這些基本模態(tài)各自又包含若干次模態(tài)，加之模態(tài)往往是以組合的形式出現(xiàn)，因此詞典釋義的模態(tài)表征還是很豐富的。例如，從視角上講有文字、符號、動/靜態(tài)圖形、動/靜態(tài)圖像，以及姿勢、動作、顏色、結(jié)構(gòu)等;從聽覺上講有語音、靜/動態(tài)聲音、聲音符號等;從觸覺或視觸覺上講有動/靜態(tài)觸覺、視觸覺，包括形態(tài)、溫度、質(zhì)感等其他通過肢體和視線接觸感知或體驗到的事物。

（二） 詞典釋義中的模態(tài)融合

需要指出的是，在多模態(tài)詞典中，文字釋義在較長一段時間內(nèi)仍然是釋義的主要內(nèi)容，但其他模態(tài)不再是文字的附加成分，所有的多模態(tài)元素都可以充當被釋義詞的意義表征。很可能在將來的某一天，現(xiàn)在的圖解詞典會演化成以非文字模態(tài)為主的多模態(tài)詞典，多模態(tài)與VT技術(shù)的融合可能慢慢會“削弱”文字釋義的作用，成為釋義的重要元素。多模態(tài)詞典的核心內(nèi)涵就是多種模態(tài)在釋義中的交互融合，能在用戶大腦中產(chǎn)生模態(tài)之間的轉(zhuǎn)換，即一種感覺形態(tài)刺激引起另一種感覺形態(tài)，產(chǎn)生感官的互通和互補。用戶在解讀和接受釋義時調(diào)動的感官越多，事物在心智中形成的意象就更趨于真實，解讀的效果就更好。此外，用戶在查閱中經(jīng)歷了多種媒體——模態(tài)的轉(zhuǎn)換和輸入，其記憶神經(jīng)元的刺激就更深刻，其學習興趣就會更加濃厚。

許多電子詞典用了插圖和語音等，但它們之間并沒有必要的模態(tài)融合，故最多只能算作是多媒體詞典。嚴格地講，文字與圖形、圖像、色彩等都屬于同一種模態(tài)，但這些次模態(tài)之間的結(jié)合與互動、互補比單一的文字更能幫助用戶解讀語義。例如，由GOOCTO推出的視覺化詞庫（VISUWORDS），就是用思維導圖的方式構(gòu)成多種次模態(tài)的融合，實現(xiàn)了詞匯—語義關(guān)系的形象化、可視化（見圖5）。

這是一種在線圖解詞典，輸入單詞便可得到該詞的各種意義以及與其關(guān)聯(lián)的其他詞類和概念，形成一個可視化詞匯—語義關(guān)系網(wǎng)絡。鼠標指向其中任意節(jié)點，便可顯示出該節(jié)點詞的意義。如圖6所示，名詞borrow有7個義項或有此義的其他詞及詞類，其中與borrow（動詞）/borrower/borrowing等有派生關(guān)系;與get/acquired/accept/take等有上下義關(guān)系，與lend/loan是反義關(guān)系;borrower與recipient/receiver有上下義關(guān)系，與lender/loaner是反義關(guān)系等。圖6中的方框是鼠標指向borrowing/adoptation節(jié)點顯示出的語義解釋。

這種以圖形、線條、形狀和色彩融合形成的“多模態(tài)”詞匯—語義網(wǎng)絡圖，既示出了語詞的義項、語義和義項關(guān)系，又說明了該詞與相關(guān)詞項間的固有關(guān)系，為二語學習者提供了一個系統(tǒng)的學習語境。

（三） 多模態(tài)元素的釋義功能

1. 文字模態(tài)

在融媒體學習詞典中，無論是單語和雙解釋義，還是雙語詞典的譯義仍會將文字作為主要釋義形式，但限制釋義詞匯會使釋義的準確性、辨義能力，以及簡潔性都受到影響，無法揭示出語詞的細微含義;因此，文字與其他模態(tài)的結(jié)合就顯得尤為必要。如對文字難以表達的內(nèi)容可提供其他模態(tài)的支持，如以粗體字、背景色來凸顯釋義和例句中的核心成分，或與相關(guān)詞條的釋義或多模態(tài)信息項鏈接，用鼠標指向某一句式或搭配可激活相應的義項和例句等。還可以把釋義與語料庫鏈接起來，從中調(diào)取被釋義詞更多的真實用例，以幫助用戶理解和使用。

2. 語音模態(tài)

在紙質(zhì)詞典電子化過程中，語音使用比較廣泛，由初期的詞頭發(fā)音發(fā)展到全句朗讀和視頻朗讀。手持式電子詞典還設置了一些“聽力練習”“跟讀練習”等動態(tài)語音功能，但未做好互動融合。在融媒體詞典中，語音模態(tài)表征的對象為詞目詞、例句和人人/機交互。在信息互動方面，詞典可以語音領讀，用戶可以跟讀并錄音，做對比分析、糾正發(fā)音。語音還可與視覺模態(tài)相結(jié)合，在朗讀例句時相應的閱讀部分有圖標或色彩跟隨移動，并與譯文關(guān)聯(lián)，讓聽覺和視覺模態(tài)共同作用于用戶的信息解讀，以“語音—形態(tài)”的融合加深記憶。

3. 聲音模態(tài)

指語言以外的聲音，是某些詞的主要語義特征之一，如動物、昆蟲、鳥類、禽類、樂器、音樂、音頻信號、警示聲信號，機器和儀器的聲音，以及其他人造物聲音。聽覺模態(tài)與視覺模態(tài)融合形成視頻，可以表征語義，如“虎嘯”“獅吼”“海豚音”等用文字難以描述，若配上“圖像+聲音”的視頻片段會給用戶深刻印象。像“琵琶、揚琴、古箏、馬頭琴”等樂器，“西皮、二黃、慢板、快板”等京劇唱腔，“火車鳴笛（起動、停車、進站等信號）”，像cackle、clank、clink、buzz等擬聲詞采用多模態(tài)融合釋義，不單是文字釋義的重復，更是認知的深化。

4. 圖形模態(tài)

指各種非語言符號以及顏色和結(jié)構(gòu)等。視覺模態(tài)之于文字，如畫龍點睛，勝過千言萬語。語言伴生符（字體、字號、粗細、顏色）與文字直觀融合，已在學習詞典中廣泛使用，體態(tài)符號（動作、手勢、表情、視線、姿態(tài)等）往往以（連續(xù)）圖片、動圖、動畫和視頻片段來表示，動作性符號、聲音符號、圖形/圖像符號等是真實的模擬，而目視符號（地圖、標識等）則是概括的約定。須指出的是，圖形和圖像的功能和釋義效果是不一樣的，如鳥的照片反映的是其“原型”，但它也源自范疇成員，包括了很多個性細節(jié)（屬于意象），無法涵蓋其他范疇示例的特點;而線條畫則是眾多鳥實例的抽象（屬于圖式），其釋義概括性更強（見圖7）。

在視覺模態(tài)的組織中，可運用范疇化和格式塔心理學的方法，借助部分與整體關(guān)系來凸顯個體特征。例如，《牛津高階英漢雙解詞典》（光盤版）往往把同一范疇的插圖整合在一起，點擊圖中的單詞便可彈出其釋義窗口（見圖8）。這樣，通過同類比較、總體把握與個別凸顯，可以提高用戶解讀的效果。但由于該詞典沒有真正從模態(tài)融合的角度考慮，文字與插圖相互獨立，檢索不到flower、bud、stalk等詞條與這個圖組的關(guān)聯(lián)。

5. 觸覺模態(tài)

指靜/動態(tài)物理接觸感和視接觸發(fā)生的感應模態(tài)。前者主要反映在詞典使用終端圖形用戶界面（GUI）上，通過鼠標、手指和聲音來觸發(fā)詞典的查詢功能和詞匯—語義之間的鏈接，后者通過視線感知查詢顯示的內(nèi)容，包括物體狀態(tài)、溫度、質(zhì)感等內(nèi)容。詞典文本中所有的模態(tài)信息都在這個界面上交互和/或融合。因此，圖形用戶界面的構(gòu)建是詞典發(fā)揮多模態(tài)效用的關(guān)鍵。

（四） 融媒體詞典的特征和數(shù)據(jù)結(jié)構(gòu)

如果要真正做到媒體融合，多模態(tài)詞典就無法像紙質(zhì)詞典那樣有明確、固定的文本結(jié)構(gòu)，因為各種模態(tài)的編碼、存儲和表述方式不一樣，一個詞條的信息內(nèi)容復雜且信息量巨大，利用平面直觀的方式排列是不現(xiàn)實的。而現(xiàn)在的電子詞典只是載體發(fā)生了變化，其信息組織和呈現(xiàn)仍然是平面結(jié)構(gòu)，因此不能算作多模態(tài)詞典。下面我們談談基于融媒體技術(shù)的多模態(tài)詞典的特征和數(shù)據(jù)結(jié)構(gòu)。

1. 詞典的使用環(huán)境基礎

信息化時代，詞典用戶全民化、使用需求標簽化、信息查閱碎片化、查閱路徑網(wǎng)絡化，用戶使用習慣的改變決定了詞典使用終端的電子化和多樣化，以便在任何時候、任何地方、用任何數(shù)據(jù)終端都能查閱，且能快速、準確地獲得任何領域的內(nèi)容，滿足其不同語言活動的需要。詞典使用終端不再是固定的，而是因時、因地、因人而異的，其載體可以是紙媒，也可以是電腦、平板電腦、手機或電子穿戴用品。

2. 詞典文本構(gòu)成要素

數(shù)字化時代，人們對信息的需求個性化、選擇豐富化。用戶這種需求的改變決定了詞典收詞和文本要素的改變，即收詞要規(guī)?；?、綜合化、系統(tǒng)化，詞典釋義成分多模態(tài)化，詞典信息的組織數(shù)據(jù)化。各種模態(tài)信息須高度融合，能跨媒體或全媒體傳播。轉(zhuǎn)化的核心就是詞典釋義元素——由單純是文字向多模態(tài)轉(zhuǎn)向，語音、聲音、圖形、圖像、色彩和感應等都作為重要表征形式參與詞目詞的釋義。

3. 詞典文本結(jié)構(gòu)框架

融媒體時代，詞典文本元素和使用終端的多元化決定了詞典信息要集群化、融合化、生態(tài)化。集群化指要模糊類型概念，逐步把各類詞典集合在一起，為所有用戶提供個性化使用體驗;融合化指編纂主體融合、詞典資源融合、詞典類型融合、多模態(tài)—多媒體融合;生態(tài)化指詞典各類用戶可以根據(jù)自己的需求準確、快速地獲取所需信息（不需要通篇瀏覽尋找），或與詞典文本或編者進行互動，模態(tài)與媒體、用戶與編者相互作用，形成相互依存、相互促進的生態(tài)環(huán)境。

根據(jù)上述特征，融媒體詞典是運用專門的工具，按多模態(tài)—多媒體融合和個性化查閱需求對詞典進行數(shù)據(jù)化處理。具體編纂結(jié)構(gòu)有以下幾個特征：

1） 詞典編纂不再是以詞頭特定順序組織編寫，而是借助計算機輔助編纂系統(tǒng)中的范疇化分類模型來構(gòu)建任務分配體系，根據(jù)語詞的形態(tài)、詞族、概念、主題、語用，以及屬性、行為、事件和事物等范疇來組織宏觀結(jié)構(gòu)，運用任務管理平臺按既定分類進行編纂，以及進度和質(zhì)量監(jiān)控。

2） 詞典的基本編寫單位不再是完整的詞條，而是詞典微觀信息項中的某一項或幾項數(shù)據(jù)內(nèi)容，如形態(tài)變化、語音、語法和句法注釋，義項確立、釋義、配例及例句翻譯，各種附加信息、模態(tài)信息等。一個編者可負責若干字母，甚至整部詞典全部詞條的某項或多項內(nèi)容。文字和符號、語音和聲音、圖形和圖像，以及動畫和視頻片段等構(gòu)成不同的元數(shù)據(jù)，以便融合處理、組織成多模態(tài)語義表征。

3） 詞典信息不再是有限的、類型分明的供給，而是模糊類型、全面提供多模態(tài)信息，包括語言屬性、語域?qū)傩?、專業(yè)屬性及其顯示度，盡力滿足各層次用戶或系統(tǒng)化，或碎片化的信息需求;從視覺、聽覺、觸覺的角度建立文字與聲音、文字與圖形、用戶與文字/圖形/聲音、用戶與編者、用戶與用戶等的互動互補，從而在詞典中構(gòu)建多模態(tài)話語情景。

4） 詞典信息不再是按詞條完整呈現(xiàn)的平面文本結(jié)構(gòu)，而是按關(guān)系（SQL）或非關(guān)系型數(shù)據(jù)庫（NoSQL）結(jié)構(gòu)組織和存儲的多模態(tài)數(shù)據(jù)。同一詞條的信息項（如注音、屈折變化、基本注釋、釋義、例證等）要被切分成相對獨立但與詞目詞關(guān)聯(lián)的數(shù)據(jù)元，分別與同一詞典中其他詞條的同類數(shù)據(jù)存儲在相應的數(shù)據(jù)表格中，并自動進行特征標注。每一個數(shù)據(jù)化的詞典信息項都被計算機賦予一個或若干個標記，以便為各類用戶提供個性化的精準服務。

25. Martinec R. Topics in Multimodality. ∥Hasan R， Matthiessen C， Webster J.（eds.） Continuing Discourse on Language（Vol.1）. London & Oakville：Equinox， 2005：157-181.

26. Matthiessen C.The Multimodal Page：A Systemic Functional Exploration.∥Royce T D， Bowcher W.（eds.） New Directions in the Analysis of Multimodal Discourse. New Jerse & London：Lawrence Erlbaum Associates， 2007：1-62.

27. New London Group. A Pedagogy of Multiliteracies：Designing Social Futures. Harvard Educational Review 1996（4）：4-75.

28. Royce T. Intersemiotic Complementarity：A Framework for Multimodal Discourse Analysis.∥ Royce T， Bowcher W.（eds.） New Directions in the Analysis of Multimodal Discourse. New Jersey & London：Lawrence Erlbaum Associates， 2007：62-110.

29. Wierzbicka A. Semantics：Primes and Universals. Oxford：Oxford University Press， 1996： 258-270.

30. Williamson B. What Are Multimodality，Multisemiotics and Multi-Literacies：A Brief Guide to Some Jargon. NESTA Futurelab，2005.（Online. Accessed 23 Oct. 2015. http：∥www.Futurelab.org.uk/viewpoint/art49.htm.）

（廣東外語外貿(mào)大學文科基地/詞典學研究中心 廣州 510420）

（責任編輯 馬 沙）