數(shù)字媒體展示手段及其敘事特征研究

章潔

摘要：數(shù)字媒體展示技術(shù)復(fù)雜多樣，探討數(shù)字媒體展示技術(shù)在展示應(yīng)用中的特性。本文對(duì)目前的各類數(shù)字媒體展示技術(shù)進(jìn)行總結(jié)，分析“真實(shí)世界”與“虛擬世界”之間的關(guān)系，并利用敘事學(xué)中圖像文字研究方法的特性對(duì)各個(gè)展示技術(shù)進(jìn)行分析。通過數(shù)字媒體技術(shù)的三大維度，即交互性、時(shí)間性和空間性進(jìn)行分析，可以得出一些技術(shù)手段，并綜合考慮它們的整體效果，提煉出提升展示效果的互動(dòng)性、多維度以及沉浸性策略。其中多維度是沉浸的前提，互動(dòng)性加深了沉浸性的體驗(yàn)。沉浸性也讓互動(dòng)更加真實(shí)，以確保不同感官對(duì)于刺激感受的統(tǒng)一性。

關(guān)鍵詞：敘事 數(shù)字媒體 虛擬世界 空間性 時(shí)間性

20 世紀(jì)90 年代“新敘事理論”重新興起。敘事學(xué)從“經(jīng)典敘事學(xué)”轉(zhuǎn)向“后經(jīng)典敘事學(xué)”，敘事從文字向圖像過渡。龍迪勇認(rèn)為，雖然缺乏對(duì)圖像敘事的研究，但國(guó)外自18 世紀(jì)溫克爾曼以來已經(jīng)累計(jì)了豐富的圖像學(xué)研究傳統(tǒng)。貢布里希認(rèn)為圖像的正確解讀需要代碼、文字說明以及上下文的共同支配，圖像與其他組分共同組合才能傳達(dá)明確的信息。①米歇爾認(rèn)為圖像與語(yǔ)言一樣能進(jìn)行自我呈現(xiàn)，從而找到圖像擺脫語(yǔ)言控制的可能性。影像的出現(xiàn)讓敘事方式進(jìn)一步變革，雅各布·盧特《小說與電影中的敘事》對(duì)小說電影兩大敘事進(jìn)行分析，樹立起跨媒介敘事研究的典范。

超文本小說、影像、動(dòng)畫、游戲及其他多媒體形式出現(xiàn)，媒介間的交叉融合促使跨媒介敘述發(fā)展。孫為在《交互式媒體敘事》中根據(jù)新媒體藝術(shù)的敘事方式，系統(tǒng)分析敘事模式與特點(diǎn)。瑪麗·勞爾·瑞安主編的《跨媒介敘述》一書考察媒介的內(nèi)在屬性如何塑造敘事形式并影響敘事體驗(yàn)。國(guó)內(nèi)張新軍將瑞安的敘事學(xué)概括為一條敘事性情節(jié)演化線路，試圖呈現(xiàn)瑞安敘事理論的總體狀況。趙毅衡整理并分析媒介與展示體裁之間的關(guān)系，將媒介分為了記錄、記錄演示、演示、類演示以及意動(dòng)幾種類型。以上研究均說明了敘事在媒介中的重要作用。新媒體藝術(shù)中的展示技術(shù)同樣具有對(duì)應(yīng)的敘事學(xué)特性。

未來展示將會(huì)進(jìn)一步破除空間以及傳統(tǒng)媒介的限制，呈現(xiàn)更加開放的“混合型”敘事空間。②數(shù)字媒體展示技術(shù)成為展品與觀展者之間的新媒介向觀展者“敘事”。人們不再滿足于文字和靜態(tài)圖像帶來的刺激，開始研究各展示技術(shù)中空間與時(shí)間的關(guān)系以及在展示中的應(yīng)用方法。本文以敘事學(xué)視角分析各類展示技術(shù)，在各類技術(shù)敘事特性的基礎(chǔ)上探討其應(yīng)用策略。

一、數(shù)字媒體展示技術(shù)基本特征：虛擬世界與真實(shí)世界的關(guān)系

（一）虛擬現(xiàn)實(shí)類

數(shù)字媒體展示技術(shù)在真實(shí)世界的基礎(chǔ)上不斷向虛擬空間拓展，最終在虛擬空間和真實(shí)空間中形成對(duì)應(yīng)的敘事關(guān)系。VR設(shè)備封閉體驗(yàn)者的視覺，因此在封閉環(huán)境中體驗(yàn)者能夠沉浸于虛擬世界中，其模仿真實(shí)世界的光線、質(zhì)感幫助形成沉浸化的敘事特性，而交互敘事特性增強(qiáng)了虛擬世界中的真實(shí)感。在虛擬世界中可以將人們想象中的物體變?yōu)楝F(xiàn)實(shí)，體現(xiàn)了VR 技術(shù)的想象敘事特性。感官封閉帶來的真實(shí)感為體驗(yàn)者的想象性提供了重要保障。

增強(qiáng)現(xiàn)實(shí)在獲取真實(shí)世界影像的同時(shí)結(jié)合增強(qiáng)信息，按照時(shí)間、位置、內(nèi)容等關(guān)系進(jìn)行匹配，例如AR 導(dǎo)航中箭頭指向體現(xiàn)位置間的關(guān)聯(lián)，掃描圖案出現(xiàn)的模型動(dòng)畫體現(xiàn)內(nèi)容的關(guān)聯(lián)。AR 技術(shù)的實(shí)現(xiàn)需要理解真實(shí)世界與增強(qiáng)信息，展現(xiàn)了虛實(shí)世界敘事的相關(guān)性。

混合現(xiàn)實(shí)在匹配信息的基礎(chǔ)上讓真實(shí)與虛擬部分發(fā)生碰撞遮擋等行為。在AR 中體驗(yàn)者可輕松分辨實(shí)與虛。而MR 中虛擬與真實(shí)無明顯界限，虛擬事物與真實(shí)事物交融，甚至?xí)巴龍D”替代真實(shí)事物展開敘事，虛擬事物對(duì)真實(shí)“產(chǎn)生影響”。

圖1 總結(jié)了3R 技術(shù)的特性及對(duì)于計(jì)算機(jī)的要求。虛擬現(xiàn)實(shí)通過隔絕外界信息讓體驗(yàn)者產(chǎn)生沉浸感，交互的產(chǎn)生關(guān)聯(lián)體驗(yàn)者與虛擬世界。增強(qiáng)現(xiàn)實(shí)在外部世界的基礎(chǔ)上做自身信息的整合，給體驗(yàn)者帶來現(xiàn)場(chǎng)感，體現(xiàn)了真實(shí)世界與虛擬世界的相關(guān)性?；旌犀F(xiàn)實(shí)中虛擬事物的逼真性使虛實(shí)融合的新世界大有替代真實(shí)世界的意圖。計(jì)算機(jī)通過運(yùn)算理解場(chǎng)景并生成虛擬事物，對(duì)計(jì)算機(jī)的CPU 和GPU 的性能要求極高。

三種技術(shù)之間的關(guān)系可概括為圖2（a）：VR 隔絕外界，AR 則包含外界，MR 則需要在外界的基礎(chǔ)上與虛擬發(fā)生關(guān)系。從功能疊加的角度上看三者的關(guān)系為圖3（b）： VR 疊加真實(shí)世界成為AR，AR 中的真實(shí)與虛擬之間“交互”則成為MR。

（二）數(shù)字影像

數(shù)字影像包括數(shù)字短片、VR 影像以及動(dòng)畫。傳統(tǒng)影像按其本質(zhì)來說是照相的一次外延，③通過一連串圖像的連接實(shí)現(xiàn)線性敘事。創(chuàng)造者對(duì)影像的編輯實(shí)現(xiàn)了自我身份的突破，通過添加視覺特效的方式讓“如實(shí)攝影”變成了“想象電影”。④數(shù)字影像敘事讓觀者獲得更好的視聽體驗(yàn)，激發(fā)觀賞甚至是創(chuàng)作的興趣。其作為新媒體敘事手段具有傳播性與體驗(yàn)性優(yōu)勢(shì)：人們通過互聯(lián)網(wǎng)使用小屏幕載體（手機(jī)、PAD、電腦等）發(fā)布與接收內(nèi)容，體現(xiàn)數(shù)字影像的傳播性。戶外屏幕以及巨幅熒幕吸引觀者注意力，展現(xiàn)數(shù)字影像的體驗(yàn)性，如圖3 所示。

（三）投影

不同的投射載體對(duì)應(yīng)不同的空間需求以及敘事環(huán)境。投影中常使用光雕投影（Projection Mapping）以及CAVE 系統(tǒng)（Cave Automatic Virtual Environment）作為動(dòng)態(tài)展示方式。光雕投影將建筑物群以及具有曲面的對(duì)象為投影表面，體驗(yàn)者不用佩戴設(shè)備封閉感官就能參與到展示敘事中。而CAVE系統(tǒng)需要體驗(yàn)者佩戴3D 眼鏡，利用跟蹤攝像機(jī)捕捉用戶自身的行動(dòng)，通過圖像處理系統(tǒng)將最終結(jié)果反饋在投影上。CAVE系統(tǒng)可供多人共同使用，但只適合一個(gè)人體驗(yàn)，因?yàn)槠聊簧系耐队皥D像只顯示被跟蹤的一個(gè)人。⑤

（四）數(shù)字雕塑

數(shù)字雕塑的本質(zhì)特征是數(shù)據(jù)化和虛擬性，數(shù)字化材料與工具發(fā)掘雕塑藝術(shù)新的可能性，并產(chǎn)生新的數(shù)字美學(xué)，而不僅僅是對(duì)傳統(tǒng)雕塑的數(shù)字化克隆。⑥數(shù)字雕塑的敘事過程有兩種：一種通過三維掃描的形式，將模型從真實(shí)世界轉(zhuǎn)換到虛擬世界；另一種則是通過數(shù)字雕刻的方式制作數(shù)字化模型，使用3D 打印將模型從虛擬世界還原到真實(shí)世界，這種真實(shí)到虛擬，虛擬再到真實(shí)的過程實(shí)現(xiàn)物體自身復(fù)制的效果。位于虛擬世界的模型可以與其他虛擬世界的模型組成數(shù)字場(chǎng)景，并在虛擬現(xiàn)實(shí)以及投影、CG 影像中完成敘事，如圖4 所示。

（五）裝置藝術(shù)

裝置藝術(shù)中配有聲光電等機(jī)械裝置與觀眾互動(dòng)實(shí)現(xiàn)動(dòng)態(tài)要素，將平常的感覺強(qiáng)化、異化甚至夸張為新的刺激。主要敘事特性為視覺與互動(dòng)結(jié)合，讓真實(shí)世界中的體驗(yàn)者感知虛擬世界的存在。觀看藝術(shù)裝置的過程分為整體感知、行進(jìn)體驗(yàn)、局部觀看以及完整理解四部分。⑦前三個(gè)部分對(duì)現(xiàn)場(chǎng)藝術(shù)裝置在視聽嗅味觸等感覺上直接感知獲取。觀者結(jié)合自身以及原有經(jīng)驗(yàn)理解并產(chǎn)生聯(lián)想，對(duì)所得的符號(hào)重新解構(gòu)與重構(gòu)，最終生成屬于觀者自己的知覺場(chǎng)。⑧此時(shí)被感知的對(duì)象不再是純粹的存在，而是結(jié)合了個(gè)人經(jīng)歷的新事物。如圖5 所示。

綜上所述，目前各種數(shù)字媒體展示技術(shù)連接并轉(zhuǎn)換虛擬世界與真實(shí)世界，讓體驗(yàn)者進(jìn)入內(nèi)容創(chuàng)作者的敘事之中。虛擬現(xiàn)實(shí)類技術(shù)以及投影讓體驗(yàn)者直接進(jìn)入虛擬或仿真的世界，數(shù)字影像通過傳播與沉浸展示的方式引導(dǎo)觀眾心理層面上進(jìn)入影像內(nèi)的虛擬世界。數(shù)字雕塑與裝置藝術(shù)則為虛擬世界與真實(shí)世界之間搭建溝通的橋梁，觀眾在真實(shí)中感受虛擬的存在，虛擬又能變成真實(shí)，甚至為虛擬世界提供素材。

二、各類智能技術(shù)的敘事性特征：空間性、時(shí)間性與交互性

早期展示中以展品為焦點(diǎn)忽略了觀展者對(duì)于物的逐步認(rèn)識(shí)，而展示敘事則對(duì)這一方面進(jìn)行了彌補(bǔ)。⑨展示敘事中的敘事媒介可分為圖像以及文字兩大類。圖像具有空間性，文字用于敘述，因此具有時(shí)間性。其本身去語(yǔ)境化特點(diǎn)致使單幅圖像無法完成敘事，需要結(jié)合伴隨文本對(duì)圖像進(jìn)行解讀。

空間的時(shí)間化讓圖像的意義準(zhǔn)確傳達(dá)給讀者，方便讀者接收與理解?？臻g的時(shí)間化過程有兩種，首先是利用“錯(cuò)覺”或“期待視野”。⑩其次是將單幅圖像組成系列圖像，形成事件形象流與事件流，例如電影動(dòng)畫等。圖像、文字等傳統(tǒng)媒介具有局限性，只能向接收者單向傳遞信息，而接收者無法對(duì)媒介產(chǎn)生影響。數(shù)字媒體展示技術(shù)的敘事特性集中在空間性、時(shí)間性以及交互性上。如圖6 所示。

動(dòng)畫短片等數(shù)字影像為時(shí)間的形象流與事件流，具有二維的空間性與時(shí)間性。在影像虛擬空間中，數(shù)字動(dòng)畫用模擬真實(shí)空間的方式敘述，內(nèi)容形式上非“真實(shí)”。而數(shù)字短片直接從真實(shí)空間中獲取，因此數(shù)字動(dòng)畫是“虛擬中的模擬”，而數(shù)字短片是“虛擬中的真實(shí)”。

VR 影像與360 度環(huán)繞VR 展示的影像具有三維的空間性，短片或動(dòng)畫作為內(nèi)容則具有時(shí)間性。360 度環(huán)繞VR 常用于線上展覽館等宏大場(chǎng)景之中，為方便觀者對(duì)內(nèi)容的理解，在其中可設(shè)置點(diǎn)擊等操作等必要交互協(xié)助內(nèi)容的查看。

投影中所投射出的影像是二維的，接收表面影響呈現(xiàn)效果。例如二維的影像投射在球幕或多個(gè)平面上形成三維的形態(tài)。投射到建筑立面上，凹凸不平的表面所呈現(xiàn)出的空間感讓原本二維的影像有了三維的特性。投影具有介于二維與三維的空間性以及時(shí)間性。

3R 技術(shù)與CAVE 系統(tǒng)同時(shí)具有三維的空間性、時(shí)間性以及交互性。觀者主動(dòng)選擇探索虛擬世界，能最大程度將觀者帶入到展示自身的敘事之中。非沉浸AR 通過屏幕體現(xiàn)出結(jié)合二維信息的三維空間性以及交互中產(chǎn)生的時(shí)間性。

相較于以上虛擬空間的展示技術(shù)，數(shù)字雕塑與藝術(shù)裝置位于真實(shí)世界之中。除了影像和聲音，裝置藝術(shù)家還能使用現(xiàn)實(shí)世界存在的物品作為裝置的一部分。觀者通過做出交互行為，而藝術(shù)裝置也會(huì)產(chǎn)生對(duì)應(yīng)的反饋，在觀者與藝術(shù)裝置的相互作用下形成自己的故事。

圖7 體現(xiàn)不同媒介在敘事上的特性。首先，最原始媒介——文本呈現(xiàn)出線性的時(shí)間性，觀者閱讀文字并結(jié)合自身體驗(yàn)形成自己的敘事。圖像代表了空間性，平面圖像（如繪畫）與三維圖像（如雕塑）都通過伴隨文本形成敘事。將連續(xù)圖像串聯(lián)在一起實(shí)現(xiàn)空間時(shí)間化，則形成具有空間性與時(shí)間性的影像與動(dòng)畫，但僅能被動(dòng)接收形成線性敘事。技術(shù)的發(fā)展讓展示物有了交互特性，觀者可以主動(dòng)探索形成交互性敘事。以上多個(gè)展示方式結(jié)合便形成多媒介敘事，整體的氛圍感增強(qiáng)。

媒介的特性可以與用戶體驗(yàn)中的“本能”“行為”以及“反思”相對(duì)應(yīng)。“本能層次設(shè)計(jì)是自然的法則。”具有時(shí)間性的文字與具有空間性的圖像是媒介傳播最初的狀態(tài)。用戶體驗(yàn)的反思層面則是“關(guān)于事物的含義、某件東西激起的私密記憶?！倍喾N媒介形成的氛圍激發(fā)了觀者內(nèi)心深處的思考與想法?？傮w而言，展示技術(shù)特性越多，體驗(yàn)感越強(qiáng)，越能形成深層次的體驗(yàn)。

三、各類媒介的應(yīng)用策略分析

展示媒介進(jìn)行敘事時(shí)，通過對(duì)各媒介交互性、時(shí)間性、空間性的分析最終可以得到互動(dòng)性、多感官以及沉浸性策略。

（一）互動(dòng)性策略：讓參與者成為敘事中的一部分

小說、電影等敘事文本為了讓讀者具有閱讀的欲望，常常會(huì)用第一人稱展開敘事，在敘事過程中“我”的出現(xiàn)讓觀者將自己代入到故事中。展示需要提升整體的體驗(yàn)性與參與度，讓參與者成為整個(gè)展示敘事的一部分。

“互動(dòng)性乃新媒體同舊媒體之間最根本的區(qū)別性特征。”互動(dòng)讓新媒體藝術(shù)有了更多可發(fā)掘的內(nèi)容。設(shè)計(jì)者應(yīng)用數(shù)字技術(shù)布展為展示敘述做好充足的準(zhǔn)備，當(dāng)觀眾開始用感官接收現(xiàn)場(chǎng)的信息并與之互動(dòng)時(shí)，才算真正開始展覽的敘述。觀眾的參與是展覽敘事中的一部分，觀眾離開則敘述也隨之結(jié)束，直到下一位觀眾前來，敘述又重新開始。

（二）多感官策略：利用視聽嗅味觸的感覺形成多媒介敘事

傳統(tǒng)觀展方式僅有單一刺激，易讓觀展者疲勞甚至失去興趣。而多媒介敘事讓觀展者保持興奮狀態(tài)避免疲勞的產(chǎn)生。視覺、聽覺、嗅覺、味覺以及觸覺作為人們感知世界的基本方式，集合在一起形成綜合感官意識(shí)。多種感官體驗(yàn)讓這種綜__合感官意識(shí)進(jìn)一步上升為意識(shí)體驗(yàn)，成為敘事前的重要組成部分。觀者參觀過程中形成特定的情感，真實(shí)感以及親歷感得到提升。

（三）沉浸性策略：建立真實(shí)與虛擬之間的區(qū)隔

互動(dòng)體驗(yàn)需要確保參與者能夠順暢完成整個(gè)流程。從敘事的角度來看，建立真實(shí)與虛擬之間的區(qū)隔則是實(shí)現(xiàn)沉浸感的重要途徑。

沉浸性分為劇場(chǎng)式、具身式以及混疊式。劇場(chǎng)式利用投影技術(shù)達(dá)到沉浸的效果，3R 技術(shù)通過封閉感官以及增加交互體驗(yàn)等方式形成具身式或混疊式沉浸影像。封閉感官形成的區(qū)隔是影響沉浸性的關(guān)鍵。文字?jǐn)⑹鲋?，語(yǔ)句在腦中形成圖像達(dá)到沉浸效果。此時(shí)的區(qū)隔是文字本身，但文字世界與現(xiàn)實(shí)世界有較大的差距。與之相比，電影中的區(qū)隔為片頭以及演職員表，在片頭結(jié)束后進(jìn)入故事的敘述，片尾播放演職員表時(shí)又從故事回到現(xiàn)實(shí)世界。動(dòng)態(tài)聲音圖像與我們平時(shí)所感受到的真實(shí)世界類似。VR 則是直接封閉體驗(yàn)者的感官，此時(shí)的區(qū)隔是佩戴VR 設(shè)備的瞬間，此后體驗(yàn)者進(jìn)入虛擬世界，不能察覺真實(shí)世界的存在，沉浸達(dá)到最強(qiáng)的狀態(tài)。

四、結(jié)語(yǔ)

文章對(duì)數(shù)字媒體展示技術(shù)進(jìn)行分類總結(jié)，闡述其中虛擬空間與真實(shí)空間的關(guān)系。根據(jù)空間敘事學(xué)中圖像與文字的聯(lián)系，總結(jié)出不同展示技術(shù)中所含有的空間性、時(shí)間性與交互性。從最初僅具有時(shí)間性的文字媒介到目前的多媒介融合，媒介的發(fā)展從本能層次逐漸過渡到反思層次，并提出多維度，互動(dòng)性以及沉浸性策略?；?dòng)性策略讓參與者加入成為敘事的一部分。多感官策略調(diào)動(dòng)了視聽嗅味觸等多種體驗(yàn)，防止體驗(yàn)者因?yàn)榻邮諉我煌ǖ来碳ざ械狡v。沉浸性策略提出要建立區(qū)隔，使參與者在特定的環(huán)境內(nèi)感受以獲得良好體驗(yàn)。數(shù)字展示技術(shù)中對(duì)媒介敘事的探討表明了技術(shù)特性以及應(yīng)用范圍。下一步將與傳統(tǒng)空間藝術(shù)中的敘事研究進(jìn)行對(duì)照，對(duì)未來媒介的敘事特性進(jìn)行預(yù)測(cè)。

注釋：

①【英】E.H·貢布里希.貢布里希文集：圖像與眼睛——圖畫再現(xiàn)心理學(xué)的再研究［M］ .南寧：廣西美術(shù)出版社，2016.

②孫金龍.泛繆斯、泛計(jì)劃、泛設(shè)計(jì)！——博物館敘事空間型態(tài)邏輯的設(shè)計(jì)研究［J］ .設(shè)計(jì)，2019，32（19） .

③ 【德】齊格弗里德·克拉考爾.電影的本性［M］ .北京：中國(guó)電影出版社，1981.

④楊玄一. 媒介化、審美化、狂歡化——數(shù)字影像的文化特征［D］ .廣州： 暨南大學(xué)，2020.

⑤ Daniel SANDIN， Thomas DEFANTI， Carolina CRUZ- NEIRA. Multimedia：From Wagner to Virtual Reality. New York： w. W. Norton & Company.2002： 291.

⑥張盛.數(shù)字雕塑技術(shù)與3D打?。跰］ .北京：清華出版社，2019.

⑦付陽(yáng)，汪澤宇.裝置藝術(shù)在展覽中的場(chǎng)域視覺邏輯探究［J］ .世界美術(shù)，2021（1） .

⑧張堯均.隱喻的身體：梅洛-龐蒂身體現(xiàn)象學(xué)研究［M］ .中國(guó)美術(shù)學(xué)院出版社，2006.

⑨廖玲玲，張燾.南通板鷂風(fēng)箏展示中的敘事設(shè)計(jì)研究［J］.設(shè)計(jì)，2020，33（3） .

⑩龍迪勇.空間敘事研究［M］ . 北京：三聯(lián)書店，2014.

? 【美】唐納德·A·諾曼，張磊譯.設(shè)計(jì)心理學(xué)3：情感化設(shè)計(jì)［M］ .北京：中信出版社，2016.

?周鵬程.廣義敘事框架下數(shù)字交互展示設(shè)計(jì)的深度體驗(yàn)研究［J］ .包裝工程，2018，39（4） .

［13］ 張新軍.數(shù)字時(shí)代的敘事學(xué)：瑪麗·勞爾·瑞安敘事理論研究［M］ .成都： 四川大學(xué)出版社， 2017.

［14］ 王玨.體驗(yàn)美學(xué)視域下沉浸式影像的類型與特征探析［J］ .藝術(shù)傳播研究，2020（2） .