擴(kuò)展現(xiàn)實(shí)科普童書(shū)的互動(dòng)數(shù)字?jǐn)⑹虏呗?/h1>
2023-12-31 04:08:59馬方楠方睿
出版科學(xué) 2023年6期 關(guān)鍵詞：敘事策略交互設(shè)計(jì)
馬方楠 方睿
[摘 要] 應(yīng)用互動(dòng)數(shù)字?jǐn)⑹拢↖nteractive Digital Narrative，IDN）框架，提出在設(shè)計(jì)擴(kuò)展現(xiàn)實(shí)（Extended Reality，XR）類(lèi)科普童書(shū)產(chǎn)品的過(guò)程中，基于紙質(zhì)書(shū)敘事符號(hào)與擴(kuò)展現(xiàn)實(shí)交互界面形成映射關(guān)系，依托紙質(zhì)書(shū)角色間的互動(dòng)形成敘事情境，并將該情境遷移到擴(kuò)展現(xiàn)實(shí)互動(dòng)體驗(yàn)設(shè)計(jì)中。進(jìn)而提出以視、聽(tīng)、觸的隱喻性敘事符號(hào)、角色間社會(huì)化互動(dòng)的敘事情境、第一人稱(chēng)視點(diǎn)的敘事視角作為擴(kuò)展現(xiàn)實(shí)科普童書(shū)的互動(dòng)數(shù)字?jǐn)⑹虏呗浴?/p>
[關(guān)鍵詞] 擴(kuò)展現(xiàn)實(shí) 科普童書(shū) 互動(dòng)數(shù)字?jǐn)⑹?交互設(shè)計(jì) 敘事策略
[中圖分類(lèi)號(hào)] G237 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1009-5853 （2023） 06-0018-08
Interactive Digital Narrative Strategies for Extended Reality Science Popularization Popularization Children’ s Books
Ma Fangnan Fang Rui
（College of Communication and Art Design，University of Shanghai for Science and Technology， Shanghai， 200093）
[Abstract] This article applies the Interactive Digital Narrative（IDN）framework， and proposes that in the process of designing Extended reality（XR） popular science children’ s books， the mapping relationship between paper book narrative symbols and XR interface is formed， and the narrative context is formed based on the interaction between paper book characters. Context transfers to XR interactive experience design. Furthermore， the metaphorical narrative symbols of sight， hearing and touch， the narrative context of social interaction between characters， and the narrative perspective of the first-person viewpoint are proposed as interactive digital narrative strategies for XR popular science children’? s books.
[Key words] Extended reality Polupar science book Interactive digital narrative Interactive design Narrative strategies
[基金項(xiàng)目] 本文系上海市社會(huì)科學(xué)規(guī)劃課題資助項(xiàng)目“傳統(tǒng)文化教育視域下的童書(shū)創(chuàng)意研究——基于情境學(xué)習(xí)的視角”（2020BWY00）研究成果。
[作者簡(jiǎn)介] 馬方楠，藝術(shù)學(xué)博士，上海理工大學(xué)出版印刷與藝術(shù)設(shè)計(jì)學(xué)院講師；方睿，工學(xué)博士，上海理工大學(xué)出版印刷與藝術(shù)設(shè)計(jì)學(xué)院副教授。
隨著α世代對(duì)數(shù)字閱讀和沉浸式敘事的需求不斷提高，擴(kuò)展現(xiàn)實(shí)（Extended Reality，XR）科普童書(shū)對(duì)年輕讀者來(lái)說(shuō)更具吸引力。擴(kuò)展現(xiàn)實(shí)是描述增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）、虛擬現(xiàn)實(shí)（Virtual Reality，VR）和混合現(xiàn)實(shí)（Mixed Reality，MR）技術(shù)的總稱(chēng)。其中，增強(qiáng)現(xiàn)實(shí)由疊加在現(xiàn)實(shí)世界之上的圖形組成，虛擬現(xiàn)實(shí)將用戶置于完全沉浸式的環(huán)境中，而混合現(xiàn)實(shí)則是兩者的綜合。科普童書(shū)是少兒圖書(shū)出版市場(chǎng)中具有增長(zhǎng)潛力的細(xì)分種類(lèi)之一，將擴(kuò)展現(xiàn)實(shí)技術(shù)與科普童書(shū)相融合是未來(lái)重要的發(fā)展趨勢(shì)，能夠提高科學(xué)知識(shí)傳播的效能，為兒童創(chuàng)造沉浸式認(rèn)知體驗(yàn)，更重要的是能夠?yàn)閮和峁┮环N雙向互動(dòng)的“共同生產(chǎn)模式”。
盡管我國(guó)在擴(kuò)展現(xiàn)實(shí)科普童書(shū)上進(jìn)行了許多有益探索，但仍有許多出版物在內(nèi)容和交互設(shè)計(jì)的融合上存在形式單一、同質(zhì)化、內(nèi)容和交互不適配的問(wèn)題。學(xué)界對(duì)于科普童書(shū)的選題分析、AR/VR技術(shù)與科普童書(shū)內(nèi)容的適配等方面提出了諸如改善選題、優(yōu)化技術(shù)等解決思路，然而XR科普童書(shū)在內(nèi)容和技術(shù)上如何實(shí)現(xiàn)有機(jī)融合還尚無(wú)探討。
本文應(yīng)用互動(dòng)數(shù)字?jǐn)⑹拢↖nteractive Digital Narrative）框架，提出在紙質(zhì)科普童書(shū)的基礎(chǔ)上（尤其是科普?qǐng)D像小說(shuō)或科普漫畫(huà)）應(yīng)用擴(kuò)展現(xiàn)實(shí)技術(shù)創(chuàng)作數(shù)字出版物的互動(dòng)數(shù)字?jǐn)⑹虏呗裕云诖龠M(jìn)擴(kuò)展現(xiàn)實(shí)科普童書(shū)內(nèi)容與形式的融合模式創(chuàng)新。
1 國(guó)內(nèi)外擴(kuò)展現(xiàn)實(shí)科普童書(shū)現(xiàn)狀與問(wèn)題
在科技的推動(dòng)下，越來(lái)越多科普童書(shū)嘗試融入擴(kuò)展現(xiàn)實(shí)技術(shù)，旨在為年輕讀者提供更具吸引力和趣味性的閱讀體驗(yàn)。在中國(guó)市場(chǎng)上，引進(jìn)了包括《消失的世界》（2016）、《未來(lái)機(jī)械世界》（2018）、《奇幻植物園》（2018）、《尋找看不見(jiàn)的世界》等國(guó)外科普童書(shū)，并由國(guó)內(nèi)出版機(jī)構(gòu)和新媒體研究機(jī)構(gòu)打造出受到讀者歡迎的增強(qiáng)現(xiàn)實(shí)版本。近幾年，我國(guó)原創(chuàng)增強(qiáng)現(xiàn)實(shí)科普童書(shū)《地鐵是怎樣設(shè)計(jì)的》（2019）、《恐龍尋蹤：誤入未知世界》（2021）在設(shè)計(jì)上有所創(chuàng)新；在虛擬現(xiàn)實(shí)科普童書(shū)方面，《天工開(kāi)物：給孩子的古代科技百科全書(shū)（VR禮盒）》（2022）在形式上較為創(chuàng)新地以微信小程序替代了獨(dú)立的應(yīng)用程序。
國(guó)外市場(chǎng)上，出版有《大英百科全書(shū)：VR科學(xué)》（Encyclopedia Britannica： VR Science）（2018）的系列虛擬科普童書(shū)，《哇！百科全書(shū)》（Wow！ Encyclopedias）（2020）的增強(qiáng)現(xiàn)實(shí)科普童書(shū)。2021年美國(guó)圖書(shū)館創(chuàng)意（Library Ideas）出版了首部將增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)結(jié)合的系列科普童書(shū)“沉浸現(xiàn)實(shí)圖書(shū)”（IR Books），該項(xiàng)目獲得了美國(guó)2021年國(guó)家育兒產(chǎn)品獎(jiǎng)（ National Parenting Product Awards）。沉浸現(xiàn)實(shí)圖書(shū)包括兩個(gè)閱讀級(jí)別的系列叢書(shū)， 級(jí)別1 （level 1）為4—7歲兒童設(shè)計(jì)，級(jí)別2（Level 2 ）為8—14歲兒童設(shè)計(jì)，主題包括天文、地理、生物、人文、工程。此外，2021年美國(guó)國(guó)家航空航天局（NASA）與布利娛樂(lè)（Bully！Entertainment）合作出版了首部擴(kuò)展現(xiàn)實(shí)輕科幻圖像小說(shuō)《首個(gè)女性：NASA對(duì)人類(lèi)的承諾》（First Woman： NASA’ s Promise for Humanity），并在其擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)中融入了大量航天科普。
本文對(duì)國(guó)內(nèi)外近6年出版的擴(kuò)展現(xiàn)實(shí)科普童書(shū)進(jìn)行案例分析，發(fā)現(xiàn)擴(kuò)展現(xiàn)實(shí)科普童書(shū)盡管在市場(chǎng)上獲得了大量熱度，但在內(nèi)容和形式的融合上，仍然存在以下幾點(diǎn)尚待解決的問(wèn)題。一是紙質(zhì)書(shū)美術(shù)風(fēng)格與擴(kuò)展現(xiàn)實(shí)界面風(fēng)格不一致，例如《恐龍尋蹤：誤入未知世界》的紙質(zhì)書(shū)版式設(shè)計(jì)是復(fù)古手繪風(fēng)格，但增強(qiáng)現(xiàn)實(shí)界面圖標(biāo)卻是高飽和的扁平化風(fēng)格。二是紙質(zhì)書(shū)敘述內(nèi)容和擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)的相關(guān)性弱，例如《天工開(kāi)物》將虛擬現(xiàn)實(shí)內(nèi)容的二維碼放置在封底，紙質(zhì)書(shū)內(nèi)容和虛擬現(xiàn)實(shí)互動(dòng)設(shè)計(jì)彼此脫離。三是紙質(zhì)書(shū)敘述視角與擴(kuò)展現(xiàn)實(shí)空間導(dǎo)航割裂，例如《地鐵是怎樣設(shè)計(jì)的》的虛擬現(xiàn)實(shí)動(dòng)畫(huà)在空間導(dǎo)航上缺少第一人稱(chēng)視角設(shè)計(jì)，沒(méi)能很好地使讀者感受到地鐵的空間尺度和結(jié)構(gòu)。因此，應(yīng)用擴(kuò)展現(xiàn)實(shí)技術(shù)賦能科普童書(shū)，尚有較大的提升空間。
2 互動(dòng)數(shù)字?jǐn)⑹驴蚣芟碌臄U(kuò)展現(xiàn)實(shí)科普童書(shū)設(shè)計(jì)
2.1 互動(dòng)數(shù)字?jǐn)⑹碌母拍?/p>
科普童書(shū)的敘事往往是兒童文學(xué)和非虛構(gòu)文學(xué)的結(jié)合，以富于想象的故事增加兒童對(duì)科普知識(shí)的興趣。然而，要實(shí)現(xiàn)紙質(zhì)書(shū)敘事和擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)、體驗(yàn)設(shè)計(jì)的高度融合，則需要充分調(diào)動(dòng)紙質(zhì)書(shū)敘事這一重要資源，在互動(dòng)數(shù)字?jǐn)⑹碌目蚣芟拢适潞蛿?shù)字媒體資源、UI界面設(shè)計(jì)之間的關(guān)系是一種相互作用、相互影響的耦合關(guān)系。
哈特穆特·科尼茨（Hartmut Koenitz）將互動(dòng)數(shù)字?jǐn)⑹露x為數(shù)字媒體中一種富有表現(xiàn)力的敘事形式，將其實(shí)現(xiàn)為包含潛在敘事的運(yùn)算系統(tǒng)，并通過(guò)用戶在參與過(guò)程中的體驗(yàn)，產(chǎn)生顯現(xiàn)化的敘事產(chǎn)品[1]?？梢岳斫鉃椋?dòng)數(shù)字?jǐn)⑹率怯上到y(tǒng)、過(guò)程和產(chǎn)品組成的，包含故事、數(shù)字媒體資源、UI界面以及敘事設(shè)計(jì)。也就是說(shuō)，互動(dòng)數(shù)字?jǐn)⑹碌南到y(tǒng)需要進(jìn)行敘事設(shè)計(jì)才能顯現(xiàn)出產(chǎn)品的敘事潛能。
2.2 基于紙質(zhì)書(shū)敘事符號(hào)映射的擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)
擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)是擴(kuò)展現(xiàn)實(shí)科普童書(shū)系統(tǒng)設(shè)計(jì)的一環(huán)，借助紙書(shū)中的敘事符號(hào)資源，以特定符號(hào)與UI界面形成映射關(guān)系，是應(yīng)用互動(dòng)數(shù)字?jǐn)⑹驴蚣艿穆窂街?。那么，紙質(zhì)書(shū)敘事符號(hào)，如何與數(shù)字界面中的要素形成映射關(guān)系？數(shù)字?jǐn)⑹聦W(xué)專(zhuān)家瑪麗-勞爾·瑞安（Marie-Laure Ryan）在其著作《可能世界、人工智能、敘事理論》（Possible Worlds， Artificial Intelligence， and Narrative Theory）中提出“真實(shí)系統(tǒng)”（System of Reality）理論，指出假如這個(gè)世界包含由衛(wèi)星世界包圍的中心世界，則該系統(tǒng)具有模態(tài)結(jié)構(gòu)并形成一個(gè)模態(tài)系統(tǒng)。模態(tài)系統(tǒng)的中心是它的現(xiàn)實(shí)世界，衛(wèi)星是“替代的可能世界”。在這個(gè)系統(tǒng)中，“文本參考世界”（Textual Reference World，TRW）即文本指稱(chēng)事實(shí)的世界，是文本所主張的命題被重視的世界。在現(xiàn)實(shí)的模態(tài)系統(tǒng)中的“替代的可能世界”（Alternative Possible World，APW），文本參考世界是包含替代的可能世界現(xiàn)實(shí)系統(tǒng)的中心。
根據(jù)瑞安提出的“符號(hào)化的真實(shí)系統(tǒng)”，本文將紙質(zhì)書(shū)中的敘事看作符號(hào)意義上的真實(shí)系統(tǒng)，進(jìn)而認(rèn)為基于紙質(zhì)書(shū)敘事符號(hào)而創(chuàng)作出的擴(kuò)展現(xiàn)實(shí)交互界面可被看作是由該真實(shí)系統(tǒng)延伸出的“可能世界”[2]。依據(jù)真實(shí)系統(tǒng)和可能世界的映射關(guān)系，形成將紙質(zhì)書(shū)敘事符號(hào)資源作為象征符號(hào)、以符號(hào)映射的方式將敘事融入擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)中的理念，從而為讀者或用戶提供更好的意符和示能。
因此，科普童書(shū)的敘事符號(hào)資源屬于文本參考世界，借助增強(qiáng)現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)呈現(xiàn)的圖書(shū)外的擴(kuò)展現(xiàn)實(shí)交互界面及其數(shù)字媒體資源則屬于替代的可能世界。這種理解方式建立在科普童書(shū)內(nèi)的敘事是對(duì)符號(hào)真實(shí)世界的文本指稱(chēng)，圖書(shū)載體是敘事符號(hào)的中心，增強(qiáng)現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)呈現(xiàn)的世界是圍繞該中心世界的“衛(wèi)星世界”。擴(kuò)展現(xiàn)實(shí)科普童書(shū)是以文本參考世界為中心，圍繞該中心創(chuàng)建替代的可能世界的多模態(tài)敘事系統(tǒng)。在目前的技術(shù)手段下，擴(kuò)展現(xiàn)實(shí)的媒介內(nèi)容往往通過(guò)二維碼或可識(shí)別圖形，使讀者從文本參考世界進(jìn)入多個(gè)由移動(dòng)設(shè)備提供的可視、可聽(tīng)、可觸的替代的可能世界中。
2.3 依托紙質(zhì)書(shū)敘事情境遷移的擴(kuò)展現(xiàn)實(shí)互動(dòng)體驗(yàn)設(shè)計(jì)
科普童書(shū)的敘事主要是為科普知識(shí)提供學(xué)習(xí)情境，紙質(zhì)書(shū)中的敘事情境經(jīng)過(guò)兒童初步學(xué)習(xí)后，再通過(guò)情境遷移，在擴(kuò)展現(xiàn)實(shí)互動(dòng)體驗(yàn)中轉(zhuǎn)化為對(duì)科普內(nèi)容的新知。本文認(rèn)為在敘事情境的設(shè)計(jì)上，故事角色之間符號(hào)意義上的社會(huì)交互，尤其是對(duì)話交互、肢體動(dòng)作交互、基于分享式注意力的交互、基于共同目標(biāo)而合作的交互，是適宜在擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)中塑造情境學(xué)習(xí)體驗(yàn)的依托形式。
對(duì)于兒童來(lái)說(shuō)，遷移式學(xué)習(xí)并非易事。因此，敘事設(shè)計(jì)者需要在紙質(zhì)書(shū)敘事情境中給出明確的線索（暗示）。當(dāng)敘事情境源自角色間的“社會(huì)交互”時(shí)，角色之間的對(duì)話內(nèi)容、身體交互的動(dòng)作、共同關(guān)注的物件，以及他們共享的目標(biāo)和任務(wù)都應(yīng)被考慮為可能的線索，被敘事設(shè)計(jì)者有意識(shí)地納入情境中。在此基礎(chǔ)上，擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)可以借鑒并保留紙質(zhì)書(shū)中的這些敘事情境。這種設(shè)計(jì)方式有助于兒童更輕松地將他們從紙質(zhì)書(shū)情境中學(xué)習(xí)到的內(nèi)容遷移到擴(kuò)展現(xiàn)實(shí)的情境中，從而使他們能夠更自主地在擴(kuò)展現(xiàn)實(shí)空間中進(jìn)行學(xué)習(xí)活動(dòng)。
借助敘事上的線索開(kāi)展的交互設(shè)計(jì)，被交互敘事研究者羅赫里奧（Rogelio）認(rèn)為是基于敘事可供性（Narrative Affordance）[3]的，這種觀點(diǎn)認(rèn)為“敘事可供性在交互中是創(chuàng)造讓用戶可持續(xù)地體驗(yàn)到故事的行動(dòng)上的可能性”。通常，交互設(shè)計(jì)中認(rèn)為可供性是基于“人工制品”（artifacts）。提到可供性時(shí)一般是以威廉·吉布森（William Gibson）的生態(tài)心理學(xué)[4]來(lái)解釋交互空間中物品為人提供的可操控的可能性。美國(guó)交互敘事的研究者邁克爾·楊（Michael Young）提出將敘事（尤其是故事事件）而非“人工制品”作為促進(jìn)用戶認(rèn)知，并使用戶直覺(jué)地預(yù)想故事結(jié)果的可能性，以此作為研究游戲交互中的敘事可供性[5]。
在人機(jī)交互領(lǐng)域，敘事可供性已被證實(shí)與支持?jǐn)⑹碌臄?shù)字界面設(shè)計(jì)相關(guān)。研究人員已經(jīng)確定了各種可以增強(qiáng)敘事可供性的界面設(shè)計(jì)原則，例如使用視覺(jué)敘事技術(shù)為敘事提供多個(gè)入口點(diǎn)，以及根據(jù)用戶的興趣和喜好量身定制的個(gè)性化敘事等。敘事可供性的概念為理解數(shù)字媒體技術(shù)如何促進(jìn)敘事的創(chuàng)造和消費(fèi)提供了有用框架，幫助人們更好地理解不同的媒體形式、數(shù)字工具和界面設(shè)計(jì)原則如何有效支持?jǐn)⑹隆?/p>
科普?qǐng)D書(shū)的擴(kuò)展現(xiàn)實(shí)內(nèi)容在提高用戶參與度和游戲體驗(yàn)設(shè)計(jì)上，通常被認(rèn)為是有效果的。但這并不意味著游戲的交互敘事策略適用于交互式的科普童書(shū)。眾所周知，科普讀物需要保持文本內(nèi)容的真實(shí)性、客觀性，難以實(shí)現(xiàn)游戲交互敘事那種真正讓用戶影響敘事的情況。擴(kuò)展現(xiàn)實(shí)科普童書(shū)中交互設(shè)計(jì)的可供性[6]是為用戶提供“產(chǎn)生認(rèn)知”的行為動(dòng)機(jī)，為了使這種認(rèn)知行為不脫離讀者在敘事性文本中獲得的沉浸閱讀體驗(yàn)，專(zhuān)為科普童書(shū)設(shè)計(jì)的擴(kuò)展現(xiàn)實(shí)內(nèi)容的敘事可供性應(yīng)該遵循“全情景”原則。
3 擴(kuò)展現(xiàn)實(shí)科普童書(shū)應(yīng)用互動(dòng)數(shù)字?jǐn)⑹碌穆窂?/p>
在XR科普童書(shū)中應(yīng)用互動(dòng)數(shù)字?jǐn)⑹碌牟呗跃唧w可以從以下三個(gè)方面展開(kāi)。
第一，以視、聽(tīng)、觸的隱喻替代直白的行動(dòng)指示，形成多模態(tài)敘事符號(hào)，基于紙質(zhì)書(shū)敘事符號(hào)與交互對(duì)象的映射關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)界面的設(shè)計(jì)原則。在設(shè)計(jì)用戶與虛擬環(huán)境互動(dòng)的多種可能性時(shí)，隱喻是其中很重要的設(shè)計(jì)工具，對(duì)于擴(kuò)展現(xiàn)實(shí)科普童書(shū)來(lái)說(shuō)，加強(qiáng)兒童沉浸感的關(guān)鍵是提供“一致”的閱讀體驗(yàn)，即將兒童在閱讀圖文故事所獲得的沉浸感閱讀體驗(yàn)延續(xù)在擴(kuò)展現(xiàn)實(shí)空間中?；趦和恼J(rèn)知特點(diǎn)，他們尚處在認(rèn)知發(fā)展階段，對(duì)于理解科普知識(shí)中的抽象概念還有一定困難，他們更有可能對(duì)視覺(jué)刺激做出反應(yīng)[7]。因此，在擴(kuò)展現(xiàn)實(shí)交互設(shè)計(jì)中使用隱喻時(shí)，選擇易于理解和具有視覺(jué)刺激的隱喻至關(guān)重要。通過(guò)選擇兒童熟悉的隱喻，使用隱喻來(lái)簡(jiǎn)化復(fù)雜的概念并用隱喻創(chuàng)造故事，幫助孩子們參與到故事當(dāng)中并從中建立情感聯(lián)系[8]。在科普童書(shū)的擴(kuò)展現(xiàn)實(shí)交互設(shè)計(jì)中，圖像、動(dòng)畫(huà)或者音效、音樂(lè)都能強(qiáng)化隱喻意義。需要注意的是，同一個(gè)隱喻符號(hào)用在不同模態(tài)上時(shí)，其隱喻的意義可能會(huì)發(fā)生變化，不恰當(dāng)?shù)碾[喻符號(hào)會(huì)產(chǎn)生矛盾意義，從而干擾用戶的理解和判斷[9]。因此需要注意隱喻符號(hào)使用時(shí)的一致性問(wèn)題。
《首個(gè)女性》采用圖像小說(shuō)形式，其擴(kuò)展現(xiàn)實(shí)內(nèi)容的交互設(shè)計(jì)中使用了大量的感嘆號(hào)來(lái)提示用戶“此處有新的發(fā)現(xiàn)”，在用戶點(diǎn)擊“感嘆號(hào)”后，提供包括圖像、視頻、網(wǎng)頁(yè)的附加科普信息在內(nèi)的三項(xiàng)增強(qiáng)現(xiàn)實(shí)內(nèi)容；若點(diǎn)擊虛擬空間中標(biāo)識(shí)的感嘆號(hào)，則提供交互動(dòng)畫(huà)（例如模擬操作太空艙內(nèi)設(shè)備的動(dòng)畫(huà)）、拓展的富媒體交互界面（包含科普知識(shí)問(wèn)答、科普視頻、文章）選擇等四項(xiàng)虛擬現(xiàn)實(shí)內(nèi)容。通過(guò)由隱喻符號(hào)建立與圖文漫畫(huà)類(lèi)似的閱讀體驗(yàn)，使得增強(qiáng)現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)的交互設(shè)計(jì)對(duì)于兒童來(lái)說(shuō)更具有吸引力，相較于被動(dòng)地接受學(xué)習(xí)指令，隱喻符號(hào)的交互設(shè)計(jì)能夠增強(qiáng)兒童學(xué)習(xí)的主動(dòng)性。
第二，以角色間的互動(dòng)替代解釋性的敘述，形成社會(huì)化的敘事情境，依托紙質(zhì)書(shū)敘事情境鋪陳的“引渡點(diǎn)”，創(chuàng)設(shè)紙質(zhì)書(shū)轉(zhuǎn)向擴(kuò)展現(xiàn)實(shí)互動(dòng)的時(shí)機(jī)?！耙牲c(diǎn)”是引導(dǎo)讀者由閱讀紙質(zhì)圖書(shū)轉(zhuǎn)向體驗(yàn)擴(kuò)展現(xiàn)實(shí)科普互動(dòng)內(nèi)容的“觸點(diǎn)”。合理設(shè)置“引渡點(diǎn)”能夠增強(qiáng)兒童進(jìn)入擴(kuò)展現(xiàn)實(shí)科普互動(dòng)時(shí)的“信念感”，幫助兒童代入角色身份去和虛擬場(chǎng)景進(jìn)行交互。要設(shè)置合理的“引渡點(diǎn)”，首先需要分析角色間互動(dòng)的重要形式，本文借鑒社會(huì)學(xué)中人際互動(dòng)的分類(lèi)方法[10]，將角色間的互動(dòng)分為對(duì)話互動(dòng)、肢體互動(dòng)、基于分享式注意力的互動(dòng)和基于共同目標(biāo)而合作的互動(dòng)，并考慮以上幾種互動(dòng)的敘事呈現(xiàn)方式以適配兒童的認(rèn)知水平。本文以甘瑟·克雷斯（Gunther Kress）的社會(huì)符號(hào)學(xué)為視角[11]，分析故事角色間互動(dòng)的多模態(tài)符號(hào)，認(rèn)為這些敘事符號(hào)形成的敘事情境，由于其內(nèi)在的社會(huì)互動(dòng)意義使擴(kuò)展現(xiàn)實(shí)互動(dòng)形成意義。
例如《首個(gè)女性》的擴(kuò)展現(xiàn)實(shí)交互設(shè)計(jì)中，通過(guò)各類(lèi)模態(tài)的隱喻符號(hào)生成意義也為嵌套空間在體驗(yàn)上的一致性提供設(shè)計(jì)工具。例如，“感嘆號(hào)”圖形是貫穿該項(xiàng)目的所有AR+VR內(nèi)容的隱喻符號(hào)，它引導(dǎo)了用戶的大部分探索行為，也是幫助用戶找到空間轉(zhuǎn)換點(diǎn)的工具。感嘆號(hào)在漫畫(huà)里的隱喻是“新發(fā)現(xiàn)”“想到了重要的事情”，而三角形、圓形內(nèi)附上感嘆號(hào)，是隱喻“警示”“錯(cuò)誤”，這些隱喻符號(hào)對(duì)兒童來(lái)說(shuō)是熟悉且易于理解的。
《首個(gè)女性》圖書(shū)中的敘事分為主線劇情（太空探索）和支線劇情（回憶成長(zhǎng)故事），由主線劇情部分的社會(huì)化情境建構(gòu)引渡點(diǎn)，引導(dǎo)讀者進(jìn)入擴(kuò)展現(xiàn)實(shí)的交互空間中進(jìn)行深度科普知識(shí)學(xué)習(xí)。在敘事策略上，選用社會(huì)共有的航天文化作為故事情節(jié)并形成“引渡點(diǎn)”，例如，在空間站內(nèi)就餐、穿戴航天服、駕駛探月車(chē)、遠(yuǎn)程視頻通信等，此類(lèi)情節(jié)在各國(guó)科幻作品中是常見(jiàn)的、讀者易于理解的文化符號(hào)，以其為“引渡點(diǎn)”再向讀者科普有關(guān)NASA阿爾忒彌斯計(jì)劃（Artemis Program）的“硬知識(shí)”，由淺入深、循序漸進(jìn)，更加符合8歲及以上年齡段兒童的認(rèn)知規(guī)律，其擴(kuò)展現(xiàn)實(shí)內(nèi)容在交互設(shè)計(jì)上將NASA官方網(wǎng)站上與阿爾忒彌斯計(jì)劃相關(guān)的科普知識(shí)以鏈接的形式，將科普紀(jì)錄片、科普文章整合在虛擬現(xiàn)實(shí)空間界面上的菜單欄內(nèi)。該項(xiàng)目的技術(shù)實(shí)現(xiàn)方式是通過(guò)攝像頭掃描真實(shí)空間的坐標(biāo)信息，實(shí)現(xiàn)虛擬空間和現(xiàn)實(shí)空間位置上的重疊，同時(shí)在虛擬空間中加入控制桿系統(tǒng)，使讀者能夠體驗(yàn)到第一人稱(chēng)視角的全景交互式3D場(chǎng)景的擴(kuò)展現(xiàn)實(shí)科普?qǐng)D書(shū)。上述情節(jié)中機(jī)器人RT扮演著“好奇寶寶”的身份，其性格、體型和語(yǔ)言風(fēng)格采用了兒童友好型設(shè)計(jì)，在讀者初次被圖書(shū)中的上述情景引渡到虛擬現(xiàn)實(shí)的虛擬空間中時(shí)，迎接他們的便是機(jī)器人RT。從媒介敘事可供性上來(lái)看，虛擬現(xiàn)實(shí)空間里的機(jī)器人RT除了為體驗(yàn)者提供“行為提示”的功能以外，也為敘事中的社會(huì)化情境提供情感化互動(dòng)?！妒讉€(gè)女性》包含四個(gè)虛擬體驗(yàn)場(chǎng)景，分別是“造訪月球表面”“造訪NASA的獵戶太空艙”“造訪一座月球火山口”“造訪月球前哨基地內(nèi)部”，每當(dāng)讀者掃描書(shū)頁(yè)上的二維碼進(jìn)入虛擬現(xiàn)實(shí)場(chǎng)景，便會(huì)看到機(jī)器人RT揮手歡迎并彈出文字框，RT并不會(huì)向體驗(yàn)者逐一介紹虛擬空間中的各個(gè)項(xiàng)目，而是在簡(jiǎn)短的開(kāi)場(chǎng)白后引導(dǎo)體驗(yàn)者自由探索，當(dāng)體驗(yàn)者止步不前時(shí)，RT會(huì)再次出現(xiàn)并提供引導(dǎo)信息。
第三，以第一人稱(chēng)視點(diǎn)替代全知視點(diǎn)，形成具身化的敘事視角，基于紙質(zhì)書(shū)敘事視角與空間尺度、空間結(jié)構(gòu)的呼應(yīng)關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)的空間導(dǎo)航原則。擴(kuò)展現(xiàn)實(shí)科普互動(dòng)內(nèi)容能夠創(chuàng)建非幻覺(jué)主義空間，在設(shè)計(jì)空間導(dǎo)航時(shí)需要考慮參與互動(dòng)的體驗(yàn)者的直觀感受，通過(guò)交互設(shè)計(jì)模擬現(xiàn)實(shí)中的知識(shí)學(xué)習(xí)行為，如行走四顧、貼近觀察、觸碰、抓握等。導(dǎo)航中的行動(dòng)能夠?qū)崿F(xiàn)具身化的視聽(tīng)體驗(yàn)，因此體驗(yàn)者往往能夠產(chǎn)生超出日常經(jīng)驗(yàn)的觀感。例如，加拿大另一種真實(shí)博物館團(tuán)隊(duì)在2018年開(kāi)發(fā)的“另一種真實(shí)博物館”（Museum of Other Realities，MOR），屬于新型線上虛擬現(xiàn)實(shí)文化空間，能夠讓更多數(shù)字藝術(shù)家及虛擬現(xiàn)實(shí)創(chuàng)作者的實(shí)驗(yàn)性數(shù)字藝術(shù)作品受到大眾關(guān)注與認(rèn)可。針對(duì)用戶觀看體驗(yàn)，它設(shè)計(jì)了以下幾項(xiàng)核心交互設(shè)計(jì)。首先是服務(wù)于空間導(dǎo)航的虛擬導(dǎo)覽臺(tái)，它被設(shè)計(jì)成虛擬現(xiàn)實(shí)中常見(jiàn)的虛擬操作界面，創(chuàng)新之處在于提供了快速導(dǎo)航的尋路功能。簡(jiǎn)而言之，它可以幫助用戶快速定位到任何想要到達(dá)的虛擬空間。其次是為自己設(shè)置虛擬化身（Avatar），在“另一種真實(shí)博物館”里虛擬化身可以自定義外貌，它被設(shè)計(jì)為抽象、浮空的幾何體小人。這項(xiàng)功能可以使空間導(dǎo)航中的攝像機(jī)以自身虛擬化身背后為視點(diǎn)，聯(lián)網(wǎng)時(shí)可以看到其他虛擬化身在美術(shù)館中看展，從而對(duì)于現(xiàn)實(shí)世界中的博物館環(huán)境進(jìn)行針對(duì)性模擬。最后，最特別的設(shè)計(jì)則是允許用戶可以改變虛擬化身體型大小，如同愛(ài)麗絲夢(mèng)游仙境中的縮小藥水，虛擬化身能夠縮小10倍或者放大10倍，與此同時(shí)自身視野亦會(huì)隨之變化。其空間導(dǎo)航并非簡(jiǎn)單的模擬現(xiàn)實(shí)觀看經(jīng)驗(yàn)，而是為觀者/體驗(yàn)者制造超出日常經(jīng)驗(yàn)的視覺(jué)奇觀。
VR項(xiàng)目“另一種真實(shí)博物館”中展出的作品《色度波》（Chroma Wave），對(duì)擴(kuò)展現(xiàn)實(shí)科普互動(dòng)的空間導(dǎo)航設(shè)計(jì)具有啟發(fā)意義，該作品的形態(tài)是由數(shù)千個(gè)彩球組合而成的樹(shù)狀，觀者/體驗(yàn)者可以改變自身虛擬化身尺寸與大小，不僅可以近距離站在樹(shù)的內(nèi)部，亦可遠(yuǎn)距離進(jìn)行俯視，自由空間導(dǎo)航同樣能夠帶來(lái)一系列偶然性事件，例如處于不同視野下的互動(dòng)產(chǎn)生的不同視覺(jué)體驗(yàn)，粒子動(dòng)畫(huà)與觀者/體驗(yàn)者之間產(chǎn)生的碰撞效果等，當(dāng)虛擬化身的手碰到粒子之后，既可以聚攏浮在空中的粒子，亦可將其打散，使其飄散在空中。這一案例不僅包含了視、聽(tīng)、觸的多模態(tài)體驗(yàn)，還從空間導(dǎo)航設(shè)計(jì)上為觀者提供了多種空間尺度的觀看方式，它對(duì)科普內(nèi)容設(shè)計(jì)的啟發(fā)在于，虛擬場(chǎng)景依據(jù)真實(shí)的空間尺度設(shè)計(jì)，會(huì)給觀者帶來(lái)更加身臨其境的感受。對(duì)于一些微觀層面的科學(xué)知識(shí)，則不適合用真實(shí)的空間尺度，但又需要實(shí)現(xiàn)具身化的觀看體驗(yàn)，那么就更適合借助虛擬空間中的虛擬化身，使其變成尺寸可變的狀態(tài)，讓觀者能夠自由地在宏觀和微觀視角之間切換。
4 結(jié) 語(yǔ)
如何提升科學(xué)傳播的效能是我國(guó)原創(chuàng)擴(kuò)展現(xiàn)實(shí)科普童書(shū)行業(yè)亟須解決的問(wèn)題。本文剖析了擴(kuò)展現(xiàn)實(shí)科普童書(shū)敘事策略，以期對(duì)我國(guó)擴(kuò)展現(xiàn)實(shí)科普童書(shū)行業(yè)從交互敘事的可供性上思考“場(chǎng)景式閱讀體驗(yàn)”有所啟示，促進(jìn)科普童書(shū)的融合出版方式創(chuàng)新，從而提升科學(xué)傳播的效能。
我國(guó)擴(kuò)展現(xiàn)實(shí)科普童書(shū)行業(yè)應(yīng)批判性地借鑒國(guó)外有益經(jīng)驗(yàn)，在敘事策略上：第一，以視、聽(tīng)、觸的隱喻替代直白的行動(dòng)指示，形成多模態(tài)敘事符號(hào)，基于紙質(zhì)書(shū)敘事符號(hào)與交互對(duì)象的映射關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)界面的設(shè)計(jì)原則。第二，以角色間的互動(dòng)替代解釋性的敘述，形成社會(huì)化的敘事情境，依托紙質(zhì)書(shū)敘事情境鋪陳的“引渡點(diǎn)”，創(chuàng)設(shè)紙質(zhì)書(shū)轉(zhuǎn)向擴(kuò)展現(xiàn)實(shí)互動(dòng)的時(shí)機(jī)。第三，以第一人稱(chēng)視點(diǎn)替代全知視點(diǎn)，形成具身化的敘事視角，基于紙質(zhì)書(shū)敘事視角與空間尺度、空間結(jié)構(gòu)的呼應(yīng)關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)的空間導(dǎo)航原則。
未來(lái)隨著元宇宙出版和人工智能的發(fā)展，實(shí)體出版物和擴(kuò)展現(xiàn)實(shí)內(nèi)容將會(huì)以更緊密的方式互相融合，而不僅僅是兩者的縫合拼接。擴(kuò)展現(xiàn)實(shí)科普童書(shū)目前仍然是以實(shí)體圖書(shū)為主體，以擴(kuò)展現(xiàn)實(shí)內(nèi)容為輔助，也許未來(lái)在人工智能技術(shù)的加持下，元宇宙教育或出版平臺(tái)內(nèi)的科普童書(shū)，可能會(huì)去實(shí)體化并加強(qiáng)游戲化的特點(diǎn)，讀者或?qū)?chuàng)建自己在故事中的虛擬形象，與故事中的角色互動(dòng)或進(jìn)行虛擬實(shí)驗(yàn)。另一種方向也許是以實(shí)體圖書(shū)作為接口，與虛擬博物館、圖書(shū)館、教育機(jī)構(gòu)相連接，兒童將會(huì)獲得更加縱深的知識(shí)體驗(yàn)。綜上所述，從可供性視角思考未來(lái)科普童書(shū)交互敘事還是一個(gè)方興未艾的領(lǐng)域，有待更多研究者繼續(xù)挖掘。
注 釋
[1] Koenitz， H. Understanding Interactive Digital Narrative： Immersive Expressions for a Complex Time[M]. London：Routledge，2023：64-68
[2] Marie-Laure Ryan. Possible Worlds， Artificial Intelligence， and Narrative Theory[M]. Bloomington：Indiana University Press，1991：31-35
[3] R E Cardona-Rivera. Narrative Affordance： Towards A Model of The Foreseeability and Perceivability of Story Elements in An Interactive Narrative[C].? Proceeding of the 6th International Conference on Fundations of Digital Games，2011：250-251
[4] J J Gibson. The Ecological Approach to Visual Perception[M]. Boston：Houghton Mifflin， 1979：12
[5] R M? Young. Cognitive and Computational Models in Interactive Narrative. Cognitive Systems[M]. Psychology Press，2005：24
[6] Gaver W W. Technology affordances[C].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems，1991：4
[7] L Avraamidou. The role of Narrative in Communicating Science[J]. Inrternational Journal of Science Education，2009（12）：25
[8] 李萌，徐迎慶. 實(shí)體交互敘事視角下的信息設(shè)計(jì)研究[J].裝飾，2021（9）：24-28
[9][11] Kress， G. Multimodality： A Social Semiotic Approach to Contemporary Communication[M]. New York：Routledge，2009：54-64
[10] 祁芬芬.多模態(tài)話語(yǔ)分析下我國(guó)原創(chuàng)繪本中傳統(tǒng)藝術(shù)的視覺(jué)敘事研究[J].出版科學(xué)，2022，30（3）：43-50
（收稿日期：2023-06-15）
猜你喜歡
交互性視覺(jué)設(shè)計(jì)青年時(shí)代(2016年28期)2016-12-08 16:24:43 論美國(guó)動(dòng)畫(huà)電影中的非主流創(chuàng)作電影文學(xué)(2016年19期)2016-12-07 20:16:43 略論多重人格電影的敘事策略電影文學(xué)(2016年19期)2016-12-07 19:49:34 講好中國(guó)故事的幾個(gè)路徑創(chuàng)新中國(guó)記者(2016年9期)2016-12-05 02:20:26 非物質(zhì)文化遺產(chǎn)數(shù)字化研究藝術(shù)科技(2016年9期)2016-11-18 14:59:57 RRS交互機(jī)制分析及基于該機(jī)制的節(jié)水APP實(shí)現(xiàn)電子技術(shù)與軟件工程(2016年18期)2016-11-14 23:55:23 電影《逃離德黑蘭》的敘事研究戲劇之家(2016年20期)2016-11-09 23:04:15 淺談交互設(shè)計(jì)在工業(yè)設(shè)計(jì)中的運(yùn)用文藝生活·中旬刊(2016年9期)2016-11-07 03:28:27 莆田電子商務(wù)界面設(shè)計(jì)的藝術(shù)研究文藝生活·中旬刊(2016年10期)2016-11-04 04:10:35 現(xiàn)象電影《港囧》和《夏洛特?zé)馈繁容^研究戲劇之家(2016年19期)2016-10-31 18:21:22
馬方楠 方睿
[摘 要] 應(yīng)用互動(dòng)數(shù)字?jǐn)⑹拢↖nteractive Digital Narrative，IDN）框架，提出在設(shè)計(jì)擴(kuò)展現(xiàn)實(shí)（Extended Reality，XR）類(lèi)科普童書(shū)產(chǎn)品的過(guò)程中，基于紙質(zhì)書(shū)敘事符號(hào)與擴(kuò)展現(xiàn)實(shí)交互界面形成映射關(guān)系，依托紙質(zhì)書(shū)角色間的互動(dòng)形成敘事情境，并將該情境遷移到擴(kuò)展現(xiàn)實(shí)互動(dòng)體驗(yàn)設(shè)計(jì)中。進(jìn)而提出以視、聽(tīng)、觸的隱喻性敘事符號(hào)、角色間社會(huì)化互動(dòng)的敘事情境、第一人稱(chēng)視點(diǎn)的敘事視角作為擴(kuò)展現(xiàn)實(shí)科普童書(shū)的互動(dòng)數(shù)字?jǐn)⑹虏呗浴?/p>
[關(guān)鍵詞] 擴(kuò)展現(xiàn)實(shí) 科普童書(shū) 互動(dòng)數(shù)字?jǐn)⑹?交互設(shè)計(jì) 敘事策略
[中圖分類(lèi)號(hào)] G237 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1009-5853 （2023） 06-0018-08
Interactive Digital Narrative Strategies for Extended Reality Science Popularization Popularization Children’ s Books
Ma Fangnan Fang Rui
（College of Communication and Art Design，University of Shanghai for Science and Technology， Shanghai， 200093）
[Abstract] This article applies the Interactive Digital Narrative（IDN）framework， and proposes that in the process of designing Extended reality（XR） popular science children’ s books， the mapping relationship between paper book narrative symbols and XR interface is formed， and the narrative context is formed based on the interaction between paper book characters. Context transfers to XR interactive experience design. Furthermore， the metaphorical narrative symbols of sight， hearing and touch， the narrative context of social interaction between characters， and the narrative perspective of the first-person viewpoint are proposed as interactive digital narrative strategies for XR popular science children’? s books.
[Key words] Extended reality Polupar science book Interactive digital narrative Interactive design Narrative strategies
[基金項(xiàng)目] 本文系上海市社會(huì)科學(xué)規(guī)劃課題資助項(xiàng)目“傳統(tǒng)文化教育視域下的童書(shū)創(chuàng)意研究——基于情境學(xué)習(xí)的視角”（2020BWY00）研究成果。
[作者簡(jiǎn)介] 馬方楠，藝術(shù)學(xué)博士，上海理工大學(xué)出版印刷與藝術(shù)設(shè)計(jì)學(xué)院講師；方睿，工學(xué)博士，上海理工大學(xué)出版印刷與藝術(shù)設(shè)計(jì)學(xué)院副教授。
隨著α世代對(duì)數(shù)字閱讀和沉浸式敘事的需求不斷提高，擴(kuò)展現(xiàn)實(shí)（Extended Reality，XR）科普童書(shū)對(duì)年輕讀者來(lái)說(shuō)更具吸引力。擴(kuò)展現(xiàn)實(shí)是描述增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）、虛擬現(xiàn)實(shí)（Virtual Reality，VR）和混合現(xiàn)實(shí)（Mixed Reality，MR）技術(shù)的總稱(chēng)。其中，增強(qiáng)現(xiàn)實(shí)由疊加在現(xiàn)實(shí)世界之上的圖形組成，虛擬現(xiàn)實(shí)將用戶置于完全沉浸式的環(huán)境中，而混合現(xiàn)實(shí)則是兩者的綜合。科普童書(shū)是少兒圖書(shū)出版市場(chǎng)中具有增長(zhǎng)潛力的細(xì)分種類(lèi)之一，將擴(kuò)展現(xiàn)實(shí)技術(shù)與科普童書(shū)相融合是未來(lái)重要的發(fā)展趨勢(shì)，能夠提高科學(xué)知識(shí)傳播的效能，為兒童創(chuàng)造沉浸式認(rèn)知體驗(yàn)，更重要的是能夠?yàn)閮和峁┮环N雙向互動(dòng)的“共同生產(chǎn)模式”。
盡管我國(guó)在擴(kuò)展現(xiàn)實(shí)科普童書(shū)上進(jìn)行了許多有益探索，但仍有許多出版物在內(nèi)容和交互設(shè)計(jì)的融合上存在形式單一、同質(zhì)化、內(nèi)容和交互不適配的問(wèn)題。學(xué)界對(duì)于科普童書(shū)的選題分析、AR/VR技術(shù)與科普童書(shū)內(nèi)容的適配等方面提出了諸如改善選題、優(yōu)化技術(shù)等解決思路，然而XR科普童書(shū)在內(nèi)容和技術(shù)上如何實(shí)現(xiàn)有機(jī)融合還尚無(wú)探討。
本文應(yīng)用互動(dòng)數(shù)字?jǐn)⑹拢↖nteractive Digital Narrative）框架，提出在紙質(zhì)科普童書(shū)的基礎(chǔ)上（尤其是科普?qǐng)D像小說(shuō)或科普漫畫(huà)）應(yīng)用擴(kuò)展現(xiàn)實(shí)技術(shù)創(chuàng)作數(shù)字出版物的互動(dòng)數(shù)字?jǐn)⑹虏呗裕云诖龠M(jìn)擴(kuò)展現(xiàn)實(shí)科普童書(shū)內(nèi)容與形式的融合模式創(chuàng)新。
1 國(guó)內(nèi)外擴(kuò)展現(xiàn)實(shí)科普童書(shū)現(xiàn)狀與問(wèn)題
在科技的推動(dòng)下，越來(lái)越多科普童書(shū)嘗試融入擴(kuò)展現(xiàn)實(shí)技術(shù)，旨在為年輕讀者提供更具吸引力和趣味性的閱讀體驗(yàn)。在中國(guó)市場(chǎng)上，引進(jìn)了包括《消失的世界》（2016）、《未來(lái)機(jī)械世界》（2018）、《奇幻植物園》（2018）、《尋找看不見(jiàn)的世界》等國(guó)外科普童書(shū)，并由國(guó)內(nèi)出版機(jī)構(gòu)和新媒體研究機(jī)構(gòu)打造出受到讀者歡迎的增強(qiáng)現(xiàn)實(shí)版本。近幾年，我國(guó)原創(chuàng)增強(qiáng)現(xiàn)實(shí)科普童書(shū)《地鐵是怎樣設(shè)計(jì)的》（2019）、《恐龍尋蹤：誤入未知世界》（2021）在設(shè)計(jì)上有所創(chuàng)新；在虛擬現(xiàn)實(shí)科普童書(shū)方面，《天工開(kāi)物：給孩子的古代科技百科全書(shū)（VR禮盒）》（2022）在形式上較為創(chuàng)新地以微信小程序替代了獨(dú)立的應(yīng)用程序。
國(guó)外市場(chǎng)上，出版有《大英百科全書(shū)：VR科學(xué)》（Encyclopedia Britannica： VR Science）（2018）的系列虛擬科普童書(shū)，《哇！百科全書(shū)》（Wow！ Encyclopedias）（2020）的增強(qiáng)現(xiàn)實(shí)科普童書(shū)。2021年美國(guó)圖書(shū)館創(chuàng)意（Library Ideas）出版了首部將增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)結(jié)合的系列科普童書(shū)“沉浸現(xiàn)實(shí)圖書(shū)”（IR Books），該項(xiàng)目獲得了美國(guó)2021年國(guó)家育兒產(chǎn)品獎(jiǎng)（ National Parenting Product Awards）。沉浸現(xiàn)實(shí)圖書(shū)包括兩個(gè)閱讀級(jí)別的系列叢書(shū)， 級(jí)別1 （level 1）為4—7歲兒童設(shè)計(jì)，級(jí)別2（Level 2 ）為8—14歲兒童設(shè)計(jì)，主題包括天文、地理、生物、人文、工程。此外，2021年美國(guó)國(guó)家航空航天局（NASA）與布利娛樂(lè)（Bully！Entertainment）合作出版了首部擴(kuò)展現(xiàn)實(shí)輕科幻圖像小說(shuō)《首個(gè)女性：NASA對(duì)人類(lèi)的承諾》（First Woman： NASA’ s Promise for Humanity），并在其擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)中融入了大量航天科普。
本文對(duì)國(guó)內(nèi)外近6年出版的擴(kuò)展現(xiàn)實(shí)科普童書(shū)進(jìn)行案例分析，發(fā)現(xiàn)擴(kuò)展現(xiàn)實(shí)科普童書(shū)盡管在市場(chǎng)上獲得了大量熱度，但在內(nèi)容和形式的融合上，仍然存在以下幾點(diǎn)尚待解決的問(wèn)題。一是紙質(zhì)書(shū)美術(shù)風(fēng)格與擴(kuò)展現(xiàn)實(shí)界面風(fēng)格不一致，例如《恐龍尋蹤：誤入未知世界》的紙質(zhì)書(shū)版式設(shè)計(jì)是復(fù)古手繪風(fēng)格，但增強(qiáng)現(xiàn)實(shí)界面圖標(biāo)卻是高飽和的扁平化風(fēng)格。二是紙質(zhì)書(shū)敘述內(nèi)容和擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)的相關(guān)性弱，例如《天工開(kāi)物》將虛擬現(xiàn)實(shí)內(nèi)容的二維碼放置在封底，紙質(zhì)書(shū)內(nèi)容和虛擬現(xiàn)實(shí)互動(dòng)設(shè)計(jì)彼此脫離。三是紙質(zhì)書(shū)敘述視角與擴(kuò)展現(xiàn)實(shí)空間導(dǎo)航割裂，例如《地鐵是怎樣設(shè)計(jì)的》的虛擬現(xiàn)實(shí)動(dòng)畫(huà)在空間導(dǎo)航上缺少第一人稱(chēng)視角設(shè)計(jì)，沒(méi)能很好地使讀者感受到地鐵的空間尺度和結(jié)構(gòu)。因此，應(yīng)用擴(kuò)展現(xiàn)實(shí)技術(shù)賦能科普童書(shū)，尚有較大的提升空間。
2 互動(dòng)數(shù)字?jǐn)⑹驴蚣芟碌臄U(kuò)展現(xiàn)實(shí)科普童書(shū)設(shè)計(jì)
2.1 互動(dòng)數(shù)字?jǐn)⑹碌母拍?/p>
科普童書(shū)的敘事往往是兒童文學(xué)和非虛構(gòu)文學(xué)的結(jié)合，以富于想象的故事增加兒童對(duì)科普知識(shí)的興趣。然而，要實(shí)現(xiàn)紙質(zhì)書(shū)敘事和擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)、體驗(yàn)設(shè)計(jì)的高度融合，則需要充分調(diào)動(dòng)紙質(zhì)書(shū)敘事這一重要資源，在互動(dòng)數(shù)字?jǐn)⑹碌目蚣芟拢适潞蛿?shù)字媒體資源、UI界面設(shè)計(jì)之間的關(guān)系是一種相互作用、相互影響的耦合關(guān)系。
哈特穆特·科尼茨（Hartmut Koenitz）將互動(dòng)數(shù)字?jǐn)⑹露x為數(shù)字媒體中一種富有表現(xiàn)力的敘事形式，將其實(shí)現(xiàn)為包含潛在敘事的運(yùn)算系統(tǒng)，并通過(guò)用戶在參與過(guò)程中的體驗(yàn)，產(chǎn)生顯現(xiàn)化的敘事產(chǎn)品[1]?？梢岳斫鉃椋?dòng)數(shù)字?jǐn)⑹率怯上到y(tǒng)、過(guò)程和產(chǎn)品組成的，包含故事、數(shù)字媒體資源、UI界面以及敘事設(shè)計(jì)。也就是說(shuō)，互動(dòng)數(shù)字?jǐn)⑹碌南到y(tǒng)需要進(jìn)行敘事設(shè)計(jì)才能顯現(xiàn)出產(chǎn)品的敘事潛能。
2.2 基于紙質(zhì)書(shū)敘事符號(hào)映射的擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)
擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)是擴(kuò)展現(xiàn)實(shí)科普童書(shū)系統(tǒng)設(shè)計(jì)的一環(huán)，借助紙書(shū)中的敘事符號(hào)資源，以特定符號(hào)與UI界面形成映射關(guān)系，是應(yīng)用互動(dòng)數(shù)字?jǐn)⑹驴蚣艿穆窂街?。那么，紙質(zhì)書(shū)敘事符號(hào)，如何與數(shù)字界面中的要素形成映射關(guān)系？數(shù)字?jǐn)⑹聦W(xué)專(zhuān)家瑪麗-勞爾·瑞安（Marie-Laure Ryan）在其著作《可能世界、人工智能、敘事理論》（Possible Worlds， Artificial Intelligence， and Narrative Theory）中提出“真實(shí)系統(tǒng)”（System of Reality）理論，指出假如這個(gè)世界包含由衛(wèi)星世界包圍的中心世界，則該系統(tǒng)具有模態(tài)結(jié)構(gòu)并形成一個(gè)模態(tài)系統(tǒng)。模態(tài)系統(tǒng)的中心是它的現(xiàn)實(shí)世界，衛(wèi)星是“替代的可能世界”。在這個(gè)系統(tǒng)中，“文本參考世界”（Textual Reference World，TRW）即文本指稱(chēng)事實(shí)的世界，是文本所主張的命題被重視的世界。在現(xiàn)實(shí)的模態(tài)系統(tǒng)中的“替代的可能世界”（Alternative Possible World，APW），文本參考世界是包含替代的可能世界現(xiàn)實(shí)系統(tǒng)的中心。
根據(jù)瑞安提出的“符號(hào)化的真實(shí)系統(tǒng)”，本文將紙質(zhì)書(shū)中的敘事看作符號(hào)意義上的真實(shí)系統(tǒng)，進(jìn)而認(rèn)為基于紙質(zhì)書(shū)敘事符號(hào)而創(chuàng)作出的擴(kuò)展現(xiàn)實(shí)交互界面可被看作是由該真實(shí)系統(tǒng)延伸出的“可能世界”[2]。依據(jù)真實(shí)系統(tǒng)和可能世界的映射關(guān)系，形成將紙質(zhì)書(shū)敘事符號(hào)資源作為象征符號(hào)、以符號(hào)映射的方式將敘事融入擴(kuò)展現(xiàn)實(shí)界面設(shè)計(jì)中的理念，從而為讀者或用戶提供更好的意符和示能。
因此，科普童書(shū)的敘事符號(hào)資源屬于文本參考世界，借助增強(qiáng)現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)呈現(xiàn)的圖書(shū)外的擴(kuò)展現(xiàn)實(shí)交互界面及其數(shù)字媒體資源則屬于替代的可能世界。這種理解方式建立在科普童書(shū)內(nèi)的敘事是對(duì)符號(hào)真實(shí)世界的文本指稱(chēng)，圖書(shū)載體是敘事符號(hào)的中心，增強(qiáng)現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)呈現(xiàn)的世界是圍繞該中心世界的“衛(wèi)星世界”。擴(kuò)展現(xiàn)實(shí)科普童書(shū)是以文本參考世界為中心，圍繞該中心創(chuàng)建替代的可能世界的多模態(tài)敘事系統(tǒng)。在目前的技術(shù)手段下，擴(kuò)展現(xiàn)實(shí)的媒介內(nèi)容往往通過(guò)二維碼或可識(shí)別圖形，使讀者從文本參考世界進(jìn)入多個(gè)由移動(dòng)設(shè)備提供的可視、可聽(tīng)、可觸的替代的可能世界中。
2.3 依托紙質(zhì)書(shū)敘事情境遷移的擴(kuò)展現(xiàn)實(shí)互動(dòng)體驗(yàn)設(shè)計(jì)
科普童書(shū)的敘事主要是為科普知識(shí)提供學(xué)習(xí)情境，紙質(zhì)書(shū)中的敘事情境經(jīng)過(guò)兒童初步學(xué)習(xí)后，再通過(guò)情境遷移，在擴(kuò)展現(xiàn)實(shí)互動(dòng)體驗(yàn)中轉(zhuǎn)化為對(duì)科普內(nèi)容的新知。本文認(rèn)為在敘事情境的設(shè)計(jì)上，故事角色之間符號(hào)意義上的社會(huì)交互，尤其是對(duì)話交互、肢體動(dòng)作交互、基于分享式注意力的交互、基于共同目標(biāo)而合作的交互，是適宜在擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)中塑造情境學(xué)習(xí)體驗(yàn)的依托形式。
對(duì)于兒童來(lái)說(shuō)，遷移式學(xué)習(xí)并非易事。因此，敘事設(shè)計(jì)者需要在紙質(zhì)書(shū)敘事情境中給出明確的線索（暗示）。當(dāng)敘事情境源自角色間的“社會(huì)交互”時(shí)，角色之間的對(duì)話內(nèi)容、身體交互的動(dòng)作、共同關(guān)注的物件，以及他們共享的目標(biāo)和任務(wù)都應(yīng)被考慮為可能的線索，被敘事設(shè)計(jì)者有意識(shí)地納入情境中。在此基礎(chǔ)上，擴(kuò)展現(xiàn)實(shí)互動(dòng)設(shè)計(jì)可以借鑒并保留紙質(zhì)書(shū)中的這些敘事情境。這種設(shè)計(jì)方式有助于兒童更輕松地將他們從紙質(zhì)書(shū)情境中學(xué)習(xí)到的內(nèi)容遷移到擴(kuò)展現(xiàn)實(shí)的情境中，從而使他們能夠更自主地在擴(kuò)展現(xiàn)實(shí)空間中進(jìn)行學(xué)習(xí)活動(dòng)。
借助敘事上的線索開(kāi)展的交互設(shè)計(jì)，被交互敘事研究者羅赫里奧（Rogelio）認(rèn)為是基于敘事可供性（Narrative Affordance）[3]的，這種觀點(diǎn)認(rèn)為“敘事可供性在交互中是創(chuàng)造讓用戶可持續(xù)地體驗(yàn)到故事的行動(dòng)上的可能性”。通常，交互設(shè)計(jì)中認(rèn)為可供性是基于“人工制品”（artifacts）。提到可供性時(shí)一般是以威廉·吉布森（William Gibson）的生態(tài)心理學(xué)[4]來(lái)解釋交互空間中物品為人提供的可操控的可能性。美國(guó)交互敘事的研究者邁克爾·楊（Michael Young）提出將敘事（尤其是故事事件）而非“人工制品”作為促進(jìn)用戶認(rèn)知，并使用戶直覺(jué)地預(yù)想故事結(jié)果的可能性，以此作為研究游戲交互中的敘事可供性[5]。
在人機(jī)交互領(lǐng)域，敘事可供性已被證實(shí)與支持?jǐn)⑹碌臄?shù)字界面設(shè)計(jì)相關(guān)。研究人員已經(jīng)確定了各種可以增強(qiáng)敘事可供性的界面設(shè)計(jì)原則，例如使用視覺(jué)敘事技術(shù)為敘事提供多個(gè)入口點(diǎn)，以及根據(jù)用戶的興趣和喜好量身定制的個(gè)性化敘事等。敘事可供性的概念為理解數(shù)字媒體技術(shù)如何促進(jìn)敘事的創(chuàng)造和消費(fèi)提供了有用框架，幫助人們更好地理解不同的媒體形式、數(shù)字工具和界面設(shè)計(jì)原則如何有效支持?jǐn)⑹隆?/p>
科普?qǐng)D書(shū)的擴(kuò)展現(xiàn)實(shí)內(nèi)容在提高用戶參與度和游戲體驗(yàn)設(shè)計(jì)上，通常被認(rèn)為是有效果的。但這并不意味著游戲的交互敘事策略適用于交互式的科普童書(shū)。眾所周知，科普讀物需要保持文本內(nèi)容的真實(shí)性、客觀性，難以實(shí)現(xiàn)游戲交互敘事那種真正讓用戶影響敘事的情況。擴(kuò)展現(xiàn)實(shí)科普童書(shū)中交互設(shè)計(jì)的可供性[6]是為用戶提供“產(chǎn)生認(rèn)知”的行為動(dòng)機(jī)，為了使這種認(rèn)知行為不脫離讀者在敘事性文本中獲得的沉浸閱讀體驗(yàn)，專(zhuān)為科普童書(shū)設(shè)計(jì)的擴(kuò)展現(xiàn)實(shí)內(nèi)容的敘事可供性應(yīng)該遵循“全情景”原則。
3 擴(kuò)展現(xiàn)實(shí)科普童書(shū)應(yīng)用互動(dòng)數(shù)字?jǐn)⑹碌穆窂?/p>
在XR科普童書(shū)中應(yīng)用互動(dòng)數(shù)字?jǐn)⑹碌牟呗跃唧w可以從以下三個(gè)方面展開(kāi)。
第一，以視、聽(tīng)、觸的隱喻替代直白的行動(dòng)指示，形成多模態(tài)敘事符號(hào)，基于紙質(zhì)書(shū)敘事符號(hào)與交互對(duì)象的映射關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)界面的設(shè)計(jì)原則。在設(shè)計(jì)用戶與虛擬環(huán)境互動(dòng)的多種可能性時(shí)，隱喻是其中很重要的設(shè)計(jì)工具，對(duì)于擴(kuò)展現(xiàn)實(shí)科普童書(shū)來(lái)說(shuō)，加強(qiáng)兒童沉浸感的關(guān)鍵是提供“一致”的閱讀體驗(yàn)，即將兒童在閱讀圖文故事所獲得的沉浸感閱讀體驗(yàn)延續(xù)在擴(kuò)展現(xiàn)實(shí)空間中?；趦和恼J(rèn)知特點(diǎn)，他們尚處在認(rèn)知發(fā)展階段，對(duì)于理解科普知識(shí)中的抽象概念還有一定困難，他們更有可能對(duì)視覺(jué)刺激做出反應(yīng)[7]。因此，在擴(kuò)展現(xiàn)實(shí)交互設(shè)計(jì)中使用隱喻時(shí)，選擇易于理解和具有視覺(jué)刺激的隱喻至關(guān)重要。通過(guò)選擇兒童熟悉的隱喻，使用隱喻來(lái)簡(jiǎn)化復(fù)雜的概念并用隱喻創(chuàng)造故事，幫助孩子們參與到故事當(dāng)中并從中建立情感聯(lián)系[8]。在科普童書(shū)的擴(kuò)展現(xiàn)實(shí)交互設(shè)計(jì)中，圖像、動(dòng)畫(huà)或者音效、音樂(lè)都能強(qiáng)化隱喻意義。需要注意的是，同一個(gè)隱喻符號(hào)用在不同模態(tài)上時(shí)，其隱喻的意義可能會(huì)發(fā)生變化，不恰當(dāng)?shù)碾[喻符號(hào)會(huì)產(chǎn)生矛盾意義，從而干擾用戶的理解和判斷[9]。因此需要注意隱喻符號(hào)使用時(shí)的一致性問(wèn)題。
《首個(gè)女性》采用圖像小說(shuō)形式，其擴(kuò)展現(xiàn)實(shí)內(nèi)容的交互設(shè)計(jì)中使用了大量的感嘆號(hào)來(lái)提示用戶“此處有新的發(fā)現(xiàn)”，在用戶點(diǎn)擊“感嘆號(hào)”后，提供包括圖像、視頻、網(wǎng)頁(yè)的附加科普信息在內(nèi)的三項(xiàng)增強(qiáng)現(xiàn)實(shí)內(nèi)容；若點(diǎn)擊虛擬空間中標(biāo)識(shí)的感嘆號(hào)，則提供交互動(dòng)畫(huà)（例如模擬操作太空艙內(nèi)設(shè)備的動(dòng)畫(huà)）、拓展的富媒體交互界面（包含科普知識(shí)問(wèn)答、科普視頻、文章）選擇等四項(xiàng)虛擬現(xiàn)實(shí)內(nèi)容。通過(guò)由隱喻符號(hào)建立與圖文漫畫(huà)類(lèi)似的閱讀體驗(yàn)，使得增強(qiáng)現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)的交互設(shè)計(jì)對(duì)于兒童來(lái)說(shuō)更具有吸引力，相較于被動(dòng)地接受學(xué)習(xí)指令，隱喻符號(hào)的交互設(shè)計(jì)能夠增強(qiáng)兒童學(xué)習(xí)的主動(dòng)性。
第二，以角色間的互動(dòng)替代解釋性的敘述，形成社會(huì)化的敘事情境，依托紙質(zhì)書(shū)敘事情境鋪陳的“引渡點(diǎn)”，創(chuàng)設(shè)紙質(zhì)書(shū)轉(zhuǎn)向擴(kuò)展現(xiàn)實(shí)互動(dòng)的時(shí)機(jī)?！耙牲c(diǎn)”是引導(dǎo)讀者由閱讀紙質(zhì)圖書(shū)轉(zhuǎn)向體驗(yàn)擴(kuò)展現(xiàn)實(shí)科普互動(dòng)內(nèi)容的“觸點(diǎn)”。合理設(shè)置“引渡點(diǎn)”能夠增強(qiáng)兒童進(jìn)入擴(kuò)展現(xiàn)實(shí)科普互動(dòng)時(shí)的“信念感”，幫助兒童代入角色身份去和虛擬場(chǎng)景進(jìn)行交互。要設(shè)置合理的“引渡點(diǎn)”，首先需要分析角色間互動(dòng)的重要形式，本文借鑒社會(huì)學(xué)中人際互動(dòng)的分類(lèi)方法[10]，將角色間的互動(dòng)分為對(duì)話互動(dòng)、肢體互動(dòng)、基于分享式注意力的互動(dòng)和基于共同目標(biāo)而合作的互動(dòng)，并考慮以上幾種互動(dòng)的敘事呈現(xiàn)方式以適配兒童的認(rèn)知水平。本文以甘瑟·克雷斯（Gunther Kress）的社會(huì)符號(hào)學(xué)為視角[11]，分析故事角色間互動(dòng)的多模態(tài)符號(hào)，認(rèn)為這些敘事符號(hào)形成的敘事情境，由于其內(nèi)在的社會(huì)互動(dòng)意義使擴(kuò)展現(xiàn)實(shí)互動(dòng)形成意義。
例如《首個(gè)女性》的擴(kuò)展現(xiàn)實(shí)交互設(shè)計(jì)中，通過(guò)各類(lèi)模態(tài)的隱喻符號(hào)生成意義也為嵌套空間在體驗(yàn)上的一致性提供設(shè)計(jì)工具。例如，“感嘆號(hào)”圖形是貫穿該項(xiàng)目的所有AR+VR內(nèi)容的隱喻符號(hào)，它引導(dǎo)了用戶的大部分探索行為，也是幫助用戶找到空間轉(zhuǎn)換點(diǎn)的工具。感嘆號(hào)在漫畫(huà)里的隱喻是“新發(fā)現(xiàn)”“想到了重要的事情”，而三角形、圓形內(nèi)附上感嘆號(hào)，是隱喻“警示”“錯(cuò)誤”，這些隱喻符號(hào)對(duì)兒童來(lái)說(shuō)是熟悉且易于理解的。
《首個(gè)女性》圖書(shū)中的敘事分為主線劇情（太空探索）和支線劇情（回憶成長(zhǎng)故事），由主線劇情部分的社會(huì)化情境建構(gòu)引渡點(diǎn)，引導(dǎo)讀者進(jìn)入擴(kuò)展現(xiàn)實(shí)的交互空間中進(jìn)行深度科普知識(shí)學(xué)習(xí)。在敘事策略上，選用社會(huì)共有的航天文化作為故事情節(jié)并形成“引渡點(diǎn)”，例如，在空間站內(nèi)就餐、穿戴航天服、駕駛探月車(chē)、遠(yuǎn)程視頻通信等，此類(lèi)情節(jié)在各國(guó)科幻作品中是常見(jiàn)的、讀者易于理解的文化符號(hào)，以其為“引渡點(diǎn)”再向讀者科普有關(guān)NASA阿爾忒彌斯計(jì)劃（Artemis Program）的“硬知識(shí)”，由淺入深、循序漸進(jìn)，更加符合8歲及以上年齡段兒童的認(rèn)知規(guī)律，其擴(kuò)展現(xiàn)實(shí)內(nèi)容在交互設(shè)計(jì)上將NASA官方網(wǎng)站上與阿爾忒彌斯計(jì)劃相關(guān)的科普知識(shí)以鏈接的形式，將科普紀(jì)錄片、科普文章整合在虛擬現(xiàn)實(shí)空間界面上的菜單欄內(nèi)。該項(xiàng)目的技術(shù)實(shí)現(xiàn)方式是通過(guò)攝像頭掃描真實(shí)空間的坐標(biāo)信息，實(shí)現(xiàn)虛擬空間和現(xiàn)實(shí)空間位置上的重疊，同時(shí)在虛擬空間中加入控制桿系統(tǒng)，使讀者能夠體驗(yàn)到第一人稱(chēng)視角的全景交互式3D場(chǎng)景的擴(kuò)展現(xiàn)實(shí)科普?qǐng)D書(shū)。上述情節(jié)中機(jī)器人RT扮演著“好奇寶寶”的身份，其性格、體型和語(yǔ)言風(fēng)格采用了兒童友好型設(shè)計(jì)，在讀者初次被圖書(shū)中的上述情景引渡到虛擬現(xiàn)實(shí)的虛擬空間中時(shí)，迎接他們的便是機(jī)器人RT。從媒介敘事可供性上來(lái)看，虛擬現(xiàn)實(shí)空間里的機(jī)器人RT除了為體驗(yàn)者提供“行為提示”的功能以外，也為敘事中的社會(huì)化情境提供情感化互動(dòng)?！妒讉€(gè)女性》包含四個(gè)虛擬體驗(yàn)場(chǎng)景，分別是“造訪月球表面”“造訪NASA的獵戶太空艙”“造訪一座月球火山口”“造訪月球前哨基地內(nèi)部”，每當(dāng)讀者掃描書(shū)頁(yè)上的二維碼進(jìn)入虛擬現(xiàn)實(shí)場(chǎng)景，便會(huì)看到機(jī)器人RT揮手歡迎并彈出文字框，RT并不會(huì)向體驗(yàn)者逐一介紹虛擬空間中的各個(gè)項(xiàng)目，而是在簡(jiǎn)短的開(kāi)場(chǎng)白后引導(dǎo)體驗(yàn)者自由探索，當(dāng)體驗(yàn)者止步不前時(shí)，RT會(huì)再次出現(xiàn)并提供引導(dǎo)信息。
第三，以第一人稱(chēng)視點(diǎn)替代全知視點(diǎn)，形成具身化的敘事視角，基于紙質(zhì)書(shū)敘事視角與空間尺度、空間結(jié)構(gòu)的呼應(yīng)關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)的空間導(dǎo)航原則。擴(kuò)展現(xiàn)實(shí)科普互動(dòng)內(nèi)容能夠創(chuàng)建非幻覺(jué)主義空間，在設(shè)計(jì)空間導(dǎo)航時(shí)需要考慮參與互動(dòng)的體驗(yàn)者的直觀感受，通過(guò)交互設(shè)計(jì)模擬現(xiàn)實(shí)中的知識(shí)學(xué)習(xí)行為，如行走四顧、貼近觀察、觸碰、抓握等。導(dǎo)航中的行動(dòng)能夠?qū)崿F(xiàn)具身化的視聽(tīng)體驗(yàn)，因此體驗(yàn)者往往能夠產(chǎn)生超出日常經(jīng)驗(yàn)的觀感。例如，加拿大另一種真實(shí)博物館團(tuán)隊(duì)在2018年開(kāi)發(fā)的“另一種真實(shí)博物館”（Museum of Other Realities，MOR），屬于新型線上虛擬現(xiàn)實(shí)文化空間，能夠讓更多數(shù)字藝術(shù)家及虛擬現(xiàn)實(shí)創(chuàng)作者的實(shí)驗(yàn)性數(shù)字藝術(shù)作品受到大眾關(guān)注與認(rèn)可。針對(duì)用戶觀看體驗(yàn)，它設(shè)計(jì)了以下幾項(xiàng)核心交互設(shè)計(jì)。首先是服務(wù)于空間導(dǎo)航的虛擬導(dǎo)覽臺(tái)，它被設(shè)計(jì)成虛擬現(xiàn)實(shí)中常見(jiàn)的虛擬操作界面，創(chuàng)新之處在于提供了快速導(dǎo)航的尋路功能。簡(jiǎn)而言之，它可以幫助用戶快速定位到任何想要到達(dá)的虛擬空間。其次是為自己設(shè)置虛擬化身（Avatar），在“另一種真實(shí)博物館”里虛擬化身可以自定義外貌，它被設(shè)計(jì)為抽象、浮空的幾何體小人。這項(xiàng)功能可以使空間導(dǎo)航中的攝像機(jī)以自身虛擬化身背后為視點(diǎn)，聯(lián)網(wǎng)時(shí)可以看到其他虛擬化身在美術(shù)館中看展，從而對(duì)于現(xiàn)實(shí)世界中的博物館環(huán)境進(jìn)行針對(duì)性模擬。最后，最特別的設(shè)計(jì)則是允許用戶可以改變虛擬化身體型大小，如同愛(ài)麗絲夢(mèng)游仙境中的縮小藥水，虛擬化身能夠縮小10倍或者放大10倍，與此同時(shí)自身視野亦會(huì)隨之變化。其空間導(dǎo)航并非簡(jiǎn)單的模擬現(xiàn)實(shí)觀看經(jīng)驗(yàn)，而是為觀者/體驗(yàn)者制造超出日常經(jīng)驗(yàn)的視覺(jué)奇觀。
VR項(xiàng)目“另一種真實(shí)博物館”中展出的作品《色度波》（Chroma Wave），對(duì)擴(kuò)展現(xiàn)實(shí)科普互動(dòng)的空間導(dǎo)航設(shè)計(jì)具有啟發(fā)意義，該作品的形態(tài)是由數(shù)千個(gè)彩球組合而成的樹(shù)狀，觀者/體驗(yàn)者可以改變自身虛擬化身尺寸與大小，不僅可以近距離站在樹(shù)的內(nèi)部，亦可遠(yuǎn)距離進(jìn)行俯視，自由空間導(dǎo)航同樣能夠帶來(lái)一系列偶然性事件，例如處于不同視野下的互動(dòng)產(chǎn)生的不同視覺(jué)體驗(yàn)，粒子動(dòng)畫(huà)與觀者/體驗(yàn)者之間產(chǎn)生的碰撞效果等，當(dāng)虛擬化身的手碰到粒子之后，既可以聚攏浮在空中的粒子，亦可將其打散，使其飄散在空中。這一案例不僅包含了視、聽(tīng)、觸的多模態(tài)體驗(yàn)，還從空間導(dǎo)航設(shè)計(jì)上為觀者提供了多種空間尺度的觀看方式，它對(duì)科普內(nèi)容設(shè)計(jì)的啟發(fā)在于，虛擬場(chǎng)景依據(jù)真實(shí)的空間尺度設(shè)計(jì)，會(huì)給觀者帶來(lái)更加身臨其境的感受。對(duì)于一些微觀層面的科學(xué)知識(shí)，則不適合用真實(shí)的空間尺度，但又需要實(shí)現(xiàn)具身化的觀看體驗(yàn)，那么就更適合借助虛擬空間中的虛擬化身，使其變成尺寸可變的狀態(tài)，讓觀者能夠自由地在宏觀和微觀視角之間切換。
4 結(jié) 語(yǔ)
如何提升科學(xué)傳播的效能是我國(guó)原創(chuàng)擴(kuò)展現(xiàn)實(shí)科普童書(shū)行業(yè)亟須解決的問(wèn)題。本文剖析了擴(kuò)展現(xiàn)實(shí)科普童書(shū)敘事策略，以期對(duì)我國(guó)擴(kuò)展現(xiàn)實(shí)科普童書(shū)行業(yè)從交互敘事的可供性上思考“場(chǎng)景式閱讀體驗(yàn)”有所啟示，促進(jìn)科普童書(shū)的融合出版方式創(chuàng)新，從而提升科學(xué)傳播的效能。
我國(guó)擴(kuò)展現(xiàn)實(shí)科普童書(shū)行業(yè)應(yīng)批判性地借鑒國(guó)外有益經(jīng)驗(yàn)，在敘事策略上：第一，以視、聽(tīng)、觸的隱喻替代直白的行動(dòng)指示，形成多模態(tài)敘事符號(hào)，基于紙質(zhì)書(shū)敘事符號(hào)與交互對(duì)象的映射關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)界面的設(shè)計(jì)原則。第二，以角色間的互動(dòng)替代解釋性的敘述，形成社會(huì)化的敘事情境，依托紙質(zhì)書(shū)敘事情境鋪陳的“引渡點(diǎn)”，創(chuàng)設(shè)紙質(zhì)書(shū)轉(zhuǎn)向擴(kuò)展現(xiàn)實(shí)互動(dòng)的時(shí)機(jī)。第三，以第一人稱(chēng)視點(diǎn)替代全知視點(diǎn)，形成具身化的敘事視角，基于紙質(zhì)書(shū)敘事視角與空間尺度、空間結(jié)構(gòu)的呼應(yīng)關(guān)系，創(chuàng)設(shè)擴(kuò)展現(xiàn)實(shí)互動(dòng)的空間導(dǎo)航原則。
未來(lái)隨著元宇宙出版和人工智能的發(fā)展，實(shí)體出版物和擴(kuò)展現(xiàn)實(shí)內(nèi)容將會(huì)以更緊密的方式互相融合，而不僅僅是兩者的縫合拼接。擴(kuò)展現(xiàn)實(shí)科普童書(shū)目前仍然是以實(shí)體圖書(shū)為主體，以擴(kuò)展現(xiàn)實(shí)內(nèi)容為輔助，也許未來(lái)在人工智能技術(shù)的加持下，元宇宙教育或出版平臺(tái)內(nèi)的科普童書(shū)，可能會(huì)去實(shí)體化并加強(qiáng)游戲化的特點(diǎn)，讀者或?qū)?chuàng)建自己在故事中的虛擬形象，與故事中的角色互動(dòng)或進(jìn)行虛擬實(shí)驗(yàn)。另一種方向也許是以實(shí)體圖書(shū)作為接口，與虛擬博物館、圖書(shū)館、教育機(jī)構(gòu)相連接，兒童將會(huì)獲得更加縱深的知識(shí)體驗(yàn)。綜上所述，從可供性視角思考未來(lái)科普童書(shū)交互敘事還是一個(gè)方興未艾的領(lǐng)域，有待更多研究者繼續(xù)挖掘。
注 釋
[1] Koenitz， H. Understanding Interactive Digital Narrative： Immersive Expressions for a Complex Time[M]. London：Routledge，2023：64-68
[2] Marie-Laure Ryan. Possible Worlds， Artificial Intelligence， and Narrative Theory[M]. Bloomington：Indiana University Press，1991：31-35
[3] R E Cardona-Rivera. Narrative Affordance： Towards A Model of The Foreseeability and Perceivability of Story Elements in An Interactive Narrative[C].? Proceeding of the 6th International Conference on Fundations of Digital Games，2011：250-251
[4] J J Gibson. The Ecological Approach to Visual Perception[M]. Boston：Houghton Mifflin， 1979：12
[5] R M? Young. Cognitive and Computational Models in Interactive Narrative. Cognitive Systems[M]. Psychology Press，2005：24
[6] Gaver W W. Technology affordances[C].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems，1991：4
[7] L Avraamidou. The role of Narrative in Communicating Science[J]. Inrternational Journal of Science Education，2009（12）：25
[8] 李萌，徐迎慶. 實(shí)體交互敘事視角下的信息設(shè)計(jì)研究[J].裝飾，2021（9）：24-28
[9][11] Kress， G. Multimodality： A Social Semiotic Approach to Contemporary Communication[M]. New York：Routledge，2009：54-64
[10] 祁芬芬.多模態(tài)話語(yǔ)分析下我國(guó)原創(chuàng)繪本中傳統(tǒng)藝術(shù)的視覺(jué)敘事研究[J].出版科學(xué)，2022，30（3）：43-50
（收稿日期：2023-06-15）
猜你喜歡
青年時(shí)代(2016年28期)2016-12-08 16:24:43
電影文學(xué)(2016年19期)2016-12-07 20:16:43
電影文學(xué)(2016年19期)2016-12-07 19:49:34
中國(guó)記者(2016年9期)2016-12-05 02:20:26
藝術(shù)科技(2016年9期)2016-11-18 14:59:57
電子技術(shù)與軟件工程(2016年18期)2016-11-14 23:55:23
戲劇之家(2016年20期)2016-11-09 23:04:15
文藝生活·中旬刊(2016年9期)2016-11-07 03:28:27
文藝生活·中旬刊(2016年10期)2016-11-04 04:10:35
戲劇之家(2016年19期)2016-10-31 18:21:22
