基于AR技術(shù)的科普繪本多感官體驗(yàn)設(shè)計(jì)

摘要：AR科普繪本以視聽交互構(gòu)建沉浸體驗(yàn)，以觸控交互構(gòu)建互動(dòng)體驗(yàn)，以媒介交互構(gòu)建聯(lián)覺體驗(yàn)，以此調(diào)動(dòng)兒童視覺、聽覺、觸覺、味覺、嗅覺五感體驗(yàn)和動(dòng)作、情感等行為體驗(yàn)。AR科普繪本的創(chuàng)作需要緊隨媒介交互的時(shí)代，提升知識(shí)性、科學(xué)性、趣味性、啟發(fā)性、智能性和藝術(shù)性，為兒童營(yíng)造更真實(shí)和全面的多感官整合體驗(yàn)。AR科普繪本的多感官體驗(yàn)設(shè)計(jì)主要可以歸納為視聽交互構(gòu)建的沉浸體驗(yàn)、觸控交互構(gòu)建的互動(dòng)體驗(yàn)和媒介交互構(gòu)建的聯(lián)覺體驗(yàn)。

關(guān)鍵詞：AR技術(shù);科普繪本;多感官體驗(yàn);媒介交互

AR（Augmented Reality）即增強(qiáng)現(xiàn)實(shí)，是將計(jì)算機(jī)系統(tǒng)提供的信息應(yīng)用到真實(shí)世界，并將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中，即時(shí)混合真實(shí)與虛擬影像，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)的技術(shù)。AR技術(shù)的三維空間展示功能，實(shí)時(shí)與高互動(dòng)特點(diǎn)能將抽象的信息可視化、形象化，為受眾搭建一個(gè)自主探索的內(nèi)容空間。在這個(gè)空間中，信息傳播由文字符號(hào)、視頻傳遞演變成多媒體傳遞、場(chǎng)景體驗(yàn)，突破了單一感官參與的限制，實(shí)現(xiàn)了多感官參與和聯(lián)動(dòng)體驗(yàn)?？破绽L本是以繪本形式呈現(xiàn)的科普讀物，其主要讀者為兒童，內(nèi)容涉及自然科學(xué)、實(shí)用技術(shù)、社會(huì)科學(xué)、人文科學(xué)等諸多領(lǐng)域，旨在普及科學(xué)知識(shí)、傳播科學(xué)思想、培養(yǎng)科學(xué)精神。

一、AR技術(shù)在科普繪本中的應(yīng)用現(xiàn)狀

隨著虛擬仿真、人工智能等新媒體科技的發(fā)展，數(shù)字出版與傳統(tǒng)出版相結(jié)合已成為圖書出版的一個(gè)新的方向。AR技術(shù)日漸應(yīng)用于科普繪本中，將傳統(tǒng)的靜態(tài)閱讀變?yōu)槿谝曈X、聽覺、觸覺等多感官體驗(yàn)于一體的動(dòng)態(tài)閱讀，更加多元的呈現(xiàn)方式帶給了兒童更豐富新奇的體驗(yàn)。從2016年開始，AR科普繪本開始在各大電商平臺(tái)大規(guī)模上市，在近三年的童書暢銷榜上都位居前列，呈現(xiàn)出良好的發(fā)展態(tài)勢(shì)。

目前AR技術(shù)在科普繪本中的應(yīng)用主要是借助計(jì)算機(jī)程序，將紙質(zhì)繪本中的部分內(nèi)容立體化和游戲化，以構(gòu)建真實(shí)感和互動(dòng)性。讀者需要先使用手機(jī)或平板電腦掃描紙質(zhì)繪本中提供的二維碼下載相關(guān)APP，再通過APP打開手機(jī)或平板電腦的攝像頭，對(duì)照紙質(zhì)繪本中融入AR元素的圖形進(jìn)行識(shí)別，進(jìn)入AR場(chǎng)景，體驗(yàn)AR帶來的增強(qiáng)現(xiàn)實(shí)效果和互動(dòng)效果。目前AR科普繪本中的的AR體驗(yàn)可歸納為兩種形式，第一種形式是借助AR技術(shù)實(shí)現(xiàn)靜態(tài)與動(dòng)態(tài)的融合。通過程序掃描書中的圖片，使相關(guān)的節(jié)目視頻疊加在繪本上播放，兒童可以同時(shí)體驗(yàn)靜態(tài)的紙質(zhì)繪本內(nèi)容與動(dòng)態(tài)的視頻節(jié)目?jī)?nèi)容。第二種形式是借助AR技術(shù)實(shí)現(xiàn)平面與空間的融合。通過攝像頭將預(yù)先設(shè)計(jì)好的三維立體虛擬形象疊加到紙質(zhì)繪本上，使二維平面的形態(tài)變得直觀與真實(shí)，兒童還可以通過觸控手機(jī)或平板電腦屏幕進(jìn)行更深層次和更復(fù)雜的互動(dòng)。

二、科普繪本融合AR技術(shù)的優(yōu)勢(shì)

科普繪本的主要讀者是處于形象思維階段的兒童，AR技術(shù)將虛擬信息疊加到紙質(zhì)繪本中，使科普信息可視化，加強(qiáng)科普繪本的科學(xué)性和知識(shí)性;通過游戲、音頻、視頻等數(shù)字化內(nèi)容與兒童進(jìn)行多樣互動(dòng)，能增加閱讀的趣味性和啟發(fā)性;多種媒介帶來的多感官整合體驗(yàn)，能提升體驗(yàn)的智能性和藝術(shù)性。

（一）立體呈現(xiàn)科普信息，加強(qiáng)科學(xué)性和知識(shí)性

以文字和圖畫為主的紙質(zhì)科普繪本受媒介限制，兒童只能通過靜態(tài)的平面圖畫理解文字內(nèi)容，對(duì)于科學(xué)概念和抽象信息難以有形象化呈現(xiàn)。AR技術(shù)將科普信息可視化，通過動(dòng)態(tài)和立體的形象讓科學(xué)概念和抽象信息“活”起來，呈現(xiàn)出更直觀化和形象化的特征，加強(qiáng)科普繪本的科學(xué)性和知識(shí)性。

AR技術(shù)立體呈現(xiàn)的科普信息是對(duì)紙質(zhì)繪本內(nèi)容的增值，更符合兒童的認(rèn)知特點(diǎn)和信息接收能力，能強(qiáng)化兒童對(duì)圖像和文字信息相關(guān)性的記憶，更直觀地理解科學(xué)知識(shí)。直觀化和形象化的特征能使兒童以立體和全面的視角，感性地認(rèn)識(shí)客觀世界的構(gòu)造和內(nèi)在規(guī)律，同時(shí)也能積極調(diào)動(dòng)兒童的抽象學(xué)習(xí)和認(rèn)知參與能力。

（二）與兒童的多樣互動(dòng)，增加趣味性和啟發(fā)性

作為主要讀者為兒童的科普讀物，科普繪本要求以趣味性增加閱讀興趣。AR技術(shù)提供的互動(dòng)元素、游戲環(huán)節(jié)、音頻、視頻等數(shù)字內(nèi)容全方位拓寬了紙質(zhì)繪本的平面、單一的呈現(xiàn)形式，這種具有新穎性和科技感的圖文交互形式，能為兒童提供更多樣化的互動(dòng)，增加科普繪本的趣味性和啟發(fā)性。

AR技術(shù)是一種新型的人機(jī)交互技術(shù)，使閱讀不再是單方面的信息接收，而是人與書之間的互動(dòng)。兒童在虛實(shí)結(jié)合的三維場(chǎng)景和互動(dòng)場(chǎng)景中，通過視聽、觸控進(jìn)行互動(dòng)，能提升兒童接受信息的主動(dòng)性和專注度，啟發(fā)兒童進(jìn)行更深入學(xué)習(xí)和主動(dòng)探索。

（三）多感官整合體驗(yàn)，提升智能性和藝術(shù)性

科普繪本的創(chuàng)作要求兼顧科學(xué)性、趣味性和藝術(shù)性，需要將知識(shí)、情境、故事、美感、趣味整合為一體，不能因內(nèi)容過于枯燥導(dǎo)致兒童限于被動(dòng)閱讀和理解障礙之中，也不能因?yàn)檫^于注重有趣和美感而忽視科學(xué)的嚴(yán)肅性。相比于紙質(zhì)繪本借助文字、圖形、形態(tài)、材質(zhì)進(jìn)行的信息傳達(dá)，AR科普繪本借助多媒體進(jìn)行的信息傳達(dá)更貼近兒童心理，能調(diào)動(dòng)兒童的多感官參與，提升科普繪本的智能性和藝術(shù)性。

AR技術(shù)不僅是一種新媒體技術(shù)，也是一種新的信息傳播方式，能賦予科普繪本多元敘事功能。將科普繪本的科學(xué)性、趣味性、藝術(shù)性緊密結(jié)合，使知識(shí)、情境、故事、美感、趣味多感官通道整合，使兒童產(chǎn)生強(qiáng)烈的在場(chǎng)感，在感官體驗(yàn)和行為體驗(yàn)上更加人性化，激發(fā)兒童的多維感知。

三、AR科普繪本的多感官體驗(yàn)設(shè)計(jì)

人類的感官系統(tǒng)是一個(gè)相互作用和聯(lián)系的整體，人們利用多種感官來接收和反饋信息。多感官體驗(yàn)可分為基于視覺、聽覺、觸覺、嗅覺、味覺的五感體驗(yàn)和基于動(dòng)作、情感等反應(yīng)的行為體驗(yàn)。AR科普繪本的多感官體驗(yàn)設(shè)計(jì)主要可以歸納為視聽交互構(gòu)建的沉浸體驗(yàn)、觸控交互構(gòu)建的互動(dòng)體驗(yàn)和媒介交互構(gòu)建的聯(lián)覺體驗(yàn)。

（一）視聽交互與沉浸體驗(yàn)

AR科普繪本通過紙質(zhì)繪本和AR數(shù)字內(nèi)容的同時(shí)呈現(xiàn)，利用視覺、聽覺兩方面的感官通道同時(shí)加工信息，對(duì)紙質(zhì)繪本和數(shù)字內(nèi)容信息進(jìn)行整合，以視聽交互的方式為兒童搭建一個(gè)自主探索內(nèi)容的空間，來構(gòu)建沉浸式閱讀體驗(yàn)。紙質(zhì)繪本的文字內(nèi)容、插畫設(shè)計(jì)、科普信息可視化設(shè)計(jì)、圖文版式、色彩等平面視覺內(nèi)容，以APP形式呈現(xiàn)的包括界面設(shè)計(jì)、三維形態(tài)、音效、音頻信息、視頻信息等AR數(shù)字內(nèi)容，使二維平面與全方位的視聽空間融合，使科普繪本的科學(xué)性和知識(shí)性得到更好的呈現(xiàn)。在兒童閱讀的過程中，共同調(diào)動(dòng)兒童的視覺、聽覺感官，讓兒童產(chǎn)生身臨其境的沉浸感。

2016年2月電子工業(yè)出版社出版的AR科普繪本《消失的世界》（如圖1），APP設(shè)計(jì)風(fēng)格與紙質(zhì)繪本的風(fēng)格一致，首先在情境的構(gòu)建上，強(qiáng)化了科普繪本的史前神秘氛圍。AR頁面上的史前生物會(huì)通過APP，在手機(jī)或平板電腦上伴隨著神秘的音效、炫目的光線立刻被激活成三維形態(tài)，使兒童眼前一亮。營(yíng)造神秘氛圍的音樂和相關(guān)生物的音頻解說使科普知識(shí)在兒童眼前直觀演繹，節(jié)奏、氛圍、時(shí)空感讓兒童沉浸其中，獲得輕松愉悅的視覺和聽覺體驗(yàn)，在無形中形成對(duì)科普知識(shí)的認(rèn)知。

（二）觸控交互與互動(dòng)體驗(yàn)

AR科普繪本通過AR技術(shù)實(shí)現(xiàn)觸控交互，調(diào)動(dòng)兒童與繪本、APP進(jìn)行互動(dòng)，將被動(dòng)閱讀轉(zhuǎn)變?yōu)橹鲃?dòng)體驗(yàn)，使兒童不再是閱讀過程中的旁觀者，而是積極主動(dòng)的參與者。紙質(zhì)繪本是通過紙張質(zhì)感、印刷工藝、立體結(jié)構(gòu)等表現(xiàn)形式，來調(diào)動(dòng)兒童的觸覺感知和互動(dòng)行為，AR科普繪本是在紙質(zhì)繪本的基礎(chǔ)上，通過AR技術(shù)增加了AR數(shù)字互動(dòng)內(nèi)容，以在沉浸式的場(chǎng)景下構(gòu)建多感官參與式的互動(dòng)體驗(yàn)，虛實(shí)結(jié)合與即時(shí)互動(dòng)的特點(diǎn)使科普繪本的趣味性和啟發(fā)性得以加強(qiáng)。對(duì)三維形態(tài)設(shè)置的放大、縮小、旋轉(zhuǎn)、音效等APP觸控操作，專為兒童打造的APP互動(dòng)小游戲等，使兒童不再被動(dòng)地接受科普信息，而是突破紙質(zhì)繪本的限制，與虛擬形態(tài)進(jìn)行實(shí)時(shí)互動(dòng)，在感受游戲樂趣的同時(shí)主動(dòng)吸取知識(shí)，啟發(fā)兒童的主動(dòng)探索精神。

2018年6月化學(xué)工業(yè)出版社出版的AR科普繪本《恐龍立體書》（如圖2），是一本AR互動(dòng)立體書，融合了AR互動(dòng)探索、立體書的形式和趣味知識(shí)卡片游戲。紙質(zhì)繪本的封面設(shè)計(jì)上利用印刷工藝效果呈現(xiàn)了恐龍表皮的質(zhì)感，吸引兒童去動(dòng)手觸摸。內(nèi)頁的每一個(gè)頁面都設(shè)置了立體、抽拉、翻頁等互動(dòng)小機(jī)關(guān)，通過翻頁的動(dòng)作，兒童能夠體驗(yàn)到頁面從平面到立體的過程，也能通過抽拉、翻頁等動(dòng)作獲得更多關(guān)于恐龍的知識(shí)。AR數(shù)字內(nèi)容通過APP掃描趣味知識(shí)卡片來呈現(xiàn)，可以對(duì)恐龍進(jìn)行放大、縮小、旋轉(zhuǎn)，也可以與恐龍合影，還可以通過答題的形式讓不同的恐龍進(jìn)行對(duì)戰(zhàn)。在人機(jī)互動(dòng)的模式下，從單一的靜態(tài)閱讀轉(zhuǎn)變?yōu)閯?dòng)靜結(jié)合的體驗(yàn)，激發(fā)了兒童進(jìn)行互動(dòng)的興趣。

（三）媒介交互與聯(lián)覺體驗(yàn)

AR技術(shù)不僅僅是一種增強(qiáng)現(xiàn)實(shí)的工具，而且是一種嶄新的敘事方式。AR科普繪本是傳統(tǒng)媒介和數(shù)字媒介的交互，將傳統(tǒng)的線性敘事方式轉(zhuǎn)化為互動(dòng)數(shù)字?jǐn)⑹?，使閱讀不再停留于翻閱的過程，而是將科普繪本塑造成了一個(gè)多模態(tài)時(shí)空系統(tǒng)。傳統(tǒng)媒介和數(shù)字媒介的交互，將科普繪本通過超文本內(nèi)容、互動(dòng)故事、共時(shí)性敘事和具有敘事性的游戲進(jìn)行呈現(xiàn)，允許兒童通過角色扮演、人機(jī)對(duì)話等方式參與敘事，將兒童的感知得以充分調(diào)動(dòng)，讓兒童的視覺、聽覺、觸覺、味覺、嗅覺在同一空間下相互作用，形成一種多感官整合的聯(lián)覺體驗(yàn)。

從不同的感官通道體驗(yàn)的信息，并不是互不相關(guān)的元素，聯(lián)覺會(huì)將不同感官通道的信息相互溝通，有效融合為統(tǒng)一、連貫的感知。這個(gè)過程就是多感官整合的過程，聯(lián)覺就是多感官整合的心理現(xiàn)象。媒介交互通過互動(dòng)數(shù)字?jǐn)⑹率紫日{(diào)動(dòng)兒童視覺、聽覺、觸覺感官的直接參與，兒童在對(duì)視覺、聽覺、觸覺等感官信息接收的過程中會(huì)產(chǎn)生聯(lián)覺，在視聽交互和觸控交互構(gòu)建的沉浸、互動(dòng)體驗(yàn)中感知到心理上的嗅覺、味覺等感官體驗(yàn)、行為體驗(yàn)、情感體驗(yàn)。

2018年3月電子工業(yè)出版社出版的《未來機(jī)械世界》（如圖3），AR數(shù)字內(nèi)容并不是錦上添花式的增強(qiáng)現(xiàn)實(shí)內(nèi)容，而是有著與紙質(zhì)繪本相互補(bǔ)充的內(nèi)容，承擔(dān)著敘事功能。當(dāng)打開繪本和APP時(shí)，傳統(tǒng)媒介和數(shù)字媒介交互呈現(xiàn)著大開本的設(shè)計(jì)、未來感的音效。首先為兒童構(gòu)建了具有未來感的場(chǎng)景，不知不覺調(diào)動(dòng)了兒童的好奇心，引導(dǎo)兒童繼續(xù)探索。APP分為“開啟機(jī)甲紀(jì)元”“召集機(jī)甲生物”“我的機(jī)甲戰(zhàn)隊(duì)”三部分，打開扉頁就會(huì)激活故事視頻“開啟機(jī)甲紀(jì)元”，使兒童產(chǎn)生強(qiáng)烈的代入感，視聽交互產(chǎn)生的聯(lián)覺讓兒童似乎能夠感知到未來機(jī)械世界的氣息。打開內(nèi)頁，用“召集機(jī)甲生物”掃描頁面上的機(jī)甲生物，能看到在頁面上游動(dòng)的、破壞紙面的機(jī)甲生物，有攻擊和防御能力的機(jī)甲生物。多種形式的增強(qiáng)現(xiàn)實(shí)與兒童互動(dòng)，能調(diào)動(dòng)兒童的虛擬嗅覺、味覺，使兒童仿佛聞到了機(jī)甲生物的味道，還可以對(duì)機(jī)甲生物拍照進(jìn)行分享。機(jī)甲生物召集完成后，可以在“我的機(jī)甲戰(zhàn)隊(duì)”中進(jìn)行回顧，完成一個(gè)完整的科普知識(shí)學(xué)習(xí)過程。傳統(tǒng)媒介和數(shù)字媒介的交互將科普知識(shí)、故事、情境、游戲、學(xué)習(xí)反饋等交互呈現(xiàn)，使科普繪本和AR技術(shù)真正有效融合成一個(gè)整體，通過聯(lián)覺讓兒童調(diào)動(dòng)全方面的多感官體驗(yàn)。

四、結(jié)語

科普繪本融合AR技術(shù)，改變了傳統(tǒng)閱讀通過視覺獲取信息的單一方式，將閱讀的概念從靜態(tài)轉(zhuǎn)向動(dòng)態(tài)、從平面轉(zhuǎn)向空間、從閱讀轉(zhuǎn)向體驗(yàn)。AR技術(shù)的應(yīng)用契合兒童的認(rèn)知特點(diǎn)，對(duì)于提升科普繪本的科學(xué)性、知識(shí)性、趣味性、啟發(fā)性、智能性和藝術(shù)性方面具有優(yōu)勢(shì)。AR技術(shù)能通過視聽交互、觸控交互、媒介交互構(gòu)建沉浸體驗(yàn)、互動(dòng)體驗(yàn)、聯(lián)覺體驗(yàn)，在多感官整合體驗(yàn)中使閱讀更具人性化。當(dāng)前的AR科普繪本還需要堅(jiān)持內(nèi)容為王，在文本創(chuàng)作上堅(jiān)持科學(xué)性、趣味性、藝術(shù)性的平衡，在技術(shù)融合上向深層次和多元化方向發(fā)展，不能只是將AR技術(shù)在科普繪本上進(jìn)行簡(jiǎn)單疊加，而是要使AR技術(shù)與科普繪本的內(nèi)容進(jìn)行深度融合并優(yōu)化體驗(yàn)性設(shè)計(jì)，才能吸引兒童的注意力進(jìn)行有效閱讀，達(dá)到傳播科普知識(shí)的目的。

參考文獻(xiàn)：

[1]徐翔，王麗，翁瑾.AR/VR技術(shù)與信息傳播模式重構(gòu)[J].出版廣角，2018（19）：65-67.

[2]馬俊鋒，高宏斌.數(shù)字時(shí)代科普?qǐng)D書的界定分類及統(tǒng)計(jì)研究概況[J].科普研究，2017（5）：43-49+57+108-109.

[3]陳蓓.“出版+AR”：智媒時(shí)代兒童圖書出版的優(yōu)化策略[J].出版廣角，2019（2）：62-64.

[4]詹秦川，趙洋.AR技術(shù)與傳統(tǒng)紙媒的交互融合設(shè)計(jì)研究[J].包裝工程，2018（6）：139-144.

作者簡(jiǎn)介：張慧娟，武漢設(shè)計(jì)工程學(xué)院藝術(shù)設(shè)計(jì)學(xué)院副教授。研究方向：視覺傳達(dá)設(shè)計(jì)。

編輯：宋國(guó)棟