基于增強(qiáng)現(xiàn)實(shí)技術(shù)的紙質(zhì)出版物閱讀體驗(yàn)重構(gòu)研究

呂欣+鄭蔚琦

【摘 要】 隨著互聯(lián)網(wǎng)時(shí)代的到來，媒體受眾的審美趣味、消費(fèi)習(xí)慣以及消費(fèi)場景發(fā)生了巨大變化，傳統(tǒng)出版業(yè)正迎來一場全產(chǎn)業(yè)鏈的深刻變革。AR等數(shù)字技術(shù)不斷介入紙質(zhì)出版物的媒介符號(hào)形體、內(nèi)容形態(tài)乃至敘述方式，傳統(tǒng)出版業(yè)的生態(tài)體不斷涌現(xiàn)數(shù)字科技的基因，AR技術(shù)成為推動(dòng)產(chǎn)業(yè)變革的一個(gè)重要賦能者。文章從《奇幻之書》等AR圖書實(shí)際案例分析入手，以技術(shù)特征、藝術(shù)語言、信息呈現(xiàn)、人機(jī)交互方式等為研究視角，對(duì)AR圖書所帶來的全新閱讀體驗(yàn)進(jìn)行深入分析。

【關(guān) 鍵 詞】AR技術(shù)；紙質(zhì)出版物；閱讀體驗(yàn)

【作者單位】呂欣，中國傳媒大學(xué)藝術(shù)學(xué)部動(dòng)畫與數(shù)字藝術(shù)學(xué)院，網(wǎng)絡(luò)與未來社會(huì)研究中心；鄭蔚琦，中國傳媒大學(xué)互聯(lián)網(wǎng)信息研究院。

【中圖分類號(hào)】G230 【文獻(xiàn)標(biāo)識(shí)碼】A

傳播媒介是人類精神情感與社會(huì)文化的重要載體，每個(gè)時(shí)代都會(huì)將它的社會(huì)生活、時(shí)代意象、文化心理結(jié)構(gòu)與精神氣質(zhì)投射到那個(gè)時(shí)代的媒介內(nèi)容與形式之中。當(dāng)既有媒介形式不足以表現(xiàn)當(dāng)代社會(huì)日益復(fù)雜多樣的信息樣態(tài)和公眾審美需求，而新的技術(shù)工具又能為新的媒介形式提供有效技術(shù)支撐與表現(xiàn)手段時(shí)，時(shí)代就會(huì)迫切召喚符合這一時(shí)代審美特征的新媒介形態(tài)出現(xiàn) 。

數(shù)字技術(shù)的血液里似乎有著與生俱來的革命性，當(dāng)它迅速進(jìn)入傳統(tǒng)出版領(lǐng)域時(shí)，不斷擾亂和沖擊著這個(gè)行業(yè)固有的形態(tài)、模式與秩序。近幾年隨著增強(qiáng)現(xiàn)實(shí)（AR）、HTML5、大數(shù)據(jù)、人工智能等技術(shù)的應(yīng)用，以及智能手機(jī)、平板電腦等電子終端大規(guī)模普及，以AR圖書為代表的新型書籍成為全世界關(guān)注的焦點(diǎn)。紙質(zhì)出版物的形態(tài)被不斷改造和重構(gòu)，其所固有的線性圖文形態(tài)在圖片、聲音、二維與三維影像、互動(dòng)游戲等多媒體元素的不斷疊加中呈現(xiàn)多感官、跨媒介、富媒體、交互式的發(fā)展趨勢。本文從《奇幻之書》等AR圖書實(shí)際案例分析入手，以技術(shù)特征、藝術(shù)語言、信息呈現(xiàn)、人機(jī)交互方式等層面作為研究視角，嘗試對(duì)AR圖書所帶來的全新閱讀體驗(yàn)進(jìn)行深入分析。

一、AR技術(shù)的特性及其在提升閱讀體驗(yàn)中的應(yīng)用

AR技術(shù)是指利用計(jì)算機(jī)生成的特定現(xiàn)實(shí)情境中的虛擬環(huán)境，通過各種傳感設(shè)備將虛擬環(huán)境嵌入真實(shí)世界之中，使用戶沉浸在這種虛實(shí)相融的環(huán)境中，并與之產(chǎn)生自然交互行為。AR技術(shù)具有虛實(shí)結(jié)合、實(shí)時(shí)交互和三維注冊(cè)三大特點(diǎn)。虛實(shí)結(jié)合是指AR技術(shù)可以通過攝像頭獲取真實(shí)世界場景，將虛擬影像疊加到真實(shí)物體之上，產(chǎn)生超真實(shí)之感，再結(jié)合設(shè)備對(duì)真實(shí)環(huán)境的感知，營造出極具沉浸感的第三世界。實(shí)時(shí)交互是指AR技術(shù)通過實(shí)時(shí)跟蹤、多傳感器融合等技術(shù)實(shí)現(xiàn)實(shí)時(shí)交互反饋，虛實(shí)場景無縫銜接。三維注冊(cè)是指利用AR技術(shù)，在三維空間中增添定位虛擬物體，同時(shí)能夠檢測出AR設(shè)備相對(duì)于現(xiàn)實(shí)場景的位置，并準(zhǔn)確地將實(shí)時(shí)生成的虛擬影像疊加到真實(shí)世界中，最終達(dá)到虛實(shí)結(jié)合的效果。

隨著《奇幻之書》《口袋動(dòng)物園》《AR西游記》《科學(xué)跑出來》等AR圖書的流行，過去只能在魔幻或科幻電影中才能看到的動(dòng)態(tài)影像報(bào)紙、能冒出神靈的神奇書、與書中角色進(jìn)行對(duì)話交流等奇幻事物已經(jīng)成為現(xiàn)實(shí)。借助AR技術(shù)，我們可以將具有高度交互性的虛擬影像或真實(shí)影像實(shí)時(shí)嵌入客觀世界里的真實(shí)生活場景，從而不斷創(chuàng)造出令人嘆為觀止的超現(xiàn)實(shí)景觀世界。以《口袋動(dòng)物園》為代表的早期AR圖書，借助實(shí)時(shí)語音、手機(jī)攝像頭以及智能移動(dòng)終端的運(yùn)算性能，將一些簡單的三維虛擬動(dòng)畫疊加到現(xiàn)實(shí)生活場景之中，實(shí)現(xiàn)了初級(jí)的交互式閱讀體驗(yàn)。而《奇幻之書》等大型AR圖書，則深度集成了動(dòng)態(tài)控制器、運(yùn)動(dòng)捕捉、實(shí)時(shí)跟蹤、多傳感器融合等技術(shù)，并充分借鑒電影、數(shù)字游戲等藝術(shù)表現(xiàn)手段，通過全新的交互方式重構(gòu)書籍閱讀體驗(yàn)。

近年來，AR頭盔、智能眼鏡、顯示器、智能手機(jī)等硬件技術(shù)發(fā)展迅速，加上3D引擎技術(shù)、體感交互技術(shù)、語音與語義識(shí)別技術(shù)、手機(jī)相機(jī)功能、GPS定位技術(shù)、電子羅盤技術(shù)、重力感應(yīng)和距離感應(yīng)等傳感技術(shù)日益成熟，不斷促使AR技術(shù)向縱深領(lǐng)域發(fā)展。

二、AR技術(shù)對(duì)紙質(zhì)出版物閱讀體驗(yàn)的重構(gòu)

傳統(tǒng)出版行業(yè)要想在互聯(lián)網(wǎng)時(shí)代繼續(xù)擁有立足之地，必須積極融入媒介變革的大浪潮之中，AR技術(shù)無疑是能為傳統(tǒng)出版帶來變革力量的積極賦能者之一。

加拿大著名傳播學(xué)者麥克盧漢認(rèn)為，媒介是人的感覺能力的延伸或擴(kuò)展，印刷是視覺的延伸，電子媒介是中樞神經(jīng)系統(tǒng)的延伸。AR技術(shù)與紙質(zhì)出版物的結(jié)合則擁有了更多維度的信息整合與呈現(xiàn)能力。

紙質(zhì)出版物與數(shù)字媒體原分屬不同的物理媒介，現(xiàn)實(shí)世界與虛擬世界在理論上也是不會(huì)交叉的，但AR技術(shù)卻悄然打破了這些界線。AR技術(shù)基于讀者的現(xiàn)實(shí)生活場景，通過定位跟蹤技術(shù)無縫接入虛擬影像，既讓用戶停留在印刷品實(shí)體所處的現(xiàn)實(shí)世界中，又增加了數(shù)字媒體層面可探索的深度內(nèi)容，結(jié)合實(shí)時(shí)交互、三維注冊(cè)的特點(diǎn)，傳遞多維度的信息，從而構(gòu)建具有高度沉浸感的超真實(shí)世界。AR技術(shù)在促進(jìn)紙質(zhì)媒體與數(shù)字媒體相互融合的進(jìn)程中，不斷促使AR圖書衍生出嶄新的藝術(shù)語言及獨(dú)特的藝術(shù)風(fēng)格，給讀者帶來實(shí)時(shí)互動(dòng)、交互敘事、擬像操控、沉浸式體驗(yàn)等全新閱讀體驗(yàn)。

1.實(shí)時(shí)互動(dòng)——從被動(dòng)接受到主動(dòng)參與

紙質(zhì)出版物由于受物理載體的限制，其表現(xiàn)形式只限于文字和圖片，交互形式也僅限于對(duì)紙張的翻動(dòng)。AR技術(shù)則完全打破了紙質(zhì)出版的物理局限，重構(gòu)其表現(xiàn)形式及交互方式，以往用于承載特定信息的平面內(nèi)容成為與數(shù)字媒體交互的實(shí)物載體和通往虛擬世界的入口，單一不變的平面內(nèi)容變成多樣的全息影像，為現(xiàn)實(shí)世界加入一層注解。AR技術(shù)的特點(diǎn)也奠定了交互過程中信息實(shí)時(shí)生成的技術(shù)基礎(chǔ)，通過攝像頭及各種傳感器捕捉用戶的動(dòng)作、獲取用戶所在的環(huán)境信息、語音信息等，形成數(shù)據(jù)并實(shí)時(shí)生成對(duì)應(yīng)的反饋信息呈現(xiàn)給用戶，從而實(shí)現(xiàn)虛擬與現(xiàn)實(shí)的無縫交互。

2.交互敘事——從線性敘事到交互式敘事

AR技術(shù)融入紙質(zhì)出版物，使其具備了交互式、碎片化、多向性等特征，打破了傳統(tǒng)紙質(zhì)出版物封閉、單一的線性邏輯，并對(duì)紙質(zhì)出版物的傳統(tǒng)敘事結(jié)構(gòu)進(jìn)行重構(gòu)。用戶在使用紙質(zhì)出版物時(shí)往往只是單向的閱讀者，當(dāng)AR技術(shù)將數(shù)字媒體帶入印刷品中，用戶便擁有了閱讀者、觀看者、體驗(yàn)者甚至創(chuàng)造者的多重身份，對(duì)印刷品所承載的內(nèi)容有了更加全面的體驗(yàn)。在AR營造的虛實(shí)結(jié)合交互環(huán)境中，用戶可以在作品中自由移動(dòng)，每一步操作都會(huì)生成新的敘述內(nèi)容，不同于以往只能被動(dòng)跟隨作者，用戶成為故事的主導(dǎo)者。當(dāng)然，作品的交互敘事并不是絕對(duì)的，也需要與主題本身達(dá)到平衡，用戶擁有的主權(quán)與作品傳達(dá)的思想之間存在一定的沖突。因此，在印刷品的重構(gòu)中，敘事結(jié)構(gòu)的設(shè)計(jì)是一大難點(diǎn)，在保證用戶參與感、主動(dòng)性的同時(shí)要進(jìn)行必要的控制，以避免故事情節(jié)無序發(fā)展造成美感缺失。endprint

3.擬像操控——讀者在交互文本中投射自我意識(shí)

如果說傳統(tǒng)紙質(zhì)出版物主要是通過作家對(duì)作品進(jìn)行控制與操作來完成，那么AR圖書則在一定程度上依賴讀者的深度操控來實(shí)時(shí)生成作品。操控建立了作品與讀者間的關(guān)系，讀者通過一定規(guī)則參與到作品創(chuàng)作中，影響作品內(nèi)容的生成。同時(shí)，AR圖書實(shí)時(shí)反饋用戶的操作結(jié)果，讀者不斷在其中循環(huán)操作。操控對(duì)參與者與作品來說是一種雙向交流改變的過程，這樣就形成了一種獨(dú)特的藝術(shù)對(duì)話機(jī)制。

讀者通過對(duì)AR圖書中虛擬角色的擬像操控，不斷在各種情境中穿梭，使圖書信息與內(nèi)容不斷生成，形成不斷流變的過程。在這個(gè)過程中，參與者的想象被激發(fā)，自我意識(shí)投射到虛擬世界中，進(jìn)行現(xiàn)實(shí)與虛擬互聯(lián)。此時(shí)，讀者成為能夠閱讀、感知、體驗(yàn)AR圖書乃至內(nèi)容生成與再創(chuàng)造的綜合體。

4.沉浸式體驗(yàn)——從實(shí)體裝置到隱形媒介

紙質(zhì)出版物的閱讀體驗(yàn)主要來源于作者的圖文敘述，借助圖文營造的敘事場景與故事，將讀者帶入作品的敘述時(shí)空與故事脈絡(luò)中。讀者沉浸感的有效實(shí)現(xiàn)大多取決于本身的閱讀專注力以及精神參與度。AR環(huán)境下的實(shí)時(shí)互動(dòng)與交互敘事基于現(xiàn)實(shí)世界的真實(shí)感與作品本身的開放性，再加上疊加于真實(shí)生活場景之上的交互虛擬影像，可以有效觸發(fā)讀者的好奇心以及操控欲，使讀者完全投入其中，從而達(dá)到高度沉浸感的心流狀態(tài)。

AR主要依賴于操控物與顯示屏兩個(gè)不可缺少的物理媒介來營造沉浸感，達(dá)到重構(gòu)用戶閱讀體驗(yàn)的關(guān)鍵是實(shí)現(xiàn)這兩個(gè)物理媒介的“隱形”。操控物本身可以成為用戶在超現(xiàn)實(shí)世界的武器，并不會(huì)過多地干擾用戶的沉浸體驗(yàn)，而顯示屏則需要借助虛擬影像的逼真性來造就“隱形衣”，除了增強(qiáng)虛擬影像的畫面、音效、動(dòng)畫等效果，對(duì)現(xiàn)實(shí)的渲染以融合兩個(gè)世界也是實(shí)現(xiàn)沉浸感的核心要素。

三、AR技術(shù)在紙質(zhì)出版物中的創(chuàng)新應(yīng)用

無論是報(bào)紙、期刊、圖書、說明書還是產(chǎn)品宣傳單等印刷品，均可利用AR技術(shù)提高用戶的參與度與想象力，突破紙質(zhì)出版物單一維度的信息表現(xiàn)方式，從而給讀者帶來多感官、跨媒介、富媒體、交互式的全新閱讀體驗(yàn)。德國《南德意志報(bào)》于2013年出版了AR雜志《星期五》，將雜志上的圖文動(dòng)態(tài)化，展現(xiàn)3D插圖、交互式視頻、字謎游戲等，顛覆了傳統(tǒng)報(bào)刊的固定模式，使新聞?wù)宫F(xiàn)形式更加豐富?！稏|京新聞》則專門為兒童開發(fā)了AR News應(yīng)用，兒童讀者可通過手機(jī)掃描報(bào)紙，閱讀生詞較少、篇幅簡短的新聞或聽卡通形象誦讀新聞，成功地將紙媒用戶擴(kuò)大到兒童讀者?！都崴故澜缂o(jì)錄大全2013》圖片版發(fā)布時(shí)推出相關(guān)的AR應(yīng)用，用戶可以通過應(yīng)用瀏覽書籍查看更加生動(dòng)的信息。但這些應(yīng)用方式僅僅停留在信息內(nèi)容展示層面，未能全面發(fā)揮AR技術(shù)所帶來的交互式沉浸體驗(yàn)的作用。

2012年，由索尼公司聯(lián)手《哈利·波特》作者J.K.羅琳打造的AR圖書《奇幻之書》，結(jié)合PlayStation Eye攝像頭及對(duì)應(yīng)的PlayStation Move動(dòng)態(tài)控制器，可對(duì)書籍進(jìn)行準(zhǔn)確圖像識(shí)別以及實(shí)時(shí)捕捉用戶交互動(dòng)作，實(shí)現(xiàn)用戶與圖書內(nèi)容的深度互動(dòng)，為用戶全面展現(xiàn)了紙質(zhì)出版物通過AR技術(shù)賦能所創(chuàng)造的諸多可能。

1.通過擬像操控與實(shí)時(shí)互動(dòng)使用戶完全沉浸于文本故事之中

《奇幻之書》的操作十分簡單，用戶只要坐在攝像頭前，配上PlayStation Move控制器，在鏡頭的捕捉下，顯示屏?xí)従徤善婊玫漠嬅?，同時(shí)將實(shí)體書映射成魔法學(xué)院場景，控制器映射成魔法棒，用戶便成為這個(gè)超現(xiàn)實(shí)世界中的主人公，開啟魔法師之路。基于鏡頭對(duì)圖書內(nèi)容和控制器的圖像識(shí)別及精確跟蹤定位，并通過對(duì)用戶語音的接收反饋，用戶可以實(shí)時(shí)操控魔法棒對(duì)畫面中的虛擬元素進(jìn)行操作，產(chǎn)生畫面反饋，從而實(shí)現(xiàn)以往只能在電影世界中才能出現(xiàn)的效果。不同于紙質(zhì)出版物的平面展現(xiàn)方式，《奇幻之書》通過實(shí)時(shí)互動(dòng)使這些畫面全息投影出來，從而極大地調(diào)動(dòng)了用戶的積極性，使其主動(dòng)參與到作品之中，并通過多感官信息讓用戶完全置身于故事情境之中。

2.借助交互敘事使得圖書文本具備開放式塊莖結(jié)構(gòu)

控制器作為作品本身的流程指揮器和作品世界的魔法棒，用戶可以通過其掌握作品的入口，改變作品敘事的發(fā)展方向，而不再是跟隨文字、畫面盲目前進(jìn)的被動(dòng)者，用戶還可以主動(dòng)參與探索作品內(nèi)容，感受作品帶來的驚喜。這種開放式的交互敘事結(jié)構(gòu)，既可以滿足用戶在魔法世界中探索的好奇心，又可以推動(dòng)用戶獲得個(gè)人成就感。為了保證作品的有序性及完整性，作品中預(yù)設(shè)的章節(jié)解鎖順序、章節(jié)中可操控點(diǎn)的限制與用戶的自主探索要達(dá)到一定的平衡，從而使圖書文本呈現(xiàn)為有機(jī)的開放式塊莖結(jié)構(gòu)。

3.借助跨媒介、多媒體表現(xiàn)方式給讀者帶來多感官沉浸式體驗(yàn)

逼真的帶有魔幻濾鏡的畫面，火、恐龍、信件、精靈、南瓜等元素，魔法學(xué)院、森林、密室等場景，伴隨著配樂，《奇幻之書》通過顯示屏為用戶營造了精致的魔法環(huán)境，采用推拉搖移等電影拍攝手段使作品在畫面過度時(shí)自然不突兀，這些不僅為用戶提供了更具沉浸感的體驗(yàn)，也使作品本身成為有機(jī)的生命體。對(duì)現(xiàn)實(shí)場景進(jìn)行拍攝、將真實(shí)記錄的圖片或者視頻融入虛擬元素中，讓用戶拋開對(duì)物理媒介的戒備，全身心投入作品展現(xiàn)的魔法世界之中。

《奇幻之書》利用隱喻將用戶的控制器巧妙地轉(zhuǎn)化成魔法棒，通過用戶自主探索推進(jìn)故事的發(fā)展，削弱了其他因素對(duì)用戶的干擾，使得用戶完全沉浸在作品中，獲得身臨其境的獨(dú)特體驗(yàn)，這些都是傳統(tǒng)紙質(zhì)出版物所不能達(dá)到的效果。

四、結(jié)語

紙質(zhì)出版物在漫長的演進(jìn)中，蘊(yùn)含了太多優(yōu)良的文化精神及美學(xué)體驗(yàn)，AR等數(shù)字技術(shù)不斷介入紙質(zhì)出版物的媒介符號(hào)形體、內(nèi)容形態(tài)乃至敘述方式，使傳統(tǒng)出版業(yè)的生態(tài)體不斷涌現(xiàn)數(shù)字科技的基因。集紙質(zhì)出版物與數(shù)字媒體優(yōu)勢于一身的AR圖書，深度契合信息時(shí)代公眾審美需求的變化以及信息消費(fèi)方式的革新，使人類綿延千年的紙質(zhì)出版物與數(shù)字科技相互浸潤，再難分開。在這一過程中，基于AR技術(shù)的多種新型圖書以及相應(yīng)的藝術(shù)理念噴薄而出，促使出版領(lǐng)域原有的文本內(nèi)容、表現(xiàn)形式及審美趣味日趨多元化，閱讀體驗(yàn)方式更是發(fā)生了體系性改變。AR技術(shù)充分借助實(shí)時(shí)互動(dòng)、交互敘事、擬像操控、沉浸式體驗(yàn)等全新閱讀體驗(yàn)方式，悄然開創(chuàng)了出數(shù)字出版的新時(shí)代。

參考文獻(xiàn)

[1] 莫梅鋒，蔣文妮. 論增強(qiáng)媒介及其實(shí)現(xiàn)路徑[J]. 傳媒觀察，2016（5）：28-30.

[2] 王卉，李金城. AR技術(shù)在圖書出版領(lǐng)域的應(yīng)用研究[J]. 中國出版，2015（17）：38-40.

[3] 劉派. 體驗(yàn)式閱讀——自然交互技術(shù)在傳統(tǒng)出版領(lǐng)域的應(yīng)用研究[J]. 科技與出版，2014（12）：104-107.

[4] 朱松林，吳瓊. AR在紙媒出版中的應(yīng)用與發(fā)展障礙分析[J]. 科技與出版，2014（6）：122-125.

[5] 畢秋敏，曾志勇. 基于AR技術(shù)的紙質(zhì)出版立體化[J]. 出版發(fā)行研究，2014（2）：52-57.

[6] 張健，蔡新元. AR在傳統(tǒng)出版領(lǐng)域中的應(yīng)用探索[J]. 科技與出版，2013（10）：90-94.endprint