論沉浸式出版*

■ 吳釗 趙倫

沉浸式出版是數(shù)字出版模式的再升級,我們可以稱之為“后數(shù)字出版”或者“數(shù)字出版2.0”模式。具體來說,沉浸式出版是指以數(shù)字化技術(shù)為基礎(chǔ),同時在虛擬現(xiàn)實(VR)、增強(qiáng)現(xiàn)實(AR)、人工智能(AI)、語音、體感等新興技術(shù)的支撐下,通過視覺、聽覺、觸覺等多感官系統(tǒng)的交互設(shè)計,讓用戶快速產(chǎn)生生理和心理上的沉浸感,從而獲得審美體驗、情感體驗、認(rèn)知體驗、價值體驗的出版新模式。以沉浸式出版引導(dǎo)“沉浸式”閱讀,將是未來克服瀏覽性閱讀危機(jī)的重要思路。

一、“沉浸”的發(fā)生與內(nèi)涵演變

“沉浸”一詞在中文里并不陌生,多指全身心投入某項活動,并達(dá)到某種忘我境界或思想層面?！墩撜Z·述而》中記載:“子在齊聞《韶》,三月不知肉味,曰:‘不圖為樂之至于斯也?！焙笾祆湓凇端臅戮浼ⅰ分羞M(jìn)一步闡釋為“蓋心于一是,而不及乎他也?！痹诂F(xiàn)代語匯中,孔子這種對齊國《韶》樂的癡迷狀態(tài),就是沉浸。

在閱讀活動中,沉浸是大多數(shù)人為之追求的理想狀態(tài)。從文本媒介的發(fā)展來看,人類經(jīng)歷了語音“文本”、紙質(zhì)文本、電子文本、數(shù)字“超文本”①四個時期:語音“文本”時期,閱讀依靠口傳式“聽-讀”完成；紙質(zhì)文本時期又可細(xì)分為手抄紙質(zhì)文本和印刷紙質(zhì)文本兩個時期,手抄時期大致是在文字出現(xiàn)之后、印刷術(shù)出現(xiàn)之前,這個時期開始轉(zhuǎn)向視覺閱讀,但“聽-讀”仍為主要的閱讀方式。隨著印刷術(shù)的出現(xiàn),人類進(jìn)入印刷文本閱讀時代,此時以視覺為主的閱讀范式占絕對主導(dǎo)地位；電子文本時期,視覺為主的閱讀范式?jīng)]有改變,但是因為文本形態(tài)及存儲、獲取路徑的改變,相較于印刷文本時代,其閱讀效率和效果發(fā)生了“分野式”改變；數(shù)字“超文本”時期,文本形態(tài)發(fā)生顛覆性的變化,原來以視覺為主的閱讀范式轉(zhuǎn)向集視覺、聽覺于一體的綜合化閱讀。

那么沉浸的發(fā)生邏輯是什么？這種狀態(tài)在文本閱讀中是否普遍存在？南京大學(xué)周憲教授認(rèn)為,“沉浸式”是印刷文本時代所特有的閱讀狀態(tài)。②在他看來,閱讀應(yīng)該是“一個人與文本交流的孤獨情境”。本雅明也曾在《說故事的人》中指出,說故事的人常常需要聽故事的人來陪伴,而讀印刷本小說的人卻是與世隔絕的。③以聽覺式閱讀為主的語音“文本”和手抄文本時期,由于“他者”的參與,閱讀變成了一種“公眾行為”,因此沉浸難以發(fā)生。而電子文本和數(shù)字“超文本”時期制造的海量、多媒介、超時空限制的文本“狂歡”,也讓沉浸成為一種奢求。只有在印刷文本時期,閱讀從“公眾化”轉(zhuǎn)向“私人化”,人們才得以在與文本獨處的情境和靜謐的自我想象空間中產(chǎn)生內(nèi)化的認(rèn)知和深度的思考。

然而,印刷文本時代的沉浸式閱讀已成過去。在數(shù)字化閱讀時代,我們該如何實現(xiàn)沉浸式閱讀？近年來,沉浸式出版開始嶄露頭角,其中以童書出版領(lǐng)域最為突出。以中國科學(xué)技術(shù)大學(xué)周榮庭教授打造的AR有聲讀物《消失的世界》為例:該讀本以法國兒童科普作家亨利·德斯梅(Henry Desmet)的作品《消失的大陸》為藍(lán)本,采用計算機(jī)3D建模方法還原古生物外形,將語音、音樂、音效、動態(tài)視頻和虛擬模型嵌入繪本,讓古生物活起來,大大激發(fā)了孩子的學(xué)習(xí)興趣。④

在印刷文本閱讀時代的孤獨式沉浸中,人們面對的是靜止的符號,因此對文本的體驗是想象式的,對文本的接受是自主的,對文本的思考是理性的；而在“數(shù)字出版2.0”閱讀時代的狂歡式沉浸中,人們身處的是“真實”的情境,因此對文本的體驗是具身式的,對文本的接受是無意識的,對文本的思考是感性的。所以說,置身于當(dāng)代語境中,沉浸又有了新的內(nèi)涵。

二、“以人為中心”的沉浸式設(shè)計

沉浸的實現(xiàn),關(guān)鍵在于能否通過場景化操作為用戶制造參與感,歸根結(jié)底在于能否將“以人為中心”的核心理念貫穿其中。理解“以人為中心”,要從兩個層面進(jìn)行,一個是“作為體驗者的人”,還有一個容易被忽略的層面,即“作為媒介的人”。

無論是在以單向、大眾傳播為特征的“第一媒介時代”,還是在以雙向、互動傳播為特征的“第二媒介時代”,⑤人與媒介的關(guān)系都逃離不了麥克盧漢“媒介即人的延伸”的理論框制,人就是人,是受眾,是信息的被輸入對象。然而,在以沉浸為主導(dǎo)的傳播語境中,不僅現(xiàn)實社會、周遭環(huán)境變成了媒介,人本身也變成了媒介,人走入傳播的核心舞臺,主導(dǎo)傳播的發(fā)生,改變過去對媒介的依賴。而作為媒介本體的人,既是被動的信息接受者,也是主動的信息發(fā)送者,還是被動的信息發(fā)送者,總之,沉浸傳播的中心不再是信息,而是人。⑥

因此沉浸式設(shè)計的宗旨是創(chuàng)造沉浸體驗,討論“以人為中心”的設(shè)計理念最終還是要回歸到“作為體驗者的人”上。1975年,美國芝加哥大學(xué)心理學(xué)教授米哈里·契克森米哈(Mihalyi Crikszentmihalyi)曾對包括專業(yè)棋手、戶外運動愛好者、作曲家等在內(nèi)的數(shù)十種特殊職業(yè)者進(jìn)行過訪談,當(dāng)被問到“為什么能持續(xù)地、專注地、不厭倦地從事各自領(lǐng)域的活動”時,他們一致認(rèn)為:專注能讓自己獲得一種令人興奮的情緒體驗,特別是當(dāng)他們從事的活動非常順利地開展時,這種情緒體驗會像水流一樣,毫不費力、源源不斷地出現(xiàn)。米哈里稱這種情緒體驗為“心流體驗”(flow experience)或“沉浸體驗”。⑦

1996年,澳大利亞心理學(xué)家蘇珊·杰克遜(Susan Jackson)在米哈里的研究基礎(chǔ)上從九個維度對沉浸體驗的內(nèi)涵進(jìn)行了闡釋,分別為:清晰的目標(biāo)、明確的反饋、挑戰(zhàn)-技能平衡、專注任務(wù)、潛在的控制感、行動-意識融合、自覺體驗、時間扭曲感和失去自我意識。⑧杰克遜提出的九個維度實際上是對沉浸體驗發(fā)生的條件、過程以及結(jié)果的解構(gòu)。

首先,米哈里認(rèn)為,沉浸不僅僅是全情投入而享受到的一種精神體驗,更是一種目標(biāo)驅(qū)動下的投入與付出,是人們在完成任務(wù)、實現(xiàn)目標(biāo)時獲得的積極的、極致的精神體驗。⑨所以人們所沉浸的那個行為,必須是朝著某個目標(biāo)前進(jìn)的,而不僅僅是娛樂和消遣時間。

其次是對任務(wù)的專注。如圖所示,體驗者處于不同的技能與挑戰(zhàn)狀態(tài)時,通常會表現(xiàn)出三種基本情緒——焦慮、無聊和沉浸。即當(dāng)個人能力超出挑戰(zhàn)時,通常會產(chǎn)生無聊感,以致懈怠任務(wù)；當(dāng)挑戰(zhàn)超出個人能力時,通常會產(chǎn)生焦慮感,甚至放棄任務(wù)；只有當(dāng)個人能力與挑戰(zhàn)達(dá)到平衡時,人們才會產(chǎn)生較強(qiáng)的專注力,任務(wù)才能繼續(xù)進(jìn)行。

再者是對過程的反饋。盡管前文認(rèn)為用戶在沉浸中對文本的接受是被動的、無意識的,這并不代表體驗者在整個過程中就完全失去自我,反而,如果缺乏潛在的控制感,體驗者就會游離于行動之外。當(dāng)然,如果控制感過強(qiáng),體驗者的參與感也會大打折扣。只有當(dāng)行動與意識融為一體時,體驗者才會對執(zhí)行中的任務(wù)作出明確的反饋,從而產(chǎn)生心流,進(jìn)入自覺沉浸狀態(tài)。

其實,不論是討論“作為媒介的人”還是“作為體驗者的人”,都有一個共同的邏輯出發(fā)點,就是交互性。正因為有了交互性,人的媒介作用才得到彰顯,體驗需求也得以滿足。因此,在沉浸式設(shè)計中,我們應(yīng)該著重從內(nèi)容與形式、規(guī)則與任務(wù)等方面考慮交互實現(xiàn)的可能。

三、多感官敘事與交互實現(xiàn):以“小熊尼奧”系列產(chǎn)品為例

從“想象式”到“具身式”,從“心理沉浸”到“身心沉浸”,沉浸式閱讀在印刷文本和數(shù)字出版兩個時代的含義有云泥之別。具身式,即人真實地投入到虛擬世界中,通過多感官上的沖擊和碰撞,產(chǎn)生近乎于真實世界感受的方式。也就是說,數(shù)字時代談沉浸,首先要談“身體在場”、以何種方式在場、以何種程度在場,只有“身體在場”了,才有條件談“心理在場”。

人有五感,視覺、聽覺、觸覺、嗅覺、味覺,其中視覺、聽覺和觸覺是人與機(jī)器交流的主要界面,是人產(chǎn)生沉浸感的主要通道。目前,大多數(shù)沉浸式出版物也都從視覺、聽覺和觸覺三大系統(tǒng)進(jìn)行敘事建構(gòu),我們以“小熊尼奧”系列產(chǎn)品為例來討論一二。“小熊尼奧”創(chuàng)立于2012年,系央數(shù)文化(上海)股份有限公司旗下主力品牌,專注于2-10歲學(xué)齡前和學(xué)齡期兒童的互動智能產(chǎn)品開發(fā)與銷售,目前主要有“口袋動物園”“口袋動物園2”“口袋交通”“神筆立體畫”“AR地球儀”“神奇AR識字卡片”等系列產(chǎn)品,其中“口袋動物園”僅2015年第一季度銷量就達(dá)到150萬套,銷售額過億。⑩

1.視覺敘事

視覺是人體感知外界事物、獲取外界信息的第一來源。人的視覺器官——眼睛通過光的作用,感知有關(guān)物象的空間、大小、色彩、形狀和動態(tài),組合成有用信息傳至腦部進(jìn)行分析,并做出思想或行動上的反應(yīng)。沉浸式出版在視覺效果的營造上有多種方式。

譬如,創(chuàng)造虛實相生的故事情境。虛實相生是中國古典詩詞常用的結(jié)構(gòu)之法,“實”是指客觀世界中存在的實象、實物、實境,“虛”則指由實境誘發(fā)和開拓的審美想象空間。在沉浸式出版中,“虛”還有另一層含義,就是通過現(xiàn)代技術(shù)實現(xiàn)的想象空間的“實象化、實物化、實境化”?！靶⌒苣釆W”系列產(chǎn)品利用增強(qiáng)現(xiàn)實技術(shù)將平面圖像瞬間轉(zhuǎn)換成三維動畫,屏幕中的圖像可以隨卡片作橫向360°旋轉(zhuǎn)和直立320°翻轉(zhuǎn),從而展現(xiàn)出豐富的動畫效果,用戶也可以實現(xiàn)全方位的觀察和學(xué)習(xí)。通過增強(qiáng)現(xiàn)實及三維實時渲染等技術(shù)將原本虛擬的物象“實物化”并融入實景空間,營造了虛虛實實的故事情境,可以快速使用戶進(jìn)入沉浸狀態(tài)。

2.聽覺敘事

人體感知外界事物、獲取外界信息的第二來源是聽覺。事實上,聲音往往更容易使聽者產(chǎn)生想象的空間,這得益于它的兩大特點:一是穿透性。聽者在遠(yuǎn)距離、不明方位的情況下都可以接受信息?！都t樓夢》中用“未見其人,先聞其聲”來描寫林黛玉進(jìn)賈府時首次見到王熙鳳的情景,充分地體現(xiàn)了聲音穿透力對人體感知的影響。二是戲劇性。文字是“冰冷”的,而聲音是有“溫度”的,聲音情緒的改變會直接影響聽者對事物的感知。所以在文化藝術(shù)創(chuàng)作中,借助聲音來敘述情節(jié)、塑造形象、勾畫場景、營造意境,可以達(dá)到事半功倍的效果。

正因為如此,以音效增強(qiáng)代入感的手法在沉浸式出版中得到了廣泛運用。以“口袋動物園”為例,被“召喚”出來的動物除了會跑會跳還會叫,發(fā)出的聲音大都采集于動物原聲,營造的打雷、閃電、刮風(fēng)、下雪等環(huán)境音效也十分逼真,動物在不同的環(huán)境中還會通過聲音表現(xiàn)出不同的情緒?！翱诖煌ā敝行∑?、火車、警車、救護(hù)車等不同車種的鳴笛聲,賽車炫技產(chǎn)生的“飄移”聲,直升飛機(jī)起飛時旋翼發(fā)出的聲音……在虛擬場景中,這些音效可以增強(qiáng)環(huán)境的仿真性,輔助視覺系統(tǒng)加深對外界信息的感知和記憶,加速沉浸感的產(chǎn)生。

3.類觸覺敘事

在一般出版物的設(shè)計中,觸覺是人們很少探索和研究的感官系統(tǒng)。杭云、蘇寶華認(rèn)為人體在交互中獲得的觸覺信息是兩種信息的混合,首先是通過皮膚與物體接觸而感受到的信息,比如物體的紋理、質(zhì)感；然后通過相互“運動”產(chǎn)生力的作用,從而產(chǎn)生更進(jìn)一步的感受,比如物體的軟硬、形狀。兩種物理信息經(jīng)過大腦的加工和轉(zhuǎn)化,就形成人們對物體的觸覺感知。然而,在虛擬現(xiàn)實環(huán)境中,我們很難感受到虛擬物體的物理屬性,更難與虛擬物體發(fā)生力的關(guān)系。

為了延展產(chǎn)品的敘事維度,市場上有一些新的嘗試。2017年戛納電影節(jié)上展映了一部六分半鐘的影片——《肉與沙》(Carne y Arena),這部影片不僅采用了VR技術(shù),還以圍墻、沙石、鐵銹、破鞋等實體裝置營造了真實的觀影環(huán)境,幫助觀眾通過與實體裝置的接觸產(chǎn)生身臨其境之感,這種“裝置化”模式就是一種典型的觸覺敘事方式。

“小熊尼奧”系列產(chǎn)品中也有一些近似于觸覺感知的設(shè)計,比如“口袋動物園”里,用戶可以將動物放在手心,可以隨意放大縮小或移動它們。然而,盡管用戶對虛擬物體實現(xiàn)了操控,但是他實際感受到的卻僅僅只有點擊屏幕時產(chǎn)生的機(jī)器震動感,而非與虛擬物體之間真實的觸覺感知,因此,從嚴(yán)格意義上講,這種感知不是觸覺感知,姑且稱之為“類觸覺”感知。

4.交互實現(xiàn)

無論是視覺敘事、聽覺敘事還是觸覺敘事,都是為了在虛擬世界里營造一種逼近真實的感受,從而促進(jìn)人與虛擬世界的交互,增強(qiáng)人在虛擬世界里的沉浸感。如果未來真像尼古拉·尼葛洛龐帝(Nicholas Negroponte)所預(yù)言的,“虛擬現(xiàn)實能使人造事物像真實事物一樣逼真,甚至比真實事物還要逼真”,那么人在真實世界和虛擬世界里的自由切換,也會使沉浸成為一種常態(tài)。

“小熊尼奧”致力于互動智能產(chǎn)品開發(fā),其產(chǎn)品也在不斷升級。相較于“口袋動物園”,“口袋動物園2”增加了七項功能,其中就有五項與交互實現(xiàn)有關(guān)。其一是場景切換,針對不同的動物生成它們所生活的環(huán)境,幫助體驗者深入了解動物棲息環(huán)境；其二是天氣控制,根據(jù)喜好選擇多種氣候,體驗呼風(fēng)喚雨的快感；其三是語音聲控,說出動物名字即可召喚出想要的動物,動物們可接收走、跳、跑等七十多種指令,一呼百應(yīng)；其四是道具組合,生成對應(yīng)道具并與動物進(jìn)行互動,比如用殺蟲劑殺害蟲、給老虎喂食、給海獅玩球等；其五還增加了寵物模式,體驗者可以飼養(yǎng)虛擬小動物,并隨時與它們互動?！翱诖鼊游飯@2”的多種交互設(shè)計,打破了傳統(tǒng)識字卡片枯燥乏味的學(xué)習(xí)過程,提高了用戶學(xué)習(xí)的專注度,讓早教學(xué)習(xí)效率大幅提升。

沉浸式出版物集合了視覺、聽覺、觸覺等多種感知元素,并通過交互設(shè)計模糊了現(xiàn)實世界與虛擬世界的邊界,“讓體驗者像感知真實一樣感知虛擬、像與真實世界互動一樣與虛擬世界互動”,從而實現(xiàn)從“生理”到“心理”的完全沉浸。

四、面向現(xiàn)實的技術(shù)哲思

作為一種新型出版模式,它的出現(xiàn)讓人耳目一新,但同時也暴露了諸多問題,尤其是在技術(shù)面前,我們不得不做出反思和回應(yīng)。

1.裝置佩戴的繁瑣與輕松閱讀的需求相悖

德國學(xué)者漢斯·薩克塞曾在其著作《技術(shù)與責(zé)任》中指出,“技術(shù)可理解為人的自然器官的完善,它使人們能夠更好地去聽、去看、動手去做?！闭\然,人的五感感知能力是有限的,唯有通過技術(shù)來幫助人體獲得正常感知范圍之外的信息。

自2013年來,以VR眼鏡、VR耳機(jī)、頭盔顯示器、數(shù)據(jù)手套、力反饋器等為代表的技術(shù)裝置層出不窮,極大地滿足了人們的新鮮感和好奇心,然而。在調(diào)查中我們發(fā)現(xiàn),在日常閱讀體驗中,大部分人對這種“裝置式”閱讀方式并不適應(yīng)。佩戴裝置時,體驗者的身體會產(chǎn)生緊張感、束縛感甚至眩暈感,而閱讀本身是一種放松的、享受型的活動,這兩者是相違背的。這種體驗帶來的沉浸感往往也是短暫的,因為這種狀態(tài)通常會因為裝置佩戴調(diào)整等情況而中斷。未來技術(shù)創(chuàng)新的方向應(yīng)該聚焦在如何使裝置設(shè)計充分適應(yīng)人體學(xué)構(gòu)造上,要最大程度地減少裝置佩戴給人帶來的不舒適感。

2.技術(shù)的有限表達(dá)對想象力的扼殺

印刷文本意義的表達(dá)主要依靠文字和圖片,沉浸式出版卻可以利用技術(shù)建構(gòu)一個豐富、立體的虛擬世界。正如恩格斯所說,“科學(xué)是一種在歷史上起推動作用的、革命的力量”,科學(xué)技術(shù)的發(fā)展必然會引起生產(chǎn)方式的變革。然而我們不能忽略,技術(shù)對虛擬世界的營造是機(jī)械化、單一化、標(biāo)準(zhǔn)化的,它的豐富是有限的豐富,立體是有限的立體,所以它給讀者帶去的想象空間也是有限的。在技術(shù)建構(gòu)的閱讀世界里,“一千個讀者心中可能就只有一個哈姆雷特”。因此本雅明(Walter Benjamin)就在《機(jī)械復(fù)制時代的藝術(shù)》中指出,機(jī)械復(fù)制技術(shù)制造了“世物皆同的感覺”,消解了古典藝術(shù)的距離感和唯一性。

我們很難想象VR或AR技術(shù)該如何呈現(xiàn)《紅樓夢》中寶玉初見黛玉時的風(fēng)姿綽約。正如海德格爾所說,“技術(shù)是對意義的遮蔽”,技術(shù)也是對讀者想象力的扼殺。

3.技術(shù)“狂歡”下的文化沉淪

沉浸式出版帶來的最大危機(jī)可能是對技術(shù)的過分崇拜而導(dǎo)致的對文化價值的忽略。美國社會理論家赫伯特·馬爾庫塞(Herbert Marcuse)曾尖銳地指出,“現(xiàn)代科技只關(guān)心那些可以衡量的東西以及它在技術(shù)上的應(yīng)用,而不再去問這些事物的人文意義,只問如何運用技術(shù)手段去工作,而不關(guān)心技術(shù)本身的目的,從而產(chǎn)生出被扭曲的科學(xué)……”所以談沉浸,一定是兩個維度,一個是表面維度的技術(shù)沉浸,一個是內(nèi)在維度的文化沉浸,更重要的是內(nèi)在維度。

馬克思·韋伯比喻,科技技術(shù)就像一張地圖,它可以告訴你到某一個地方怎么走,但是它不能告訴你往什么地方去。因此,沉浸式出版一定要警惕技術(shù)“狂歡”下的文化沉淪,這也是我們?yōu)槭裁刺帷俺两匠霭妗备拍疃恰癡R出版”概念的原因。

注釋:

① “超文本”是20世紀(jì)60年代美國技術(shù)先鋒德特·納爾遜(Ted Nelson)創(chuàng)造的術(shù)語,指用超鏈接的方法,將各種不同空間的文字信息組織在一起的網(wǎng)狀文本。其特點是鏈接、分叉選擇和非順序性。

② 周憲:《從“沉浸式”到“瀏覽式”閱讀的轉(zhuǎn)向》,《中國社會科學(xué)》,2016年第11期。

③ [德]本雅明:《說故事的人》,《本雅明文選》,陳永國、馬海良譯,中國社會科學(xué)出版社1999年版,第321頁。

④ 童云:《沉浸的故事:增強(qiáng)現(xiàn)實技術(shù)有聲書的內(nèi)容創(chuàng)新》,《中國廣播》,2018年第4期。

⑤ 李沁、熊澄宇:《沉浸傳播與“第三媒介時代”》,《新聞與傳播研究》,2013年第2期。

⑥ 李沁:《沉浸傳播的形態(tài)特征研究》,《現(xiàn)代傳播(中國傳媒大學(xué)學(xué)報)》,2013年第2期。

⑦ Csikszentmihalyi M.BeyondBoredomandAnxiety:ExperiencingFlowinWorkandPlay,Mentoring & Tutoring Partnership in Learning.1975,18(4):449-453.

⑧ Jackson S A,Marsh H.DevelopmentandValidationofaScaletoMeasureOptimalExperience:theFlowStateScale,Journal of Sport & Exercise Psychology.1996,18(1):17-35.

⑨ Csikszentmihalyi M.BeyondBoredomandAnxiety:ExperiencingFlowinWorkandPlay,Mentoring & Tutoring Partnership in Learning.1975,18(4):449-453.

⑩ 劉一鳴、胡伯俊:《基于增強(qiáng)現(xiàn)實技術(shù)的兒童出版物利潤源研究》,《出版發(fā)行研究》,2017年第5期。