混合現(xiàn)實（MR）出版的理論與實踐探索

【摘 要】 作為MR出版的應用代表和探路者，MR“魔法報刊”在我國多地已經(jīng)完成實驗室研發(fā)，并投入實際應用?；诨旌犀F(xiàn)實場景技術的MR出版具有三大形態(tài)特征：場景化、融媒體和交互性。這三大形態(tài)特征均源于混合現(xiàn)實技術的特征。MR“魔法報刊”的出版制作可以概括為平臺化的六大保障和技術流程的七個環(huán)節(jié)。

【關 鍵 詞】MR出版；“魔法報刊”；技術流程

【作者單位】張雷，河北大學新聞傳播學院。

【中圖分類號】G230 【文獻標識碼】A

近年來，在虛擬現(xiàn)實領域出現(xiàn)了一個新的方向，即混合現(xiàn)實（Mixed Reality，MR）。該技術是由“智能硬件之父”多倫多大學教授Steve Mann提出的介導現(xiàn)實發(fā)展而來的。早在20世紀七八十年代，為了增強自身視覺效果，讓眼睛在任何情境下都能夠看到周圍環(huán)境，Steve Mann設計出可穿戴智能硬件，這被看作是MR技術探索的起步。

一、MR出版，以新的方式體驗不同的世界

按照多倫多大學工業(yè)工程系保羅·米爾格拉姆提出的“現(xiàn)虛擬連續(xù)體”概念，混合現(xiàn)實（Mixed Reality，MR）、虛擬現(xiàn)實（Virtual Reality，VR）、增強現(xiàn)實（Augmented Reality，AR）和增強虛擬現(xiàn)實（Augmented Virtuality ，AV）都是場景科技的具體體現(xiàn)，它們之間既存在聯(lián)系，又有區(qū)別。

簡單來說，VR的視覺呈現(xiàn)方式是阻斷人眼與現(xiàn)實世界的連接，通過設備實時渲染的畫面營造出一個全新的世界。AR是通過計算機系統(tǒng)提供的信息增加用戶對現(xiàn)實世界感知的技術，將虛擬的信息運用到真實世界，并將計算機生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實場景中，從而實現(xiàn)對現(xiàn)實的增強。MR則是對VR、AR的集成應用和提升，它通過將真實環(huán)境和虛擬環(huán)境相融合的技術，通過實景與虛景的結合，構造用戶所需的高臨場感多維場景體驗。根據(jù)Steve Mann的理論，智能硬件最后都會從AR技術逐步向MR技術過渡。

新技術與出版的融合不斷改變著傳統(tǒng)出版的形態(tài)和內(nèi)涵，MR代表了場景科技下一步的發(fā)展方向。在數(shù)字出版方興未艾之際，以虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）和混合現(xiàn)實（MR）為代表的場景技術的崛起又為傳統(tǒng)出版和新興出版融合發(fā)展提供了新的技術和平臺支撐。于是，MR出版，也就是混合場景技術出版應運而生。

在電影《哈利·波特》中，魔法世界有一份“活”的《預言家日報》，報上的人物能直接與閱讀者進行視頻對話。在現(xiàn)實世界里，借助MR技術，報紙、雜志和圖書等平面媒體上的內(nèi)容也能轉變?yōu)榛顒拥囊曈X圖像展現(xiàn)在讀者眼前。作為MR出版的應用代表和探路者，MR“魔法報刊”在我國多地已經(jīng)完成實驗室研發(fā)，并投入實際應用。2016年5月14日，第十二屆中國（深圳）國際文化產(chǎn)業(yè)博覽交易會烏魯木齊館，《新疆經(jīng)濟報》與新疆云聯(lián)智慧網(wǎng)絡有限公司聯(lián)合制作的“概念版魔法報紙”正式亮相，它將虛擬現(xiàn)實（VR）、增強虛擬現(xiàn)實（AR）技術引入傳統(tǒng)紙媒，讓人可以借助手機和智媒互動，身臨其境認識并體驗新事物。2016年9月，《新疆經(jīng)濟報》推出了第一張正式應用版的“魔法報紙”——《新疆經(jīng)濟報亞歐博覽會特刊》，將MR出版從實驗室研發(fā)推進到實際應用。

國內(nèi)其他紙媒，如《深圳晚報》《洛陽晚報》《華西都市報》《成都商報》《文匯報》等，同樣也推出過基于MR技術的動態(tài)新聞，力求在有限的敘事場域中無限延展讀者的認知空間。在國外，美國的《紐約時報》《華爾街日報》《洛杉磯時報》，英國的《金融時報》，日本的《東京新聞》《每日新聞》等紙媒，都陸續(xù)在傳統(tǒng)新聞報道中運用MR技術，使報紙可以動起來，響起來。此外，復旦大學已經(jīng)推出了“復旦印象”新媒體客戶端，主要通過MR技術使靜態(tài)圖片在手機屏幕上呈現(xiàn)動態(tài)效果和互動內(nèi)容，實現(xiàn)像哈利·波特魔法報紙一樣的鮮活效果，并進一步拓展，將豐富的文化內(nèi)容、實時的互動服務運用在校園報刊、海報、一卡通、展覽、建筑、超市和校史讀物等多個場景。出版對新技術的應用從未停止，從印刷術、電報、電話、廣播和電視一直到互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和虛擬現(xiàn)實，出版與各種最新技術的融合造就了當今世界豐富多彩的出版圖景。

波普爾“三個世界”理論中，存在三個世界，即物理世界（簡稱“世界1”）、精神世界（簡稱“世界2”）和客觀知識世界（簡稱“世界3”）。而所謂的“世界4”或“第四世界”，則是指20世紀70年代后，人類借助電腦網(wǎng)絡、電子通信、虛擬技術和豐富的想象力將光、電、色、能、數(shù)字與信息集于一體，對宇宙萬物和人類的政治經(jīng)濟、日常生活模擬縮合，構建起的一個新天地。它是對賽博空間、虛擬現(xiàn)實、網(wǎng)絡世界和信息社會等新實體的綜合?！笆澜?”與波普爾的“世界3”相比，突出展示了人的主體性、超現(xiàn)實性、虛擬性和想象性。如今，MR把真實和虛擬世界融為一體，創(chuàng)設出一個現(xiàn)實和數(shù)字化物體共存并能實時交流的場景世界，這又是一個嶄新的世界，我們不妨把其稱之為“世界5”。當我們處于現(xiàn)實和數(shù)字化世界交叉地帶的虛擬、增強和混合現(xiàn)實場景之中，我們認知、感受和體驗世界的方式也發(fā)生了新的變化。

二、MR出版的三大形態(tài)特征

MR出版是將混合現(xiàn)實技術，即MR運用于出版的采集、制作、呈現(xiàn)和傳播所產(chǎn)生的新的出版形式。MR出版讓我們以新的方式認知體驗一個與以往不同的世界。

基于混合現(xiàn)實場景技術的MR出版具有三大形態(tài)特征：場景化、融媒體和交互性。這三大形態(tài)特征均源于混合現(xiàn)實技術的特征?；旌犀F(xiàn)實具有增強現(xiàn)實的虛擬融合、實時交互以及三維注冊的特征，較之虛擬現(xiàn)實系統(tǒng)，混合現(xiàn)實在真實性和交互性上具有更好的效果，超越了增強現(xiàn)實系統(tǒng)所具有的功能。混合現(xiàn)實的最顯著特征是虛實的無縫融合，即為虛擬環(huán)境與真實環(huán)境之間的鴻溝搭建穿越的橋梁。

1.MR出版具有明顯的場景化特征，實現(xiàn)了出版認知的高維性，顯著提升了出版報道的廣度和深度

MR出版不僅可以近乎完美且生動地復現(xiàn)出版事件的現(xiàn)場和全貌，而且可以讓用戶借助VR、AR和AV設備，親身進入具體情境，在全景呈現(xiàn)的大場景中把握出版事件的來龍去脈，從任意視角捕捉各類細節(jié)。受眾希望了解更多深層次內(nèi)容時，只需要在移動終端上點開APP，掃描或識別一下，海量的背景信息、深度內(nèi)容便會以文字、圖像和音視頻等多種形式被喚起，以此增強用戶的現(xiàn)實體驗，延伸其感官功能和認知空間。endprint

2.MR出版具有顯著的融媒體特征，打通了紙媒、電媒和網(wǎng)媒，實現(xiàn)了多種傳播方式的大集成

“魔法報刊”是典型的MR出版應用方式，它以MR融媒體運行機制為保障，以紙媒為直觀呈現(xiàn)載體和入口，以混合現(xiàn)實場景技術為深度閱讀體驗支撐，借助普及化的智能手機應用，改變傳統(tǒng)紙媒體承載、傳播信息的方式，實現(xiàn)從二維到多維、單向到交互閱讀體驗方式的變革。

MR出版的運行不僅打通了平面媒體、音視頻和虛實場景之間的界限，還將進一步驅動傳統(tǒng)媒體機構迅速建立起中央廚房式的融媒體平臺，推動傳統(tǒng)出版業(yè)與新興高科技產(chǎn)業(yè)之間的跨界融合。借助MR出版，當你在看一張電影海報時，它可以直接變成電影預告片呈現(xiàn)在你的眼前；當你在雜志上看到一款喜歡的汽車，它會變成一輛3D汽車，躍然紙上。

3.MR出版具有強烈的交互性特征，打通了人的視覺、聽覺和觸覺，實現(xiàn)了感官體驗、人體行為和大腦思維的同步沉浸

通過MR出版，用戶可以同時與虛擬環(huán)境、真實環(huán)境進行協(xié)同交互，同時系統(tǒng)也為用戶與虛擬環(huán)境之間的交互提供更加直觀、自然的溝通途徑。虛擬環(huán)境與真實環(huán)境的實時同步也使人們可以在真實環(huán)境中真切地感受來自虛擬環(huán)境的一切模擬或幻想的事物，從而更加容易進入角色，增強使用的趣味性。

MR出版力求通過為用戶提供視覺、聽覺和觸覺等多種直觀而自然的實時感知交互的方式與手段，實現(xiàn)沉浸性（Immersion）、交互性（Interactivity）和想象性（Imagination）。不僅如此，MR出版同時又給虛擬現(xiàn)實的3I特征附加了新的內(nèi)涵。在MR出版的混合現(xiàn)實系統(tǒng)中，用戶沉浸的空間不是虛擬現(xiàn)實系統(tǒng)的計算機建立的三維虛擬環(huán)境，而是一個虛實交融、混為一體的環(huán)境。交互則指用戶通過自身的感覺器官，使用專用的設備來對虛實混合環(huán)境中的物體進行觀察和操作。想象則不是用戶對虛擬環(huán)境的憑空想象，而是虛實映襯，更具感官真實感。

三、MR出版制作平臺的六大保障

MR出版是當下尖端技術在出版上的應用，包含了融媒體、大數(shù)據(jù)、場景科技、全景影像、穿戴設備、無人機、電子槍和VR狗等。這些新技術的應用將出版帶進了一個超時空的魔法時代。同時，MR出版借助虛實界科技等混合現(xiàn)實系統(tǒng)，將人類置身于一個亦真亦幻的環(huán)境里，使其把真實環(huán)境所產(chǎn)生的知覺與計算機生成的信息進行融合，同時采用自然的方式提供給用戶，實現(xiàn)用戶與虛實混合環(huán)境的有效、系統(tǒng)交互。MR出版制作需要借助六大保障才能順利得以實現(xiàn)。

1.MR出版需要借助四位一體的新型MR出版制作平臺

這個新型的平臺以場景技術為支撐，以融媒體平臺為運行保障，以大數(shù)據(jù)處理為基本能力，以全景影像采集加工為呈現(xiàn)基礎。技術、平臺、鏈接和載體是MR出版的核心。

2.MR出版制作需要一個精銳的執(zhí)行團隊

MR出版制作團隊主要有以下人員組成：（1）創(chuàng)意策劃人員，負責團隊總指揮，負責方案設計，扮演產(chǎn)品經(jīng)理的角色；（2）統(tǒng)籌管理人員，負責流程管理、環(huán)節(jié)統(tǒng)籌和資源調配；（3）內(nèi)容采集制作人員，負責文字、影像和數(shù)據(jù)的采集加工；（4）技術保障人員，負責場景技術的支撐、網(wǎng)絡鏈接的生成和數(shù)據(jù)存儲的保障；（5）視覺設計人員，負責各個介質的視覺設計和合成測試；（6）傳播交互渠道負責人，負責傳播統(tǒng)籌和用戶互動。

3.MR出版制作需要大數(shù)據(jù)采集與內(nèi)容生產(chǎn)同步進行

MR出版制作時，制作人員不僅要采集文字、圖片和視頻，還要采集場景、數(shù)據(jù)；不僅要出版書面的文字圖像，還要呈現(xiàn)該出版物的場景、背景和人物的詳細情況。

2014年，全國兩會上，人民網(wǎng)記者戴上了谷歌眼鏡來幫助自己完成采訪工作。谷歌眼鏡具有拍照、錄音、攝像和傳輸功能，可以便利地實現(xiàn)前方采訪與后方編輯的實時連接。2016年全國兩會上， 六個由GoPro拼接而成的360度全景相機極大地拓展了拍攝空間，無死角地記錄兩會現(xiàn)場的每個細節(jié)。此外，Insta360全景相機首次亮相兩會現(xiàn)場，這款設備只有一個看似普通的鏡頭，卻可以捕捉高清晰度、超廣角圖像，并且可以實現(xiàn)實時傳輸。觀眾只要轉動手機或在手機屏幕中拖拽，即可選擇任意視角觀看兩會的現(xiàn)場情況。這些新技術的應用為MR出版提供了新的內(nèi)容和數(shù)據(jù)采集手段。

4.MR出版制作需要數(shù)據(jù)與場景制作同步

MR出版制作要考慮沉浸感、交互性和多感知性三個方面，并最終達到較好的構想性。在出版素材和數(shù)據(jù)采集的基礎上，MR技術人員進行場景制作、數(shù)據(jù)挖掘和數(shù)據(jù)合成，把以往的編輯部變成了大數(shù)據(jù)工廠。

一個理想的MR出版制作模式是在巨大的出版生產(chǎn)操作空間中，腦指揮中心位于這個平臺的中央位置，其他各廣播、電視、網(wǎng)絡、手機和紙媒等業(yè)務部門環(huán)繞周圍，多媒體記者采寫的圖、文、音頻和視頻等出版素材分別歸到各自系統(tǒng)，由指揮中心確定稿件的出版價值，并最終決定以一種還是幾種媒體形式呈現(xiàn)的方式，轉而分發(fā)給各自下線業(yè)務部門，并分別在下線部門的廣播、網(wǎng)絡、電視、手機和紙媒等介質平臺上對外發(fā)布。

例如，《人民日報》在融媒體運行中，借助被稱為“中央廚房”的全媒體平臺，整合采編資源，打通報紙、雜志、網(wǎng)站、微博和微信等平臺，實現(xiàn)各平臺內(nèi)容無縫對接。此外，還有很多媒體打造了H5平臺，即集合文字、圖片、音樂、視頻和鏈接等多種形式的展示頁面，通過豐富的控件、靈活的動畫特效、強大的交互應用和數(shù)據(jù)分析等功能，融入圖片、音頻和游戲等元素，呈現(xiàn)豐富多樣的頁面動態(tài)效果，給用戶帶來社交、分享等各種形式的交互體驗。

5.MR出版?zhèn)鞑バ枰獔鼍俺尸F(xiàn)與用戶互動同步

MR出版的傳播伴隨著場景的呈現(xiàn)、大數(shù)據(jù)的還原，同時也伴隨著用戶的互動與反饋。MR出版?zhèn)鞑ネㄟ^參與者與虛擬環(huán)境的相互作用，并借助用戶對所接觸事物的感知和認知能力，以全方位地獲取環(huán)境所蘊含的各種空間信息、邏輯信息和物理信息，進而使用戶獲得身臨其境的沉浸感和人機互動的趣味性，并幫助啟發(fā)參與者的思維，達到對時空環(huán)境的現(xiàn)實構想。endprint

目前，MR的顯示方式主要分為四大類別：普通監(jiān)視器、頭盔顯示器、手持顯示器和空間顯示器。當前，MR顯示的可行方式是以手持式移動設備終端（如智能手機）為顯示工具，并采用視頻透過式技術，將圖像信息疊加到真實環(huán)境中去。手持式移動設備終端顯示的優(yōu)點是可以利用便攜的終端設備，例如，人人都有的智能手機，實現(xiàn)增強現(xiàn)實效果。

在各種虛擬現(xiàn)實三維顯示系統(tǒng)中，單通道立體投影系統(tǒng)是一種低成本、操作簡便、占用空間較小和具有極高性價比的小型半沉浸式虛擬現(xiàn)實顯示系統(tǒng)，除了被廣泛運用于高等院校和科研院所的虛擬現(xiàn)實實驗室中，也具有普通家庭應用的廣泛前景。

6.MR出版需要用戶交互與用戶體驗同步

出版是人類認知世界、表現(xiàn)和傳播新事物的系統(tǒng)行為。目前，混合現(xiàn)實系統(tǒng)的研究和應用主要偏重于增強現(xiàn)實領域，并且主要在視覺上進行虛實的融合，即在已有的真實環(huán)境基礎上，為用戶提供復合的視覺效果，以擴展人類認知世界的能力。MR出版不僅為人類認知世界提供了新的武器，更為呈現(xiàn)新生事物、傳播新生事物提供了前所未有的新載體和新體驗。借助AR技術，MR出版用戶不僅可以沉浸在出版現(xiàn)場中，還能以多種方式參與出版生產(chǎn)。用戶可以基于實地掃描現(xiàn)實物體，隨意為其添加增強信息圖層，并與他人共享。

MR時代，用戶不僅是出版的受眾，更成為內(nèi)容的產(chǎn)銷者。MR出版將借助大場景的虛擬環(huán)境與真實空間相融合，增強真實感，提高交互性，使用戶能夠真正融入虛擬環(huán)境中，如同面對眼前真實的物體一樣，對虛擬物體進行觀察和直接、自然地交互。

四、MR出版流程的七個環(huán)節(jié)

MR出版就是運用混合現(xiàn)實技術進行制作、傳播和交互的出版模式。MR出版以四大新興技術為支撐，即MR場景技術、融媒體平臺、大數(shù)據(jù)處理和全景影像。因此，它是出版的未來形態(tài)，具有三大形態(tài)特征：場景化、融媒體和交互性。

MR出版的制作實際上就是對場景技術、融媒體平臺、大數(shù)據(jù)處理和全景影像的融合運用，其流程則可以用“五化”來概括：內(nèi)容場景化、場景數(shù)據(jù)化、數(shù)據(jù)可視化、傳播交互化和交互體驗化。

作為MR出版的代表，MR“魔法報刊”的技術流程，分為七個環(huán)節(jié)（見圖1）：（1）基于混合現(xiàn)實場景技術與平臺系統(tǒng)；（2）建立具體的MR場景應用并生成網(wǎng)絡鏈接；（3）提取MR場景素材，進行平面印刷讀物的視覺策劃與設計；（4）打通平面印刷讀物掃描區(qū)域與MR系統(tǒng)的鏈接；（5）平面印刷讀物與MR鏈接的合成、測試及優(yōu)化；（6）平面印刷讀物的印制；（7）借助智能終端應用軟件的呈現(xiàn)及互動。

MR“魔法報刊”制作是一種運用混合現(xiàn)實場景（MR）技術對傳統(tǒng)平面印刷讀物進行改造的方式（新概念報刊），它在外形上采用的是傳統(tǒng)平面印刷讀物的四色雙面印刷。不同之處在于，它在圖片中加入了增強現(xiàn)實（AR）場景網(wǎng)絡鏈接和虛擬現(xiàn)實（VR）場景網(wǎng)絡鏈接，一方面由于減少文字量，使得平面印刷讀物美觀、簡潔和具視覺沖擊力的特征得到加強；另一方面由于加入增強現(xiàn)實場景鏈接、虛擬現(xiàn)實場景鏈接，使交互閱讀和沉浸式體驗得到加強。該方式使得平面印刷讀物的閱讀區(qū)分成了兩部分：一部分是視覺閱讀區(qū)，另一部分是掃描區(qū)。

該方式的設計生產(chǎn)流程不同于傳統(tǒng)平面印刷讀物，采用了新型MR報紙的設計流程，除了傳統(tǒng)報紙的內(nèi)容策劃、視覺設計、版式編排和出版印刷流程，增加了MR場景制作、網(wǎng)絡鏈接掃描區(qū)設計和鏈接合成測試環(huán)節(jié)。該方式的技術支撐平臺不同于傳統(tǒng)平面印刷讀物，采用了新型MR場景技術支撐平臺，除了有傳統(tǒng)平面印刷讀物的采編技術平臺、出版技術平臺，還增加了MR技術平臺、策劃創(chuàng)意平臺和統(tǒng)籌運行平臺，實現(xiàn)了新技術、新創(chuàng)意和新管理平臺的改進與融合。該方式的信息承載和傳播方式不同于傳統(tǒng)紙媒，采用了新型MR平面印刷讀物的信息承載和傳播方式，利用紙質平面載體，承載和傳播文字、圖片信息，增加了利用網(wǎng)絡鏈接和智能終端掃描的音視頻、虛擬現(xiàn)實場景和增強現(xiàn)實場景，使得信息承載的內(nèi)容、形式實現(xiàn)了突破。該方式的閱讀體驗和交互方式不同于傳統(tǒng)平面印刷讀物，采用了新型MR平面印刷讀物的閱讀和交互方式，在傳統(tǒng)平面印刷讀物的瀏覽式閱讀、欣賞性閱讀之外，增加了借助智能終端體驗式、交互式深入閱讀的功能。

MR“魔法報刊”在示范應用（見圖2、圖3）中設置了七個掃描區(qū)，其中兩個“AR掃描區(qū)”、五個“VR掃描區(qū)”。用戶使用iPhone手機或iPad平板電腦，下載“虛實界科技”應用程序，打開程序，對準AR掃描區(qū)，即可在屏幕上看到增強現(xiàn)實場景。

MR出版是場景時代、大數(shù)據(jù)時代和融媒體時代三期疊加背景下，出版與前沿技術融合的產(chǎn)物，也可以被稱作融媒體、大數(shù)據(jù)時代的場景出版。MR出版把人帶進一個新奇的世界，而這個世界正是人用智慧和技術創(chuàng)造出來的。endprint