元宇宙沉浸式交互技術(shù)發(fā)展現(xiàn)狀及趨勢

◎ 傅云瑾 魏雨含

提 要:

一、元宇宙關(guān)鍵技術(shù)組成

元宇宙持續(xù)成為人們關(guān)注的熱點，應(yīng)用場景不斷擴(kuò)充。2022年9月1日，在以“智聯(lián)世界 元生無界”為主題的第五屆世界人工智能大會（WAIC）上，元宇宙龍頭企業(yè)Meta 大中華區(qū)總裁梁幼莓發(fā)表演講，稱元宇宙是互聯(lián)網(wǎng)的下一篇章，Meta 的愿景是通過元宇宙讓世界聯(lián)系得更加緊密。隨著信息技術(shù)的蓬勃發(fā)展，人們對于元宇宙這一熱點的關(guān)注仍在持續(xù)，各個行業(yè)和領(lǐng)域也正處于對元宇宙技術(shù)的積極探索階段，全球最大辦公空間運營商之一的IWG 集團(tuán)在其最新發(fā)布的《元宇宙：辦公的未來？》白皮書中表示，半數(shù)企業(yè)正在尋找元宇宙空間賦能混合辦公，元宇宙辦公在未來將是混合辦公的必然常態(tài)；2022年6月，天貓618 購物節(jié)打造了一次元宇宙數(shù)字大秀，把品牌特質(zhì)融入虛擬服飾，在虛擬空間展示了一場數(shù)字人T 臺走秀；2022年9月，世界人工智能大會開幕式對外發(fā)布了數(shù)字孿生之城、數(shù)字紀(jì)念館、智慧制造、智慧交通等六大元宇宙應(yīng)用場景，可見，元宇宙技術(shù)正在諸如教育、辦公、娛樂、電商、城市建設(shè)等愈加多元的領(lǐng)域中落地應(yīng)用。

元宇宙的目標(biāo)是實現(xiàn)萬物的信息化和智能化，創(chuàng)造一個信息充分包圍人的虛實融合空間，演化生成時空無界的新型社會形態(tài)。元宇宙產(chǎn)業(yè)的潛在市場無疑需求巨大，這也是其成為熱點的關(guān)鍵，但其何時能夠有效形成現(xiàn)實需求，與相關(guān)數(shù)智化技術(shù)的發(fā)展進(jìn)程是密切相關(guān)的。元宇宙技術(shù)本質(zhì)是交互、電子游戲、人工智能、區(qū)塊鏈、物聯(lián)網(wǎng)、算力網(wǎng)絡(luò)、數(shù)字孿生等關(guān)鍵數(shù)智化技術(shù)的集成。

交互技術(shù)是實現(xiàn)元宇宙沉浸感、交互性體驗的核心技術(shù)。交互技術(shù)被稱為元宇宙技術(shù)的關(guān)鍵入口，為元宇宙的真正落地提供了重要硬件載體，是解決人機之間信息傳播的最后一厘米的技術(shù)，直接影響著元宇宙用戶的沉浸感體驗。因此，近幾年交互設(shè)備市場迎來熱潮，國內(nèi)外各大企業(yè)爭先開拓元宇宙的新市場藍(lán)海。有報告顯示，2021年全球VR/AR 行業(yè)融資并購金額556 億元，同比增長128%，中國VR/AR 行業(yè)融資并購金額達(dá)181.9 億元，同比增長788%。2022年8月，騰訊申請注冊XR 商標(biāo)，小米、聯(lián)想、英偉達(dá)（NVIDIA）等分別公布新型XR 眼鏡產(chǎn)品，谷歌、蘋果、Meta公布多項XR 智能設(shè)備相關(guān)專利。可見，隨著元宇宙的加速普及，交互技術(shù)相關(guān)產(chǎn)業(yè)也獲得了國內(nèi)外巨頭企業(yè)的大量關(guān)注，得以迅速發(fā)展。

可以把電子游戲理解為元宇宙的雛形，相關(guān)技術(shù)是元宇宙關(guān)鍵支撐技術(shù)之一。電子游戲技術(shù)的核心是游戲引擎，包含3D 建模和圖像渲染等。游戲引擎是為開發(fā)者服務(wù)的游戲高效開發(fā)工具，目前技術(shù)相對成熟，能創(chuàng)建諸如三維視頻游戲、建筑可視化視頻、實時三維動畫等類型互動內(nèi)容的多平臺的綜合型游戲。該類開發(fā)工具不局限于游戲市場，已拓展到影視制作、工業(yè)設(shè)計等多市場領(lǐng)域。全球知名度比較高的游戲引擎有虛幻引擎（Unreal Engine）、Unity、寒霜引擎（Frostbite Engine）、尖叫引擎（Cry-Engine）、起源（Source）、IW Engine 等?！锻跽邩s耀》等一些廣為人知的游戲就是用Unity 工具開發(fā)的。

人工智能為元宇宙大量的應(yīng)用場景提供技術(shù)支撐。人工智能技術(shù)包含計算機視覺、機器學(xué)習(xí)、自然語言處理、智能語音等，它的基礎(chǔ)是芯片、大數(shù)據(jù)、算法系統(tǒng)，目前逐步向金融、安防、智能家居、醫(yī)療、機器人、智能駕駛、新零售等以及元宇宙各類應(yīng)用場景滲透。

區(qū)塊鏈?zhǔn)窃钪婺軌騽?chuàng)造可信資產(chǎn)和身份認(rèn)證的技術(shù)基礎(chǔ)，也是元宇宙經(jīng)濟(jì)體系構(gòu)建的重要技術(shù)基礎(chǔ)。區(qū)塊鏈的哈希算法和時間戳技術(shù)為“元宇宙”提供了底層數(shù)據(jù)的可追溯性和保密性。而共識機制則可以解決信任問題，使用分布式模型實現(xiàn)網(wǎng)絡(luò)中每個節(jié)點的自我認(rèn)證。區(qū)塊鏈網(wǎng)絡(luò)里的DeFi、NFT、智能合約等通證技術(shù)構(gòu)成了整個元宇宙底層經(jīng)濟(jì)運行的核心基礎(chǔ)和支撐。

元宇宙的目標(biāo)是實現(xiàn)萬物的信息化和智能化，創(chuàng)造一個信息充分包圍人的虛實融合空間，演化生成時空無界的新型社會形態(tài)。圖/中新社

物聯(lián)網(wǎng)技術(shù)為元宇宙萬物鏈接和虛實共生提供技術(shù)保障。物聯(lián)網(wǎng)技術(shù)主要分為傳感器技術(shù)、網(wǎng)絡(luò)接入和平臺應(yīng)用層技術(shù)。物聯(lián)網(wǎng)技術(shù)已經(jīng)在智能家居、智能樓宇、智慧城市、智慧農(nóng)業(yè)、智慧車輛等各領(lǐng)域得到廣泛應(yīng)用。

算力網(wǎng)絡(luò)是算力和網(wǎng)絡(luò)深度融合的新型信息基礎(chǔ)設(shè)施，相關(guān)技術(shù)包含5/6G 移動通信網(wǎng)絡(luò)技術(shù)、云計算和邊緣計算技術(shù)等。預(yù)計2030年左右商用的6G 時代將獲得更高的帶寬、更短的時延，也將更好地適配于元宇宙等場景。云計算和邊緣計算技術(shù)相對成熟，已被廣泛應(yīng)用。算力網(wǎng)絡(luò)是國家、企業(yè)和社會數(shù)字化轉(zhuǎn)型包括元宇宙發(fā)展的重要基礎(chǔ)，但以前算力和網(wǎng)絡(luò)相對獨立發(fā)展，難以滿足自動駕駛、工業(yè)元宇宙等對算力的快速高效使用需求。2021年中國移動開創(chuàng)性提出：打造以算為中心、網(wǎng)為根基，多種信息技術(shù)深度融合的算力網(wǎng)絡(luò)，推動算力成為與水、電一樣，可“一點接入、即取即用”的社會級服務(wù)。隨著中國移動等運營商算網(wǎng)大腦等算網(wǎng)融合技術(shù)的攻關(guān)和快速發(fā)展，算力網(wǎng)絡(luò)將有效支撐未來元宇宙的發(fā)展。

二、元宇宙主要交互技術(shù)類型

（一）沉浸式XR 技術(shù)

擴(kuò)展虛擬現(xiàn)實（XR）是一個包含了虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）、混合現(xiàn)實（MR）及其他因科技進(jìn)展而可能產(chǎn)生的全新沉浸型技術(shù)的高度涵蓋性術(shù)語。XR 技術(shù)利用計算機及網(wǎng)絡(luò)技術(shù)生成畫面、聲音、觸感等信息，使得用戶能夠體驗?zāi)M的或加強化的視覺、聽覺、觸覺等感知，從而感受完全沉浸的情境，讓用戶可以忽略技術(shù)而直接沉浸于身臨其境般的內(nèi)容體驗中。XR 技術(shù)作為實現(xiàn)元宇宙的主要技術(shù)之一，為用戶提供了走進(jìn)元宇宙的入口，是解決信息傳播的最后一厘米問題的技術(shù)。

擴(kuò)展現(xiàn)實技術(shù)主要通過多種視覺交互技術(shù)的集成與融合，生成一個虛實兼具的可視化環(huán)境，為體驗者提供沉浸式的體驗與感受。其中，虛擬現(xiàn)實技術(shù)的幾種關(guān)鍵技術(shù)包括環(huán)境建模技術(shù)、立體聲合成和立體顯示技術(shù)、觸覺反饋技術(shù)、交互技術(shù)等等，分別支撐用戶在與虛擬世界交互過程中不同感知部分的形成，最終再通過系統(tǒng)集成構(gòu)建完整的虛擬現(xiàn)實模型，實現(xiàn)用戶通過設(shè)備獲得與真實世界中一樣的感受。

目前，XR 技術(shù)已在各個垂直應(yīng)用領(lǐng)域具有非常廣闊的產(chǎn)業(yè)應(yīng)用場景與增長空間。例如在虛擬世界中，用戶可以利用XR 設(shè)備生成虛擬形象，模擬實際場景中的互動，不受限于時間和地點，實現(xiàn)遠(yuǎn)程協(xié)作、工作會議及社交活動等；在傳統(tǒng)文化娛樂產(chǎn)業(yè)中，諸如展覽策劃、藝術(shù)演出等諸多場景也能夠通過XR 技術(shù)實現(xiàn)，為參與者提供場景導(dǎo)航等功能、幾近真實的環(huán)境、大規(guī)模的多人互動與沉浸式的觀賞體驗。

由于5G 技術(shù)的不斷推進(jìn)與建設(shè)，以及人工智能、超高清顯示、云計算等技術(shù)的發(fā)展，基于5G的云XR 技術(shù)（Cloud XR）已逐漸成為XR 技術(shù)的研發(fā)主流。云XR 技術(shù)將繁雜的渲染計算任務(wù)從終端用戶側(cè)轉(zhuǎn)移至云端，并發(fā)揮了智能終端-高速網(wǎng)絡(luò)-云資源池間的協(xié)同效應(yīng)，其中高速網(wǎng)絡(luò)極大地依靠了5G 技術(shù)高帶寬與端到端低時延的特性，結(jié)合云資源池較強的圖像渲染能力，使得各類終端設(shè)備能夠直接遠(yuǎn)距離呈現(xiàn)云服務(wù)器上的XR內(nèi)容，從而使得終端用戶獲得沉浸式、高質(zhì)量的享受體驗。

云XR 技術(shù)是將網(wǎng)絡(luò)技術(shù)、云技術(shù)及沉浸式體驗技術(shù)有效集成為一體的系統(tǒng)?；谠朴嬎闾峁┑膹姶蟮挠嬎隳芰Γ琗R 內(nèi)容可以在云端運行并渲染，并將所有功能移至云端，滿足了XR 大存儲和海量計算的功能需求，輕量化客戶端功能，降低了XR 終端設(shè)備的計算負(fù)荷和能耗。同時5G網(wǎng)絡(luò)提供的切片技術(shù)與移動邊緣計算技術(shù)可以為XR 應(yīng)用程序提供良好的網(wǎng)絡(luò)質(zhì)量保障，有效降低了內(nèi)容匯聚的同時節(jié)約帶寬，并實現(xiàn)了高數(shù)據(jù)量、低延時的信息傳送，結(jié)合XR 技術(shù)及相關(guān)設(shè)備通過各種不同的交互方式將沉浸式XR 內(nèi)容傳送至終端用戶，為用戶提供了更輕便、更智能、更卓越、更沉浸的XR 體驗。

（二）全息通信技術(shù)

隨著無線網(wǎng)絡(luò)技術(shù)、渲染云技術(shù)與終端顯示設(shè)備的進(jìn)一步發(fā)展，全息技術(shù)的應(yīng)用范圍與發(fā)展趨勢均形成上升態(tài)勢，全息通信的實現(xiàn)也將逐漸走向可能。

全息顯示技術(shù)主要基于光的干涉與衍射現(xiàn)象，通過記錄物體表面散射的光信號，使得物體能夠以三維圖像的方式呈現(xiàn)出來。全息通信則指通過全息顯示技術(shù)，采集距離較遠(yuǎn)的人或物體的光波信號，通過網(wǎng)絡(luò)傳送至終端設(shè)備進(jìn)行激光投影，以全息圖的方式投射出真實還原、實時動態(tài)的三維影像，實現(xiàn)一種基于立體視覺環(huán)境的新型通信方式。

全息術(shù)的發(fā)展一共經(jīng)歷了3 個階段——傳統(tǒng)光學(xué)全息、數(shù)字全息和計算全息。數(shù)字全息的概念于20 世紀(jì)中期提出，在理論上實現(xiàn)了從物理光學(xué)到電子技術(shù)的跨越，但礙于當(dāng)時信息科技發(fā)展的限制，有關(guān)數(shù)字全息的研究一度停滯不前。直到21 世紀(jì)初，由于計算機技術(shù)的飛速發(fā)展，將光場建模技術(shù)與數(shù)字建模技術(shù)相結(jié)合，計算全息應(yīng)運而生，成為了當(dāng)下的研究熱點。

全息通信的實現(xiàn)同樣需要多種技術(shù)的集成，其關(guān)鍵技術(shù)包括全息顯示技術(shù)、高帶寬頻譜技術(shù)、全息編碼技術(shù)及網(wǎng)絡(luò)技術(shù)等，其中，全息顯示技術(shù)已經(jīng)普遍應(yīng)用于虛擬現(xiàn)實與增強現(xiàn)實等領(lǐng)域；全息編碼技術(shù)主要負(fù)責(zé)全息圖陣列在傳輸過程中數(shù)據(jù)與信號的編解碼；網(wǎng)絡(luò)技術(shù)旨在提供低時延與算力，在通信過程中，確保網(wǎng)絡(luò)帶寬足以承載并處理全息圖的相關(guān)數(shù)據(jù)，同時保證通信的同步性與穩(wěn)定性。

全息通信技術(shù)的基本實現(xiàn)流程可以簡要總結(jié)為數(shù)據(jù)采集、信息處理及編碼、數(shù)據(jù)流傳輸、數(shù)據(jù)解碼及重渲染、全息再現(xiàn)5 個步驟。其中，數(shù)據(jù)采集與全息投影主要通過各類終端設(shè)備完成，對其三維空間顯示能力具有較高的要求，從而在較大區(qū)域中呈現(xiàn)出高清晰度的實時交互影像。與常規(guī)的媒體通信不同，在前期的信息處理及編碼過程中，由于處理的信息包括視、聽、觸等多種感官的數(shù)據(jù)流，因此壓縮編碼技術(shù)需要保證更加高效；在進(jìn)行傳輸、解碼和重渲染后，數(shù)據(jù)信號以全息圖的方式呈現(xiàn)，其中將包括人、實物以及周邊環(huán)境等大量復(fù)雜的數(shù)據(jù)。

全息通信相比于擴(kuò)展現(xiàn)實技術(shù)最大的不同點在于，理想的全息交互脫離了穿戴設(shè)備及屏幕的限制，直接實現(xiàn)在空氣中的3D 成像

全息通信相比于擴(kuò)展現(xiàn)實技術(shù)最大的不同點在于，理想的全息交互脫離了穿戴設(shè)備及屏幕的限制，直接實現(xiàn)在空氣中的3D 成像。依據(jù)目前的科技水平，由于在技術(shù)與設(shè)備等方面的限制，全息通信的普及應(yīng)用暫時還不能實現(xiàn)，但是在未來，隨著信息與科技的發(fā)展，全息通信技術(shù)將能夠?qū)崿F(xiàn)對于萬物的映射成像，不僅能夠真實還原人與物體，還能夠?qū)⒅車h(huán)境自然地呈現(xiàn)在三維空間中，使得人們能夠充分體驗整個逼真的場景，并展開溝通、互動等活動。

這也奠定了全息通信技術(shù)在未來元宇宙構(gòu)建過程中的關(guān)鍵地位，整個元宇宙的虛擬環(huán)境均圍繞全息構(gòu)建、全息模擬、虛實融合出發(fā)，全息技術(shù)結(jié)合互聯(lián)網(wǎng)技術(shù)、云技術(shù)、XR 技術(shù)等新型科技的應(yīng)用，將為元宇宙構(gòu)建與真實世界相連通的虛擬世界提供技術(shù)支撐，并通過終端顯示設(shè)備呈現(xiàn)于用戶。例如，利用三維重建技術(shù)與全息技術(shù)構(gòu)造線下商店的虛擬環(huán)境和商品模型，用戶將能夠看到商品的詳情信息并完成購物，進(jìn)而給用戶帶來完全沉浸式的感受體驗；或?qū)⑷⑴c仿真技術(shù)相結(jié)合，在元宇宙世界中構(gòu)建生動逼真的虛擬人物，再利用全息技術(shù)使得虛擬世界能夠像真實世界一樣，呈現(xiàn)出各種不同的場景，虛擬人能夠在其中進(jìn)行交互、娛樂、觀賞等活動。

（三）感官互聯(lián)技術(shù)

互聯(lián)網(wǎng)技術(shù)已實現(xiàn)基于網(wǎng)絡(luò)遠(yuǎn)程交互的信息載體從文字、圖片、語音、視頻演變到新型VR等顯示設(shè)備。面向2030年及未來，感官互聯(lián)技術(shù)將使不同終端之間傳遞的數(shù)據(jù)承載更多感官信號，比如嗅覺、味覺與觸覺等等，穿戴式電子設(shè)備也將使人們能夠以數(shù)字的形式感受氣味、味道、質(zhì)地和溫度，實現(xiàn)感官互聯(lián)網(wǎng)。

感官互聯(lián)將通過人工智能、擴(kuò)展現(xiàn)實、網(wǎng)絡(luò)和自動化等技術(shù)來實現(xiàn)，感官互聯(lián)網(wǎng)的實現(xiàn)將使處于虛擬世界中的用戶獲得多維感知，從而獲得更加真實自然、聯(lián)系緊密的沉浸體驗。在未來，感官互聯(lián)可以廣泛應(yīng)用在醫(yī)療、教育培訓(xùn)、生活娛樂、道路交通與情感交互等諸多領(lǐng)域及行業(yè)。例如近期熱度高漲的元宇宙，感官互聯(lián)能夠使得在元宇宙虛擬世界中相隔異地的情侶真切地感受到對方，甚至是一個溫暖的擁抱；或使得成群好友在元宇宙中能夠隨意漫游世界，體驗沙灘、海風(fēng)、峽谷、森林等各種奇異風(fēng)景。

近年來，腦機接口（BCI）作為一項變革性的新興人機交互技術(shù)引發(fā)了研究熱潮，與感官互聯(lián)有著密切的聯(lián)系。迄今為止腦機接口技術(shù)主要分為輸入式BCI 與輸出式BCI 兩類，輸入式BCI 能夠?qū)⑷祟惔竽X的中樞神經(jīng)系統(tǒng)產(chǎn)生的感知、認(rèn)知轉(zhuǎn)化為指令信號，提供給外部機器設(shè)備進(jìn)行通信和控制；輸出式BCI 則指從外部設(shè)備或機器向大腦輸入電、磁、光等刺激或神經(jīng)反饋。目前，有關(guān)負(fù)責(zé)大腦向外部輸出信號的輸出式BCI 在應(yīng)用與研究中占主導(dǎo)地位。

目前，醫(yī)學(xué)領(lǐng)域是BCI 技術(shù)首要也是最重要的應(yīng)用領(lǐng)域之一。輸入式BCI 能夠用于對大腦狀態(tài)的監(jiān)測與評估，在神經(jīng)系統(tǒng)相關(guān)疾病治療全周期中具有潛在卻重要的應(yīng)用價值；還可以用于腦結(jié)構(gòu)異常等疾病的治療與腦功能的正向發(fā)展，調(diào)控創(chuàng)傷后應(yīng)激障礙、認(rèn)知及情緒障礙、藥物依賴性等神經(jīng)疾病，從而提高療效，促進(jìn)康復(fù)；BCI 技術(shù)還能夠為肌萎縮硬化癥、肌無力或失語癥等患者提供輔助性的工具以幫助其日常生活，如腦控假肢、腦控輪椅和腦機通信系統(tǒng)等等。

在非醫(yī)學(xué)領(lǐng)域，BCI 技術(shù)僅小規(guī)模地應(yīng)用于娛樂游戲或?qū)Ｗ⒍扔?xùn)練等方面，主要面向消費級。目前腦機接口技術(shù)無論是在醫(yī)學(xué)或非醫(yī)學(xué)領(lǐng)域的應(yīng)用均處于初級的研發(fā)階段，未來一段時間，其發(fā)展方向?qū)⒕劢褂趶难芯吭囼炿A段過渡至實際應(yīng)用階段。這需要研究人員不斷的探索與開發(fā)，使得腦機接口技術(shù)在醫(yī)學(xué)或非醫(yī)學(xué)領(lǐng)域初步實現(xiàn)能夠舒適、安全地普及應(yīng)用，再進(jìn)一步探索BCI 技術(shù)基于更多領(lǐng)域存在的可能性與發(fā)展性。

三、元宇宙交互技術(shù)發(fā)展現(xiàn)狀與問題

（一）XR 技術(shù)的應(yīng)用現(xiàn)狀及存在問題

XR 設(shè)備是將通過云XR 技術(shù)生成的沉浸式情景帶給用戶的硬件設(shè)備。近年來由于新型科技的蓬勃發(fā)展，人們開始在愈加大量的應(yīng)用與場景中探索沉浸式體驗，同時元宇宙概念熱度自2021年空前升溫，國內(nèi)外的科技巨頭公司也在競相開拓元宇宙產(chǎn)業(yè)，因此，XR 技術(shù)與相關(guān)設(shè)備已成為了實現(xiàn)元宇宙的核心所在，在近年獲得了大力推動。

微顯示器作為XR 技術(shù)設(shè)備內(nèi)容展示、與人類自然交互的主要載體，是輕便化、高沉浸感XR技術(shù)設(shè)備的核心零件。目前，主流的微顯示器工藝技術(shù)主要包括高速響應(yīng)液晶（Fast-LCD）、硅基液晶顯示（LCoS）、硅基有機發(fā)光二極管（Micro OLED）以及微型發(fā)光二極管（Micro LED）等等。其中，F(xiàn)ast-LCD 微顯示器在市面上已經(jīng)實現(xiàn)了穩(wěn)定量產(chǎn)，具有較高的性價比；LCoS 與Micro OLED均為增強現(xiàn)實終端的主要顯示器解決方案，其中Micro OLED 微顯示器近年來被廣泛應(yīng)用于XR 設(shè)備中，是各大廠商研究應(yīng)用的熱門方向；而Micro LED 目前則是另一個具有極強前沿性與發(fā)展性的顯示技術(shù)，具備芯片尺寸小、集成度高和自發(fā)光等特性，與LCD、OLED 相比在顯示亮度、分辨率、對比度、能耗、使用壽命、響應(yīng)速度和熱穩(wěn)定性等方面具有更大優(yōu)勢。

目前，各個廠商均在針對不同的功能特性不斷研發(fā)新型XR 設(shè)備，以提升用戶的體驗感知。2022年8月，聯(lián)想推出的拯救者VR700 VR 一體機以市場零售價3299 元正式發(fā)售，采用高通驍龍XR2 芯片組，配備8GRAM、256GROM、LCD顯示屏，分辨率達(dá)3664×1920，支持72/90Hz 刷新率。而后，聯(lián)想在9月宣布推出全新的Lenovo Glasses T1 可穿戴私人顯示器，用于移動內(nèi)容消費，定位場景包含觀影、游戲娛樂和辦公，配備Micro OLED 顯示技術(shù)，可提供優(yōu)質(zhì)的色彩豐富度和10000:1 的對比度，同時具備高光學(xué)效率和低功耗設(shè)計，實現(xiàn)長達(dá)數(shù)小時待機。

2022年8月，全球消費級AR 眼鏡品牌Nreal面向中國市場正式推出兩款A(yù)R 眼鏡Nreal X 與Nreal Air，零售價分別為4299 元與2299 元。兩款A(yù)R 眼鏡外形設(shè)計方面均具備流行元素，Nreal X采用流體科幻主義的美學(xué)設(shè)計，結(jié)合輕量化設(shè)計，整機重量為106g，基于自研的即時定位與地圖構(gòu)建的6DoF 空間定位智能算法，以最小成本及數(shù)量的傳感器組合實現(xiàn)高精度與穩(wěn)定性，為用戶提供AR 游戲、AR 教育等多元應(yīng)用；Nreal Air 配備130英寸空中投屏和201 英寸AR 銳彩天幕，支持多種設(shè)備連接，被稱為隨時隨地、即插即用的“口袋巨幕”，整機重量僅為79g，搭載自主研發(fā)的光學(xué)引擎2.0，采用全新一代Sony Micro OLED 作為圖像源，實現(xiàn)了圖像源的高清晰、高對比度、低畸變呈現(xiàn)，擁有100000:1 的超高對比度，可帶來逼真的AR 視覺體驗。

2022年8月，索尼公布將于2023年發(fā)布新款VR 頭顯PSVR 2，搭載單眼2000×2040 分辨率和90/120Hz 刷新率的OLED 屏幕，提供4K HDR、110 度視場角和注視點渲染的高保真視覺體驗，同時PSVR 2 還整合了PS5 的3D 音頻功能，配合耳機反饋、眼動追蹤，從而實現(xiàn)更貼近真實的觸覺體驗，增強玩家在游戲中的沉浸感。

小米生態(tài)鏈企業(yè)于2022年8月發(fā)布一款新型AR 眼鏡“米家眼鏡相機”，售價2699 元。 米家眼鏡相機搭載了高通驍龍8 核SoC、索尼新一代Micro OLED 屏幕、自由曲面光機、高密度電池等核心器件，整機重量在100g 左右，可降低光線在傳導(dǎo)過程中的亮度損失，光效比達(dá)60%，支持拍照和攝像、小愛翻譯、3D 使用引導(dǎo)等功能，面向演唱會、露營、手工、寵物互動等多個使用場景。

近年來，蘋果的一系列專注于XR 的收購和專利申請都表明了蘋果對于XR 產(chǎn)品行業(yè)的關(guān)注和野心。2022年8月，蘋果公布了一項手勢追蹤手環(huán)專利，該指環(huán)可以操控AR、VR 頭顯，識別手指按壓、橫向運動、敲擊輸入等3D 空中手勢，還能夠提供觸覺反饋、追蹤定位功能，與頭顯設(shè)備交互。2022年9月，蘋果再次曝光一項涉及XR 環(huán)境中關(guān)節(jié)骨骼變形的VR/AR 技術(shù)專利，主要用于在XR 環(huán)境中虛擬化身中骨骼、關(guān)節(jié)和人體網(wǎng)格狀模型的運動過程，由此，虛擬物體可以更加逼真地模擬真實物體的形狀變化和移動軌跡。

作為蘋果在這一領(lǐng)域的主要競爭對手，Meta也在2022年8月公布了兩項與AR、VR 相關(guān)的配件專利，是一種用于交互和輸入的指環(huán)手套方案，與一種頭環(huán)式增強現(xiàn)實音頻系統(tǒng)。AR 頭環(huán)系統(tǒng)配備了相機模組、音頻傳感器陣列，而體感手套和腕帶支持觸覺感知、體感反饋功能用于控制AR頭環(huán)系統(tǒng)。除了手套、腕帶外，這種體感技術(shù)還可用于體感服、手柄等其他類型的設(shè)備同時兼容AR 眼鏡或VR 頭顯。

可見，XR 設(shè)備已經(jīng)實現(xiàn)了一定的應(yīng)用與普及，但XR 技術(shù)整體還處于研究發(fā)展的前期階段。市面上已有的VR 設(shè)備功能及水平不一，各廠商通過設(shè)備、芯片、技術(shù)創(chuàng)新研發(fā)新功能，旨在提供更高的精度與體感、觸覺感知功能，從而幫助用戶獲得更清晰、更真實的體驗并實現(xiàn)XR 眼鏡的輕量化，使得用戶在佩戴時更加輕便。在接下來的發(fā)展階段，XR 眼鏡在畫面成像清晰度與設(shè)備自重方面應(yīng)當(dāng)會有進(jìn)一步的提升和改善，以滿足用戶的常態(tài)化需求；另一方面，則會在觸覺方面提升真實現(xiàn)實和虛擬現(xiàn)實的融合體驗，通過功能擴(kuò)展進(jìn)一步開發(fā)XR設(shè)備的多場景使用，給用戶提供在不同場景下的多元化應(yīng)用功能，與場景形成更深度的融合。

在未來，當(dāng)云 XR 技術(shù)能夠與云技術(shù)、邊緣技術(shù)等成功融合，實現(xiàn)云 XR 平臺后，云XR 平臺系統(tǒng)將能夠應(yīng)用于商業(yè)購物中心、沉浸式游戲等更加大型的應(yīng)用場景。圖/中新社

有關(guān)云XR 技術(shù)的應(yīng)用在現(xiàn)階段較為少量，尚處于設(shè)計實現(xiàn)階段，大量的研究者能夠提出不同場景下基于云XR 技術(shù)與其他技術(shù)結(jié)合的平臺設(shè)計方案，但由于涉及的技術(shù)種類較多、接口與層次間的連接比較繁雜，平臺的實現(xiàn)還比較困難。目前已有企業(yè)推出的云XR 技術(shù)解決方案大多集中于遠(yuǎn)程會議、指導(dǎo)示教、互動教育等領(lǐng)域，少量解決方案覆蓋到汽車、房地產(chǎn)等行業(yè)，為用戶提供遠(yuǎn)程3D 可視化展示服務(wù)。在未來，當(dāng)云XR 技術(shù)能夠與云技術(shù)、邊緣技術(shù)等成功融合，實現(xiàn)云XR 平臺后，云XR 平臺系統(tǒng)將能夠應(yīng)用于商業(yè)購物中心、沉浸式游戲等更加大型的應(yīng)用場景，在為用戶提供3D 的可視化效果的同時，通過云平臺及整個系統(tǒng)實現(xiàn)用戶的認(rèn)證與管理、支付、交互與相關(guān)的平臺運營、數(shù)據(jù)分析等功能，從而為用戶及企業(yè)、商家等多種角色提供全方位的便捷服務(wù)。

當(dāng)前，云XR 技術(shù)及其產(chǎn)業(yè)還遠(yuǎn)未成熟，在XR 硬件設(shè)備、系統(tǒng)軟件的創(chuàng)新研發(fā)、XR 內(nèi)容的生產(chǎn)與制作、XR 產(chǎn)品產(chǎn)業(yè)發(fā)展等諸多方面還存在一定的困難與制約。國內(nèi)針對微顯示器、交互設(shè)備等硬件技術(shù)的元器件開發(fā)還相對薄弱，對于XR 操作系統(tǒng)、三維建模等系統(tǒng)軟件與開發(fā)工具的研究也面臨瓶頸與障礙，總體上對其他國家科技的依賴程度較高，需要更長期的發(fā)展、科研人員的投入與經(jīng)費支持。這也導(dǎo)致了目前在終端用戶層面，輕量化應(yīng)用的顯示設(shè)備關(guān)鍵技術(shù)仍不完善，頭顯的高分辨率設(shè)計、紗窗效應(yīng)的解決程度與佩戴舒適性都亟待進(jìn)一步提高；在平臺服務(wù)層面，云端服務(wù)資源建設(shè)成本高昂、渲染能力不足，基于云端的計算處理能力與終端之間仍存在大量的數(shù)據(jù)傳輸，需要在有效提高云端計算能力的同時減少基礎(chǔ)建設(shè)成本。

因此，云XR 技術(shù)與相關(guān)產(chǎn)業(yè)需要在多個方面尋求突破與創(chuàng)新。首先要規(guī)范基于XR 技術(shù)的產(chǎn)業(yè)建設(shè)標(biāo)準(zhǔn)，制定云XR 技術(shù)的標(biāo)準(zhǔn)體系，并根據(jù)云XR 在不同行業(yè)領(lǐng)域中的應(yīng)用對終端用戶、云服務(wù)和管理運營等方面提出具體規(guī)范要求，以規(guī)范并推動XR 技術(shù)的發(fā)展與應(yīng)用；其次，網(wǎng)絡(luò)是云XR 技術(shù)的基礎(chǔ)，要做好5G+云XR 的基礎(chǔ)建設(shè)與部署，積極推進(jìn)網(wǎng)絡(luò)技術(shù)的研發(fā)，為云XR產(chǎn)業(yè)提供網(wǎng)絡(luò)保障；同時，對于終端用戶方面，XR 終端設(shè)備的功耗、重量、圖像呈現(xiàn)、人機交互等使用體驗特性是重點需要解決的問題，要改善體驗從而擴(kuò)大XR 終端設(shè)備的普及應(yīng)用；最后，云XR 產(chǎn)業(yè)的進(jìn)一步發(fā)展需要所有參與者的相互溝通與合作，分享經(jīng)驗及想法，一起開拓云XR的先鋒行業(yè)，再向更豐富的領(lǐng)域擴(kuò)展。

（二）全息技術(shù)的應(yīng)用現(xiàn)狀及存在問題

XR 技術(shù)的相關(guān)應(yīng)用已經(jīng)走進(jìn)了人們的生活，AR 眼鏡、VR 頭顯等設(shè)備在游戲、辦公、觀影等活動中得以應(yīng)用。不同于XR 技術(shù)，全息技術(shù)目前的應(yīng)用主要在大型的舞臺表演、高端產(chǎn)品展示、廣告?zhèn)髅降阮I(lǐng)域，由于技術(shù)水平以及制作成本的限制，全息技術(shù)相關(guān)的應(yīng)用更多地為大型廠商與全息供應(yīng)商共同承辦，人們主要扮演了觀看者與體驗者的角色。

在全息產(chǎn)業(yè)鏈中，一些零件商與供應(yīng)商已經(jīng)推出了自研發(fā)的全息零件或產(chǎn)品。Raytrix 品牌推出了一款應(yīng)用了四維光場技術(shù)的3D 光場相機，相比于常見的相機只能記錄平面二維投影的場景，Raytrix 的3D 相機可以計算出包含許多不同的二維圖像的4D光場，適用于許多實時圖像處理應(yīng)用，例如人臉識別、光場電影與導(dǎo)航等等。達(dá)斯琪全息推出了一款全息屏，利用人類視覺暫留技術(shù)，實現(xiàn)裸眼全息3D 展示，搭配手柄等外接設(shè)備，使得用戶能夠與圖像交互，應(yīng)用于商場、影院、展廳等場景的展示。

微軟于2021年正式推出了一個用于多人遠(yuǎn)程通信協(xié)作的混合現(xiàn)實平臺Mesh。Mesh 平臺允許處于不同物理位置的人們通過不同類型的設(shè)備，以虛擬形象或全息投影的方式協(xié)作、共享。Mesh 平臺基于云計算平臺Azure、人工智能以及XR 等技術(shù)集成，實現(xiàn)全息傳送以及高精度的面部及動作追蹤，將涉及的內(nèi)容存儲在云端，再借助XR 設(shè)備或3D 物理模型使得用戶的虛擬形象或是全息投影形象出現(xiàn)在共享的虛擬空間中，在全息模型上進(jìn)行多人協(xié)作。

近年來，國內(nèi)對于全息技術(shù)的研究與發(fā)展也正在持續(xù)進(jìn)行。騰訊、小米均于2021年取得了“全息投影設(shè)備、方法、裝置、計算機設(shè)備和介質(zhì)”的專利。全球首個全息AR 上市公司微美全息推出了結(jié)合5G+AR 多模態(tài)的全息通訊，應(yīng)用于教育領(lǐng)域，利用全息投影捕捉和三維全息模型，通過5G 技術(shù)及邊緣云算力打造智慧課堂，實現(xiàn)了全息老師、三維全息課件等全息教學(xué)場景，不僅為教學(xué)提供了極大便利，同時使得課堂充滿技術(shù)性與未來感。

微美全息作為國內(nèi)領(lǐng)先的AR 全息云服務(wù)企業(yè)，提出了多個基于全息云平臺在廣告、娛樂、教育、影院等場景的解決方案，實現(xiàn)了全息化場景植入廣告與線下全息廣告、WiMi 全息云娛樂等平臺服務(wù)，能夠為用戶提供全息辦公會議、全息KTV 包房、全息音樂茶座、全息云未來課堂等立體化視覺體驗。同時，微美全息也推出了多項與元宇宙相關(guān)的核心技術(shù)及平臺，例如基于動態(tài)識別、智能化訓(xùn)練邊界識別、區(qū)塊識別、機器學(xué)習(xí)、AI 拼接算法自動合成、全息立體合成等技術(shù)，將全息AR 內(nèi)容呈現(xiàn)在虛擬應(yīng)用中。此外，微美全息還將虛擬現(xiàn)實全息內(nèi)容打造為3D 模型、全息虛擬產(chǎn)品等形式，為全息動漫、虛擬直播、虛擬偶像等行業(yè)提供了多種解決方案。

目前，全息技術(shù)距離普及應(yīng)用還存在較遠(yuǎn)距離，一方面，由于其實現(xiàn)成本較高，更多的是因為目前的技術(shù)在實現(xiàn)全息通信等應(yīng)用時會產(chǎn)生較多的困難與限制。由于全息通信在數(shù)據(jù)傳輸過程中涉及交互環(huán)境與影像的多個維度與方位，網(wǎng)絡(luò)需要承載千萬個隸屬不同種類的并發(fā)數(shù)據(jù)流，在多用戶的情景下，用戶吞吐量的要求可能將達(dá)到Tbps 量級，并且在整個傳輸過程中可能受到噪聲、抖動和丟包等多種因素的影響與干擾，終端設(shè)備需要實時感知捕捉使用者的狀態(tài)及動作，對接收的信息作出快速處理和響應(yīng)反饋，保證各個維度的信息同步且成像清晰，因此對網(wǎng)絡(luò)技術(shù)和計算能力要求較高。目前的5G 網(wǎng)絡(luò)技術(shù)還不能滿足全息通信對于低時延、承載超高清影像數(shù)據(jù)的需求，同時也需要研發(fā)更加高效先進(jìn)的編解碼技術(shù)來實現(xiàn)大量數(shù)據(jù)的壓縮及解碼處理。

另一方面，由于全息通信會涉及諸如用戶的面部特征識別等重要的隱私信息，因此數(shù)據(jù)傳輸過程中的安全性與保密性也格外重要，需要信息技術(shù)的進(jìn)一步發(fā)展完善，才能實現(xiàn)全息通信在醫(yī)療等專業(yè)領(lǐng)域中的普及應(yīng)用。

令人高興的是，6G 技術(shù)概念的提出為全息通信等應(yīng)用的實現(xiàn)提供了強有力的支持。6G 技術(shù)在未來可以實現(xiàn)更高質(zhì)量的帶寬、同步及靈活性，進(jìn)而實現(xiàn)更精確的數(shù)字建模、運算及實時交互?？梢?，隨著科技的不斷進(jìn)步與發(fā)展，全息通信終將在娛樂、醫(yī)療、教育、制造等眾多領(lǐng)域形成廣泛應(yīng)用的局面。一方面，在生活、娛樂等領(lǐng)域，將全息通信與移動設(shè)備相結(jié)合，可使全息通信成為人們常態(tài)化的遠(yuǎn)程交流模式，或結(jié)合體感等交互方式在娛樂領(lǐng)域研發(fā)沉浸式體驗項目，開拓新型市場；另一方面，在工作、交通、醫(yī)療等專業(yè)領(lǐng)域，利用全息通信幫助遠(yuǎn)距離排障的技術(shù)人員與遠(yuǎn)處物品的全息效果圖進(jìn)行交互，或進(jìn)一步融合物聯(lián)網(wǎng)技術(shù)、虛擬現(xiàn)實等技術(shù)構(gòu)建超能交通，實現(xiàn)大規(guī)模交通工具與環(huán)境的全息連接，為城市在道路交通環(huán)境模擬推演、刑偵支持、城市交通運維管理等方面創(chuàng)造價值。

總的來說，目前的技術(shù)雖然還不能實現(xiàn)全息通信所需要的高帶寬、低時延、網(wǎng)絡(luò)計算能力、實時性與安全性等指標(biāo)，但面向未來，隨著各項科技的發(fā)展與進(jìn)步，全息技術(shù)將能夠在不同領(lǐng)域提供全息會議、全息商業(yè)綜合體、遠(yuǎn)程全息手術(shù)等解決方案，實現(xiàn)虛擬場景自然真實的視覺呈現(xiàn)；同時，在元宇宙產(chǎn)業(yè)發(fā)展過程中，結(jié)合人工智能、數(shù)字孿生、區(qū)塊鏈等技術(shù)，構(gòu)建與現(xiàn)實相連接的、能夠為人們提供更加豐富精彩活動的元宇宙世界。

（三）感官互聯(lián)技術(shù)的應(yīng)用現(xiàn)狀及存在問題

目前，感官互聯(lián)技術(shù)尚處于概念研究階段，但在技術(shù)實現(xiàn)層面將有著與全息通信相似的要求。對于網(wǎng)絡(luò)技術(shù)，需要高帶寬與低時延來承載多維感官信號的數(shù)據(jù)流以及確保傳送的一致性和實時性；同時，對于各項感官信息的捕捉與傳輸，涉及設(shè)備端的信號采集與數(shù)據(jù)的編譯方式，不同感知都應(yīng)具備獨特的表述維度及描述方法，需要研究其單獨的編譯碼規(guī)范與統(tǒng)一的聯(lián)合編譯碼方式，使得所有感知信號都能被有效地編碼，并進(jìn)行傳輸；在安全方面，由于感官互聯(lián)網(wǎng)絡(luò)的核心是基于多維感官的傳輸通信，因此在通訊過程中需要對使用者隱私提供更強有力的保護(hù)，以避免發(fā)生諸如侵權(quán)等事件。

腦機接口技術(shù)能夠?qū)⑷四X與計算機相連，是目前與感官互聯(lián)最為密切的技術(shù)之一。目前，該技術(shù)應(yīng)用在醫(yī)學(xué)領(lǐng)域處于初期發(fā)展階段。大部分輸出式BCI 處于臨床效果測試階段，僅有少量初步用于患者的運動功能障礙康復(fù)訓(xùn)練等。輸入式BCI 雖然在臨床已有一定規(guī)模的應(yīng)用，但仍然處于初級階段，目前能夠應(yīng)用于神經(jīng)疾病的調(diào)控治療及抑郁癥、阿爾茨海默癥、帕金森病、睡眠障礙等疾病的治療和康復(fù)。一些醫(yī)療級的BCI 產(chǎn)品諸如BCI 芯片、新型信號傳感器、新型腦刺激或神經(jīng)調(diào)控等裝置正處于研發(fā)中。可見，BCI 技術(shù)在醫(yī)學(xué)領(lǐng)域具有潛在的、巨大的應(yīng)用價值，未來將會在臨床、特定疾病的診療和康復(fù)方面實現(xiàn)更加廣泛的應(yīng)用。

腦機接口技術(shù)的整體成熟度較低，導(dǎo)致其暫時難以實現(xiàn)從實驗研究到具體應(yīng)用的跨越，這也是當(dāng)前研發(fā)亟需解決的重要問題。由于腦機接口技術(shù)實現(xiàn)的條件、環(huán)境及應(yīng)用場景的特殊性，使得對于腦機接口技術(shù)相關(guān)產(chǎn)品的安全性、舒適性、易用性具有更高的要求與標(biāo)準(zhǔn)。例如，基于BCI技術(shù)的微創(chuàng)手術(shù)應(yīng)用場景中，傳感器植入過程的安全性至關(guān)重要。由于植入程序的危險度與難度較高，因此，在傳感器設(shè)備方面，對能夠長期安全植入并具備較高信號采集質(zhì)量等性能提出了更嚴(yán)格的要求。

腦機接口技術(shù)的另一個研究突破重點是BCI 的編碼及范式，通過正確規(guī)范的編碼與范式對傳輸信號進(jìn)行讀寫也是腦機接口的關(guān)鍵技術(shù)問題。與目前其他人機交互技術(shù)相比，BCI 技術(shù)存在反映速度慢、信號噪聲大、易出錯，并缺乏人體感覺反饋等問題，使得腦機接口系統(tǒng)的穩(wěn)定性、準(zhǔn)確性、快速性以及自適應(yīng)性較差。因此，腦機接口技術(shù)需要與共享控制、虛擬現(xiàn)實、機器視覺、人工智能等技術(shù)相結(jié)合，以彌補其現(xiàn)存的技術(shù)缺陷與不足，從而提升BCI 技術(shù)的實用性與用戶體驗感。

未來，感官互聯(lián)技術(shù)的實現(xiàn)與應(yīng)用是必然趨勢，其不僅在醫(yī)療領(lǐng)域有望實現(xiàn)納米級傳感、信息采集、健康狀況監(jiān)測等功能，為患者提供更加先進(jìn)、安全、便捷的治療方案，還將進(jìn)一步把感官互聯(lián)技術(shù)的應(yīng)用普及到人們?nèi)粘Ｉ畹母鱾€領(lǐng)域與元宇宙產(chǎn)業(yè)中，為人們的美好生活提供更加智慧且多元的方案。

四、總結(jié)

元宇宙產(chǎn)業(yè)的研究熱潮明顯地帶動了其交互技術(shù)的發(fā)展，其中XR 技術(shù)尤為突出，國內(nèi)外大型廠商均在XR 設(shè)備研發(fā)中投入了大量的資源與精力，旨在占據(jù)XR 市場的份額與競爭力，同時5G+云XR 平臺、全息通信的應(yīng)用也在快速發(fā)展，多家供應(yīng)商針對辦公、教學(xué)、娛樂等生活領(lǐng)域提出解決方案，將各種交互技術(shù)帶入人們的視野。但基于當(dāng)下時代的設(shè)備及技術(shù)發(fā)展現(xiàn)狀，在網(wǎng)絡(luò)帶寬、算力、系統(tǒng)集成、終端設(shè)備等方面仍然存在較大的問題與制約，導(dǎo)致云XR、全息技術(shù)與感官互聯(lián)的應(yīng)用普及程度有限，需要加強對于設(shè)備零件、關(guān)鍵技術(shù)的研發(fā)突破。

值得高興的是，元宇宙概念的出現(xiàn)為各項相關(guān)技術(shù)明確了發(fā)展方向，展示了各項技術(shù)的未來應(yīng)用場景，使得下一步的技術(shù)研發(fā)有了更加明確的目標(biāo)。隨著科學(xué)技術(shù)的更新迭代，在未來，網(wǎng)絡(luò)技術(shù)、交互技術(shù)、人工智能等技術(shù)的精進(jìn)與集成將推動人類社會走向沉浸化時代，全息技術(shù)、XR 技術(shù)和感官互聯(lián)與邊緣計算、大數(shù)據(jù)等技術(shù)的結(jié)合應(yīng)用將覆蓋商業(yè)、制造業(yè)、文化娛樂、教育、醫(yī)療等人類生活的各個領(lǐng)域，在生活中通過遠(yuǎn)程全息通信、實現(xiàn)感官互聯(lián)等場景，可帶給人們?nèi)轿坏某两襟w驗與數(shù)字化、智能化的便利，同時實現(xiàn)元宇宙產(chǎn)業(yè)的普及，構(gòu)建與真實世界相連通的虛擬世界，幫助人類向“萬物智聯(lián)、數(shù)字孿生”的美好愿景步步靠近，進(jìn)入智慧化時代。