交互方式對VR 電影觀眾沉浸感影響的研究
——從“手柄交互”到“裸手交互”

張一凡 郭大衛(wèi)

河北師范大學(xué)新聞傳播學(xué)院，河北石家莊 050000

VR 即Virtual Reality,意為虛擬現(xiàn)實。VR 電影即虛擬現(xiàn)實電影，是指運用虛擬現(xiàn)實技術(shù)制作形成的全景三維立體影像。相較于以往的電影敘事，VR 電影一個明顯的變化在于側(cè)重點從“故事和講述轉(zhuǎn)移到世界與交互”：“世界”從以往“故事的背景”轉(zhuǎn)變到“被置于前景”；“動詞”時態(tài)從以往的“過去時”的既定轉(zhuǎn)變?yōu)椤艾F(xiàn)在進行時”的互動[1]。因此，“沉浸”與“交互”是VR 電影最直觀的特征。VR 電影通過專門的VR 設(shè)備將觀眾帶入到虛擬的電影世界，在視覺和聽覺上給觀眾帶來身臨其境的沉浸式體驗，同時“交互”將觀眾與虛擬世界聯(lián)系在一起，也正是由于VR電影的交互性給了觀眾更加沉浸的觀影體驗。因此，“交互”是VR 電影中非常重要的一個環(huán)節(jié)，不同的交互方式也會給觀眾帶來不同的沉浸體驗。

1 VR 電影中的人機交互方式

自第一臺計算機ENIAC 誕生以來，諸如傳感影院（Sensorama）、第一款VR 頭盔“達摩克利斯之劍”等這些對人機交互方式的探索從未停止。隨著科技的發(fā)展，通過幾十噸重的設(shè)備進行人機交互的時代已經(jīng)成為歷史，輕便化、大眾化和商業(yè)化的人機交互方式逐漸成為主流。人機交互設(shè)備輕便化的勢頭起源于20 世紀(jì)：NASA 于1985 年開發(fā)了LCD 頭戴顯示器，極大地輕便了VR 交互的硬件環(huán)境，隨后任天堂推出了第一臺商業(yè)性VR 眼鏡游戲機，讓VR 交互設(shè)備第一次應(yīng)用于商業(yè)民用領(lǐng)域，此后各種追求輕便化的人機交互設(shè)備如雨后春筍般出現(xiàn)。VR 中的人機交互方式是指觀眾與虛擬環(huán)境之間的信息交流和互動方式。到目前為止，VR 中比較主流的人機交互方式分為兩種，即“手柄交互”和“裸手交互”（Bare-Hand Interaction, BHI），同時這兩種交互方式也主要應(yīng)用在VR 電影中。

1.1 “手柄交互”

“手柄交互”主要通過各種傳感器感知用戶的手勢和動作，之后再將其轉(zhuǎn)化為計算機指令，常見的傳感器包括加速度計、陀螺儀、磁力計等，通過感知手柄位置、姿態(tài)等信息，運用軟件處理這些信息，以識別用戶的手勢和動作。當(dāng)前商用領(lǐng)域主流的VR 手柄包括Oculus Touch、PlayStation Move、HTC Vive 手柄等三種。其中受眾最為廣泛的Oculus Touch 手柄發(fā)展到現(xiàn)在經(jīng)歷了多次升級換代，從初代的Oculus Touch 到第二代，再到第三代以及最新的Touch Pro，其外形逐漸輕量化、小巧化，設(shè)計也從“有環(huán)”過渡到“無環(huán)”（圖1）。

圖1 Oculus Touch 手柄進化圖

1.2 “裸手交互”

2009 年，澳大利亞國家信息通信技術(shù)中心的Cheng 提出了另一種人機交互思路，即使用單個攝像頭讓用戶與大屏幕進行交互的技術(shù)。在這種情況下，用戶無需佩戴任何裝備即可通過攝影機拍攝的畫面實現(xiàn)人機交互[2]。微軟注意到了這種交互思路，于同年提出了3D 體感攝影機“Project Natal”計劃，讓不佩戴任何設(shè)備的“裸手交互”成為可能，為之后的紅外測定深度（Time of Flight, ToF）攝像頭設(shè)備的出現(xiàn)奠定了基礎(chǔ)。2010 年，為實現(xiàn)“裸手”人機交互，微軟以“Project Natal”為基礎(chǔ)，專門開發(fā)了三臺基于ToF 技術(shù)的攝像頭設(shè)備Kinect V1、Kinect V2、Azure Kinect。前兩臺設(shè)備主要應(yīng)用于配套微軟的游戲機Xbox，以提供良好的交互體驗；Azure Kinect 則脫離了游戲產(chǎn)業(yè)，轉(zhuǎn)而應(yīng)用于工業(yè)開發(fā)和醫(yī)療環(huán)境等領(lǐng)域。與此同時，手機環(huán)境也開始大量提倡應(yīng)用基于攝像頭的“裸手交互”解決方案：三星電子美國研發(fā)中心的Kim 在論文中表述了用戶可以將手伸至移動顯示設(shè)備（手機、平板電腦）后方來進行操作的交互方法[3]；谷歌、蘋果等智能手機生產(chǎn)廠家也紛紛研發(fā)出應(yīng)用了ToF 技術(shù)的手機攝像頭，使用戶可以通過手機攝像頭進行裸手狀態(tài)下的人機交互；華為P30 Pro 和Mate 30 Pro 等智能手機產(chǎn)品也可以通過手機中的ToF 攝像頭遠(yuǎn)程操控手機功能。但是從用戶體驗來看，這種遠(yuǎn)程操作更像是一種噱頭，究其原因，計算機技術(shù)的進步速度和交互設(shè)計的發(fā)展速度并不匹配，因此尚未出現(xiàn)有助于提升用戶體驗的交互設(shè)計。2018 年，劍橋大學(xué)Dudley 提出頭戴式顯示器（Head-Mounted Display, HMD）在增強現(xiàn)實（AR）交互過程中可實現(xiàn)三維繪圖，但是相較于HMD，基于未使用穿戴設(shè)備的“裸手交互”既給了用戶自由，又保留了用戶和物理環(huán)境的交互能力，是優(yōu)于以HMD 來實現(xiàn)AR 人機交互的手段[4]。這一觀點同樣也給VR技術(shù)中的交互方式提供了一個新思路。

如今不少VR 電影、游戲或應(yīng)用已經(jīng)開始引入更高精度的手勢交互，用戶漸漸開始可以通過VR 頭顯設(shè)備實現(xiàn)虛擬世界中的“裸手”操作，以雙手創(chuàng)造“魔法”。就像電影《頭號玩家》中的角色在“綠洲世界”中控制虛擬人物是不需要手柄及任何HMD 的，角色只需通過移動雙手來判斷自己與虛擬世界的擬真度和交互尺度。在VR 觀影中，當(dāng)HMD 能夠逐漸擺脫傳統(tǒng)手柄的束縛，讓用戶能實現(xiàn)更加自然地進行手勢交互與應(yīng)用體驗時，或許才使觀眾真正擁有走出電影、走進現(xiàn)實的機會。

2 間離效果：VR 觀影中“手柄交互”的不足

間離效果是由德國戲劇家布萊希特提出的美學(xué)概念，又稱“陌生化效果”。布萊希特認(rèn)為，間離的過程就是人為地使主體與已熟知的事物疏遠(yuǎn)的過程[5]?！坝^眾保持著進行評價的間隔，從而有可能理解所表演的東西的真正含義。從不充分的理解，經(jīng)過不理解的震驚，達到真正的理解”[6]。不難看出，布萊希特主張的間離效果和觀影沉浸是相悖的。本節(jié)嘗試借助布萊希特提出的間離效果概念對VR 觀影中“手柄交互”對觀眾沉浸感的打破這一問題進行分析。

根據(jù)筆者不完全統(tǒng)計，VR 電影發(fā)展至今大致可以分為兩類：一類是360°全景視頻，這種視頻是通過360°全景相機將現(xiàn)實世界如實記錄下來，觀眾在觀看期間可以通過控制手柄或旋轉(zhuǎn)頭部來調(diào)整畫面角度，以觀察周圍環(huán)境，還可以放大畫面來近距離觀看電影中的某一主體事物，例如全景看房視頻。其電影化應(yīng)用可參考風(fēng)景紀(jì)錄片或通過手持、固定360°全景相機拍攝而成的劇情短片，但這類VR 影片的交互性并不明顯。另一類VR 電影是指動畫技術(shù)制作的交互式VR 電影，即由計算機生成圖像（Computergenerated Imagery, CGI）技術(shù)制作而成。除了講述情節(jié)外，這類VR 電影還將交互融入劇情之中，使觀眾進入獨特的“交互式沉浸”中[7]，VR 交互動畫影片《紙鶴》即屬于這一類型。作品中融合了爵士樂、交響樂、鋼琴曲等多種風(fēng)格音樂形式，其特點在于體驗“互動音樂奇觀”。在影片開頭，觀眾可以使用手柄隨著小男孩的手風(fēng)琴彈奏揮動雙手，不同的揮動軌跡會在影片中形成不同軌跡的光束；在小男孩發(fā)現(xiàn)妹妹被困在另一個世界時，觀眾可以通過擴大和縮小雙手動作幅度，近距離觀看或遠(yuǎn)觀另一個世界的景象。這與360°全景視頻中的觀看方式相似，但不同在于，隨著觀眾的互動，《紙鶴》這類交互式VR 電影的畫面也會受到不同程度的影響；影片結(jié)尾，觀眾可通過手柄觸碰光束上的點，“親自”演奏一段樂章，體驗方式與游戲《節(jié)奏大師》類似。這些交互設(shè)計的目的是輔助觀眾更好地融入到VR 電影中去，從而進一步提升沉浸感，但目前觀看完整影片后的綜合體驗感不盡如人意。由于“身處”影片中VR 世界的觀眾無法時刻關(guān)注到自己雙手的位置和手柄情況，當(dāng)觀眾在揮動雙手過程中，兩個手柄撞到一起時，易產(chǎn)生“拉回現(xiàn)實”的間離效果。類似的“互動劇場游戲”作品還有《A.D.2047》，但筆者通過試玩發(fā)現(xiàn)該作品也存在一些交互缺陷和畫面質(zhì)量問題：游戲開始時會在主角桌上出現(xiàn)游戲中的手柄按鍵提示（圖2），且在使用這些按鍵時，經(jīng)常出現(xiàn)手部數(shù)據(jù)拾取失敗的情況，甚至在拾取過程中還會出現(xiàn)物品無意掉落的幾率，并且游戲中人物移動的方式是通過點擊畫面中出現(xiàn)的虛擬人影來進行移動。這些情況導(dǎo)致玩家在與游戲交互時體驗不佳。此外，由于優(yōu)化不足，游戲畫面顯示不夠清晰，幀率較低，流暢度不佳等問題也遭遇諸多批評。

圖2 《A.D.2047》手柄按鍵提示

VR 電影將主要精力聚焦于視聽體驗，因此通常選用體驗效果優(yōu)秀的頭顯設(shè)備作為輸出介質(zhì)，但在輸入設(shè)備的選擇上目前依然采用以手柄為代表的傳統(tǒng)媒介。手柄的高“抽象性”表現(xiàn)，使我們在真實世界所做出的動作有別于虛擬角色的動作或在虛擬世界中所做的動作，而針對手柄按鍵、功能的系統(tǒng)性學(xué)習(xí)也會反向影響觀眾置身于角色體驗時的行為。當(dāng)現(xiàn)實世界和虛擬世界動作不一致程度越高，觀眾交互方式就越抽象，相應(yīng)的學(xué)習(xí)成本越高，投入到高度沉浸狀態(tài)的耗時也就越長[8]（圖3）。

圖3 VR 中學(xué)習(xí)成本對沉浸度的影響

電影中的真實感并不等于真實，如果要在觀影期間產(chǎn)生間離效果，首先電影中的某一事物必須符合現(xiàn)實世界中觀眾對這一事物的生活經(jīng)驗，由此才能將觀眾從電影中“間離”出來。在用手柄配合VR觀影時，進行各種交互動作時手柄會帶給觀眾一種真實感，從而借由這種真實感短暫進入到觀影沉浸狀態(tài)。但手柄的體積限制以及抽象的交互方式又時刻提醒著觀眾這種真實感并不意味著真實，此時形成一種無意的間離效果得以將觀眾從沉浸狀態(tài)中抽離出來。

3 “身體在場”的重塑：“裸手交互”對VR觀影沉浸感的提升

3.1 “身體在場”的重塑

作為能夠引起情感活動和美感的存在形式，并且能夠自由傳達出創(chuàng)作主體情感以及對生活的思考和感受，藝術(shù)作品需要關(guān)注主體內(nèi)容和表現(xiàn)形式兩個方面，即表現(xiàn)什么和如何表現(xiàn)。受眾通過不同的藝術(shù)作品感知藝術(shù)主體內(nèi)容，獲得審美愉悅的同時進入沉浸狀態(tài)。沉浸感并沒有一個統(tǒng)一的定義，它既屬于心理學(xué)中“感覺”與“體驗”的范疇，特指一種忘我的專注狀態(tài)與神情，而在傳播交流方面，沉浸感的發(fā)生一般是以“身體在場”為前提，即感官身臨其境地感知，并在其與環(huán)境的相互浸染后所激發(fā)的一種專注其中的感覺與體驗[9]。黃心淵教授將虛擬現(xiàn)實中的沉浸概括為生理沉浸和心理沉浸兩種[8]。生理沉浸體現(xiàn)在人類的感官層面，即基本的視覺、聽覺感受等。VR 技術(shù)通過360°的畫面、3D 環(huán)繞立體的聲音以及不同的交互動作使觀眾達到了類似于現(xiàn)實世界中的情境，賦予了觀眾更大的生理沉浸感。心理沉浸歸屬于認(rèn)知層面，其出現(xiàn)早于生理沉浸。在早期，繪畫、音樂、雕塑等傳統(tǒng)藝術(shù)作品給受眾帶來的生理沉浸感很少，藝術(shù)創(chuàng)作者需要通過創(chuàng)作出更優(yōu)質(zhì)的藝術(shù)作品以使受眾達到心理沉浸，而良好的生理沉浸會促使受眾更快達成心理沉浸。因此，根據(jù)技術(shù)特點，黃心淵教授將虛擬現(xiàn)實的傳播稱為“生理沉浸式傳播”。基于這一觀點，筆者認(rèn)為“裸手交互”技術(shù)在虛擬現(xiàn)實“生理沉浸式傳播”的基礎(chǔ)上，通過加強觀眾“身體在場”的幻覺，進而實現(xiàn)虛擬現(xiàn)實傳播中的心理沉浸感。

作為傳播學(xué)中長期關(guān)注的對象，身體的“在場”和“缺席”也成為學(xué)者們熱議的話題。大眾傳播學(xué)將身體看作是固著于特定時空的消極因素，因為信息的遠(yuǎn)距離傳播必須要打破身體的束縛[10]。各類印刷媒體和電視、無線電廣播、電影等電子媒體讓受眾足不出戶就可以獲取萬里以外傳播而來的信息。隨著虛擬現(xiàn)實、人工智能（AI）等概念的出現(xiàn)，重新激活了基于身體領(lǐng)域的研究。所謂“在場”是指主體在場，也就是“身體在場”。對于身體而言，“在場”是一種存在狀態(tài)，也是身體與身體、身體與周圍場的一種關(guān)系。“身體在場”就意味著能夠?qū)Α霸趫觥钡氖挛锂a(chǎn)生影響，甚至能夠直接操縱、改變“在場”或周圍的事物[11]。劉明洋等將“身體參與傳播活動的完整度”作為媒介形態(tài)的劃分標(biāo)準(zhǔn)，提出“身體媒介”“無身體媒介”“身體化媒介”及“類身體媒介”四個階段的論斷：“身體媒介”時代的身體是肉身的在場，“無身體媒介”時代的身體處于缺席或隱退的位置，“身體化媒介”時代的身體是虛擬在場（身體不直接出現(xiàn)，但發(fā)揮系統(tǒng)功能），“類身體媒介”時代的身體是技術(shù)真實下的虛擬在場（與“身體媒介”時代有著相同或近似相同的認(rèn)知經(jīng)驗，但肉身無需真正接觸）[12]。基于此，作為媒介的VR 應(yīng)歸類于“類身體媒介”。在VR出現(xiàn)前的媒介時代，觀眾在欣賞藝術(shù)作品時的心理時空延伸和身體在場是一個“魚和熊掌不可兼得”的情況。而VR 憑借對現(xiàn)實的高度仿真，在現(xiàn)實時空之外創(chuàng)造了另外一個虛擬世界。VR 電影帶來的沉浸式體驗營造了一個比傳統(tǒng)影院更封閉的觀影情境，或者說觀影空間已然被影像空間所吞噬，用戶體驗是直接走進了虛擬的電影世界，實現(xiàn)了身體于影像中的“在場”[13]。但事實上，互動式VR 電影中的“身體在場”其實是一種矛盾的現(xiàn)象：一方面在傳播中缺少真實身體的存在；另一方面通過VR 技術(shù)的連接，能夠使身體實現(xiàn)在虛擬世界中的“身體在場”。從這一角度出發(fā)，虛擬現(xiàn)實中的“身體在場”雖然是一種虛假的幻覺，但從感官反應(yīng)來看，觀眾依然可以通過身體動作與虛擬世界產(chǎn)生交互，VR 技術(shù)實際上是重塑了觀眾“身體在場”的幻覺?！叭藱C交融”“多維感知”“虛擬化身”等新興的數(shù)字技術(shù)創(chuàng)造出了“技術(shù)身體”“虛擬身體”“遠(yuǎn)程身體”等“后人類”的人工身體形態(tài)，拓寬了身體的邊界，豐富了“身體在場”的含義[14]。虛擬現(xiàn)實技術(shù)打破了“身體”的邊界，身體“在場”和“缺席”的問題變得失去了原來的意義，所謂“在場”和“缺席”探討的是身體“有”還是“無”，但是經(jīng)由VR 技術(shù)轉(zhuǎn)換的“化身”既可以說“有”，也可以說“無”[15]。我們?nèi)祟惖恼鎸嵢怏w不再是評判“在場”與“缺席”的唯一因素?，F(xiàn)實世界的真實身體通過VR技術(shù)連接虛擬世界中的虛擬身體,由此形成了一種身體在場的重塑，即“虛擬在場”。

相較于“手柄交互”的高度交互抽象性帶給觀眾虛假的身體記憶而言，“裸手交互”技術(shù)使觀眾在虛擬環(huán)境中的行為，更加適配于觀眾在真實世界的身體動作，在虛擬空間中還原出觀眾在真實世界的感受，更加強化了這種“身體在場”的幻覺。在擁有沉浸空間和多模態(tài)互動的VR 電影場域中，觀眾通過“身體在場”被賦予了故事中的“他者”身份，并以第一人稱視角扮演角色，這種視角下的“他我”和現(xiàn)實世界中的“真我”在身體空間、肢體運動、身體感知層面有一定的重合性，更有助于將沉浸、臨場和體驗的感覺投射到我們的認(rèn)知中[16]?！奥闶纸换ァ奔夹g(shù)將這種認(rèn)知感覺發(fā)揮到一個新高度。雖然我們并不是身處現(xiàn)實世界中，但是通過VR 技術(shù)營造的360°虛擬世界以及“裸手交互”技術(shù)帶給觀眾的真實生活經(jīng)驗，在認(rèn)知上欺騙了觀眾心理，賦予了觀眾極大的臨場感，仿佛在現(xiàn)實世界中一樣，讓觀眾不去察覺VR 世界的虛擬性而沉浸在其中，達到一種忘我的狀態(tài)。瑞士蘇黎世大學(xué)的研究人員開發(fā)了名為“Birdly”的逼真鳥類飛行體驗項目（圖4）。這一項目的設(shè)計與“裸手交互”對觀影沉浸感的提升方式存在類似。項目中體驗者佩戴頭顯設(shè)備，俯臥在一個支撐平臺上，體驗者看到的畫面是以鳥類在天上飛行的視角，身體通過按壓和上抬平臺兩側(cè)的支撐板模擬鳥類揮舞翅膀的動作，從而控制虛擬飛鳥在虛擬世界的翱翔。

圖4 “Birdly”實驗項目

3.2 “熱媒介”屬性的強化

在《理解媒介》一書中，馬歇爾·麥克盧漢提出媒介有冷媒介與熱媒介之分，這一觀點是麥克盧漢最具爭議性的創(chuàng)見之一，有人甚至認(rèn)為，冷熱媒介的概念矛盾重重、漏洞百出，不足為重[17]。麥克盧漢闡述了“冷熱媒介”區(qū)分的基本原理：“‘熱媒介’只延伸一種感覺，具有‘高清晰度’”“熱媒介要求的參與度低；冷媒介要求的參與度高，要求接收者完成的信息多?！盵18]其區(qū)分“冷熱媒介”的主要標(biāo)準(zhǔn)立足點在于感官?！案泄賹γ浇樽鞒龅幕貞?yīng)”是指媒介調(diào)動我們感知的方式[18]。在麥克盧漢的理論中，“清晰度”是指感官的作用強度；“參與度”不是思想的參與，而是感官的參與[19],這有助于更好地理解冷熱媒介。

熱媒介通過對感官的壓倒性吸引力，將觀眾帶入一種“麻木”狀態(tài)[20]。其對感官的延伸是單一的、高強度的、線性的、分裂的，這種作用最終促進了生活中的專門化和分割性[19]。當(dāng)人們使用“熱媒介”時，就已經(jīng)被媒介定義了唯一的切入方式，“熱媒介”帶來的信息是清晰明確的，人們不需要調(diào)用身體其他感官去“參與”，只需按照它規(guī)定的參與方式參與即可，這就是“熱媒介”的高清晰度、低參與度。由此便能很好地解釋電影是高清晰度的“熱媒介”：正常情況下，電影開始前觀眾會坐到座位上，等著電影開場；開場后，觀眾聚精會神，并沉浸于電影放映的故事。作為“熱媒介”，電影對觀眾的干預(yù)十分顯著。低清晰度、高參與度的“冷媒介”，如電視，要求受眾分散注意力，不是調(diào)用一個或兩個感官，而是一個感官系統(tǒng)[21]。

觀眾在觀看VR 電影時，從傳統(tǒng)的二維平面步入三維全景視頻中去，盡管在觀影過程中存在交互性，但這種交互是存在于預(yù)先設(shè)定好的電影規(guī)則之內(nèi)，其目的便是為了營造臨場感從而提升觀眾觀影的沉浸體驗。無論是電影還是VR 電影都符合“熱媒介”的屬性，但它們又同時調(diào)動了觀眾的多重感官。這似乎與“熱媒介”的定義不同，但其與“冷媒介”的區(qū)別在于，電影感官調(diào)動的“動力”來自影片本身對觀眾多重感官的激發(fā)，從而減少了觀眾自身對各種感官想象的驅(qū)動“負(fù)擔(dān)”[7]。而VR 電影將觀眾的多重感官“延伸”到了一個更高的高度，使體驗者更容易沉浸于VR 電影傳遞的情境信息流，因此更易于實現(xiàn)相對深度的沉浸狀態(tài)。“手柄交互”的抽象交互性則會使觀眾對手部感官想象的驅(qū)動“負(fù)擔(dān)”加重，從而對觀影沉浸感有一定減弱；“裸手交互”使觀眾在進行交互時更加專注，只需要根據(jù)自己的生活經(jīng)驗便可完成交互，進一步強化“身體在場”的幻覺。

4 結(jié)語

VR 技術(shù)是通過構(gòu)建3D 虛擬環(huán)境制造出身臨其境的體驗，即沉浸式體驗，但沉浸感并不是VR 技術(shù)獨有的，傳統(tǒng)平臺的游戲同樣也在追求沉浸感。所謂的沉浸感其實就是真實感，一部電影或一部互動劇場游戲越趨于真實，那么它能給觀眾或體驗者帶來的沉浸感就越強。真實感可以通過很多方式來體現(xiàn)，比如更自然的對話、更合理的場景設(shè)計、更沉迷的玩法設(shè)計等，其中有一個可以直接提高真實感的方式，就是用畫面、聲音、氣味等虛擬資產(chǎn)替代真實資產(chǎn)傳送給人的感官，讓人誤以為在真實世界中，這也正是VR 技術(shù)的強項?！奥闶纸换ァ痹谝欢ǔ潭壬咸岣吡颂摂M資產(chǎn)的協(xié)同性，盡可能確保觀眾所有感官獲取的信息一致，從而大幅提升沉浸感。

但“裸手交互”技術(shù)也存在一定缺陷，如手部追蹤困難、觸覺反饋缺失等，這也是阻擋該技術(shù)更廣泛應(yīng)用的最大障礙。值得注意的是，近年來各界都在努力尋求相應(yīng)的解決方法。為了解決手部追蹤丟失的問題，李仕等人提出了一種創(chuàng)新的方法，即基于二次坐標(biāo)轉(zhuǎn)換的3D 手勢坐標(biāo)映射。這種方法通過將手部骨骼節(jié)點的3D 坐標(biāo)轉(zhuǎn)換到視點坐標(biāo)系上，再通過坐標(biāo)轉(zhuǎn)換獲取手部節(jié)點在真實場景中的實時坐標(biāo)。通過虛實映射，用戶可以使用裸手驅(qū)動系統(tǒng)端的虛擬手進行人機交互。系統(tǒng)基于識別到的手勢信息向用戶提供實時反饋，從而實現(xiàn)在大場景下的人機“裸手交互”[22]。在觸覺反饋優(yōu)化方面，英國公司Ultraleap 將超聲波技術(shù)應(yīng)用于虛擬現(xiàn)實觸覺，將超聲波轉(zhuǎn)化為虛擬觸摸的感覺。這種技術(shù)使用戶能夠在虛擬環(huán)境中體驗觸摸的沉浸式感覺，有效彌補了觸覺反饋的缺失。這些新興技術(shù)以及理論的出現(xiàn)為“裸手交互”技術(shù)的后續(xù)發(fā)展提供了一定的理論與實踐基礎(chǔ)。未來，不僅在VR 領(lǐng)域、電影領(lǐng)域，作為目前最自然的人機交互方式，“裸手交互”定能為人們的生活提供更多便利，從方方面面提升體驗。?