虛實融合環(huán)境下體感交互技術(shù)的應(yīng)用

張暉?王婷婷

中國古代兵器文化經(jīng)歷了漫長而悠久的發(fā)展過程，留下了極為豐富的文化遺產(chǎn)，可以說都是中國古代勞動人民智慧的結(jié)晶。本文通過對山東孔子文化公園兵器博物館展示多媒體項目的設(shè)計和實施，探討在虛實融合環(huán)境下運用新興的體感交互技術(shù)構(gòu)建一種高度逼真的展示體驗環(huán)境和人性化操作方式。

概述

一直以來國內(nèi)歷史類文化展覽館的展示交互設(shè)計多采用二維人機交互方式，但隨著數(shù)字技術(shù)的不斷發(fā)展，信息傳播方式的不斷變革，這樣的形式已經(jīng)不能夠滿足人們獵奇逐新的需求，人們嘗試運用更多的媒介和技術(shù)手段來提高觀眾和展示環(huán)境的互動。本文希望通過對山東孔子文化公園兵器博物館展示多媒體項目的設(shè)計和實施，探討在虛實融合環(huán)境下運用新興的體感交互技術(shù)構(gòu)建一種高度逼真的展示體驗環(huán)境，讓人們身歷其境地與內(nèi)容做互動，詮釋中國古代兵器從啟蒙到發(fā)展再到興盛的整個過程。

虛實融合環(huán)境下的體感交互技術(shù)

虛實融合是現(xiàn)代展示環(huán)境設(shè)計中一種常用的設(shè)計手法，它通過虛擬顯示技術(shù)，結(jié)合計算機圖形學、數(shù)字圖像處理、環(huán)境場景搭建、物理學、心理學等相關(guān)學科交和領(lǐng)域，營造出一個虛實結(jié)合并符合特定展示情景的展示環(huán)境，讓觀眾更加流暢的和計算機等設(shè)備進行人機交互，增加參與度和體驗感。

體感交互是展示空間中營造虛實融合環(huán)境最為重要的技術(shù)手段之一，也是目前展示環(huán)境設(shè)計的主要趨勢。體感交互起源于游戲，特指用戶通過身體運動和身體感受等方式完成人機交互，它通過人的肢體動作變化進行操作。體感交互技術(shù)運用在展示環(huán)境設(shè)計還是近些年的事情，這種技術(shù)操作簡單，是直接通過觀眾的肢體動作自然得與周邊的裝置或環(huán)境互動，而無需使用任何復雜的控制設(shè)備。有著其他展示技術(shù)無法比擬的優(yōu)勢。

目前體感交互的研究內(nèi)容主要是集中在語音識別、手勢輸入及感覺反饋等方面。作為新的體感技術(shù)，kinect 的出現(xiàn)促進人機交互的發(fā)展，它可以依靠捕捉使用者的動作、面部和語音的識別，來進行輸入填補了傳統(tǒng)人機交互的技術(shù)缺陷，kinect體感交互技術(shù)主要由感應(yīng)攝像機，動作識別系統(tǒng)組成。

1.深度感應(yīng)攝像機技術(shù)

早期，由于用于體感交互技術(shù)硬件和軟件的研發(fā)成本比較高，體感交互技術(shù)一直缺乏實用性，直到一項基于結(jié)構(gòu)光技術(shù)的新專利Freedman 的出現(xiàn)，通過對空間物體投射特定的紅外線結(jié)構(gòu)光斑，重構(gòu)空間的三維圖像深度，達到較高的幀速率采集數(shù)據(jù)，這項就是Kinect 的核心技術(shù)，使低廉但高效的體感交互設(shè)備成為可能。

2.動作識別算法

依靠實時深度攝像機技術(shù)，人體動作識別算法得到了提高，可以根據(jù)需要，區(qū)分人體軀干的各個部分的運動，再通過反向動力學將這些數(shù)據(jù)連接到人體運動，當然，這樣需要計算機系統(tǒng)需要大量的計算，同時用戶需要把動作進行初始化，后來Ganapathi的方法結(jié)合了人體結(jié)構(gòu)分析與爬山算法，通過GPU加速技術(shù)提高了算法的效率。

3.主要的設(shè)備

（1）RGB 攝像頭

用來獲取 640X480 的彩色圖像，每秒鐘最多獲取 30 幀圖像，根據(jù)在Kinect 設(shè)備視野范圍內(nèi)移動的一個或兩個人的圖像進行骨骼追蹤，可以追蹤到人體上的 20 個節(jié)點。

（2）3D深度傳感器

分別為紅外發(fā)射器和紅外線 COMS 攝像機，用來偵測 3D 影像。

（3）數(shù)組式麥克風

數(shù)組式麥克風的 Microsoft.Speech 與語音識別 API 集成，使用四元麥克風組的麥克風，可以消除噪音和回波進行語音識別，把聲源附近有效范圍之內(nèi)的各種信息捕捉到?；谝陨瞎δ埽琄inect 設(shè)備不需要使用任何控制器，只需依靠實時捕捉使用者的 3D 動作、面部識別和語音識別即可達到輸入的功能。

兵器博物館體感交互技術(shù)如何營造虛實融合的空間

山東孔子文化公園兵器博物館，是孔子文化園（國家AAA級景區(qū)）新開發(fā)的一個旅游景點。主要展示中國傳統(tǒng)的古代軍事裝備。由于中國古代兵器文化經(jīng)歷了漫長而悠久的發(fā)展過程，留下的文化遺產(chǎn)極為豐富，如果采用傳統(tǒng)的展示方式，使用大量的圖版、展柜和展示道具，觀眾可能只是走走看看，很難有切身的感受。為了增加展示的效果，筆者的設(shè)計團隊決定采用虛實融合設(shè)計手法，運用體感交互技術(shù)，讓觀眾能夠?qū)崿F(xiàn)“身臨其境”。

1.設(shè)計思路

通過對孔子文化公園兵器博物館的調(diào)研，包括對傳統(tǒng)兵器背景、觀眾和展示交互技術(shù)等方面的調(diào)研，我們確定了具體的方案，首先，在明確了以虛實融合作為交互設(shè)計的主軸后，建立起一套完整的展示交互架構(gòu)，構(gòu)架基于虛擬現(xiàn)實系統(tǒng)和具體的場景，構(gòu)筑觀眾與兵器博物館的互動平臺，配合情境，多媒體交互，視覺等設(shè)計的內(nèi)容，然后，根據(jù)前期制定的設(shè)計路線，結(jié)合兵器博物館空間區(qū)域的劃分和實際的展示內(nèi)容，把需要設(shè)計的每個空間逐個進行分析，并制定具體的多媒體展示交互方案。最后進行實施和調(diào)試。

2.交互系統(tǒng)設(shè)計

（1）體感交互層面

在體感交互方面，目前大部分主要使用手勢交互，不過這樣的選擇不僅影響到用戶體驗，還影響到識別準確率，而且復雜的手勢，還需要觀眾者去了解并且記住所對應(yīng)的關(guān)系。所以在具體的設(shè)計中，采取了綜合的交互方式，包括利用移動設(shè)備內(nèi)置的三軸陀螺儀來捕獲數(shù)據(jù)，并通過旋轉(zhuǎn)來設(shè)置，能夠精確地確定運動 物體的方位，并按照指令執(zhí)行。通過虛擬的方式來實現(xiàn)觀眾在虛實融合的場景中體驗各個不同仿真的歷史時代和與之相配的兵器。

（2）識別層面

在進行識別之前，首先要創(chuàng)建人體動態(tài)模板。模板庫的建立主要步驟如下 ：

①投影，由于觀眾操作的差異性，不同使用者做同一個動作的角速度有所差別，即使是同一個觀眾，不同時間重復同一個動作的角速度也有差異，這就需要針對基準平面對 X、Y、Z 三軸方向的加速度進行投影操作。

②濾波，過濾掉樣本中可能存在的噪聲信號，來增加信號的識別效果，本次設(shè)計主要使用低通濾波。

③主元分析求取閾值。為了捕獲到空間中翻轉(zhuǎn)肢體運動的發(fā)生，識別層持續(xù)捕獲三軸陀螺儀傳感器傳來的數(shù)據(jù)。傳遞到識別層的數(shù)據(jù)是一個三維數(shù)組，分別對應(yīng)于陀螺儀 X、Y、Z 軸的加速度改變。并進行識別記錄運動對應(yīng)的命令，實驗交互。

（3） 通信傳輸層面

目前，設(shè)備的操作系統(tǒng)中主要ios 、android和windows系統(tǒng)。通過wifi接入計算機所在局域網(wǎng)，通過Socket與計算機進行通信。系統(tǒng)使用UDP協(xié)議作為傳輸層協(xié)議進行Socket通信。系統(tǒng)的應(yīng)用分為，應(yīng)用標識符，命令和標示三個部分。通過這樣的傳輸可以減少大量管線的安裝和調(diào)試，還可以拓展信息傳遞的效率，為觀眾提供虛擬而又真實的情景體驗感受。

3.虛實融合空間的體感交互技術(shù)運用

從兵器博物館空間實際出發(fā)，集合展覽的內(nèi)容，虛實融合空間營造以體感交互為主，經(jīng)過多輪的概念設(shè)計，總體從以下幾個方面，

（1）虛擬角色模型

為了反映特定時代與兵器文化相關(guān)的內(nèi)容，并能讓觀眾有更加直觀的認知，我們通過虛擬一個特定時期人物，讓觀眾進行角色扮演（我們叫這個為“人物建?！保?，結(jié)合虛實融合的空間效果，使觀眾融入特定的情景中，來感受不同時期不同背景下的中國古代兵器文化。

這樣的設(shè)定一系列人物角色，同時從自己的素材庫中繪制或者選取人物畫像，結(jié)合虛擬和現(xiàn)實的場景技術(shù)，才能達到滿意的效果。在兵器館互動大堂（見圖1），游客站在體感設(shè)備指定區(qū)域（腳貼區(qū)域），伸出右手進行感應(yīng)觸發(fā)，體感設(shè)備感應(yīng)到人體后開始游戲，系統(tǒng)設(shè)備對互動游戲者人臉進行采集，然后有多套相應(yīng)主題服飾、武器（原始人、三國時期、秦漢時期、唐宋時期、明清時期）進行互動模擬換裝，讓互動游戲者參與進來游戲。

（2）情境再現(xiàn)

為了更好的觀眾融入展示的環(huán)境中，我們營造了許多場景，這些場景通過搭建一個符合展示內(nèi)容要求的環(huán)境，讓觀眾置身其中，給觀眾一個角色，并布置給觀眾一個特定任務(wù)，再創(chuàng)造有情節(jié)的角色，用故事的情節(jié)和虛實融合的環(huán)境給觀眾一種身臨其境的感受。

如圖2所示，在大堂入口墻面的交互設(shè)計，整個展項位于大堂入口處，地面設(shè)有紅外感應(yīng)裝置區(qū)域，游客進入紅外感應(yīng)區(qū)時，裝置識別后觸發(fā)，前側(cè)和右側(cè)的墻體面就會有由兩臺投影機投射的影像畫面，畫面內(nèi)容展示藍天白云或風雨飄搖等背景下，一群白鴿撲打翅膀飛過，伴隨著清脆的鳥叫聲和鍛造敲打兵器聲效，配合大堂周圍大型雕塑及古典建筑，營造一種神秘而莊重的現(xiàn)場氛圍。

（3）展示場景效果的評估與反饋

在具體的設(shè)計中實施后，為了評估實際使用的效果，我們制作了一份指南，自行記錄所需調(diào)查的相關(guān)設(shè)計問題。針對于體感交互產(chǎn)品的用戶體驗設(shè)計創(chuàng)新方法的研究，包括用戶與虛擬場景的交互設(shè)計，用戶界面設(shè)計，虛擬場景設(shè)計，虛擬角色設(shè)計等；然后再根據(jù)觀眾的反饋，針對體感交互自身的特點，進行調(diào)整。

在兵器館中的漠南之戰(zhàn)行場景中，重點兵種解析演示，開始設(shè)計時只是使用了沙盤和投影進行軍路線的演示，該部分場景總體完成后，觀眾的反映并不理想，人們有辦法融入其中，所以大多看看就離開了，后來得到反饋后，我們調(diào)整了設(shè)計的內(nèi)容，在沙盤設(shè)置了漠南之戰(zhàn)時的戰(zhàn)爭地圖，在沙盤中用一個流動的箭頭，表現(xiàn)出漠南之戰(zhàn)的行軍路線，配以文字介紹重點兵種的特點及優(yōu)勢，之后根據(jù)作戰(zhàn)順序會在底圖上的相應(yīng)位置播放殘酷的戰(zhàn)爭場景的資料視頻，配上戰(zhàn)爭廝殺中的音效。功能與應(yīng)用：讓游客體驗到兵器的功能的同時兵器也給人類社會帶來了強大的破壞沖擊，讓游客真實感受到戰(zhàn)爭的殘酷。

結(jié)語

本次課題的研究是一項從理論研究到實踐再到實踐總結(jié)的過程。在整個課題的研究中，我們探討了運用體感交互技術(shù)結(jié)合到傳統(tǒng)的中國古代兵器博物館的展示環(huán)境當中，并營造一個虛擬與現(xiàn)實融合展示環(huán)境中，通過捕捉肢體的動作，構(gòu)建一種虛擬的場景和人物，讓人與環(huán)境更自然地融合“交流”，從而增加了兵器博物館的可玩性和互動性，提高了整體展示效果。在此基礎(chǔ)上進行總結(jié)。

虛實融合環(huán)境下體感交互技術(shù)強調(diào)的可用性及觀眾體驗的設(shè)計思想，比傳統(tǒng)的墻上展示或板上展示更有優(yōu)勢，無論是基于網(wǎng)絡(luò)的虛擬現(xiàn)實系統(tǒng)模擬互動平臺的構(gòu)筑，還是現(xiàn)實的環(huán)境設(shè)計系統(tǒng)，更注重人的感受和體驗，可以更好的傳達中國古代傳統(tǒng)兵器文化信息。這或?qū)⒊蔀槲磥淼难芯繜狳c，也將在一定程度上促進我國展示環(huán)境設(shè)計的發(fā)展。

（作者單位：南京藝術(shù)學院工業(yè)設(shè)計學院）