多模態(tài)交互在虛擬巖心庫(kù)設(shè)計(jì)中的應(yīng)用

曾健友，楊素怡，徐慶杰

(中國(guó)地質(zhì)大學(xué) 藝術(shù)與傳媒學(xué)院，湖北 武漢 430074)

1 引 言

巖心是研究地下地質(zhì)及礦產(chǎn)情況的重要實(shí)物地質(zhì)資料，一般經(jīng)整理裝盒后放置在巖心庫(kù)內(nèi)進(jìn)行保存和管理，以供地質(zhì)工作人員研究使用。同時(shí)，巖心編錄也是地質(zhì)工作及教學(xué)中極其重要的一環(huán)，是地質(zhì)類專業(yè)學(xué)生必備的基本技能[1]。巖心標(biāo)本在常規(guī)管理中因長(zhǎng)期放置、頻繁采樣觀察等多種自然或人為因素，會(huì)受到不同程度的損壞，不利于后期的觀察研究工作[2]。

在巖心教學(xué)實(shí)習(xí)活動(dòng)中，該類巖心標(biāo)本資源更面臨著供需矛盾的困境[3]。為使學(xué)生能近距離觀察巖心以提升學(xué)習(xí)效果，學(xué)校首先要具備巖心庫(kù)條件，考慮學(xué)校巖心庫(kù)的物理空間、巖心存儲(chǔ)管理及相關(guān)資源分配等實(shí)際因素，往往存在供需矛盾、使用不便、學(xué)習(xí)時(shí)間不自由等問題，為此，多位學(xué)者以及相關(guān)企業(yè)提出了建設(shè)數(shù)字化巖心庫(kù)系統(tǒng)的構(gòu)想。例如陳振振等[4]設(shè)計(jì)了基于Web的興城地學(xué)巖心庫(kù)系統(tǒng)；彭濤等[5]以西藏甲瑪?shù)V區(qū)為例設(shè)計(jì)了巖心信息系統(tǒng)；程艷敏等[6]為華北油田建設(shè)了巖心數(shù)字化網(wǎng)絡(luò)系統(tǒng)等等。相關(guān)資料表明，目前國(guó)內(nèi)的克拉瑪依、大慶、大港、渤海等各大油田都開展了巖心數(shù)字化網(wǎng)絡(luò)研究[7]，這些系統(tǒng)設(shè)計(jì)的實(shí)現(xiàn)，極大地便利了巖心信息的管理與使用。用戶只需通過Web瀏覽器或客戶端即可訪問數(shù)字巖心庫(kù)，根據(jù)巖心鉆孔號(hào)、巖心架號(hào)、巖心箱號(hào)或其他關(guān)鍵字即可查詢所需信息，隨時(shí)對(duì)巖心進(jìn)行觀察分析，不再受到地域和時(shí)間的限制，提高了科研、生產(chǎn)和決策的效率。且在部分巖心庫(kù)系統(tǒng)設(shè)計(jì)中，除了大量文本資料，用戶還能獲取到巖心的三維仿真模型，通過鼠標(biāo)按鍵對(duì)巖心進(jìn)行縮放和旋轉(zhuǎn)簡(jiǎn)單操作，便于用戶觀察。

傳統(tǒng)的數(shù)字化巖心信息系統(tǒng)雖然解決了真實(shí)巖心庫(kù)使用過程中存在的問題[8]，但即使有三維仿真的巖心標(biāo)本模型，也仍然缺少了真實(shí)感，無法取代用戶在真實(shí)巖心庫(kù)中親身觀察巖心的體驗(yàn)。此外，目前建設(shè)的巖心信息系統(tǒng)多為專業(yè)用戶服務(wù)或僅對(duì)內(nèi)部開放，無法滿足高校學(xué)生及普通大眾的學(xué)習(xí)需求，不利于全民綜合科學(xué)素質(zhì)的提高。因此，推廣應(yīng)用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建數(shù)字化巖心庫(kù)，不僅能很好地解決以上問題，在拓展傳統(tǒng)巖心庫(kù)功用的同時(shí)，達(dá)到擴(kuò)展學(xué)習(xí)環(huán)境的效果；還能借助于數(shù)字化資源的可存儲(chǔ)性和易于共享的特性促進(jìn)資源的共享和傳播[9]。虛擬巖心庫(kù)不再受物理空間的限制，通過資源共享，理論上即可獲取世界各地巖心庫(kù)的大量巖心信息，為地質(zhì)研究和相關(guān)人員帶來極大的便利。此外，基于其虛擬性，巖心模型不會(huì)產(chǎn)生人為學(xué)習(xí)研究時(shí)可能造成的形態(tài)損壞等不可修復(fù)性，普通公眾也因此可以通過虛擬巖心庫(kù)平臺(tái)近距離觀察巖心，使得廣大社會(huì)公眾都能得到進(jìn)入巖心庫(kù)、了解相關(guān)地質(zhì)知識(shí)的機(jī)會(huì)。在此基礎(chǔ)上，結(jié)合多模態(tài)交互技術(shù)，為用戶提供視覺、聽覺、觸覺等多感官的交互方式，進(jìn)一步提升用戶的沉浸感，使用戶在虛擬巖心庫(kù)中獲得更加自然高效的學(xué)習(xí)體驗(yàn)。

2 虛擬巖心庫(kù)的多模態(tài)交互方式

多模態(tài)交互是一種通過使用兩種或多種輸入或輸出方式，使用戶界面達(dá)到自然、高效的方式[10]。目前的交互方式有語音、觸摸、手勢(shì)、凝視、面部表情、腦電波等[11,12]，下面將具體探討虛擬巖心庫(kù)中的幾種交互方式。

2.1 虛擬現(xiàn)實(shí)用戶界面

相關(guān)研究證明，外界信息中80 %的信息是通過視覺獲得的[13]，因此視覺通道在絕大多數(shù)用戶界面中都是最主要的信息呈現(xiàn)方式。虛擬現(xiàn)實(shí)(VR)用戶界面相較于傳統(tǒng)圖形用戶界面(GUI)，視野范圍得到了極大擴(kuò)展，用戶不再局限于屏幕所呈現(xiàn)的固定內(nèi)容，而是可以360°全方位改變視角，相對(duì)自由的選擇視野中所呈現(xiàn)的內(nèi)容，進(jìn)一步達(dá)到“以用戶為中心”的設(shè)計(jì)目標(biāo)。

基于虛擬現(xiàn)實(shí)平臺(tái)環(huán)境特征和巖心庫(kù)中觀察巖心的主要功能，虛擬巖心庫(kù)也將遵循一般規(guī)則，以視覺通道作為信息呈現(xiàn)的主要方式。

2.2 力觸覺交互

五大感官信息通道中，力觸覺是人類獲取環(huán)境信息中僅次于視覺的重要感官通道。通過力觸覺再現(xiàn)建模技術(shù)，操作者可以感知力的大小、方向，并且在操縱虛擬物體的同時(shí)感受到物體的紋理、剛度、形狀等特征[14]。這種獨(dú)特的雙向信息交互能力，決定了力觸覺感知對(duì)VR用戶體驗(yàn)的重要性，但目前力觸覺的真實(shí)再現(xiàn)還存在很多困難。

當(dāng)前主流的虛擬現(xiàn)實(shí)平臺(tái)，如HTC Vive、Oculus Rift以及索尼PlayStation VR均采用手柄控制器作為標(biāo)準(zhǔn)的交互方式。控制器上的觸摸板、扳機(jī)鍵、抓取鍵等物理按鍵都是一種簡(jiǎn)單的力觸覺交互載體，用戶感知按鍵按下時(shí)即得到“確定觸發(fā)”的力反饋，此外，手柄還能提供簡(jiǎn)單的振動(dòng)反饋。

在虛擬巖心庫(kù)中，采用手柄控制器作為主要交互方式，通過按鍵觸發(fā)事件，進(jìn)行用戶的瞬移、巖心的抓取、UI的選擇等操作；用手柄直接觸摸選擇(碰撞)描述巖心的標(biāo)簽時(shí)，通過手柄振動(dòng)向用戶傳達(dá)“已點(diǎn)擊”的反饋信息。

2.3 語音交互

語言是人類最主要的溝通方式，因此語音交互在人機(jī)交互中有著學(xué)習(xí)成本低的優(yōu)勢(shì)[15]，也是最自然的交互方式。近年來，得益于人工智能技術(shù)的快速發(fā)展，語音交互的核心技術(shù)也都取得了一系列突破性進(jìn)展[16]。例如谷歌的Duplex技術(shù)，讓語音助手能夠自然流暢的與人類通話以完成餐廳預(yù)定等任務(wù)，它不僅能夠理解人類的自然語言，還能通過模仿人類對(duì)話中的語氣詞等細(xì)節(jié)表現(xiàn)得更像一個(gè)真實(shí)的人，極大提升了人機(jī)對(duì)話的體驗(yàn)。

盡管語音交互技術(shù)在近幾年出現(xiàn)了革命性提高，但其能力主要體現(xiàn)在以語音交互為主的個(gè)人數(shù)字處理上，作為其他應(yīng)用的交互方式之一，語音交互效果仍存在很大提升空間。在現(xiàn)有VR應(yīng)用中，多為對(duì)簡(jiǎn)短詞語的識(shí)別，例如使用語音直接說出“放大”或“縮小”對(duì)物體進(jìn)行縮放操作，用戶還無法下達(dá)更為復(fù)雜的指令。

基于目前VR中的語音技術(shù)水平，虛擬巖心庫(kù)采用語音作為輔助交互方式，例如，專業(yè)用戶可通過語音說出巖心箱編號(hào)“JK1-140”直接取出鉆孔JK1井的第140箱巖心，也可通過語音對(duì)巖心進(jìn)行簡(jiǎn)單的旋轉(zhuǎn)、縮放操作。

3 虛擬巖心庫(kù)的多模態(tài)應(yīng)用策略

多模態(tài)交互模式的目標(biāo)是向用戶提供多種與計(jì)算機(jī)交互的選擇方式，通過協(xié)調(diào)兩個(gè)或多個(gè)輸入模式，達(dá)到自然的用戶體驗(yàn)。因此根據(jù)定義，沒有唯一的方法可以應(yīng)用于多模態(tài)交互的設(shè)計(jì)，需要根據(jù)項(xiàng)目需求，選擇合適的交互方式、確定多模態(tài)的組合類型以及集成策略。本文依據(jù)虛擬巖心庫(kù)的需求，結(jié)合Sharon Oviatt關(guān)于多模態(tài)交互的十大迷思[17]和Ritwik Dasgupta提出的新興的多模態(tài)原則[10]，探討其可用性問題，提出對(duì)應(yīng)的應(yīng)用策略。

3.1 不同交互方式擅長(zhǎng)不同任務(wù)

圖形用戶界面更善于向用戶反饋信息。用戶能通過視覺立即從屏幕上直觀地看到當(dāng)前狀態(tài)，但使用語音方式獲取同樣的狀態(tài)信息則需要更長(zhǎng)的時(shí)間。此外，語音使用單一的聽覺通道進(jìn)行信息的反饋，相較于通過聽覺獲取大量信息，人類通常更傾向于通過視覺觀察來獲取相同的信息。因此，基于虛擬巖心庫(kù)通過存儲(chǔ)大量圖文信息以供觀察學(xué)習(xí)的特性，圖形用戶界面無疑是虛擬巖心庫(kù)信息反饋方式的首要選擇。

對(duì)于基于動(dòng)作的命令，用戶可能更喜歡使用語音。因?yàn)檎Z音更加直接，并且與人類在日常生活中發(fā)出指令的行為相似。例如打開客廳空調(diào)這一行為，用戶使用語音只需要下達(dá)“打開客廳空調(diào)”的指令，與日常生活中直接按下空調(diào)啟動(dòng)按鈕一樣直接與簡(jiǎn)潔；如果使用圖形用戶界面，則需要按照順序依次選擇正確的選項(xiàng)(啟動(dòng)“智能家居”APP——>進(jìn)入“首頁(yè)”——>選擇“客廳空調(diào)”——>點(diǎn)擊“開關(guān)”按鈕)，通過多次點(diǎn)擊動(dòng)作來完成相同的任務(wù)。在虛擬巖心庫(kù)中選取巖心進(jìn)行觀察時(shí)，需要通過手柄控制器操作進(jìn)入巖心庫(kù)、鉆孔井、巖心箱以及翻頁(yè)按鈕的一系列選擇操作。對(duì)于專業(yè)用戶和長(zhǎng)期查看固定巖心箱的用戶而言，經(jīng)常使用手柄翻頁(yè)查找?guī)r心箱可能造成操作負(fù)擔(dān)，因此虛擬巖心庫(kù)同時(shí)提供語音交互方式，用戶只需要說出正確的巖心箱編號(hào)即可取出對(duì)應(yīng)巖心箱，用戶體驗(yàn)顯著提升。

語音在多數(shù)情境下并非多模態(tài)交互中的主要模態(tài)。當(dāng)有其他交互方式更利于完成用戶任務(wù)時(shí)，語音可能就僅僅只是一種備用的輸入模態(tài)。此外，語音交互還存在識(shí)別精度、環(huán)境要求、隱私等問題，因此在多模態(tài)交互設(shè)計(jì)中，語音只需要在最合適的情境下使用即可。例如，在虛擬巖心庫(kù)中選擇巖心盒時(shí)，語音僅作為手柄控制器的等價(jià)交互方式，并非特定任務(wù)的唯一交互方式，通過這種交互方式的可選擇性來優(yōu)化用戶體驗(yàn)。

3.2 多模態(tài)并非單模態(tài)的簡(jiǎn)單疊加

多模態(tài)集成中的重復(fù)信息有助于提高指令的精準(zhǔn)度[18]。各種輸入模態(tài)都是通過識(shí)別技術(shù)來理解輸入進(jìn)程的，因此識(shí)別器的精準(zhǔn)度會(huì)影響識(shí)別結(jié)果。從計(jì)算角度來看，多種識(shí)別性輸入模態(tài)可以彼此強(qiáng)化以提高指令的整體精準(zhǔn)度，從而增強(qiáng)用戶體驗(yàn)，這也是多模態(tài)集成中的一個(gè)關(guān)鍵理念。所以從可用性角度來看，這種輸入模態(tài)間的補(bǔ)充特性不應(yīng)因其簡(jiǎn)化輸入的優(yōu)點(diǎn)而被忽視。如在上例中，若用戶使用完整的語音指令和手柄選擇操作共同執(zhí)行放大巖心的任務(wù)，計(jì)算機(jī)通過對(duì)兩種輸入指令的識(shí)別，必定更加明確是哪塊巖心需要執(zhí)行放大命令，所以確保合適的多模態(tài)集成以達(dá)到補(bǔ)充效果非常重要。

不同模態(tài)可傳輸相似信息，但效果不同。上例中使用手柄控制器和語音結(jié)合的方式來放大巖心。在現(xiàn)有的技術(shù)條件下，還可使用凝視和語音的結(jié)合完成相同任務(wù)。如通過凝視看向需要放大的巖心，由視線跟蹤技術(shù)確定目標(biāo)，再根據(jù)語音指令執(zhí)行放大命令。從單項(xiàng)用戶體驗(yàn)的角度來看，通過凝視進(jìn)行選擇是一種更加自然的交互方式，但基于現(xiàn)有的各項(xiàng)交互技術(shù)水平、虛擬巖心庫(kù)的場(chǎng)景以及用戶對(duì)VR環(huán)境目前的感知程度等，若增添凝視以選擇交互對(duì)象，在沒有視覺提示元素的情況下會(huì)由于缺失反饋造成用戶困惑；在增添視覺提示元素的情況下，則會(huì)一定程度地破壞虛擬巖心庫(kù)場(chǎng)景的整體視覺效果，使界面操作看起來更加復(fù)雜。要想凝視交互在原有效果上達(dá)到進(jìn)一步優(yōu)化用戶體驗(yàn)的目的，則需要在設(shè)計(jì)時(shí)投入大量的研究和考量。因此，虛擬巖心庫(kù)將不會(huì)采用凝視作為選擇物體時(shí)的交互方式之一。所以在進(jìn)行多模態(tài)交互方式的設(shè)計(jì)時(shí)，要從可用性的角度考慮，采用哪些輸入模態(tài)、用何種方式結(jié)合，并用于哪些場(chǎng)景，這些都需要與項(xiàng)目的實(shí)際情況緊密結(jié)合。

3.3 用戶對(duì)交互方式的偏好不同

允許用戶選擇自己喜歡的方式進(jìn)行交互。首先要明確，建立一個(gè)多模態(tài)系統(tǒng)并不意味著用戶一定會(huì)用多模態(tài)方式進(jìn)行交互，他們不會(huì)使用多模態(tài)的形式發(fā)出所有指令。其次，所有用戶發(fā)出的多模態(tài)指令不會(huì)以相同的方式集成，不同用戶會(huì)使用不同的方式來操作多模態(tài)系統(tǒng)。例如，對(duì)于同一任務(wù)，系統(tǒng)應(yīng)既能滿足用戶使用語音和手勢(shì)發(fā)出指令，也能滿足使用語音和凝視發(fā)出指令，或僅使用語音來完成交互。因此，指令結(jié)構(gòu)、多模態(tài)集成方案都應(yīng)具有靈活性，這對(duì)人機(jī)之間的自然交流非常重要。雖然這種集成方式的選擇設(shè)計(jì)會(huì)使整體用戶界面更加復(fù)雜，但無疑具有最廣泛的概括性，所以同樣需要設(shè)計(jì)師根據(jù)項(xiàng)目需求進(jìn)行權(quán)衡。此外，不同的使用情境，也會(huì)影響用戶對(duì)交互方式的選擇。例如在人口密集的環(huán)境使用語音交互伴隨的隱私問題、在公共場(chǎng)合使用姿勢(shì)交互造成的尷尬氛圍等。因此，應(yīng)當(dāng)允許用戶自行決定使用哪種方式進(jìn)行交互，以獲得舒適且更加滿意的體驗(yàn)。

綜上所述，高效并不是多模態(tài)系統(tǒng)的僅有優(yōu)勢(shì)，它還能降低單個(gè)識(shí)別系統(tǒng)的錯(cuò)誤率、提高用戶與系統(tǒng)交互時(shí)的靈活性。正因?yàn)槎嗄B(tài)交互的復(fù)雜性，心理學(xué)、認(rèn)知科學(xué)、軟件工程學(xué)和人機(jī)交互等多個(gè)學(xué)科領(lǐng)域都對(duì)多模態(tài)系統(tǒng)的成功設(shè)計(jì)發(fā)揮著重要作用。

4 基于多模態(tài)交互的虛擬巖心庫(kù)教學(xué)設(shè)計(jì)

本節(jié)將以取出鉆孔JK1井的巖心箱進(jìn)行觀察學(xué)習(xí)的流程為例，介紹虛擬巖心庫(kù)的多模態(tài)交互系統(tǒng)。為了匹配系統(tǒng)和現(xiàn)實(shí)世界，首先假定一個(gè)案例情景——某次巖心實(shí)驗(yàn)教學(xué)課程，教師帶領(lǐng)班級(jí)學(xué)生進(jìn)入巖心庫(kù)，對(duì)鉆孔JK1井的巖心進(jìn)行觀察學(xué)習(xí)。

以 A 組學(xué)生為例，按步驟描述進(jìn)入真實(shí)巖心庫(kù)進(jìn)行學(xué)習(xí)的各個(gè)過程：

1)進(jìn)入巖心庫(kù)前，教師向?qū)W生說明巖心庫(kù)相關(guān)規(guī)章制度及注意事項(xiàng)；

2)教師帶領(lǐng)學(xué)生進(jìn)入巖心庫(kù)；

3)A組學(xué)生(共7人)取出編號(hào)為“JK1-140”的巖心箱(箱內(nèi)共7塊巖心)；

4)A組學(xué)生共同觀察該箱巖心的整體情況，并做相應(yīng)學(xué)習(xí)筆記；

5)A組每位學(xué)生分別選擇一塊巖心進(jìn)行細(xì)致觀察，并做相應(yīng)學(xué)習(xí)筆記；

7)A組學(xué)生甲等待一定時(shí)間后，同組學(xué)生乙才完成觀察，甲、乙交換巖心繼續(xù)學(xué)習(xí)。

為了在發(fā)揮數(shù)字化巖心信息系統(tǒng)優(yōu)勢(shì)的同時(shí)，保留真實(shí)環(huán)境的現(xiàn)場(chǎng)感，本文提出構(gòu)建基于虛擬現(xiàn)實(shí)技術(shù)的虛擬巖心庫(kù)，通過多模態(tài)的交互方式，營(yíng)造具有臨場(chǎng)感且更接近自然交互的用戶體驗(yàn)。下面仍然以上面取出巖心進(jìn)行觀察學(xué)習(xí)的流程為例，完整的介紹虛擬巖心庫(kù)系統(tǒng)的設(shè)計(jì)。

4.1 設(shè)計(jì)制作軟硬件環(huán)境

1)三維模型制作：Cinema 4D R20;

2)UI界面制作：Adobe Photoshop CC2019;

3)游戲引擎：Unity 3D;

4)VR平臺(tái)：HTC Vive。

4.2 場(chǎng)景漫游

圖1 選擇目標(biāo)位置Fig.1 Select the target location

虛擬巖心庫(kù)通過資源共享，內(nèi)置多個(gè)巖心庫(kù)資料，用戶可以按需選擇以進(jìn)入對(duì)應(yīng)巖心庫(kù)的虛擬現(xiàn)實(shí)場(chǎng)景。若用戶使用VR設(shè)備的真實(shí)物理空間充足且安全，用戶可如現(xiàn)實(shí)世界一樣在虛擬巖心庫(kù)中走動(dòng)以及觀察巖心庫(kù)環(huán)境；若用戶真實(shí)物理空間中的活動(dòng)范圍有限，則可通過手柄控制器激活瞬移按鍵，選擇合適的目標(biāo)位置后釋放按鍵以確定，完成用戶在虛擬巖心庫(kù)中的位置移動(dòng)(圖1)。此外，還可使用語音“前進(jìn)”、“后退”、“左移”、“右移”的指令完成移動(dòng)位置的任務(wù)，但目前通過語音進(jìn)行移動(dòng)的步幅固定，且距離較短，想要移動(dòng)到較遠(yuǎn)位置，則需要下達(dá)多次語音指令，不如手柄操作靈活快速。

4.3 巖心取放

用戶可以通過場(chǎng)景漫游選擇想要觀察的巖心箱，也可通過手柄控制器的菜單鍵調(diào)出“選擇巖心箱”的功能面板，激活控制器射線選擇對(duì)應(yīng)巖心箱圖片(圖2)，即可跳轉(zhuǎn)至該巖心箱所在位置。再通過手柄抓取鍵，從巖心架上取出巖心箱放置在桌上。同樣使用抓取鍵從巖心箱中取出巖心即可。

圖2 “選擇巖心箱”功能面板Fig.2 The function panel of select the drill core box

在真實(shí)巖心庫(kù)中還原整理巖心時(shí)，可能發(fā)生巖心位置錯(cuò)置的情況，而在VR環(huán)境中通過自動(dòng)吸附能有效解決這一問題。為每塊巖心設(shè)置正確的存儲(chǔ)位置以及自動(dòng)吸附范圍，用戶將巖心移動(dòng)到其吸附范圍內(nèi)時(shí)，巖心的標(biāo)準(zhǔn)放置位置就會(huì)高亮顯示(圖3)，用戶此時(shí)釋放巖心即可讓其自動(dòng)歸位，巖心箱可同樣使用此方法歸位至巖心架，從而提高整個(gè)巖心庫(kù)的整理效率。

圖3 巖心標(biāo)準(zhǔn)放置位置高亮顯示Fig.3 Highlight the drill core standard placement

4.4 巖心觀察

為提升用戶體驗(yàn)，發(fā)揮虛擬現(xiàn)實(shí)環(huán)境的優(yōu)勢(shì)，巖心設(shè)置為不受重力影響。用戶按下抓取鍵從巖心箱中取出巖心，巖心將跟隨手柄控制器移動(dòng)，釋放按鍵即可讓巖心懸停在該處，不會(huì)受重力下落，便于用戶全方位觀察，同時(shí)避免了觀察過程中需手持巖心造成的負(fù)擔(dān)，且可繼續(xù)取出其他巖心，進(jìn)行對(duì)比觀察。

對(duì)巖心進(jìn)行初步觀察后，可按下菜單鍵以顯示該巖心的編錄號(hào)和詳細(xì)文本信息，此時(shí)巖心表面會(huì)同步高亮顯示其地質(zhì)特征標(biāo)記(圖4)。因此，該信息面板既可作為查詢巖心詳情的渠道之一，也可作為學(xué)生用戶觀察巖心后進(jìn)行自學(xué)檢查的方式。

圖4 巖心詳情信息面板Fig.4 The panel of the drill core detail information

此外，每個(gè)實(shí)驗(yàn)桌上還配備有光學(xué)顯微鏡，用于觀測(cè)巖心薄片的內(nèi)部結(jié)構(gòu)(圖5)。當(dāng)用戶抓取巖心靠近顯微鏡，與之進(jìn)行碰撞檢測(cè)后，顯微鏡上會(huì)顯示該巖心中可供選擇的薄片，由于該方法僅在選擇有代表性的巖心時(shí)，分析結(jié)果才具有實(shí)際價(jià)值，因此不同巖心會(huì)顯示數(shù)量不等的薄片，選擇薄片后即可呈現(xiàn)該巖心的鏡下結(jié)構(gòu)，從而展開進(jìn)一步的觀察。

圖5 選擇巖心薄片F(xiàn)ig.5 Select the drill core slice

4.5 學(xué)習(xí)檢測(cè)

用戶按下左手柄控制器的常規(guī)菜單即可調(diào)出“知識(shí)檢測(cè)”面板，由此對(duì)巖心相關(guān)知識(shí)的掌握程度進(jìn)行測(cè)試，以了解自己的學(xué)習(xí)情況。測(cè)試題可由程序設(shè)計(jì)覆蓋大量題目，用戶每次進(jìn)入該面板時(shí)，隨機(jī)出現(xiàn)數(shù)量相等的不同題目。此外還可根據(jù)用戶需求設(shè)置不同難度、不同類型的題庫(kù)以供用戶自由選擇。測(cè)試完成后，系統(tǒng)自動(dòng)計(jì)算成績(jī)，并以此為依據(jù)給出下一步的學(xué)習(xí)建議。

4.6 學(xué)習(xí)輔助

圖6 畫筆工具的使用Fig.6 Use the brush tool

圖7 選擇巖心描述標(biāo)簽Fig.7 Select description labels of thedrill core

左手控制器的觸摸板可調(diào)出圓環(huán)菜單，內(nèi)置四個(gè)功能按鈕，用于巖心的觀察學(xué)習(xí)。其中，畫筆工具可直接在巖心周邊圈點(diǎn)寫字(圖6)，用作學(xué)習(xí)筆記功能；標(biāo)簽工具則可提供常見的地質(zhì)描述文本，如巖心的顏色、結(jié)構(gòu)以及礦物成分等，用戶可根據(jù)觀察，選擇相應(yīng)的描述性標(biāo)簽，放置在巖心對(duì)應(yīng)特征處(圖7)，作為觀察記錄；縮放/旋轉(zhuǎn)工具可通過滑塊控制巖心的放大縮小以及旋轉(zhuǎn)(圖8)，用戶同樣可以直接用控制器抓取巖心，更為直觀的操控巖心的位置和觀察角度；顯示/隱藏工具則用于控制各功能面板及其標(biāo)記的顯示狀態(tài)。此外，實(shí)驗(yàn)桌抽屜內(nèi)也放置了巖心觀察所需的其他工具，通過抓取鍵即可獲取使用。

圖8 縮放巖心Fig.8 Scale the drill core

為進(jìn)一步提升用戶學(xué)習(xí)效果，虛擬巖心庫(kù)會(huì)跟蹤并存儲(chǔ)用戶學(xué)習(xí)痕跡。一方面，隨著用戶使用次數(shù)的增加，逐漸形成更符合用戶個(gè)人情況的學(xué)習(xí)空間，例如，在“知識(shí)檢測(cè)”中記錄錯(cuò)題(圖9)，既可供用戶復(fù)習(xí)回顧，也可在用戶下次進(jìn)行學(xué)習(xí)檢測(cè)時(shí)，由程序設(shè)定的運(yùn)算規(guī)則隨機(jī)給出更適合用戶當(dāng)前學(xué)習(xí)程度的題目，以達(dá)到鞏固和逐步提升的效果，從而真正形成以用戶為中心的個(gè)性化學(xué)習(xí)環(huán)境。另一方面，程序可對(duì)所有用戶的學(xué)習(xí)記錄進(jìn)行收集分類，任課教師可據(jù)此數(shù)據(jù)查看分析學(xué)生的各項(xiàng)學(xué)習(xí)情況，從而準(zhǔn)確又靈活的調(diào)整教學(xué)方案，強(qiáng)化課堂教學(xué)效果。

圖9 查看錯(cuò)題Fig.9 Check wrong questions

在虛擬巖心庫(kù)中，所有交互操作都可通過左右兩個(gè)手柄控制器完成。其中選擇確定的方式主要分為兩類：一種是通過射線進(jìn)行遠(yuǎn)距離選擇，用戶可以通過射線的指向，清晰觀察到被選擇的對(duì)象；另一種是通過碰撞檢測(cè)進(jìn)行近距離選擇，這種方式更符合人類的自然交互模式，但在VR環(huán)境中“觸碰”的并非真實(shí)物體，不會(huì)產(chǎn)生觸感，用戶無法確定對(duì)象是否已被選擇或點(diǎn)擊，所以借助手柄的振動(dòng)反饋替代觸覺感知，向用戶傳達(dá)“已選擇該對(duì)象”的信息。

另外，由于語音技術(shù)在VR環(huán)境中的應(yīng)用還不夠成熟，因此在虛擬巖心庫(kù)中僅作為等價(jià)型交互方式供用戶選擇。例如，在選擇巖心庫(kù)、巖心箱時(shí)，用戶可直接說出對(duì)應(yīng)名稱以完成選擇操作；在多頁(yè)面板中，可通過“上一頁(yè)”、“下一頁(yè)”的語音指令實(shí)現(xiàn)翻頁(yè)；在選取工具時(shí)，可用工具名稱的同名命令“放大鏡”、“尺子”等直接取出或更換手中的工具。

根據(jù)以上設(shè)計(jì)應(yīng)用可以看出，虛擬巖心庫(kù)不僅可以同時(shí)發(fā)揮真實(shí)巖心庫(kù)和數(shù)字巖心庫(kù)的優(yōu)勢(shì)，還具備豐富的信息呈現(xiàn)形式以及多模態(tài)的交互方式，能使用戶獲得更加直觀、自然的交互體驗(yàn)，提升用戶的使用效率和滿意度。

5 結(jié) 語

本文對(duì)多模態(tài)交互進(jìn)行了研究分析，提出了基于多模態(tài)交互的虛擬巖心庫(kù)構(gòu)建，為地學(xué)研究人員提供更加豐富的研究渠道，解決巖心在長(zhǎng)期自然存放中因氧化和風(fēng)化造成原貌損壞從而影響研究準(zhǔn)確率的問題；為高校地質(zhì)教學(xué)節(jié)省物理存儲(chǔ)空間，降低巖心管理上人力、財(cái)力的消耗，解決大量現(xiàn)實(shí)條件因素造成的供需矛盾問題；為普通社會(huì)公眾創(chuàng)造了進(jìn)入巖心庫(kù)近身觀察了解巖心知識(shí)的機(jī)會(huì)，使專業(yè)地質(zhì)資料、實(shí)驗(yàn)室不再遙不可及，滿足了人民群眾日益增長(zhǎng)的文化知識(shí)需求，真正做到資源共享、惠及全民。

目前，虛擬現(xiàn)實(shí)技術(shù)在各領(lǐng)域均有所應(yīng)用，語音、力觸覺、姿勢(shì)、凝視、肌電和腦電等交互技術(shù)也在不斷發(fā)展，但各種交互技術(shù)的研究現(xiàn)狀不盡相同，多模態(tài)結(jié)合時(shí)也往往難以發(fā)揮單個(gè)模態(tài)當(dāng)前的最佳技術(shù)水平。然而，多模態(tài)交互帶來的用戶體驗(yàn)是不可否認(rèn)的，技術(shù)的進(jìn)步與融合也是必然的發(fā)展趨勢(shì)。可以想象，使用更加人性化的語音操作、使用更加精細(xì)的觸覺反饋裝置感受交互對(duì)象的紋理重量、使用電腦控制界面的呈現(xiàn)內(nèi)容、使用面部表情捕捉和視線跟蹤技術(shù)收集用戶數(shù)據(jù)以優(yōu)化系統(tǒng)，這些在未來的虛擬巖心庫(kù)設(shè)計(jì)以及其他領(lǐng)域的應(yīng)用中都將得以實(shí)現(xiàn)，從而為全民生活各方面的體驗(yàn)帶來極大提升。