基于觸覺反饋的虛擬仿真實驗設計

張學麗 鐘正 史會芳 張月

當前虛擬仿真資源多以學習者視覺為主要反饋感官，受VR系統(tǒng)設計界面上的局限，輸入主要以凝視、手勢、交互手柄等為主，缺乏高維度上的信息反饋和交互，大大降低了學習者在虛擬世界中的真實感受[1]。針對當前教學資源中交互過程不自然、視覺易疲勞、沉浸感不強等問題。本文利用zSpace設備所獨有的觸覺反饋和雙目立體顯示技術，設計了一種基于觸覺反饋的虛擬仿真資源方案，包括沉浸式仿真環(huán)境構建、場景舒適區(qū)設計、虛擬場景布置與觸覺交互設計。將振動式觸覺反饋與沉浸式環(huán)境相結合并融合多種感官，實現既能看到又能摸到的交互體驗，為情景化的學習資源構建提供一種新模式，激發(fā)學習者的學習興趣和積極性，滿足其獲得更佳沉浸感的需求。

搭建沉浸式虛擬仿真環(huán)境

沉浸式虛擬仿真環(huán)境需要模擬雙眼標定左右相機的參數，確定視差區(qū)域和類型。在場景布設時，還需要計算學習者觀察的最佳舒適區(qū)，合理布局場景的交互界面及三維模型。

1.雙目視差類型

根據物體在虛擬場景中的深度位置（相對屏幕），人眼的立體感能區(qū)別物體的遠近。由于深度值決定了立體圖像中的視差量與類型，因此根據深度位置將視差劃分為三種類型，即零視差、正視差、負視差[2，3]。正視差表示被觀察物體投影到左右眼時會和投影平面有兩個焦點，使人產生物體深入屏幕的感覺。零視差表示左右眼的投影點剛好在物理平面上，且左右眼所采集的兩幅圖像之間沒有任何差別。負視差表示投影點在屏幕以外，視差出現反轉，被觀察的物體看上去就像飄浮在眼睛和屏幕之間的三維空間，使人產生突出在屏幕外的感覺。由于左右眼的視線方向是平行的，并非垂直發(fā)射，因此合理利用VR設備和視差可獲得最佳3D舒適區(qū)（即耦合區(qū)）。

2.虛擬場景布設

人眼具有提取影像深度信息的感知能力，當用戶在合適距離觀看VR顯示設備時，屏幕表面（零視差面）的兩邊都會呈現清晰畫面。由于人眼的景深作用，聚集在一定景深范圍內不再需要重新聚焦，仍可在較長的一段時間內保持舒適體驗[4]。聚集與聚焦具有耦合性，使得耦合區(qū)域成為3D場景最為重要的組合空間，為使用者提供舒適的3D效果。超出耦合區(qū)域學習者會產生不適感，隨著離散性的增強，越容易視覺疲勞，當到達臨界點時，用戶將無法融合左右兩幅的圖像，完全破壞3D視覺效果。

因此，布設場景時需要先確定耦合區(qū)域，按照表1所示布設沉浸式環(huán)境的耦合和離散區(qū)域。

在場景中合理布設模型位置可以有效避免視覺疲勞、獲得舒適視角。由于虛擬場景包含UI交互界面和三維模型兩部分，其設計方式分別如下。

交互界面在操作過程中不需要跟隨視角產生立體感，為避免其傾斜，影響學習者觀察場景內容，將交互界面的元素都放置在零視差面，如圖1所示。

圖1 交互界面位置

三維模型的初始位置應被設在耦合區(qū)域的正視差范圍內（0～30cm），如圖2所示，這樣能實現交互過程中拖拽、旋轉、縮放三維模型到負視差區(qū)域，獲得全方位多角度的舒適觀察體驗。

觸覺交互設計

虛擬仿真資源為學習者構建了一個逼真的學習環(huán)境，但較難獲得真實操作體驗，視覺只負責定位，獲得更加真實操作體驗需要配合觸覺交互設備。

1.觸覺交互形式

虛擬仿真資源中常用的觸覺交互反饋方式主要以手持式觸覺反饋、可穿戴的移動觸覺反饋為主[5]。本文選用手持式力反饋觸控筆，采用和VR手柄類似的交互方式：兩手獨立操作、6自由度的空間定位跟蹤，帶有按鈕和振動反饋以及LED顯示燈。之所以選擇這種反饋方式是跟學習者的操作習慣分不開的，其形狀類似于手寫筆，由左、中、右鍵組成，操作方法類似于鼠標，可以個性化設置振動強度，此外LED燈也會交替變換顏色，滿足學習者在視覺和觸覺上的學習需要。

在觸控筆交互設計時需要著重強調觸控筆的可視化和射線長度可視化兩個因素。

圖3 觸控筆的可視化

觸控筆的可視化：能在虛擬場景中模擬鼠標控制二維屏幕上光標效果，便于學習者觀察其操作。這種類型的可視化形式多樣，比如激光束等，也可對場景中三維模型進行可視化操作，比如模擬解剖刀、手等，如圖3所示。觸控筆射線長度的可視化：由于射線長度有固定長度、可變長度、混合長度三種類型，通過設置觸控筆初始長度，控制場景交互以及振動力度。本文選擇可變長度和混合長度相結合的交互形式。

2.觸覺交互反饋

借助觸覺反饋，學習者可以通過交互筆的振動力度和時間長短，獲得不同的交互體驗，實現身臨其境的沉浸感。交互主要為用戶提供引導與及時的反饋，不僅包括皮膚的觸覺反饋，還融合視、聽覺達到更加自然和真實的交互體驗力反饋。觸控筆在虛擬仿真場景中觸覺交互類型：左鍵控制“拖動”、中鍵控制“點擊（抓?。?、右鍵控制“旋轉”。

上述三種交互方式在反饋過程中顯得尤為重要，由于力反饋觸控筆只能以振動形式給手部反饋，因此需要針對這三種振動反饋交互方式專門設計。點擊交互操作，觸控筆會出現一個短暫的振動，說明處于點擊物體狀態(tài)。拖動操作時，觸控筆會模擬現實生活中的位置發(fā)生變化，當用戶拾取模型時，可以通過調整振動力的大小和頻率來模擬重量，重量較大的物體，在拖動過程中振動力度較大、頻率較快。旋轉操作時，可以實現旋轉模型查看物體的結構，根據模型表面的真實結構，通過觸覺反饋模型計算反饋力的大小，旋轉過程中振動會持續(xù)產生。

種子萌發(fā)仿真實驗應用分析

按照觸覺反饋沉浸式仿真實驗的設計方案，我們設計并實現了《中學實驗教學》中種子萌發(fā)虛擬仿真實驗，為了驗證應用效果，以某中學七年級的學生為研究對象，使用該資源進行教學活動。通過對種子萌發(fā)知識前測、后測、課中隨堂觀察、課后師生訪談等方法進行反饋驗證。根據課堂學習情況和學生的學習反饋，發(fā)現融入觸覺反饋的教學資源能夠帶來新的教學體驗，重構已有知識結構，還能夠激發(fā)學生的好奇心，帶給學生增強理解力的學習體驗。因此無論從傳授基礎知識還是鍛煉學生的動手操作能力方面，它都起到非常重要的作用。

本文將雙目立體顯示技術和觸覺反饋技術融合到虛擬仿真實驗設計中，通過構建虛擬仿真環(huán)境，探究視覺舒適區(qū)中場景合理布設，并結合觸覺交互方式的多樣性和反饋的真實性，將觸覺反饋應用到沉浸式虛擬仿真資源中，運用觸覺反饋模擬真實的交互操作。這種思路可以使那些成本高、周期長、不易觀察的實驗過程變得形象和具體，便于強化學生對緘默知識的獲取與理解。

參考文獻

路璐，田豐，戴國忠，王宏安. 融合觸、聽、視覺的多通道認知和交互模型[J]. 計算機輔助設計與圖形學學報，2014，26（04）： 654-661.

何偉. Unity虛擬現實開發(fā)圣典[M]. 北京：中國鐵道出版社，2016：290-291.

趙猛，金一丞，尹勇. 立體顯示中雙目視差模型和深度感知研究[J]. 計算機工程，2011，37（17）： 271-273.

Tam W J， Speranza F， Yano S， et al.Stereoscopic 3DTV： visual comfort[J]. Broadcasting， IEEE Transactions on 2011， 57（2）： 335-346.

王晨. 基于虛擬現實的沉浸式觸覺交互教學應用研究[D]. 吉林大學，2017.