基于Leap Motion的虛擬拆裝系統(tǒng)在新工科教育領(lǐng)域的應(yīng)用研究

解鋼 齊鵬渤 項(xiàng)陽(yáng) 王宇靜

摘要：針對(duì)新工科教育背景下對(duì)于拆裝課程需求，通過(guò)手勢(shì)識(shí)別與VR技術(shù)相結(jié)合，設(shè)計(jì)了一種高效真實(shí)的人機(jī)交互虛擬拆裝訓(xùn)練系統(tǒng)。詳細(xì)介紹了系統(tǒng)的功能結(jié)構(gòu)，設(shè)計(jì)了諸如拆裝、測(cè)量等訓(xùn)練功能分模塊，使用Unity3D開(kāi)發(fā)3D虛擬訓(xùn)練場(chǎng)景，并引入VR技術(shù)增加沉浸體驗(yàn)，并使用Leap Motion設(shè)備捕獲手部數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行分析并將手部動(dòng)作轉(zhuǎn)化為指示命令。為新技術(shù)助力新工科建設(shè)和工程教育領(lǐng)域的發(fā)展?jié)摿μ峁┝擞辛Φ膶?shí)例。

關(guān)鍵詞：新工科;虛擬現(xiàn)實(shí);人機(jī)交互;LeapMotion;虛擬拆裝

Abstract：Aiming at the demand of disassembly course under the background of new engineering education， an efficient and real human-computer interaction virtual disassembly training system is designed by combining gesture recognition and VR technology[4] The functional structure of the system is introduced in detail， and the training function modules such as disassembly and measurement are designed. Unity3D is used to develop 3D virtual training scene， and VR technology is introduced to increase immersion experience. Leap Motion equipment is used to capture the hand data， analyze the data and convert the hand action into the instruction command. It provides a powerful example for the development potential of new technologies to help new engineering construction and engineering education.

Key words：Emerging Engineering Education; VR; man-machine interaction; Leap Motion; gesture recognition

在新工科課程中，諸多專(zhuān)業(yè)諸如機(jī)械、汽車(chē)、航空等對(duì)學(xué)生動(dòng)手能力有著嚴(yán)格的要求，在高等院校中普遍開(kāi)設(shè)了拆裝訓(xùn)練的課程，這旨在幫助學(xué)生有效鞏固和拓寬理論知識(shí)，培養(yǎng)動(dòng)手實(shí)踐能力。[1]當(dāng)前高校拆裝教學(xué)多采用傳統(tǒng)教學(xué)模式。學(xué)習(xí)受到等多方面的限制，實(shí)際學(xué)習(xí)過(guò)程中可能無(wú)法保證教學(xué)工作的正常進(jìn)行。基于Leap Motion體感操作系統(tǒng)與Unity游戲開(kāi)發(fā)平臺(tái)共同打造基于體感交互技術(shù)的拆裝訓(xùn)練系統(tǒng)。將增強(qiáng)現(xiàn)實(shí)與機(jī)械零件拆裝技術(shù)相結(jié)合，解決了傳統(tǒng)教學(xué)的場(chǎng)地有限性和教學(xué)內(nèi)容單一性，學(xué)生體驗(yàn)枯燥性的問(wèn)題，對(duì)于課程建設(shè)過(guò)程與進(jìn)度控制起到了改革性的促進(jìn)作用。

1 系統(tǒng)功能與模塊定義

系統(tǒng)使用Leap Motion手勢(shì)識(shí)別設(shè)備作為交互技術(shù)的底層支持，通過(guò)捕捉用戶(hù)的手勢(shì)動(dòng)作進(jìn)行識(shí)別處理，完成對(duì)任務(wù)場(chǎng)景的系統(tǒng)規(guī)定進(jìn)行互動(dòng)與交流，通過(guò)教學(xué)、考察的方式提高對(duì)拆裝裝配過(guò)程的熟練度和肌肉記憶。同時(shí)通過(guò)不同的功能模塊以滿(mǎn)足不同用戶(hù)的個(gè)性化需求。項(xiàng)目系統(tǒng)使用的3D的虛擬場(chǎng)景與Unity 3D進(jìn)行結(jié)合，提高了用戶(hù)虛擬沉浸度，使更好地融入使用過(guò)程中。

1.1 系統(tǒng)功能需求分析

在各種機(jī)械零件的拆裝方法、步驟及技巧研究過(guò)程中，教師可以向?qū)W生展示機(jī)械零件的使用以及拆裝方法等相關(guān)教學(xué)材料或視頻，同時(shí)教師也可直接通過(guò)使用該系統(tǒng)，現(xiàn)場(chǎng)向?qū)W生演示對(duì)機(jī)械零件的操作步驟，提高學(xué)生對(duì)復(fù)雜的零件組合體內(nèi)部結(jié)構(gòu)及組成結(jié)構(gòu)的理解。[3]關(guān)于系統(tǒng)在基礎(chǔ)功能的實(shí)現(xiàn)上，通過(guò)設(shè)計(jì)控制人物視角在建立的虛擬場(chǎng)景中行走，實(shí)現(xiàn)空間位置的變化，切換不同的觀看視角操作工具實(shí)現(xiàn)功能;設(shè)置抓取扳手，尺子等工具及材料，對(duì)建立好的實(shí)體等比例模型進(jìn)行拆裝及測(cè)量訓(xùn)練任務(wù);并以Leap Motion開(kāi)發(fā)手勢(shì)抓取功能，使用不同的工具對(duì)操作進(jìn)行模擬，如使用扳手緊螺絲、測(cè)量口徑等;開(kāi)發(fā)UI交互功能，在訓(xùn)練任務(wù)模塊記錄訓(xùn)練過(guò)程中產(chǎn)生的錯(cuò)誤，以供后期改正，并加入了錯(cuò)誤提示功能，提高了訓(xùn)練效率。[8]

1.2基于手勢(shì)識(shí)別的3D交互拆裝訓(xùn)練任務(wù)

此系統(tǒng)模塊不以傳統(tǒng)的虛擬裝配系統(tǒng)依靠鼠標(biāo)和鍵盤(pán)作為人機(jī)交互設(shè)備，雖然能夠保證準(zhǔn)確的定位，但交互和沉浸性較差。虛擬現(xiàn)實(shí)技術(shù)的高速發(fā)展，也進(jìn)一步推動(dòng)了人機(jī)交互技術(shù)在智能化、人性化方面的發(fā)展。系統(tǒng)以Leap Motion設(shè)備的手勢(shì)識(shí)別作為輸入設(shè)備，實(shí)現(xiàn)人機(jī)交互的升級(jí)體驗(yàn)，同時(shí)基于3D虛擬設(shè)備的3D場(chǎng)景，提高了現(xiàn)實(shí)使用過(guò)程中的便捷性與沉浸感。

將基于拆裝訓(xùn)練的目的將拆裝訓(xùn)練及考核作為兩個(gè)基本主模塊。在訓(xùn)練模塊設(shè)計(jì)不同章節(jié)適應(yīng)訓(xùn)練需要;在考核模塊根據(jù)不同的進(jìn)度和難度設(shè)計(jì)不同的考核內(nèi)容，并記錄錯(cuò)誤并顯示生成系統(tǒng)的報(bào)告幫助自我糾錯(cuò)，通過(guò)評(píng)分獎(jiǎng)勵(lì)機(jī)制，同時(shí)教師會(huì)收到考核過(guò)程匯總的成績(jī)單，并進(jìn)行相應(yīng)的講解教學(xué)與針對(duì)性訓(xùn)練。

2 系統(tǒng)開(kāi)發(fā)與實(shí)現(xiàn)

2.1軟件技術(shù)架構(gòu)

系統(tǒng)采用分層式架構(gòu)構(gòu)造子任務(wù)組的分解程序，每個(gè)子任務(wù)都處于一個(gè)特定的抽象級(jí)別。子任務(wù)為下一層級(jí)提供服務(wù)如表1所示。

分層架構(gòu)模式里的部分被分成幾個(gè)平行的層次，每一層都代表了軟件的一個(gè)功能。大多數(shù)架構(gòu)被分為四個(gè)層次：展示層，業(yè)務(wù)層，持久層，和數(shù)據(jù)庫(kù)層。