混合現(xiàn)實(shí)（MR）技術(shù)在機(jī)械實(shí)踐類課程的全息教學(xué)應(yīng)用研究

劉俊英，梁豐

（河源職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院，廣東河源 517000）

0 引言

《國(guó)家教育事業(yè)發(fā)展“十三五”規(guī)劃》中提出要實(shí)現(xiàn)中國(guó)教育現(xiàn)代化2030遠(yuǎn)景目標(biāo)，目標(biāo)包括教育質(zhì)量全面提升。在當(dāng)前形勢(shì)下，國(guó)家鼓勵(lì)改革創(chuàng)新驅(qū)動(dòng)教育發(fā)展、激發(fā)學(xué)校辦學(xué)活力、強(qiáng)化高校創(chuàng)新體系建設(shè)、積極發(fā)展“互聯(lián)網(wǎng)+教育”?！肮I(yè)4.0”、“制造2025”已成為當(dāng)代的關(guān)鍵詞。

2016年是我國(guó)虛擬現(xiàn)實(shí)技術(shù)的元年，虛擬現(xiàn)實(shí)技術(shù)簡(jiǎn)稱VR，是利用三維圖形生成、多傳感交互、多媒體、人工智能、人機(jī)接口、高分辨顯示等高新科技，對(duì)現(xiàn)實(shí)世界進(jìn)行全面仿真的一種技術(shù)[1-3]。VR技術(shù)具有沉浸性（Immersive）、交互性（Interactive）和想象性（Imagination）3種特征[4-5]。混合現(xiàn)實(shí)技術(shù)簡(jiǎn)稱MR，是VR技術(shù)的進(jìn)一步發(fā)展[6]，該技術(shù)將真實(shí)場(chǎng)景和虛擬元素不同程度地融合在一起，形成虛實(shí)結(jié)合的混合可視化環(huán)境,以增強(qiáng)用戶體驗(yàn)的真實(shí)感。MR技術(shù)具有虛實(shí)結(jié)合、交互性和3D注冊(cè)等3個(gè)基本特征[7]。

隨著時(shí)代的不斷進(jìn)步，將虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)技術(shù)應(yīng)用于教育領(lǐng)域已成為必然的發(fā)展趨勢(shì)。

1 混合現(xiàn)實(shí)技術(shù)在機(jī)械實(shí)踐類課程的應(yīng)用優(yōu)勢(shì)

1.1 搭建理實(shí)橋梁并實(shí)現(xiàn)教學(xué)與產(chǎn)業(yè)需求接軌

因?yàn)闄C(jī)械實(shí)踐類課程的特殊性，學(xué)生需要掌握必須的操作技能。為了培養(yǎng)技能型人才，目前很多高職和中職院校開(kāi)設(shè)的實(shí)踐類課程占比非常多。但是由于實(shí)訓(xùn)場(chǎng)地不夠大、實(shí)訓(xùn)設(shè)備不夠全、教學(xué)成本比較高、購(gòu)買的設(shè)備價(jià)格比較昂貴且需謹(jǐn)慎使用等原因，機(jī)械類專業(yè)的實(shí)踐課程很難順利開(kāi)展實(shí)訓(xùn)。即使勉強(qiáng)開(kāi)展了實(shí)訓(xùn)，在實(shí)訓(xùn)授課中，因?yàn)榘嗉?jí)人數(shù)較多，需要很多人一組才能操作一臺(tái)實(shí)訓(xùn)設(shè)備，致使只有少數(shù)積極動(dòng)手的學(xué)生能得到訓(xùn)練，大多數(shù)學(xué)生經(jīng)常因?qū)嵱?xùn)時(shí)間有限、實(shí)訓(xùn)場(chǎng)地不夠大或者因?yàn)榘踩蛩乜紤]，只能掌握片面的實(shí)踐技能，不能進(jìn)行核心、全面和系統(tǒng)化的實(shí)踐訓(xùn)練。另外，有些院校的實(shí)訓(xùn)設(shè)備更新?lián)Q代比較慢，已經(jīng)不適應(yīng)企業(yè)的新需求，所培養(yǎng)學(xué)生的職業(yè)技能已跟不上時(shí)代的進(jìn)步?；谝陨线@些原因，將混合現(xiàn)實(shí)技術(shù)應(yīng)用于機(jī)械實(shí)踐類課程的實(shí)踐訓(xùn)練勢(shì)在必行。通過(guò)混合現(xiàn)實(shí)技術(shù)，作為連接“理論”和“實(shí)踐”的橋梁，實(shí)現(xiàn)維度、真實(shí)與交互的升級(jí)，能夠提升實(shí)訓(xùn)效果與學(xué)習(xí)積極性；并且能夠配合學(xué)校真實(shí)的設(shè)備，以虛實(shí)結(jié)合的方式提供與產(chǎn)業(yè)需求相接軌的實(shí)訓(xùn)教學(xué)內(nèi)容。也可以將企業(yè)的實(shí)際加工設(shè)備與混合現(xiàn)實(shí)技術(shù)相融合，在學(xué)校實(shí)訓(xùn)中通過(guò)構(gòu)建虛擬仿真實(shí)訓(xùn)平臺(tái)讓學(xué)生們理解產(chǎn)業(yè)需求，培養(yǎng)實(shí)踐技能，實(shí)現(xiàn)教學(xué)與產(chǎn)業(yè)需求接軌。

1.2 開(kāi)發(fā)成本低且安全系數(shù)高

傳統(tǒng)的機(jī)械實(shí)踐類課程需要學(xué)生直接在實(shí)訓(xùn)設(shè)備上進(jìn)行操作，由于學(xué)生是初學(xué)者，很容易發(fā)生安全事故，將混合現(xiàn)實(shí)技術(shù)應(yīng)用到該類課程中即可完全避免安全事故。通過(guò)虛擬仿真軟件教學(xué)后再進(jìn)行真實(shí)設(shè)備的實(shí)踐教學(xué)，可以大大減少安全事故的發(fā)生。

基于混合現(xiàn)實(shí)技術(shù)對(duì)機(jī)械實(shí)踐類課程進(jìn)行虛擬仿真軟件開(kāi)發(fā)完成后，只需進(jìn)行維護(hù)升級(jí)即可，不用再購(gòu)買相關(guān)實(shí)體設(shè)備，可以大大降低學(xué)校實(shí)訓(xùn)室的資金投入。

1.3 解決學(xué)校實(shí)訓(xùn)資源匱乏、實(shí)現(xiàn)“自主造血”的需要

隨著時(shí)代與產(chǎn)業(yè)的發(fā)展，數(shù)字化教學(xué)資源建設(shè)應(yīng)該緊跟前沿技術(shù)、與時(shí)俱進(jìn)。目前許多院校的機(jī)械類專業(yè)實(shí)訓(xùn)室缺乏基于混合現(xiàn)實(shí)技術(shù)的虛擬仿真實(shí)訓(xùn)室，學(xué)生在實(shí)訓(xùn)的過(guò)程中經(jīng)常出現(xiàn)不按規(guī)程操作等行為，使設(shè)備嚴(yán)重老化、精度下降，致使本來(lái)為數(shù)不多的實(shí)訓(xùn)資源更加匱乏。通過(guò)混合現(xiàn)實(shí)技術(shù)的應(yīng)用，可解決實(shí)訓(xùn)資源匱乏的現(xiàn)實(shí)問(wèn)題。同時(shí)可以提升專業(yè)教師及學(xué)生的高質(zhì)量教學(xué)資源個(gè)性化開(kāi)發(fā)和持續(xù)升級(jí)的能力，并且可以根據(jù)機(jī)械實(shí)踐類課程的特色、教學(xué)側(cè)重點(diǎn)和教學(xué)難點(diǎn)，配合自身的教學(xué)方法，開(kāi)發(fā)個(gè)性化虛實(shí)結(jié)合的教學(xué)資源，并不斷地進(jìn)行升級(jí)改造，從而滿足學(xué)生對(duì)實(shí)訓(xùn)設(shè)備的需求，實(shí)現(xiàn)“自主造血”的需要。

2 基于混合現(xiàn)實(shí)技術(shù)進(jìn)行全息教學(xué)系統(tǒng)應(yīng)用研究

重點(diǎn)研究MR（混合現(xiàn)實(shí)）技術(shù)在傳統(tǒng)機(jī)械實(shí)踐類課程中的應(yīng)用，將MR技術(shù)與機(jī)械實(shí)踐類課程所涉及的專業(yè)技術(shù)相結(jié)合，基于MR技術(shù)將機(jī)械實(shí)踐類課程所涉及的專業(yè)技術(shù)以混合現(xiàn)實(shí)形式進(jìn)行呈現(xiàn)，具體研究?jī)?nèi)容如下。

1）虛擬實(shí)訓(xùn)設(shè)備。機(jī)械實(shí)踐類課程涉及到很多實(shí)訓(xùn)設(shè)備（如數(shù)控機(jī)床、汽車發(fā)動(dòng)機(jī)等），要開(kāi)發(fā)全息教學(xué)應(yīng)用系統(tǒng)就需要虛擬相應(yīng)的實(shí)訓(xùn)設(shè)備，包括實(shí)訓(xùn)設(shè)備本體和相應(yīng)的檢測(cè)和拆裝工具等。虛擬實(shí)訓(xùn)設(shè)備和檢測(cè)及拆裝工具需要做到外觀結(jié)構(gòu)及各部分尺寸與真實(shí)實(shí)訓(xùn)設(shè)備和工具完全相同，需要開(kāi)發(fā)者在建模方面功底較深。目前用于建模的軟件主要有UG、Pro/E、3D MAX、SolidWorks等，為使應(yīng)用者有更強(qiáng)的體驗(yàn)感和真實(shí)感還需要附以Photoshop等軟件進(jìn)行建模優(yōu)化。

2）部件認(rèn)知介紹。學(xué)生新接觸實(shí)訓(xùn)設(shè)備可以在基于混合現(xiàn)實(shí)研發(fā)的虛擬仿真系統(tǒng)中進(jìn)行部件認(rèn)知介紹，通?？梢酝ㄟ^(guò)引出線和部件提示等方式進(jìn)行。開(kāi)發(fā)的全息教學(xué)系統(tǒng)應(yīng)考慮到應(yīng)用者位置視角與設(shè)備的距離關(guān)系進(jìn)行引出線的顯示，引出線應(yīng)可以顯示全部設(shè)備的名稱，也可以根據(jù)使用者的位置進(jìn)行分級(jí)分層顯示，增加真實(shí)感和體驗(yàn)感。當(dāng)使用者碰觸到某個(gè)零部件時(shí)，應(yīng)自動(dòng)顯示該結(jié)構(gòu)的名稱，亦可以通過(guò)語(yǔ)音等進(jìn)行部件名稱提示。

3）全息教學(xué)系統(tǒng)軟件界面定制。軟件界面的定制包括菜單、工具條和界面布局等方面。為保持界面的整潔，使應(yīng)用者有更好的體驗(yàn)感，盡量不在界面上顯示菜單，可以采用隱匿式菜單，需要時(shí)可以點(diǎn)擊顯示，不需要時(shí)可以將其隱藏。軟件界面的整個(gè)屏幕盡量不要被切分，都用來(lái)顯示實(shí)訓(xùn)場(chǎng)景，可以使用戶有更真實(shí)的使用效果。

4）虛擬實(shí)訓(xùn)場(chǎng)景構(gòu)建。在全息教學(xué)系統(tǒng)中構(gòu)建虛擬實(shí)訓(xùn)場(chǎng)景，應(yīng)該使學(xué)習(xí)者可以進(jìn)行漫游操作，可實(shí)現(xiàn)第一人稱漫游，包括前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、抬頭、低頭等，這樣可以增加真實(shí)感和交互性。

5）運(yùn)動(dòng)仿真實(shí)現(xiàn)。學(xué)習(xí)實(shí)訓(xùn)設(shè)備（數(shù)控機(jī)床或汽車發(fā)動(dòng)機(jī)等）的工作原理需要進(jìn)行運(yùn)動(dòng)仿真實(shí)現(xiàn)。全息教學(xué)系統(tǒng)應(yīng)能夠通過(guò)局部顯示、剖切顯示、透視效果、旋轉(zhuǎn)效果等各種形式，在使用者的各個(gè)視角學(xué)習(xí)和觀察實(shí)訓(xùn)設(shè)備運(yùn)動(dòng)的整個(gè)過(guò)程。運(yùn)動(dòng)仿真實(shí)現(xiàn)是整個(gè)全息教學(xué)系統(tǒng)開(kāi)發(fā)的難點(diǎn)，需要開(kāi)發(fā)者熟悉整個(gè)實(shí)訓(xùn)設(shè)備的運(yùn)動(dòng)原理并在開(kāi)發(fā)平臺(tái)上通過(guò)編程、動(dòng)畫(huà)演示等來(lái)實(shí)現(xiàn)。

6）感知系統(tǒng)與圖像識(shí)別研究。感知系統(tǒng)與圖像識(shí)別是計(jì)算機(jī)系統(tǒng)快速和精確地分析圖像并識(shí)別其特征的能力。其過(guò)程是先用攝像頭捕捉畫(huà)面，把現(xiàn)實(shí)的東西虛擬化，把二維的圖像通過(guò)計(jì)算機(jī)形成三維的虛擬圖像，形成3D建模，把實(shí)訓(xùn)場(chǎng)景及實(shí)訓(xùn)設(shè)備融合進(jìn)虛擬的3D世界里面，可以大大減少建模工作量，使虛擬實(shí)訓(xùn)設(shè)備的建模更加容易實(shí)現(xiàn)。

7）拆裝、維修、操作實(shí)訓(xùn)混合現(xiàn)實(shí)創(chuàng)建。全息教學(xué)系統(tǒng)中可以進(jìn)行實(shí)訓(xùn)拆裝、維修、操作等混合現(xiàn)實(shí)創(chuàng)建?；贛R的全息教學(xué)系統(tǒng)可以先讓學(xué)生觀看實(shí)訓(xùn)拆裝、維修、操作的正確步驟，對(duì)各實(shí)訓(xùn)過(guò)程進(jìn)行仿真演示，同時(shí)伴有語(yǔ)音或文字說(shuō)明，讓學(xué)生盡快理解和掌握。為增強(qiáng)交互性，提高學(xué)生的動(dòng)手實(shí)踐能力，在觀看拆裝、維修、操作演示之后，可以在系統(tǒng)上進(jìn)行實(shí)訓(xùn)操作，學(xué)生可以按操作步驟完成一系列的操作任務(wù)，教學(xué)系統(tǒng)可以給予一定的評(píng)價(jià)，如果學(xué)生出現(xiàn)錯(cuò)誤，可以提示其進(jìn)行改正，上一步正確后才可以進(jìn)行下一步操作。拆裝、維修、操作實(shí)訓(xùn)等混合現(xiàn)實(shí)創(chuàng)建是一個(gè)非常復(fù)雜的過(guò)程，開(kāi)發(fā)者可以由淺入深、逐步推進(jìn)，先實(shí)現(xiàn)較簡(jiǎn)單的功能，再根據(jù)實(shí)際情況不斷升級(jí)和完善。

8）觀察功能實(shí)現(xiàn)。全息教學(xué)系統(tǒng)中應(yīng)包括豐富的觀察功能，包括局部觀察、剖視圖觀察、縮放觀察、透視觀察、旋轉(zhuǎn)觀察等手段。這樣可以使學(xué)習(xí)者比觀察真實(shí)設(shè)備還能更真切地熟悉和掌握所學(xué)實(shí)踐內(nèi)容。在觀察模式方面，主要有場(chǎng)景觀察和焦點(diǎn)觀察兩種模式。場(chǎng)景觀察模式包括整個(gè)場(chǎng)景的顯現(xiàn)，支持學(xué)習(xí)者的移動(dòng)和視線轉(zhuǎn)動(dòng)，可以根據(jù)學(xué)習(xí)者的要求進(jìn)行上下、前后、左右、遠(yuǎn)近的切換，使學(xué)習(xí)者更有自主感，更加身臨其境。焦點(diǎn)模式就是將所學(xué)相應(yīng)實(shí)訓(xùn)設(shè)備作為主要顯示觀察對(duì)象，隱去周圍其他的輔助場(chǎng)景。

9）輔助功能實(shí)現(xiàn)。輔助功能有很多，通常最常用的為語(yǔ)音提示學(xué)習(xí)功能，該功能可以通過(guò)語(yǔ)音提示學(xué)生進(jìn)行操作的相關(guān)步驟，可以使學(xué)生更快地掌握所操作內(nèi)容，增加整個(gè)教學(xué)應(yīng)用系統(tǒng)的趣味性和實(shí)用性。

10）同步位置和映射（SLAM）功能實(shí)現(xiàn)。SLAM是混合現(xiàn)實(shí)技術(shù)應(yīng)用的難點(diǎn)。混合現(xiàn)實(shí)既要考慮虛擬世界的位置，又要匹配真實(shí)世界的位置，一切都在使用者的操作下不斷地變化中，為了使虛實(shí)融合，需要不斷地感知和創(chuàng)建新的環(huán)境地圖，定位和跟蹤使用者的實(shí)時(shí)運(yùn)動(dòng)位置。同步位置和映射（SLAM）功能的實(shí)現(xiàn)通常需要采用傳感器數(shù)據(jù)傳遞和圖像識(shí)別的SLAM算法來(lái)計(jì)算使用者在真實(shí)物理世界中的位置。

3 擬解決的關(guān)鍵技術(shù)

1）開(kāi)放式開(kāi)發(fā)架構(gòu)。一般虛擬仿真軟件的開(kāi)發(fā)需要開(kāi)發(fā)者必須掌握基本的軟件編程知識(shí)，并使用相應(yīng)的程序開(kāi)發(fā)語(yǔ)言進(jìn)行開(kāi)發(fā)，對(duì)開(kāi)發(fā)人員的技能水平要求較高?；旌犀F(xiàn)實(shí)技術(shù)開(kāi)發(fā)平臺(tái)很多，有很多開(kāi)發(fā)引擎，為了實(shí)現(xiàn)開(kāi)放式開(kāi)發(fā)架構(gòu)，可以采用文本編譯方式實(shí)現(xiàn)文字語(yǔ)音的輸入、運(yùn)動(dòng)命令的編輯、觸發(fā)的控制、邏輯的判斷、UI界面調(diào)整和驅(qū)動(dòng)函數(shù)庫(kù)的對(duì)接等功能。其次，軟件發(fā)布后，只要發(fā)現(xiàn)有問(wèn)題，不用重新編譯程序，只需要打開(kāi)文本進(jìn)行修改，修改好文本再保存，就可以直接改變相對(duì)應(yīng)功能，降低了開(kāi)發(fā)門檻。

2）符合教學(xué)場(chǎng)景的模型創(chuàng)建。虛擬場(chǎng)景的搭建需要模型，建模是整個(gè)全息教學(xué)系統(tǒng)開(kāi)發(fā)中需要解決的關(guān)鍵技術(shù)。常用的三維建模軟件有UG、Pro/E、3D MAX、SolidWorks等，建模非常繁雜，一般的機(jī)械實(shí)訓(xùn)設(shè)備（例如數(shù)控機(jī)床，零部件模型多達(dá)幾百個(gè)），需要大量的時(shí)間來(lái)完成。使用三維軟件建模，導(dǎo)出文件后，可以將模型導(dǎo)入到全息教學(xué)系統(tǒng)開(kāi)發(fā)平臺(tái)中（目前比較常用的是Unity 3D開(kāi)發(fā)平臺(tái)），進(jìn)行虛擬場(chǎng)景的創(chuàng)建。建模時(shí)，須按真實(shí)場(chǎng)景的標(biāo)準(zhǔn)化規(guī)格進(jìn)行統(tǒng)一設(shè)計(jì)，比例要統(tǒng)一，一般是按真實(shí)設(shè)備的結(jié)構(gòu)和尺寸原值比例來(lái)創(chuàng)建，一個(gè)模型建好后，通?？梢栽谝粋€(gè)場(chǎng)景中或整個(gè)教學(xué)系統(tǒng)的多個(gè)場(chǎng)景中重復(fù)使用，這樣一方面減少了建模的重復(fù)性工作，另一方面提高了教學(xué)系統(tǒng)的開(kāi)發(fā)效率和運(yùn)行效率。

3）交互式控制?；旌犀F(xiàn)實(shí)技術(shù)的優(yōu)勢(shì)是可以進(jìn)行交互式教學(xué)，系統(tǒng)開(kāi)發(fā)要符合教學(xué)設(shè)計(jì)，建立與使用者之間良好的交互控制，增強(qiáng)整個(gè)教學(xué)系統(tǒng)的體驗(yàn)感和學(xué)習(xí)效果。交互控制的原理是操作者通過(guò)視覺(jué)反饋設(shè)備MR眼鏡接收到整個(gè)場(chǎng)景中設(shè)備構(gòu)件和操作者的實(shí)時(shí)變化，精確地響應(yīng)操作者的交互行為，并產(chǎn)生相對(duì)應(yīng)的交互控制。全息教學(xué)系統(tǒng)的交互控制幾乎存在于整個(gè)系統(tǒng)的各個(gè)環(huán)節(jié)，主要包括使用者進(jìn)出系統(tǒng)控制、場(chǎng)景控制和調(diào)度、實(shí)時(shí)渲染和漫游控制、實(shí)時(shí)操作效果控制等。以發(fā)動(dòng)機(jī)構(gòu)造和檢修全息教學(xué)系統(tǒng)為例，交互式控制主要完成虛擬教學(xué)場(chǎng)景中發(fā)動(dòng)機(jī)模型的動(dòng)態(tài)變化、人機(jī)交互檢修實(shí)踐、發(fā)動(dòng)機(jī)原理展示等?？傮w來(lái)說(shuō)，交互式控制是混合現(xiàn)實(shí)技術(shù)的核心關(guān)鍵技術(shù)[8]。

4）與第三方硬件對(duì)接。傳統(tǒng)軟件開(kāi)發(fā)一般只能與某一種MR設(shè)備對(duì)接。目前市面上MR設(shè)備眾多，能夠與多種MR設(shè)備兼容可以極大提升全息教學(xué)系統(tǒng)的利用效率。開(kāi)發(fā)的全息教學(xué)系統(tǒng)要與第三方硬件進(jìn)行通用對(duì)接，需要單獨(dú)開(kāi)發(fā)MR兼容模塊，包含市場(chǎng)上主流的虛擬頭盔開(kāi)發(fā)模塊，如HTC Vive虛擬頭盔、Oculus虛擬頭盔等，且該模塊功能支持不斷擴(kuò)展，后續(xù)可以與更多的硬件實(shí)現(xiàn)兼容。

4 結(jié)語(yǔ)

MR技術(shù)是一種新型的信息化數(shù)字技術(shù)，它可以使應(yīng)用者在虛擬和現(xiàn)實(shí)之間自由切換。將MR技術(shù)應(yīng)用于機(jī)械實(shí)踐類課程的教學(xué)中，開(kāi)發(fā)全息教學(xué)應(yīng)用系統(tǒng)，可以搭建理實(shí)橋梁，實(shí)現(xiàn)教學(xué)與產(chǎn)業(yè)需求的接軌，開(kāi)發(fā)成本低、安全系數(shù)高，解決學(xué)校實(shí)訓(xùn)資源匱乏的問(wèn)題，滿足“自主造血”的需要。系統(tǒng)開(kāi)發(fā)過(guò)程需要解決各項(xiàng)關(guān)鍵技術(shù)，將各項(xiàng)研究?jī)?nèi)容與機(jī)械實(shí)踐類課程的專業(yè)技術(shù)相結(jié)合，應(yīng)用前景非常廣。