增強現(xiàn)實技術(shù)在車削加工實訓(xùn)教學(xué)中的應(yīng)用

何福本, 梁延德, 張紅哲, 王克欣, 吳 濤

(1. 大連理工大學(xué) 工程訓(xùn)練中心, 遼寧 大連 116024；2. 大連一特科技有限公司, 遼寧 大連 116085)

增強現(xiàn)實技術(shù)在車削加工實訓(xùn)教學(xué)中的應(yīng)用

何福本1, 梁延德1, 張紅哲1, 王克欣1, 吳 濤2

(1. 大連理工大學(xué) 工程訓(xùn)練中心, 遼寧 大連 116024；2. 大連一特科技有限公司, 遼寧 大連 116085)

將虛擬仿真技術(shù)應(yīng)用于工程訓(xùn)練教學(xué),開發(fā)了適用于主流移動終端操作系統(tǒng)的增強現(xiàn)實(AR)技術(shù)的應(yīng)用APP,并用于普通車床加工工藝實訓(xùn)教學(xué)環(huán)節(jié)。該APP以三維注冊技術(shù)和區(qū)域識別方法予以實現(xiàn)。學(xué)生通過對技術(shù)圖紙進行掃描識別和手指操控,可以方便地查看零件的虛擬立體圖像、相關(guān)知識及其影像,實現(xiàn)了平面圖紙的立體化,建立了包括理論知識、工藝規(guī)程和安全應(yīng)知等教學(xué)內(nèi)容的AR輔助工訓(xùn)教學(xué)模式。

增強現(xiàn)實； 虛擬仿真； 工程訓(xùn)練

在傳統(tǒng)工程訓(xùn)練實踐教學(xué)中,學(xué)生往往會在工程圖紙識別上出現(xiàn)認(rèn)識偏差和理解錯誤。如何在傳統(tǒng)實訓(xùn)項目中引入新的思路和方法,有針對性地對一部分實訓(xùn)項目進行教學(xué)方法改進和教學(xué)內(nèi)容建設(shè),是一項十分必要且具有意義的教學(xué)改革探索。近年來,虛擬現(xiàn)實(virtual reality,VR)技術(shù)、增強現(xiàn)實技術(shù)(augmented reality,AR)和混合現(xiàn)實技術(shù)(mixed reality,MR)得到了迅速的發(fā)展,已經(jīng)在諸多領(lǐng)域得到應(yīng)用。

AR技術(shù)是將計算機產(chǎn)生的三維虛擬對象與真實世界相融合,將虛擬的信息和真實的環(huán)境集成起來,提升用戶對現(xiàn)實世界的感知和認(rèn)識,是一種先進的虛擬現(xiàn)實技術(shù),具有虛實結(jié)合、交互性好、真實感強等特點[1-8]。工程訓(xùn)練教學(xué)的特點在于實踐場景的真實性、教學(xué)形式的多樣化以及強調(diào)學(xué)生動手操作,如果將AR技術(shù)引入實訓(xùn)項目中,將會提升學(xué)生的參與感和學(xué)習(xí)興趣。

目前,AR技術(shù)在教學(xué)中的應(yīng)用主要體現(xiàn)在展示內(nèi)容和引導(dǎo)操作的教學(xué)內(nèi)容建設(shè)方面,例如將AR技術(shù)應(yīng)用于虛擬裝配過程[9-10]。一些教學(xué)實例都很好地利用AR技術(shù)的特點,提高了學(xué)習(xí)的趣味性和吸引力,但是缺乏與真實環(huán)境交互的功能,學(xué)生仍然是以“看”為主。因此,對于AR技術(shù)在工程訓(xùn)練教學(xué)中的應(yīng)用,需要提出一種新的、可行的教學(xué)新方法,將虛擬現(xiàn)實技術(shù)緊密地應(yīng)用于現(xiàn)場實踐教學(xué)。

工程圖紙是重要的機械加工工藝交流媒介,用來表達(dá)和記錄設(shè)計人員的設(shè)計意圖和加工信息。在工程訓(xùn)練車削加工實訓(xùn)教學(xué)中,學(xué)生需要掌握一定的專業(yè)知識和技能,才能夠正確地識圖并操作車床進行零件加工。筆者應(yīng)用AR技術(shù)進行輔助車削加工實訓(xùn)教學(xué),將傳統(tǒng)的平面工程圖紙進行立體化呈現(xiàn),建立了一種包含相關(guān)理論知識、工藝規(guī)程和安全應(yīng)知等教學(xué)內(nèi)容的AR輔助工程訓(xùn)練教學(xué)模式,開發(fā)了手機移動端APP,取得了較好的教學(xué)效果。

1 AR工程圖紙的應(yīng)用

AR技術(shù)的核心是基于機器視覺的三維注冊技術(shù)，基于標(biāo)識的注冊技術(shù)需要在真實環(huán)境中添加人工標(biāo)記?；谧匀惶卣鞯娜S注冊技術(shù)是根據(jù)真實環(huán)境中的某些自然特征,提取相應(yīng)的關(guān)鍵點作為識別特征點,與數(shù)據(jù)庫中預(yù)存的特征點匹配,從而實現(xiàn)三維注冊。不同于其他AR識別對象,工程圖紙是根據(jù)國家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)繪制的,因而無法通過添加特殊的標(biāo)記以增強視覺識別能力,所以只能采用基于自然特征的跟蹤注冊方法。

1.1 三維注冊實現(xiàn)

三維注冊的目的是要確定所添加的虛擬對象在真實空間坐標(biāo)系中的位置,從而將虛擬對象實時、正確地顯示在顯示器上,實現(xiàn)虛擬對象與真實環(huán)境的結(jié)合,而其主要工作就是確定世界坐標(biāo)系、攝像機坐標(biāo)系和圖像平面坐標(biāo)系之間的關(guān)系,相關(guān)變換關(guān)系如圖1所示。

圖1 三維注冊坐標(biāo)系變換

三維空間中一點P在世界坐標(biāo)系中的坐標(biāo)為(xw,yw,zw),在攝像機坐標(biāo)系中的坐標(biāo)為(xc,yc,zc),在圖像平面坐標(biāo)系中的坐標(biāo)為(u,v)。點P從世界坐標(biāo)系轉(zhuǎn)換為圖像平面坐標(biāo)系的過程可由式(1)和(2)進行表示：

1.2 區(qū)域識別方法

目前，通用的AR識別方法是使用算法檢測和追蹤采集平面圖像特征點,與目標(biāo)資源數(shù)據(jù)庫里的特征點進行匹配,以實現(xiàn)三維注冊。因此,適合AR技術(shù)的圖片需滿足圖片細(xì)節(jié)豐富、特征點明顯、圖像對比度強、重復(fù)圖案少等技術(shù)要求。但是,在實際生產(chǎn)和工程訓(xùn)練中,工程圖紙一般是黑白打印,缺乏色彩細(xì)節(jié),線條和尺寸標(biāo)注較多,不容易提取出特征點,尤其在同類零件、不同尺寸的圖紙中,零件相似度高。如果對整張圖紙進行AR識別,誤識別率將比較高,甚至無法識別。所以提出一種將圖紙圖形進行區(qū)域劃分、并按區(qū)域進行識別的方法,以滿足實訓(xùn)項目的AR實現(xiàn)要求。

工程圖紙一般由3部分組成:圖框、標(biāo)題欄和零件圖形,用區(qū)域識別方法進行AR識別時,首先要識別圖框以確認(rèn)圖紙類型,然后識別標(biāo)題欄以確認(rèn)圖紙信息,最后識別零件圖形以確認(rèn)零件類型。只有三者均識別正確,才算圖紙整體特征匹配成功。

在進行AR識別時,設(shè)置一個圖紙識別閾值α,只有特征匹配度大于α?xí)r才會顯示匹配成功,且在一定范圍下閾值α是有效的。α值過小會增加誤識別率；α值過大則會增加識別時間、降低識別效率。圖2所示為車削加工實訓(xùn)中使用的階梯軸零件圖以及將零件圖整體識別轉(zhuǎn)化為區(qū)域識別及融合識別后的效果。

圖2 階梯軸圖紙區(qū)域識別

采用區(qū)域識別方法可以將工程圖紙中標(biāo)題欄和圖形分別進行識別,再進行融合識別,能有效降低識別誤差、避免重復(fù)識別,從而提高對工程圖紙的識別正確率和準(zhǔn)確度。

2 AR輔助工程訓(xùn)練教學(xué)模式

2.1 AR教學(xué)認(rèn)知模型

在虛擬現(xiàn)實技術(shù)實驗教學(xué)中,從技術(shù)層面上講,學(xué)生在虛擬情境下的知識轉(zhuǎn)移度主要取決于沉浸度、認(rèn)知度和交互度,通常稱此為AR三維度[11]。在工程訓(xùn)練教學(xué)中,每個維度又包含層遞進式內(nèi)容。

沉浸度主要包含環(huán)境沉浸和多元感知。環(huán)境沉浸是指學(xué)生在實訓(xùn)過程中完全專注于現(xiàn)場環(huán)境和虛擬場景；多元感知是指學(xué)生從視覺、聽覺、觸覺等產(chǎn)生多元化感官體驗。

認(rèn)知度主要包含模型構(gòu)建和信息傳遞。模型構(gòu)建是指學(xué)生能夠在虛實結(jié)合的環(huán)境下主動進行探索和構(gòu)建；信息傳遞是指借助于虛擬現(xiàn)實環(huán)境向?qū)W生傳遞知識和信息。

交互度主要包含設(shè)備交互和圖紙交互。設(shè)備交互是指學(xué)生在實訓(xùn)過程中與加工設(shè)備的交互；圖紙交互是指學(xué)生通過圖紙掌握實訓(xùn)內(nèi)容和操作指導(dǎo)。

AR教學(xué)認(rèn)知模型(見圖3)融合了沉浸度、認(rèn)知度和交互度,能夠最大化地克服傳統(tǒng)教學(xué)環(huán)境的限制,有利于提高學(xué)生的學(xué)習(xí)興趣和求知潛能。將AR技術(shù)引入實驗教學(xué)是對目前工程訓(xùn)練教學(xué)體系的補充和增強。

圖3 AR教學(xué)認(rèn)知模型

2.2 移動端AR學(xué)習(xí)

隨著移動互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展,教學(xué)系統(tǒng)也逐漸走向了網(wǎng)絡(luò)信息化和移動應(yīng)用化,智能手機或平板電腦的使用也越來越普遍。因此,工程訓(xùn)練教學(xué)也需要對原有的教學(xué)模式進行改進和升級,在移動端上開發(fā)有針對性的工程訓(xùn)練教學(xué)APP,讓學(xué)生在工程訓(xùn)練過程中體驗并應(yīng)用新技術(shù),有利于提高學(xué)習(xí)質(zhì)量和改善教學(xué)效果。結(jié)合上述車削加工實訓(xùn)中AR輔助圖紙識別應(yīng)用,設(shè)計了一套基于移動端的AR學(xué)習(xí)流程,如圖4所示。

圖4 移動端AR學(xué)習(xí)流程圖

在AR學(xué)習(xí)流程中,學(xué)生需要先使用智能手機或平板電腦等設(shè)備掃描指定的二維碼,下載實訓(xùn)項目適用的APP程序,然后對車削實訓(xùn)中相關(guān)的零件圖進行現(xiàn)場掃描,系統(tǒng)會自動識別零件的虛擬化模型,學(xué)生可以對模型進行手指操控。在虛擬化模型加載的過程中,對于該零件相關(guān)理論知識及影像、工藝規(guī)程和安全應(yīng)知等都可以進行查看,方便學(xué)生在車削加工過程中進行操作。結(jié)合立體模型更能夠幫助學(xué)生加深對切削加工理論知識的理解和認(rèn)識。

3 結(jié)語

在虛擬現(xiàn)實技術(shù)快速發(fā)展的背景下,將增強現(xiàn)實技術(shù)應(yīng)用于實踐教學(xué)中,建立起適用于工程訓(xùn)練的AR鋪助教學(xué)模式。該模式將虛擬內(nèi)容與實際環(huán)境相結(jié)合、突出真實體驗感,通過強交互方式拉近理論知識和實踐內(nèi)容距離。學(xué)生可以通過手機APP進行掃描識別和手指操控,增強了工程訓(xùn)練實踐教學(xué)的吸引力,提升了學(xué)生的學(xué)習(xí)興趣,也有助于教師更好地進行現(xiàn)場授課。此外,學(xué)生還可以在實訓(xùn)現(xiàn)場進行AR輔助學(xué)習(xí),可以在課余時間自行打印工程圖紙,隨時查看圖紙信息和相關(guān)教學(xué)內(nèi)容,加強對知識技能的掌握和經(jīng)驗的累積。由于AR技術(shù)的可擴展性,該輔助工訓(xùn)教學(xué)模式不但可以應(yīng)用于車削加工工程訓(xùn)練教學(xué)中,還能夠延伸應(yīng)用于其他類型的實訓(xùn)教學(xué)中。對于不同類型的實訓(xùn)AR教學(xué)資源的建設(shè),需要根據(jù)實訓(xùn)教學(xué)內(nèi)容進行研究和探索。

References)

[1] Mura M D, Dini G, Failli F. An Integrated Environment Based on Augmented Reality and Sensing Device for Manual Assembly Workstations[J].Procedia Cirp, 2016, 41:340-345.

[2] Martín-Gutiérrez J, Fabiani P, Benesova W, et al. Augmented Reality to Promote Collaborative and Autonomous Learning in Higher Education [J]. Computers in Human Behavior, 2014, 51(PB):752-761.

[4] 王巍,王志強,趙繼軍,等.基于移動平臺的增強現(xiàn)實研究[J].計算機科學(xué),2015(增刊2):510-519，549.

[5] Girbacia F. An Approach to Augmented Reality Technical Drawings [C]//Proceedings of the 2nd WSEAS International Conference on Sensors, and Signals and Visualization, Imaging and Simulation and Materials Science.2009: 27-29.

[6] 閆甲鵬,何漢武,陳和恩,等.基于移動終端的增強現(xiàn)實虛實融合技術(shù)[J].中國科技論文,2015,10(16):1890-1893.

[7] 邸馗,于天彪,陳培媛,等.虛擬現(xiàn)實技術(shù)在機械工程實驗教學(xué)中的應(yīng)用[J].實驗技術(shù)與管理,2014,31(10):10-12.

[8] 倪曉赟,鄭建榮,周煒.增強現(xiàn)實系統(tǒng)軟件平臺的設(shè)計與實現(xiàn)[J].計算機工程與設(shè)計,2009,30(9):2297-2300.

[9] 彭濤,李世其,王峻峰,等.基于增強人機交互技術(shù)的虛擬裝配[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2009,21(3):354-361.

[10] Paolis L T D, Ricciardi F, Dragoni A F, et al. An Augmented Reality Application for the Radio Frequency Ablation of the Liver Tumors [J].Lecture Notes in Computer Science, 2011(11):572-581.

[11] 劉德建,劉曉琳,張琰,等.虛擬現(xiàn)實技術(shù)教育應(yīng)用的潛力、進展與挑戰(zhàn)[J].開放教育研究,2016,22(4):25-31.

Applications of augmented reality technique in lathing training teaching

He Fuben1, Liang Yande1, Zhang Hongzhe1, Wang Kexin1, Wu Tao2

(1. Engineering Training Center, Dalian University of Technology, Dalian 116024, China; 2. Dalian 1Tek Co., Ltd., Dalian 116085, China)

Applying the new progress of virtual simulation technology to engineering training teaching in colleges and universities, and according to the characteristics of practical teaching, an APP of augmented reality (AR) applicable to the mainstream mobile terminal operating system is developed and applied to the general lathe processing in the practical teaching segment. Through scanning and identifying the technical drawings of practical program and using fingers to control it, the students can conveniently see the virtual graphics of parts, related knowledge and its images in real time, realizing “Plate drawings to three-dimensional graphics.” It proposes and establishes an AR assistant engineering training mode including the relevant theoretical knowledge, the technical process and the security instruction.

augmented reality; virtual simulation; engineering training

10.16791/j.cnki.sjg.2017.03.032

2016-10-14

何福本(1984—),男,遼寧莊河，博士,助教,主要研究方向為機器人技術(shù)和虛擬現(xiàn)實技術(shù).

E-mail：hefuben@gmail.com

TG511；G642

B

1002-4956(2017)3-0127-03