朱 標(biāo)
(1.中航華東光電有限公司,安徽 蕪湖 241000;2.安徽省現(xiàn)代顯示技術(shù)重點(diǎn)實(shí)驗(yàn)室,安徽 蕪湖 241000;3.國家特種顯示工程技術(shù)研究中心,安徽 蕪湖 241000;4.特種顯示國家工程實(shí)驗(yàn)室,安徽 蕪湖 241000)
增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)技術(shù)是指將計(jì)算機(jī)構(gòu)建的虛擬對象和虛擬場景與人類真實(shí)感知的現(xiàn)實(shí)場景相疊加,達(dá)到虛實(shí)結(jié)合的目的,以提高用戶對真實(shí)世界的感知及交互體驗(yàn)。目前,增強(qiáng)現(xiàn)實(shí)技術(shù)普遍應(yīng)用于軍事裝備、動(dòng)感游戲、三維重建與工業(yè)生產(chǎn)等領(lǐng)域,其中工業(yè)生產(chǎn)作為國名經(jīng)濟(jì)發(fā)展中至關(guān)重要的一部分,同時(shí)產(chǎn)品的裝配檢修是工業(yè)生產(chǎn)過程中最重要的環(huán)節(jié)之一[1],所以研究增強(qiáng)現(xiàn)實(shí)技術(shù)在產(chǎn)品的裝配檢修中的應(yīng)用是非常有意義價(jià)值的。目前,國內(nèi)很多企業(yè)開設(shè)了產(chǎn)品的裝配檢修技能的培訓(xùn),但企業(yè)員工實(shí)際操作大多還是借助圖紙或教學(xué)視頻來實(shí)現(xiàn)裝配檢修,尤其是對于剛參加工作的新進(jìn)員工來說,圖紙或教學(xué)視頻并不能讓他們快速熟悉裝配檢修流程,就很可能出現(xiàn)誤操作而給企業(yè)帶來時(shí)間和經(jīng)濟(jì)上的損失,運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)指導(dǎo)新進(jìn)員工對產(chǎn)品進(jìn)行裝配檢修,能夠讓新進(jìn)員工快速熟悉和掌握該項(xiàng)工藝技能,大大提高了工作效率,降低了時(shí)間和經(jīng)濟(jì)成本。
隨著計(jì)算機(jī)處理水平的不斷提高,將工業(yè)生產(chǎn)的裝配檢修與增強(qiáng)現(xiàn)實(shí)技術(shù)相結(jié)合將會(huì)是一個(gè)新型行業(yè),方式不僅能夠提高企業(yè)員工的工作效率和減少誤操作,也能給企業(yè)帶來更大的利潤空間,因此主要針對上述問題開發(fā)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng),將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用到工業(yè)生產(chǎn)的裝配檢修中,目的是提高了企業(yè)員工的裝配和檢修的效率和降低裝配和檢修的誤操作率。
增強(qiáng)現(xiàn)實(shí)技術(shù)作為當(dāng)今研究熱點(diǎn)方向之一,許多國內(nèi)外著名的企業(yè)與研究機(jī)構(gòu)都將其作為主要的研究方向。首先針對國外的研究情況,Wanger等[2]開發(fā)出能夠在掌上電腦上運(yùn)行的增強(qiáng)現(xiàn)實(shí)技術(shù),通過利用ARToolKit開發(fā)包進(jìn)行開發(fā),并且移植到計(jì)算機(jī)平臺(tái)。美國NASA噴氣推進(jìn)實(shí)驗(yàn)室利用虛擬現(xiàn)實(shí)三維引擎開發(fā)了火星探測車的模擬系統(tǒng)[3]。德國Bauhaus大學(xué)研究小組開發(fā)了一套基于增強(qiáng)現(xiàn)實(shí)的博物館導(dǎo)覽系統(tǒng)并移植到手機(jī),在此基礎(chǔ)上利用藍(lán)牙裝置收發(fā)的信號(hào)來定位用戶實(shí)時(shí)的具體位置信息[4]。AIRBUSMilitary的Serván等[5]在飛機(jī)車間零件裝配中利用增強(qiáng)現(xiàn)實(shí)技術(shù)和工業(yè)數(shù)字樣機(jī)技術(shù)開發(fā)了相關(guān)項(xiàng)目,并證明了項(xiàng)目的可行性和實(shí)用性。
國內(nèi)增強(qiáng)現(xiàn)實(shí)技術(shù)相對國外發(fā)展起步較晚,研究稍少,但近幾年隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,增強(qiáng)現(xiàn)實(shí)技術(shù)在國內(nèi)掀起了一波高潮,并伴隨著巨大的商業(yè)價(jià)值和良好的發(fā)展?jié)摿6-9],萬華根團(tuán)隊(duì)通過IVAS裝配系統(tǒng)搭建了一個(gè)可對零部件的選取、裝配的人機(jī)交互界面,不僅如此,系統(tǒng)還能有效地獲取零部件裝配的正確順序,隨著國內(nèi)增強(qiáng)現(xiàn)實(shí)技術(shù)不斷發(fā)展,帶動(dòng)了工業(yè)生產(chǎn)中基于增強(qiáng)現(xiàn)實(shí)技術(shù)的智能眼鏡的進(jìn)步,如國內(nèi)的亮亮視野的GLXSS Pro眼鏡主要應(yīng)用在醫(yī)療和安防領(lǐng)域,在醫(yī)療領(lǐng)域主要利用增強(qiáng)現(xiàn)實(shí)技術(shù)提升就診時(shí)間效率,在安防領(lǐng)域主要讓警務(wù)人員實(shí)時(shí)地獲得人臉識(shí)別信息,并將實(shí)時(shí)信息遠(yuǎn)程傳輸?shù)胶笈_(tái)服務(wù)器中進(jìn)行分析處理,并指導(dǎo)警務(wù)人員進(jìn)行下一步操作。
目前國內(nèi)外基于增強(qiáng)現(xiàn)實(shí)技術(shù)的智能眼鏡眾多,都有各自的優(yōu)勢與成像技術(shù),選擇愛普生BT-300智能眼鏡作為驗(yàn)證平臺(tái),BT-300智能眼鏡的優(yōu)勢首先在于光學(xué)系統(tǒng)成像很清晰,不會(huì)出現(xiàn)重影的現(xiàn)象,然后結(jié)構(gòu)設(shè)計(jì)符合人機(jī)工學(xué)并且是雙目,不會(huì)使人產(chǎn)生疲勞感,最后其結(jié)構(gòu)輕巧便利,待機(jī)時(shí)間長。圖1為愛普生BT-300智能眼鏡的結(jié)構(gòu)圖,其基本規(guī)格參數(shù)如表1所示。
圖1 愛普生BT-300智能眼鏡的結(jié)構(gòu)圖
表1 愛普生BT-300智能眼鏡的基本規(guī)格參數(shù)
基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)主要包括5項(xiàng)關(guān)鍵技術(shù),基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)的原理如圖2所示。
圖2 裝配檢修系統(tǒng)的原理圖
(1)虛擬對象的獲取。首先需要建立虛擬裝配場景及所需的虛擬三維模型,虛擬三維模型可以通過3dmax、Maya和SolidWorks等三維建模平臺(tái)建立而獲取。
(2)信息采集。通過智能眼鏡的攝像頭傳感器在真實(shí)場景中獲取相應(yīng)的視頻流數(shù)據(jù)。
(3)根據(jù)攝像頭參數(shù)并通過預(yù)先設(shè)定的識(shí)別標(biāo)記對象將三維的虛擬對象匹配到視頻流上的真實(shí)場景中,達(dá)到虛實(shí)結(jié)合的作用。
(4)當(dāng)虛擬對象與真實(shí)場景匹配完成之后,在此基礎(chǔ)上開發(fā)滿足操作人員需求的內(nèi)容,并將三維虛擬信息、真實(shí)場景信息及裝配檢修信息展示給操作人員。
(5)將最終的應(yīng)用程序移植到智能眼鏡上,目的是讓操作人員解放雙手并提供真實(shí)的交互體驗(yàn)和安全可靠的裝配檢修指導(dǎo)。
三維開發(fā)引擎有很多,包括Unity3D、UE4和Cryengine等,目前國內(nèi)外大多采用Unity3D引擎開發(fā)產(chǎn)品,該引擎開發(fā)效率高、開發(fā)周期短、人機(jī)交互性好與支持多種三維模型插件,引擎最大的優(yōu)勢在于該軟件支持多種平臺(tái)的發(fā)布,包括安卓、IOS、Mac和PC等。
對于虛擬三維模型的構(gòu)建主要是通過SolidWorks三維建模平臺(tái),SolidWorks擁有多種模塊功能,并具有實(shí)體設(shè)計(jì)、曲面設(shè)計(jì)、模具設(shè)計(jì)、裝配體和動(dòng)畫等基礎(chǔ)功能,操作界面簡單明了,設(shè)計(jì)人員容易上手等優(yōu)勢[10]。
基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng)通過SolidWorks軟件建立虛擬三維模型并將其導(dǎo)入到Unity3D引擎中作為虛實(shí)結(jié)合中“虛”的部分,并最終與真實(shí)場景相結(jié)合。
根據(jù)企業(yè)的實(shí)際需要確定功能需求,通過增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)兩個(gè)方面操作,一是對型號(hào)產(chǎn)品的拆解與裝配,二是使用萬用表對電路主板的檢修操作以及線束線纜的排列,目的是給操作人員提供一定的指導(dǎo)和培訓(xùn),因此,開發(fā)內(nèi)容應(yīng)滿足幾個(gè)基本需求:
(1)具有準(zhǔn)確的、真實(shí)的三維模型以及真實(shí)場景;
(2)具有旋轉(zhuǎn)、平移、流程步驟的選擇功能;
(3)對每一步的裝配檢修流程均給出文字或者動(dòng)畫提示;
(4)完成的應(yīng)用程序要能移植到移動(dòng)終端智能眼鏡中,供操作人員佩戴操作;
(5)具備掃描二維碼的功能。
在得到具體需求后,裝配檢修系統(tǒng)的整體框架可以設(shè)計(jì)成4個(gè)主要組成部分,裝配檢修系統(tǒng)的整體框架設(shè)計(jì)如圖3所示。
圖3 裝配檢修系統(tǒng)的整體框架設(shè)計(jì)圖
(1)三維模型的構(gòu)建。三維模型的構(gòu)建是增強(qiáng)現(xiàn)實(shí)技術(shù)很關(guān)鍵的一部分,主要是制作三維虛擬對象,包括裝配所需要的零部件,通過SolidWorks軟件將制作好的模型以3ds的格式導(dǎo)入到Unity3D軟件中,并模擬出真實(shí)的應(yīng)用場景。
(2)UI界面的交互。UI界面是一個(gè)產(chǎn)品較為關(guān)鍵的一部分,注冊跟蹤、鼠標(biāo)的拖拽、屏幕的觸控技術(shù)等,一個(gè)高效率的UI界面能夠給操作人員更為簡潔明了的操作,包括如何點(diǎn)擊事件,如何跳轉(zhuǎn)場景以及該應(yīng)用程序如何使用。通過UI界面以及整個(gè)虛擬裝配流程可以有效地向操作人員展示。
(3)應(yīng)用程序的移植。開發(fā)完的應(yīng)用程序需要移植到移動(dòng)平臺(tái)上,由于是應(yīng)用在工業(yè)生產(chǎn)上,所以最佳的移動(dòng)平臺(tái)是智能眼鏡,可以將智能眼鏡直接佩戴在頭上即可操作,避免手機(jī)、平板電腦等平臺(tái)不能脫離雙手的局限性。
(4)二維碼的識(shí)別。通過啟動(dòng)智能眼鏡的攝像頭掃描二維碼可以快速地進(jìn)入應(yīng)用程序,方便高效且安全可靠。
主要通過兩個(gè)實(shí)驗(yàn)來驗(yàn)證裝配檢修系統(tǒng),實(shí)驗(yàn)一是對型號(hào)產(chǎn)品的拆解與裝配,對實(shí)驗(yàn)一的開發(fā)和設(shè)計(jì)流程進(jìn)行詳細(xì)介紹;實(shí)驗(yàn)二是使用萬用表對電路主板的檢修操作以及線束線纜的排列,實(shí)驗(yàn)二開發(fā)流程和實(shí)驗(yàn)一相同,不在闡述,僅給出實(shí)驗(yàn)結(jié)果。
首先確定需求及功能,然后根據(jù)需要和功能進(jìn)行設(shè)計(jì)和開發(fā),UI界面通過Unity3D中自帶的UGUI進(jìn)行開發(fā),程序啟動(dòng)后出現(xiàn)啟動(dòng)畫面,啟動(dòng)畫面包含公司的標(biāo)志,以及相應(yīng)產(chǎn)品的基本介紹和功能說明,最后出現(xiàn)功能界面,功能界面包含3個(gè)功能按鈕,分別代表操作說明、培訓(xùn)指導(dǎo)和拆解組合。
根據(jù)3.1節(jié)中生成功能界面,分別設(shè)計(jì)相對應(yīng)的功能,如圖4所示,圖4(a)-圖4(c)分別為單擊操作說明、培訓(xùn)指導(dǎo)及拆解/組合3個(gè)功能按鈕后將出現(xiàn)對應(yīng)的3個(gè)UI界面。其中操作說明UI畫面表示對產(chǎn)品的操作步驟進(jìn)行說明,使操作人員提前對產(chǎn)品操作有一個(gè)大概的了解;培訓(xùn)指導(dǎo)UI畫面是操作人員與產(chǎn)品進(jìn)行互動(dòng)的環(huán)節(jié),操作人員根據(jù)裝配檢修系統(tǒng)指示進(jìn)行操作;拆解與組合UI畫面是以動(dòng)畫的形式向操作人員演示產(chǎn)品的拆解與組合的過程;3項(xiàng)功能UI界面都有返回功能界面的按鈕,相互之間可以切換,以利于操作人員更快熟悉裝配的工藝流程。
(a)操作說明
功能界面中3項(xiàng)功能之間互相補(bǔ)充,首先以文字與動(dòng)畫的相結(jié)合的方式向操作人員展示裝配工藝,然后在實(shí)際操作中又進(jìn)行一步步進(jìn)行指導(dǎo),并進(jìn)行錯(cuò)誤提示,使裝配的錯(cuò)誤率達(dá)到最低,最后對整個(gè)裝配過程進(jìn)行記錄,為操作人員事后分析提供依據(jù)。
在開發(fā)完應(yīng)用程序之后,需要將應(yīng)用程序移植到移動(dòng)終端,首先通過Unity3D打包成.apk文件,并移植到愛普生BT-300 AR智能眼鏡中進(jìn)行安裝,為操作人員進(jìn)行佩戴使用,根據(jù)使用反饋,裝配檢修系統(tǒng)為操作人員,特別是新進(jìn)人員提供便利和指導(dǎo),減少了裝配出錯(cuò)率,提高了裝配效率,通過一段時(shí)間的數(shù)據(jù)統(tǒng)計(jì),裝配百臺(tái)產(chǎn)品錯(cuò)誤率由之前的20.6%降低到12.5%,裝配百臺(tái)產(chǎn)品效率相比之前提升了10.3%。
實(shí)驗(yàn)二的演示效果圖如圖5和圖6所示,圖5展示了如何指導(dǎo)操作人員使用萬用表在電路板上進(jìn)行電路板端電壓以及主要零件間好壞的測試,圖6展示了線束裝配的仿真效果。根據(jù)操作人員的使用反饋,裝配檢修系統(tǒng)的最終的效果能夠滿足操作人員的需求,同時(shí)能夠無故障的長時(shí)間運(yùn)行,為設(shè)備產(chǎn)品的裝配和檢修提供一定的指導(dǎo)操作。
圖5 設(shè)備檢修的效果圖
圖6 線束裝配的效果圖
提出了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng),首先對增強(qiáng)現(xiàn)實(shí)技術(shù)國內(nèi)外研究情況進(jìn)行調(diào)研,發(fā)現(xiàn)增強(qiáng)現(xiàn)實(shí)技術(shù)在工業(yè)生產(chǎn)特別是裝配檢修過程具有很好的輔助指導(dǎo)作用,然后結(jié)合企業(yè)新進(jìn)員工在效率低和出錯(cuò)率高方面的問題,開發(fā)了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的裝配檢修系統(tǒng);最后將裝配檢修系統(tǒng)移植到移動(dòng)終端,并使用兩個(gè)實(shí)驗(yàn)進(jìn)行驗(yàn)證,通過新進(jìn)員工的使用反饋,基于BT-300 AR智能眼鏡的裝配檢修系統(tǒng)具有較好的交互性和沉浸性,能夠讓新進(jìn)員工更好地了解企業(yè)產(chǎn)品的結(jié)構(gòu)和裝配檢修工藝,提高了裝配檢修的效率,降低了裝配檢修出錯(cuò)率,對實(shí)際操作具有一定的指導(dǎo)意義和輔助作用。
目前的增強(qiáng)現(xiàn)實(shí)技術(shù)雖然已快速發(fā)展,但仍有許多問題未解決,如虛實(shí)結(jié)合受環(huán)境的影響比較大等,只能在特定環(huán)境下使用,但隨著增強(qiáng)現(xiàn)實(shí)算法的不斷優(yōu)化和移動(dòng)終端設(shè)備的不斷升級(jí)與完善,增強(qiáng)現(xiàn)實(shí)類產(chǎn)品的普及是必然的趨勢。
參考文獻(xiàn)(References):
[1] 王博.中國機(jī)械制造行業(yè)現(xiàn)狀分析及未來發(fā)展趨勢[J].企業(yè)技術(shù)開發(fā),2013,32(21):9—10
WANG B.Analysis of the Current Situation and Future Development Trend of China’s Machinery Manufacturing Industry[J].Technological Development of Enterprise,2013,2(21):9—10(in Chinese)
[2] WAGNER D,SCHMALSTIEG D.ARTool Kit Plus for Pose Tracking on Mobilephones[C]//Proceedings of the 2nd IEEE Intl.Augmented Reality Toolkit Workshop,Tokyo,2003
[3] WANG J,BENNETT K J.A Virtual Reality Study on Santa Maria Crater on Mars[J].Virtual Reality,2013(12):105—106
[4] BRANS E,BROMBACH B,ZEIDLER T,et al.Enabling Mobile Phones to Support Large-Scale Museum Guidance[J].IEEE Multimedia,2007,14(2):16—25
[5] 王楚迪.移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊技術(shù)的研究與應(yīng)用[D].沈陽:沈陽工業(yè)大學(xué),2017
WANG C D.Research and Application of Mobile Augmented Reality’s Tracking and Registration Technology[D].Shenyang:Shenyang University of Technology,2017(in Chinese)
[6] 侯穎,許威威.增強(qiáng)現(xiàn)實(shí)技術(shù)綜述[J].計(jì)算機(jī)測量與控制,2017,25(2):1—22
HOU Y,XU W W.A Survey of Augmented Reality Technology[J].Computer Measurement & Control,2017,25(2):1—22(in Chinese)
[7] 慕競瑋.增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展分析及預(yù)測[J].軟件導(dǎo)刊,2018,17(3):4—7
MU J W.Analysis and Prediction of Augmented Reality at Home and Abroad[J].Software Guide,2018,17(3):4—7(in Chinese)
[8] 周洋.增強(qiáng)現(xiàn)實(shí)技術(shù)(AR)在游戲上的運(yùn)用研究[J].無線互聯(lián)網(wǎng)科技,2016(7):114—115
ZHOU Y.Research on the Use of Augmented Reality(AR)in the Game[J].Wireless Internet Technology,2016(7):114—115(in Chinese)
[9] 周忠,周頤,肖江劍.虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)綜述[J].中國科學(xué):信息科學(xué),2015,45(2):157—180
ZHOU Z,ZHOU Y,XIAO J J.Survey on Augmented Virtual Environment and Augmented Reality[J].Scientia Sinica Informationis,2015,45(2):157—180(in Chinese)
[10] 陳洪,馬欽,朱德海.基于Unity3D的交互式農(nóng)業(yè)仿真平臺(tái)研究[J].農(nóng)機(jī)化研究,2012,32(3):184—186
CHEN H,MA Q,ZHU D H.Research of Interactive Virtual Agriculture Simulation Platform Based on Unity3D[J].Journal of Agricultural Mechanization Research,2012,32(3):184—186(in Chinese)