VR和AR及MR技術(shù)在礦山工程中的應(yīng)用研究

朱瑞軍，李少輝，王 磊

(1.中國(guó)恩菲工程技術(shù)有限公司，北京 100038； 2.中國(guó)礦業(yè)信息化協(xié)同創(chuàng)新北京市工程研究中心，北京 100038)

1 前言

隨著互聯(lián)網(wǎng)、計(jì)算機(jī)圖形處理技術(shù)和人工智能技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)(Virtual Reality，簡(jiǎn)稱VR)、增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)、混合現(xiàn)實(shí)(Mixed Reality，簡(jiǎn)稱MR)技術(shù)在社會(huì)活動(dòng)中的應(yīng)用越來(lái)越廣泛[1]，已經(jīng)成為新一代信息通信技術(shù)的關(guān)鍵領(lǐng)域，具有應(yīng)用空間大、產(chǎn)業(yè)潛力大、技術(shù)跨度大等特點(diǎn)。作為一個(gè)具有較長(zhǎng)歷史，但實(shí)際新興的產(chǎn)業(yè)，VR、AR及MR技術(shù)與產(chǎn)業(yè)的發(fā)展路徑尚未完全定型。從關(guān)鍵技術(shù)上看，以近眼顯示、渲染處理、感知交互、網(wǎng)絡(luò)傳輸、內(nèi)容制作為主的技術(shù)體系正在形成，且我國(guó)在相關(guān)產(chǎn)業(yè)上與國(guó)際一流水平的差距不大。

VR技術(shù)在許多工程領(lǐng)域已得到廣泛應(yīng)用，在礦山工程方面的應(yīng)用雖然相對(duì)較晚但也取得了很多成果，目前，虛擬現(xiàn)實(shí)技術(shù)在礦業(yè)的應(yīng)用主要體現(xiàn)在模擬地質(zhì)構(gòu)造、礦井開采模擬和設(shè)計(jì)優(yōu)化、爆破工藝、培訓(xùn)教學(xué)、事故調(diào)查研究等方面[2～4]。

2 國(guó)內(nèi)外VR和AR及MR產(chǎn)業(yè)發(fā)展現(xiàn)狀及政策支持

近年來(lái)，全球VR/AR投資規(guī)模持續(xù)增長(zhǎng)。2016年，全球VR/AR市場(chǎng)規(guī)模為39億美元，其中VR收入27億美元，AR收入12億美元。2017年全球VR/AR的投資總額受AR迅速發(fā)展的帶動(dòng)達(dá)到29億美元，同比增長(zhǎng)11.9%。到2021年，全球VR/AR市場(chǎng)規(guī)模將達(dá)到1 080億美元，而移動(dòng)AR將成為增長(zhǎng)的主要?jiǎng)恿?，屆時(shí)AR市場(chǎng)規(guī)模將達(dá)到830億美元[5]。各國(guó)政府將虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展上升到國(guó)家高度，很早就出臺(tái)了各種政策支持相關(guān)產(chǎn)業(yè)發(fā)展，國(guó)外虛擬現(xiàn)實(shí)發(fā)展的相關(guān)政策見表1。

近年來(lái)，我國(guó)政府及相關(guān)部門也先后出臺(tái)了多項(xiàng)政策來(lái)促進(jìn)虛擬現(xiàn)實(shí)相關(guān)技術(shù)發(fā)展和產(chǎn)業(yè)應(yīng)用，主要內(nèi)容見表2。

表1 國(guó)外虛擬現(xiàn)實(shí)發(fā)展的相關(guān)政策支持

表2 國(guó)內(nèi)虛擬現(xiàn)實(shí)發(fā)展的相關(guān)政策支持

3 VR和AR及MR技術(shù)特點(diǎn)對(duì)比

VR技術(shù)利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世界，提供使用者關(guān)于視覺(jué)、聽覺(jué)、觸覺(jué)等感官的模擬，讓使用者如同身歷其境。AR技術(shù)通過(guò)計(jì)算機(jī)系統(tǒng)將生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中，以直接獲得整體效果。MR技術(shù)是在VR和AR基礎(chǔ)上發(fā)展的混合技術(shù)，該技術(shù)通過(guò)在虛擬環(huán)境中引入現(xiàn)實(shí)場(chǎng)景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。MR眼鏡目前市面上最熱門的當(dāng)屬微軟的HoloLens眼鏡，它把全息對(duì)象置于現(xiàn)實(shí)世界之中和真實(shí)對(duì)象之上。全息對(duì)象可被固定于特定物理位置，或在全息視野中跟隨用戶。全息對(duì)象像真實(shí)對(duì)象一樣可看可聽。即使不在視野內(nèi)，也可通過(guò)環(huán)繞立體聲感知全息對(duì)象的空間位置[6]。VR、AR、MR不同的技術(shù)特點(diǎn)決定了其具有不同的應(yīng)用場(chǎng)景，其技術(shù)特點(diǎn)對(duì)比見表3。

表3 VR和AR及MR技術(shù)特點(diǎn)對(duì)比

4 VR和AR及MR技術(shù)在礦山工程中的應(yīng)用

結(jié)合VR、AR、MR的技術(shù)特點(diǎn)、應(yīng)用現(xiàn)狀和發(fā)展趨勢(shì)，以及礦山工程建設(shè)中的多種實(shí)際需求，分析其在礦山工程中的應(yīng)用場(chǎng)景。

4.1 VR技術(shù)應(yīng)用

(1)系統(tǒng)展示?；诘V山虛擬現(xiàn)實(shí)仿真系統(tǒng)，為礦山技術(shù)人員、各級(jí)主管部門、業(yè)主等提供一個(gè)逼真的、交互式的礦山三維動(dòng)態(tài)場(chǎng)景，將礦山各系統(tǒng)及新裝備、新技術(shù)等進(jìn)行三維可視化展示，提高企業(yè)宣傳效果。某礦山充填站的虛擬現(xiàn)實(shí)模型如圖1所示。

圖1 某礦山充填站虛擬現(xiàn)實(shí)模型

(2)遠(yuǎn)程可視化監(jiān)控。在礦山虛擬現(xiàn)實(shí)仿真系統(tǒng)的基礎(chǔ)上，融合安全監(jiān)測(cè)監(jiān)控、井下人員定位、自動(dòng)化系統(tǒng)以及各類生產(chǎn)動(dòng)態(tài)等多個(gè)監(jiān)測(cè)監(jiān)控系統(tǒng)，建成礦井一體化信息平臺(tái)，讓各類監(jiān)測(cè)監(jiān)控?cái)?shù)據(jù)發(fā)揮最大作用，保證礦山的安全高效開采，同時(shí)為礦山調(diào)度指揮提供智能化決策支持。

(3)設(shè)計(jì)優(yōu)化。應(yīng)用虛擬現(xiàn)實(shí)技術(shù)，生成一個(gè)逼真的礦山虛擬環(huán)境。這樣在礦山設(shè)計(jì)或研究階段，設(shè)計(jì)人員可以置身于礦山虛擬環(huán)境下直觀審視礦山，按照設(shè)計(jì)給定的工藝方法和參數(shù)，結(jié)合數(shù)值仿真，選擇設(shè)備及確定生產(chǎn)模式，從基建到閉坑的全過(guò)程實(shí)時(shí)監(jiān)控，發(fā)現(xiàn)問(wèn)題進(jìn)行實(shí)時(shí)修正。

(4)技術(shù)培訓(xùn)。做好礦山工作人員的基礎(chǔ)知識(shí)和基本技能的培訓(xùn)，是解決安全生產(chǎn)問(wèn)題的重要舉措?；谔摂M現(xiàn)實(shí)的方法，對(duì)礦山人員進(jìn)行模擬培訓(xùn)具有逼真、有效、經(jīng)濟(jì)、快速的特點(diǎn)和重要的實(shí)用價(jià)值，包括熟悉系統(tǒng)布置、設(shè)備操作訓(xùn)練，安全技能培訓(xùn)，災(zāi)害模擬，自助逃生模擬等，具有安全性高、交互性強(qiáng)以及可重復(fù)演練的特點(diǎn)，適合在井下作業(yè)的相關(guān)知識(shí)和操作技能的培訓(xùn)中使用。

(5)實(shí)驗(yàn)教學(xué)。開發(fā)虛擬礦山教學(xué)平臺(tái)，可使得學(xué)生通過(guò)井下漫游、虛擬操作礦山設(shè)備等，直觀地觀察到礦山的三維布局和各種采礦作業(yè)過(guò)程，進(jìn)行虛擬采礦試驗(yàn)，系統(tǒng)可對(duì)學(xué)生的操作進(jìn)行自動(dòng)評(píng)價(jià)。虛擬教學(xué)具有直觀性、高效率的特點(diǎn)，可提高教學(xué)質(zhì)量和安全性。

(6)事故模擬與分析。利用虛擬現(xiàn)實(shí)仿真系統(tǒng)可以快速、有效地在計(jì)算機(jī)上再現(xiàn)各種事故發(fā)生的過(guò)程，用戶可以從各種角度去觀測(cè)、分析事故發(fā)生的過(guò)程，找出事故原因，可用于培訓(xùn)、分析事故原因、制定救援預(yù)案等礦山安全生產(chǎn)管理工作。

4.2 AR和MR技術(shù)應(yīng)用

未來(lái)AR技術(shù)與MR技術(shù)的界限將越來(lái)越模糊，趨于融合，其應(yīng)用場(chǎng)景多為重合。在礦山工程領(lǐng)域，其可能的應(yīng)用場(chǎng)景如下所述。

(1)遠(yuǎn)程技術(shù)指導(dǎo)。利用混合現(xiàn)實(shí)頭顯設(shè)備Microsoft HoloLens，將3D模型、實(shí)時(shí)數(shù)據(jù)等與物理實(shí)景相融合，并可將圖像分享給其他用戶，可用于輔助三維設(shè)計(jì)、遠(yuǎn)程技術(shù)指導(dǎo)等。

(2)技術(shù)培訓(xùn)與安全培訓(xùn)。在礦山領(lǐng)域，有大量的工人需要操作類培訓(xùn)，傳統(tǒng)的培訓(xùn)方式效果有限，企業(yè)花費(fèi)高昂的培訓(xùn)費(fèi)用，但培訓(xùn)一直存在學(xué)習(xí)者無(wú)法做到即學(xué)即用、耗費(fèi)教導(dǎo)人員的時(shí)間精力等痛點(diǎn)。如果工人佩戴AR/MR眼鏡或使用移動(dòng)設(shè)備，由系統(tǒng)指導(dǎo)所有的標(biāo)準(zhǔn)步驟，使學(xué)習(xí)場(chǎng)景與工作場(chǎng)景無(wú)限接近直至重疊，直接解決“學(xué)時(shí)不能用，用時(shí)不能學(xué)”的問(wèn)題，極大提高培訓(xùn)的用戶體驗(yàn)，且可實(shí)現(xiàn)多人之間的交互，共同學(xué)習(xí)，相互指導(dǎo)，大大提高學(xué)習(xí)的便利性。

(3)設(shè)備巡檢與安全檢查。可以將AR/MR系統(tǒng)與設(shè)備巡檢和安全檢查信息系統(tǒng)相結(jié)合，在查看被檢設(shè)備時(shí)，可疊加該設(shè)備的安全狀態(tài)信息和需要檢查的數(shù)據(jù)信息，方便操作，提高工作效率和質(zhì)量。通過(guò)佩戴HoloLens，維修工人可以解放雙手，通過(guò)手勢(shì)識(shí)別技術(shù)操作虛擬系統(tǒng)畫面，獲取維修的任務(wù)信息、配件信息、維修歷史等相關(guān)信息來(lái)輔助現(xiàn)場(chǎng)維修，在遇到疑難問(wèn)題時(shí)更可以啟動(dòng)遠(yuǎn)程專家系統(tǒng)進(jìn)行在線共同診斷，將現(xiàn)場(chǎng)維修工人所在的現(xiàn)場(chǎng)情況實(shí)時(shí)在線分享給遠(yuǎn)程專家，為迅速解決疑難問(wèn)題提供有效的途徑和手段。

(4)輔助操作。對(duì)井下環(huán)境進(jìn)行現(xiàn)實(shí)增強(qiáng)，通過(guò)注冊(cè)技術(shù)，即虛擬物體和真實(shí)環(huán)境的對(duì)齊，將設(shè)備使用方法、注意事項(xiàng)、運(yùn)行狀態(tài)、歷史數(shù)據(jù)等信息疊加到設(shè)備實(shí)體上，提高作業(yè)效率和安全性，可用于設(shè)備裝配、設(shè)備維修等。

(5)圖紙信息增強(qiáng)?？蓪⑷S模型、設(shè)計(jì)方案等信息疊加到二維圖紙上，用戶通過(guò)手機(jī)掃描圖紙即可查看，如圖2所示，可將運(yùn)輸方案的動(dòng)態(tài)信息疊加到常規(guī)的中段運(yùn)輸平面圖上。

圖2 某地下礦山中段運(yùn)輸AR模型

(6)設(shè)備導(dǎo)航?；贏R/MR系統(tǒng)，并結(jié)合生產(chǎn)計(jì)劃數(shù)據(jù)管理系統(tǒng)，鏟運(yùn)機(jī)、運(yùn)輸卡車的駕駛員在開車時(shí)可以看到導(dǎo)航數(shù)據(jù)、目的地信息、行駛速度、限速提示、岔口信息、人員及其他設(shè)備位置信息等，方便操作，提高行駛安全性。

(7)業(yè)務(wù)管理。目前的流程管理和現(xiàn)場(chǎng)管理大多停留在表單記錄的模式，AR/MR眼鏡可以實(shí)時(shí)記錄工人的操作，用于現(xiàn)場(chǎng)維修記錄、流程管控和故障原因追蹤，這些數(shù)據(jù)還用于現(xiàn)場(chǎng)的操作習(xí)慣分析、績(jī)效考評(píng)、行為預(yù)測(cè)等，承載業(yè)務(wù)管理的功能。

5 結(jié)語(yǔ)

(1)目前VR、AR、MR技術(shù)及設(shè)備產(chǎn)品在礦山工程中的應(yīng)用仍以探索體驗(yàn)為主，尚未成為生產(chǎn)力工具，隨著技術(shù)本身和相關(guān)設(shè)備的發(fā)展，其在礦山工程中必將得到更廣泛的應(yīng)用，發(fā)揮更大的作用。

(2)VR、AR、MR技術(shù)應(yīng)用應(yīng)與云計(jì)算、大數(shù)據(jù)、人工智能等信息技術(shù)相結(jié)合，加強(qiáng)感知交互功能，將成為數(shù)字礦山、虛擬礦山、智能礦山體系建設(shè)的重要組成部分。

(3)由于自身技術(shù)特點(diǎn)，今后AR和MR的定義更加模糊，二者更接近。在礦山工程中，AR、MR技術(shù)相較于VR技術(shù)，應(yīng)用前景更為廣闊，更具商業(yè)潛力。

(4)應(yīng)構(gòu)建虛擬礦山公共服務(wù)平臺(tái)，為VR、AR、MR技術(shù)在礦山工程中的應(yīng)用提供技術(shù)支持和平臺(tái)服務(wù)，提高應(yīng)用開發(fā)效率，擴(kuò)大應(yīng)用推廣范圍。