虛擬現(xiàn)實(shí)技術(shù)在礦山重型裝備行業(yè)中的應(yīng)用

劉 秀，王靜婕，黃 濤，孫 薛，胡雅晴

1洛陽(yáng)礦山機(jī)械工程設(shè)計(jì)研究院有限責(zé)任公司 河南洛陽(yáng) 471039

2礦山重型裝備國(guó)家重點(diǎn)實(shí)驗(yàn)室 河南洛陽(yáng) 471039

3中信重工機(jī)械股份有限公司 河南洛陽(yáng) 471039

虛 擬現(xiàn)實(shí)最早起源于 20 世紀(jì) 60 年代，其后科學(xué)家將虛擬現(xiàn)實(shí)應(yīng)用于宇航員的培訓(xùn)中，直到 20 世紀(jì) 80 年代，美國(guó)計(jì)算機(jī)科學(xué)家杰倫·拉尼爾首次提出關(guān)于虛擬現(xiàn)實(shí)的概念，即利用電腦模擬產(chǎn)生三維虛擬世界，提供給使用者關(guān)于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官的模擬[1]。目前虛擬現(xiàn)實(shí)主要包括增強(qiáng)現(xiàn)實(shí) (AR)、虛擬現(xiàn)實(shí) (VR)、混合現(xiàn)實(shí) (MR)、擴(kuò)展現(xiàn)實(shí)(XR) 等，隨著科技的進(jìn)步，虛擬現(xiàn)實(shí)的分支將逐漸融合，無(wú)明顯分類。

隨著計(jì)算機(jī)技術(shù)、智能及時(shí)通信技術(shù)、智能穿戴技術(shù)和無(wú)人機(jī)技術(shù)等共性技術(shù)的快速發(fā)展，人機(jī)交互技術(shù)、傳感技術(shù)、人工智能、5G 技術(shù)、工業(yè)互聯(lián)網(wǎng)技術(shù)和數(shù)字孿生技術(shù)等國(guó)家基礎(chǔ)科研建設(shè)水平的不斷進(jìn)步完善，光學(xué)動(dòng)作捕捉技術(shù)、近眼現(xiàn)實(shí)技術(shù)、多感官協(xié)調(diào)技術(shù)、全景攝錄技術(shù)、三維掃描技術(shù)和虛擬偶像等前沿技術(shù)在虛擬現(xiàn)實(shí)中得到了深入的應(yīng)用，虛擬現(xiàn)實(shí)技術(shù)也從被動(dòng)、單向的交互模式逐漸向主動(dòng)、互動(dòng)、立體的交互模式發(fā)展。針對(duì)虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，國(guó)內(nèi)學(xué)者已經(jīng)在機(jī)械設(shè)計(jì)、產(chǎn)業(yè)鏈設(shè)計(jì)、工業(yè)設(shè)計(jì)等諸多領(lǐng)域進(jìn)行了多層次的深入研究[2-5]。目前，虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)與混合現(xiàn)實(shí)技術(shù)已經(jīng)交叉應(yīng)用于制造業(yè)、建筑業(yè)、旅游業(yè)、娛樂(lè)業(yè)等諸多領(lǐng)域[6-15]。

1 虛擬現(xiàn)實(shí)概況

1.1 系統(tǒng)組成

虛擬現(xiàn)實(shí)技術(shù)系統(tǒng)如圖 1 所示，主要由輸入系統(tǒng)、處理系統(tǒng)、輸出系統(tǒng)組成。

1.1.1 輸入系統(tǒng)

虛擬現(xiàn)實(shí)的輸入方式主要有空間定位、手勢(shì)交互、腦機(jī)交互、眼動(dòng)追蹤和語(yǔ)音交互等，通過(guò)圖像傳感器、聲音傳感器、動(dòng)作捕捉傳感器、手勢(shì)跟蹤傳感器、眼動(dòng)傳感器、氣體傳感器、SLAM 傳感器及光學(xué)傳感器等技術(shù)進(jìn)行數(shù)據(jù)采集，再通過(guò)射頻芯片、藍(lán)牙芯片、WiFi 芯片及 NFC 芯片等通信模塊傳輸給數(shù)據(jù)處理系統(tǒng)。傳感器及芯片通常集成在頭戴可視設(shè)備和數(shù)據(jù)手套等 VR 設(shè)備上。

1.1.2 數(shù)據(jù)處理系統(tǒng)

數(shù)據(jù)通過(guò)全方位的采集，載入性能卓越的操作系統(tǒng)，利用專業(yè)軟件前期開(kāi)發(fā)的程序，通過(guò)云計(jì)算、邊緣計(jì)算等技術(shù)，經(jīng)過(guò)計(jì)算機(jī)處理后得到具有三維空間坐標(biāo)的數(shù)據(jù)。

1.1.3 輸出系統(tǒng)

輸出方式主要包括及時(shí)輸出系統(tǒng)和數(shù)據(jù)輸出系統(tǒng)。

及時(shí)輸出通常有 VR 頭盔、手柄、顯示器、裸眼3D 和 360°全景顯示等設(shè)備，其中應(yīng)用于 VR 頭盔的近眼顯示技術(shù)為 VR 顯示的核心技術(shù)。

數(shù)據(jù)輸出系統(tǒng)主要是指把虛擬交互過(guò)程中產(chǎn)生的數(shù)據(jù)上傳于互聯(lián)網(wǎng)云平臺(tái)，通過(guò)進(jìn)一步處理反饋給使用者，同時(shí)也可以上傳使用者的動(dòng)態(tài)數(shù)據(jù)。

1.2 基本特性

虛擬現(xiàn)實(shí)的特性如圖 2 所示，主要包涵多感知性、浸沒(méi)感、交互性、構(gòu)想性等。

2 關(guān)鍵技術(shù)

虛擬現(xiàn)實(shí)綜合了多種現(xiàn)代技術(shù)，主要包括模型建立技術(shù)、虛擬現(xiàn)實(shí)開(kāi)發(fā)處理技術(shù)和交互技術(shù)等，如圖3 所示。由于虛擬現(xiàn)實(shí)需要得到圖像、聲音、動(dòng)作以及觸覺(jué)等各方面的綜合體驗(yàn)，所以在礦山重型裝備制作開(kāi)發(fā)的過(guò)程中，要求從業(yè)人員掌握三維圖形技術(shù)、圖形跟蹤捕捉技術(shù)、觸覺(jué)反饋技術(shù)、力覺(jué)反饋技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)、語(yǔ)音輸入技術(shù)、UI 虛擬增強(qiáng)現(xiàn)實(shí)技術(shù)等各方面專業(yè)的知識(shí)技能。

2.1 模型的建立

礦山重型裝備設(shè)備目前比較成熟的建模方式主要有三維軟件、三維掃描和光場(chǎng)捕捉建模。

2.1.1 三維軟件建模

三維建模軟件種類繁多，主流三維軟件主要有3Ds max、Solid Works、Blender、Maya、Z-brush、A-Frame、Open VR 等，運(yùn)用一款或者幾款軟件在計(jì)算機(jī)中進(jìn)行建模，構(gòu)建在x、y、z坐標(biāo)軸具有精確數(shù)據(jù)的模型，計(jì)算機(jī)通過(guò)坐標(biāo)、材質(zhì)、法線、邏輯關(guān)系、運(yùn)動(dòng)方式、物體間相互間作用等眾多維度的信息，在虛擬空間中形成具有唯一屬性的虛擬模型。

2.1.2 三維掃描建模

三維掃描建模采用相機(jī)、無(wú)人機(jī)等物理硬件，對(duì)物體輪廓、外形、色彩及材質(zhì)進(jìn)行掃描，以獲得物體外表面的空間坐標(biāo)。掃描的數(shù)據(jù)輸入計(jì)算機(jī)等設(shè)備進(jìn)行拓?fù)鋬?yōu)化、法線歸納和破面修補(bǔ)，最后進(jìn)行模型優(yōu)化，可極大縮短建模時(shí)間。

2.1.3 光場(chǎng)捕捉建模

光場(chǎng)捕捉建模最早由谷歌公司于 2020 年發(fā)布，它運(yùn)用了視覺(jué)感知技術(shù)，通過(guò)預(yù)設(shè)置，將空間里人眼看到的光線進(jìn)行采集重建。光場(chǎng)相機(jī)通常由數(shù)百個(gè)小攝像頭集打造的，這個(gè)方案的原理類似于蒼蠅的復(fù)眼，每一個(gè)攝像頭可以從不同的角度捕捉周圍的場(chǎng)景，將多方向的視角合并為一個(gè)視角。利用光場(chǎng)相機(jī)陣列和深度相機(jī)采集物體對(duì)象的三維信息，然后利用Volume Tracy 等軟件進(jìn)行 CG 內(nèi)容渲染合成，從而獲得更加真實(shí)、精確、動(dòng)態(tài)的數(shù)據(jù)模型。

礦山重型裝備虛擬交互建模，目前主要依賴于軟件，因其更偏重于功能方面的虛擬交互，是現(xiàn)在主要的建模方式。

2.2 開(kāi)發(fā)引擎

目前虛擬現(xiàn)實(shí)主流的開(kāi)發(fā)引擎主要包括 Unity 3D、Unreal (虛幻引擎)、Cocos creator 等，通過(guò)模型的導(dǎo)入，運(yùn)用 C++、C# 和 JavaScript 等腳本語(yǔ)言進(jìn)行編輯處理。前期的數(shù)據(jù)處理主要包括物理控制器、約束編輯、骨骼動(dòng)畫(huà)系統(tǒng)、粒子特效編輯、數(shù)據(jù)驅(qū)動(dòng)的控制器和漫游控制等，編輯器可以在 Windows、Mac、OS 等平臺(tái)運(yùn)行，通過(guò)數(shù)據(jù)處理最終實(shí)現(xiàn)虛擬交互，可發(fā)布至 Windows、Mac、iPhone、Android 等平臺(tái)，同樣也可以發(fā)布到虛擬交互硬件。

上述開(kāi)發(fā)引擎主要應(yīng)用與游戲產(chǎn)業(yè)，在礦山重型裝備并未得到廣泛的應(yīng)用。礦山重型裝備的虛擬現(xiàn)實(shí)的開(kāi)展，需要借鑒游戲行業(yè)的成功案例。

2.3 交互

虛擬現(xiàn)實(shí)交互的優(yōu)劣性，主要取決于硬件設(shè)備性能和用戶體驗(yàn)。

通過(guò)開(kāi)發(fā)引擎所獲得的內(nèi)容與硬件建立連接，硬件兼具輸入、數(shù)據(jù)處理、輸出功能，性能優(yōu)秀的硬件設(shè)備可使得虛擬交互更加流暢，目前虛擬現(xiàn)實(shí)的硬件技術(shù)已經(jīng)非常成熟，并廣泛應(yīng)用于游戲、娛樂(lè)等行業(yè)。

用戶體驗(yàn)要充分考慮用戶邏輯行為，面對(duì)產(chǎn)品、環(huán)境時(shí)的思維變化、心理感受、行為動(dòng)作、交互界面等諸多因素，按照工業(yè)設(shè)計(jì)流程進(jìn)行最優(yōu)化設(shè)計(jì)。虛擬現(xiàn)實(shí)是對(duì)復(fù)雜數(shù)據(jù)進(jìn)行可視化操作，用戶體驗(yàn)至關(guān)重要，為了體驗(yàn)的藝術(shù)性和舒適性，在交互的過(guò)程中，用戶體驗(yàn)設(shè)計(jì)可以有效提升虛擬現(xiàn)實(shí)的交互感受。

3 虛擬現(xiàn)實(shí)技術(shù)應(yīng)用實(shí)例

隨著虛擬現(xiàn)實(shí)技術(shù)的不斷成熟，大量資本涌入該行業(yè)，科技巨頭搶灘布局，可以預(yù)見(jiàn)虛擬現(xiàn)實(shí)技術(shù)將對(duì)各行各業(yè)都產(chǎn)生巨大的推動(dòng)作用。目前在輕工業(yè)、娛樂(lè)業(yè)、科研、醫(yī)療等行業(yè)，虛擬現(xiàn)實(shí)技術(shù)已經(jīng)得到了廣泛的應(yīng)用。在礦山重型裝備領(lǐng)域，隨著工業(yè)互聯(lián)網(wǎng)、智能制造、數(shù)字化等技術(shù)的不斷融合，虛擬現(xiàn)實(shí)技術(shù)在該領(lǐng)域被應(yīng)用于研發(fā)制造、迭代優(yōu)化、市場(chǎng)營(yíng)銷及安裝維護(hù)等環(huán)節(jié)。

3.1 虛擬工廠規(guī)劃

礦山重型裝備制造廠房占地面積大，生產(chǎn)設(shè)備體積大、噸位重，合理有效的工廠規(guī)劃對(duì)于一個(gè)企業(yè)尤為重要。虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，可對(duì)工廠的規(guī)劃、布局、流程、工程推進(jìn)、設(shè)計(jì)管理進(jìn)行直觀地評(píng)估，為設(shè)計(jì)方案提供可視化數(shù)據(jù)。

利用虛擬現(xiàn)實(shí)技術(shù)，按照工程項(xiàng)目設(shè)計(jì)的標(biāo)準(zhǔn)和要求進(jìn)行整體規(guī)劃，建立精確的數(shù)字模型，可以在總體規(guī)劃階段及時(shí)發(fā)現(xiàn)設(shè)計(jì)缺陷，并及時(shí)加以優(yōu)化完善。在詳細(xì)設(shè)計(jì)階段，設(shè)施的一些基本屬性如材質(zhì)、顏色等，可通過(guò)修改參數(shù)即時(shí)得到可視化效果。工廠內(nèi)生產(chǎn)設(shè)備的布置，通過(guò)模塊化設(shè)計(jì)，進(jìn)行排列組合，最終選用便于組織生產(chǎn)、最合理的布局，從而縮短工廠設(shè)計(jì)周期，提高整個(gè)項(xiàng)目的推進(jìn)速度及質(zhì)量。虛擬現(xiàn)實(shí)技術(shù)在智能工廠規(guī)劃中的應(yīng)用如圖 4 所示。在某智能工廠項(xiàng)目數(shù)字化車間的規(guī)劃過(guò)程中，虛擬現(xiàn)實(shí)技術(shù)結(jié)合離散型制造特點(diǎn)，最終形成了全數(shù)字化柔性可重構(gòu)智能裝配車間解決方案。

3.2 虛擬樣機(jī)

利用計(jì)算機(jī)技術(shù)建立機(jī)械設(shè)備三維數(shù)字化模型，按照設(shè)備在現(xiàn)實(shí)中運(yùn)行原理進(jìn)行模擬其作業(yè)過(guò)程，以驗(yàn)證該設(shè)備的整體性能，為機(jī)械設(shè)計(jì)人員提供一個(gè)全新的設(shè)計(jì)驗(yàn)證方法。利用虛擬現(xiàn)實(shí)對(duì)其性能進(jìn)行預(yù)測(cè)和評(píng)價(jià)，及時(shí)發(fā)現(xiàn)設(shè)計(jì)缺陷并進(jìn)行優(yōu)化，可有效縮短設(shè)計(jì)周期、節(jié)約制作成本。

另外，在電動(dòng)汽車領(lǐng)域，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于無(wú)人駕駛已日益完善。在礦山機(jī)械領(lǐng)域，我們同樣可以借助虛擬現(xiàn)實(shí)實(shí)現(xiàn)遠(yuǎn)程操作，可以極大減少操作人員，保障人員安全和設(shè)備安全運(yùn)行。虛擬樣機(jī)與傳統(tǒng)設(shè)計(jì)的對(duì)比如表 1 所列。

表1 虛擬樣機(jī)與傳統(tǒng)設(shè)計(jì)的對(duì)比Tab.1 Comparison between virtual prototype and traditional design

3.2.1 安裝維修

利用虛擬現(xiàn)實(shí)，可以直觀地向客戶介紹產(chǎn)品的安裝步驟、調(diào)試要點(diǎn)及設(shè)備維修的具體操作步驟，與傳統(tǒng)的設(shè)備說(shuō)明書(shū)相對(duì)比，虛擬現(xiàn)實(shí)更直觀、更有可操作性。設(shè)備模擬安裝如圖 5 所示。

3.2.2 虛擬試驗(yàn)及測(cè)試

虛擬現(xiàn)實(shí)可以模擬重型裝備產(chǎn)品運(yùn)行過(guò)程中的實(shí)際工況，采集運(yùn)行過(guò)程中的數(shù)據(jù)，為設(shè)計(jì)人員提供詳細(xì)的試驗(yàn)測(cè)試數(shù)據(jù)，提供更多的設(shè)計(jì)思路，從而使設(shè)計(jì)更合理，更具有創(chuàng)新性、前瞻性，減少了產(chǎn)品的迭代成本。設(shè)備模擬運(yùn)行如圖 6 所示。

3.2.3 虛擬營(yíng)銷展示

在礦山重型裝備，傳統(tǒng)的營(yíng)銷方式主要包括文字介紹、語(yǔ)音介紹、圖片樣本展示及視頻展示，客戶被動(dòng)接受產(chǎn)品的信息，與產(chǎn)品之間無(wú)法進(jìn)行互動(dòng)，營(yíng)銷人員無(wú)法快速精確地找到客戶的關(guān)注點(diǎn)。虛擬營(yíng)銷展示可以利用虛擬現(xiàn)實(shí)的多感知性、交互性、浸沒(méi)感等特點(diǎn)，讓客戶以最短的時(shí)間直觀感受到諸如核心部件結(jié)構(gòu)、生產(chǎn)效率、能耗和安裝維護(hù)等關(guān)鍵屬性特征，大大提升了營(yíng)銷效率，提高了營(yíng)銷的成功率。

4 結(jié)語(yǔ)

通過(guò)虛擬現(xiàn)實(shí)技術(shù)，可以有效地把礦山重型裝備的研發(fā)設(shè)計(jì)、生產(chǎn)制造、投產(chǎn)使用，用戶反饋、設(shè)計(jì)改進(jìn)這一流程整合，使產(chǎn)品設(shè)計(jì)師、營(yíng)銷人員、客戶、維修維護(hù)人員都參與其中每一個(gè)環(huán)節(jié)，及時(shí)發(fā)現(xiàn)各種問(wèn)題，并采用最低成本進(jìn)行解決，從而提供更好的設(shè)計(jì)產(chǎn)品及服務(wù)。

我國(guó)已經(jīng)向世界宣布力爭(zhēng)在 2030 年前實(shí)現(xiàn)碳達(dá)峰，努力在 2060 年前實(shí)現(xiàn)碳中和。新一代信息技術(shù)在機(jī)械行業(yè)已得到深入應(yīng)用，伴隨著綠色制造的興起，我國(guó)相關(guān)產(chǎn)業(yè)政策對(duì)于虛擬現(xiàn)實(shí)支持力度不斷加大，虛擬現(xiàn)實(shí)技術(shù)將在新產(chǎn)品研發(fā)、智慧礦山、智能人機(jī)交互及工業(yè)設(shè)計(jì)等更多環(huán)節(jié)得到廣泛的應(yīng)用，對(duì)于整個(gè)行業(yè)在系統(tǒng)優(yōu)化、生產(chǎn)模式創(chuàng)新、產(chǎn)業(yè)孵化等方面將產(chǎn)生積極的影響。