基于VR虛擬現(xiàn)實(shí)的半實(shí)物綜采實(shí)操平臺(tái)

劉寧寧

（1.煤炭科學(xué)技術(shù)研究院有限公司，北京 100013；2.煤礦應(yīng)急避險(xiǎn)技術(shù)裝備工程研究中心，北京 100013；3.北京市煤礦安全工程技術(shù)研究中心，北京 100013）

煤炭行業(yè)面臨的自然因素復(fù)雜，危險(xiǎn)因素多，屬高危行業(yè)。隨著機(jī)械化水平的提高，機(jī)械操作的復(fù)雜化、精細(xì)化對(duì)作業(yè)人員的素質(zhì)提出了更高要求。傳統(tǒng)復(fù)雜設(shè)備培訓(xùn)方式主要有3種[1-3]：①以煤炭生產(chǎn)企業(yè)為代表的設(shè)備實(shí)操培訓(xùn)，主要依靠口頭傳授和老技工傳帶，影響正常的生產(chǎn)作業(yè)，設(shè)備的誤操作甚至帶來(lái)嚴(yán)重的安全事故；②以大中專院校為代表的理論培訓(xùn)，理論知識(shí)與動(dòng)畫、物理模型相結(jié)合，重課堂講解輕方法創(chuàng)新、重知識(shí)灌輸輕技能培養(yǎng)[4]，基本不具備設(shè)備操作能力；③以環(huán)幕、立體投影等單一顯示技術(shù)為基礎(chǔ)的三維動(dòng)畫漫游、展示，具有一定的沉浸感[5-7]。

半實(shí)物仿真是在計(jì)算機(jī)仿真回路中接入一些實(shí)物，將對(duì)象實(shí)體的動(dòng)態(tài)特性通過(guò)建立數(shù)學(xué)模型、編程在計(jì)算機(jī)上運(yùn)行，受訓(xùn)人員通過(guò)操作真實(shí)設(shè)備控制虛擬設(shè)備動(dòng)作，廣泛應(yīng)用于飛機(jī)訓(xùn)練模擬器、石油鉆井等復(fù)雜工業(yè)系統(tǒng)操作培訓(xùn)[8-11]。近年來(lái)煤炭行業(yè)也出現(xiàn)了半實(shí)物虛擬仿真系統(tǒng)的雛形，如河南理工大學(xué)開發(fā)的煤礦副井提升機(jī)、采煤機(jī)虛擬培訓(xùn)系統(tǒng)[12-13]。通過(guò)操作物理模型控制三維虛擬設(shè)備動(dòng)作，提高了可操作性和互動(dòng)性，但受限于三維虛擬設(shè)備的顯示方式，沉浸感不強(qiáng)，缺乏設(shè)備的真實(shí)操作體驗(yàn)。

近年來(lái)隨著VR虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，尤其是以HTC、Oculus等廠家開發(fā)的虛擬現(xiàn)實(shí)硬件的成熟，為煤礦復(fù)雜機(jī)械設(shè)備培訓(xùn)提供了新思路，即以虛擬現(xiàn)實(shí)技術(shù)為顯示手段，將高仿真、全比例硬件進(jìn)入計(jì)算機(jī)系統(tǒng)，兼顧復(fù)雜機(jī)械系統(tǒng)操作的高沉浸感和強(qiáng)互動(dòng)性。

1 系統(tǒng)的總體架構(gòu)

1.1 系統(tǒng)架構(gòu)

平臺(tái)整體架構(gòu)如圖1。以實(shí)現(xiàn)培訓(xùn)內(nèi)容為目的，平臺(tái)主要由2部分構(gòu)成：高仿真、全比例實(shí)物操作臺(tái)，包括采煤機(jī)操作臺(tái)和液壓支架操作臺(tái)，用于平臺(tái)的交互輸入，實(shí)現(xiàn)操作的真實(shí)性；典型場(chǎng)景、設(shè)備的VR虛擬現(xiàn)實(shí)仿真軟件，作為實(shí)現(xiàn)培訓(xùn)內(nèi)容的主體，響應(yīng)操作臺(tái)控制動(dòng)作。基于單片機(jī)的數(shù)據(jù)采集與通信系統(tǒng)實(shí)現(xiàn)實(shí)物操作臺(tái)與虛擬軟件的實(shí)時(shí)通信。為了解決佩戴VR頭顯設(shè)備條件無(wú)法觀看外部真實(shí)設(shè)備的問(wèn)題，開發(fā)虛擬現(xiàn)實(shí)定位及動(dòng)作捕捉裝置，實(shí)現(xiàn)精準(zhǔn)操作。

圖1 系統(tǒng)整體架構(gòu)

1.2 培訓(xùn)內(nèi)容規(guī)劃

實(shí)操平臺(tái)的開發(fā)主要為滿足采煤機(jī)司機(jī)實(shí)際操作能力的培訓(xùn)和考核使用，同時(shí)兼顧理論知識(shí)學(xué)習(xí)，采用模塊化設(shè)計(jì)，將大綱要求的培訓(xùn)內(nèi)容融入典型采煤工作面的工藝流程中，并適當(dāng)擴(kuò)展。共劃分理論教學(xué)、認(rèn)知漫游、結(jié)構(gòu)教學(xué)、仿真訓(xùn)練、模擬考核5個(gè)模塊，各模塊主要培訓(xùn)內(nèi)容規(guī)劃如下：①理論教學(xué)：炮采、普采、綜采、綜放采煤工藝基本知識(shí)；②認(rèn)知漫游：對(duì)炮采、普采、綜采、綜放工作面漫游；③結(jié)構(gòu)教學(xué)：采煤機(jī)、液壓支架、刮板運(yùn)輸機(jī)、轉(zhuǎn)載機(jī)、泵站等采煤工作面主要設(shè)備原理及結(jié)構(gòu)；④仿真訓(xùn)練：包括單機(jī)操作和工藝聯(lián)合2個(gè)子模塊，工藝聯(lián)合子模塊分別對(duì)不同進(jìn)刀、割煤、放煤方式進(jìn)行培訓(xùn)，內(nèi)容相比大綱適當(dāng)拓展；⑤模擬考核：嚴(yán)格依據(jù)大綱設(shè)定考核內(nèi)容，具備考生信息管理及自動(dòng)評(píng)分功能。

2 軟件系統(tǒng)

1）軟件功能細(xì)化分解。依據(jù)系統(tǒng)培訓(xùn)內(nèi)容及整體模塊劃分，將軟件功能細(xì)化分解，為腳本及程序編寫提供依據(jù),軟件系統(tǒng)功能細(xì)化如圖2。

2）場(chǎng)景設(shè)定。軟件所有功能在統(tǒng)一構(gòu)建的虛擬場(chǎng)景內(nèi)實(shí)現(xiàn)，充分考慮場(chǎng)景元素的真實(shí)性和代表性。設(shè)定開采煤層為近水平厚煤層，工作面長(zhǎng)度150 m，煤層厚度6.0 m，采用綜采放頂煤開采，采放比1：2，煤層結(jié)構(gòu)簡(jiǎn)單；切眼采用梯形斷面，錨網(wǎng)抬棚支護(hù)，用以模擬初采過(guò)程；進(jìn)風(fēng)巷、回風(fēng)巷均采用梯形斷面，上、下寬分別為 4.2、4.8 m，高 3.3 m，錨網(wǎng)支護(hù)，提供端部進(jìn)刀及設(shè)備列車運(yùn)行空間。

3）原型設(shè)備選型及建模。綜采面采煤機(jī)、液壓支架、刮板運(yùn)輸機(jī)等是模擬操作的核心設(shè)備。設(shè)備選型在與設(shè)定的開采條件相適應(yīng)，并合理配套的基礎(chǔ)上，尤其注意設(shè)備結(jié)構(gòu)形式和操作方法應(yīng)具有典型代表性，以最大程度適應(yīng)礦井的實(shí)際生產(chǎn)需要。采用3DMAX與Unity3D配合進(jìn)行建模開發(fā)，幾何建模保證設(shè)備的外形與真實(shí)設(shè)備相同，形象建模實(shí)現(xiàn)設(shè)備外形美觀，行為建模實(shí)現(xiàn)設(shè)備運(yùn)行行為的真實(shí)。工作面原型設(shè)備選型如下：①M(fèi)GTY400/930-3.3D雙滾筒電牽引采煤機(jī) 1 臺(tái)，采高 2.2～3.5 m，截深 800 mm；②SGZ-1000/1225刮板運(yùn)輸機(jī)1臺(tái)，刮板鏈速1.2 m/s，中間槽尺寸為1 500 mm×1 000 mm×337 mm；③ZFS7200/18/35液壓支架94架，低位放頂煤，支柱高度 1.8～3.5 m；④ZFG9000/22/38 排頭支架 6 架，支柱高度 2.2～3.8 m。

3 硬件平臺(tái)開發(fā)

3.1 實(shí)物操作臺(tái)

實(shí)物操作臺(tái)的設(shè)計(jì)是實(shí)現(xiàn)操作真實(shí)性的關(guān)鍵。設(shè)計(jì)采煤機(jī)操作臺(tái)和液壓支架操作臺(tái)各1臺(tái)，其中液壓支架操作臺(tái)可以通過(guò)軟件設(shè)定順序移架或成組移架過(guò)程需要操作的支架。支架移架及放煤方式多樣，液壓支架設(shè)計(jì)為可擴(kuò)展形式，即1臺(tái)采煤機(jī)操作臺(tái)也可以和2臺(tái)及以上的支架操作臺(tái)配合運(yùn)行。

操作臺(tái)面板上按鈕、旋鈕、儀表盤、遙控器等控件種類、功能、大小、布局方式與原型設(shè)備完全一致。加工制造過(guò)程中尤其保證加工精度，為控件在虛擬場(chǎng)景中的精確定位提供基礎(chǔ)。

3.2 數(shù)據(jù)采集及通信系統(tǒng)

數(shù)據(jù)采集及通信系統(tǒng)的作用是實(shí)時(shí)采集受訓(xùn)人員的操作數(shù)據(jù)，并轉(zhuǎn)換為能夠?yàn)橛?jì)算機(jī)所識(shí)別的電信號(hào)，驅(qū)動(dòng)虛擬軟件相應(yīng)動(dòng)作；同時(shí)將設(shè)備動(dòng)作后的運(yùn)行狀態(tài)反饋給操作臺(tái)顯示?；谠驮O(shè)備，編制通訊協(xié)議約定各變量輸入輸出類型及取值范圍，其中采煤機(jī)設(shè)計(jì)了控制開關(guān)機(jī)、行走及滾筒升降在內(nèi)的30個(gè)開關(guān)量，1個(gè)噴霧水閥模擬量，遙控器設(shè)計(jì)了控制開關(guān)機(jī)、行走及滾筒升降的12個(gè)開關(guān)量，液壓支架設(shè)計(jì)了控制各閥組動(dòng)作的9個(gè)模擬量和支架選擇用的4個(gè)開關(guān)量。

圖2 軟件系統(tǒng)功能細(xì)化

基于4塊ATmega16型8位單片機(jī)，設(shè)計(jì)操作臺(tái)數(shù)據(jù)采集電路，4塊單片機(jī)采用1主3從結(jié)構(gòu)，主從通訊采用I2C總線，能夠采集64個(gè)開關(guān)量和32個(gè)模擬量數(shù)據(jù)，主單片機(jī)與計(jì)算機(jī)采用RS485串口和Modbus協(xié)議通訊。

3.3 虛擬現(xiàn)實(shí)定位及動(dòng)作捕捉系統(tǒng)

以HTC、Oculus等為代表的VR硬件廠商設(shè)備的典型特點(diǎn)是，佩戴頭部現(xiàn)實(shí)設(shè)備后，僅能觀看虛擬場(chǎng)景，無(wú)法觀看現(xiàn)實(shí)世界中的操作臺(tái)面板。僅能通過(guò)專用手柄的少數(shù)按鈕實(shí)現(xiàn)簡(jiǎn)單的操作，不能滿足復(fù)雜設(shè)備的操作需求。虛擬現(xiàn)實(shí)定位及動(dòng)作捕捉系統(tǒng)通過(guò)解決真實(shí)控件在虛擬場(chǎng)景中的定位和手部動(dòng)作的捕捉，實(shí)現(xiàn)佩戴頭部顯示設(shè)備情況下控件的準(zhǔn)確操作。

VR虛擬場(chǎng)景的坐標(biāo)系以定位基站位置為固定參考點(diǎn)，場(chǎng)景建模及頭部顯示設(shè)備位置均在此坐標(biāo)系進(jìn)行定位。控件與VR硬件設(shè)備的定位基站的空間位置相對(duì)固定，因此控件位置可在坐標(biāo)系內(nèi)依據(jù)圖紙準(zhǔn)確建模定位?？丶顟B(tài)的變化如操作手柄的位移量可通過(guò)數(shù)據(jù)采集系統(tǒng)采集到的數(shù)據(jù)進(jìn)行反算，以更新虛擬場(chǎng)景中相應(yīng)位置。據(jù)此，佩戴頭部顯示設(shè)備后能在真實(shí)空間位置看到對(duì)應(yīng)的虛擬控件。

操作人員手的位置與定位基站相對(duì)位置不固定，不能采用控件定位的類似方式進(jìn)行定位。實(shí)際測(cè)試表明，手部固定Vive Tracker后僅能定位手掌大體位置，由于個(gè)體化差異，并不能通過(guò)統(tǒng)一方式進(jìn)行糾偏或推算手指位置，實(shí)際操作過(guò)程中總會(huì)產(chǎn)生1～2 cm偏差，即無(wú)法準(zhǔn)確找到并操作控件。對(duì)此可采用手套固定彎曲傳感器的方式實(shí)現(xiàn)對(duì)手指動(dòng)作和位置的準(zhǔn)確捕捉，即通過(guò)單獨(dú)系統(tǒng)將手指準(zhǔn)確位置輸入計(jì)算機(jī)虛擬軟件，經(jīng)坐標(biāo)轉(zhuǎn)換為統(tǒng)一坐標(biāo)系下的實(shí)時(shí)建模。

4 結(jié)語(yǔ)

依據(jù)培訓(xùn)大綱和考核要求規(guī)劃培訓(xùn)內(nèi)容，研發(fā)了由高仿真、全比例實(shí)物操作臺(tái)和VR虛擬現(xiàn)實(shí)仿真軟件構(gòu)成的半實(shí)物綜采實(shí)操平臺(tái)；基于主從單片機(jī)，開發(fā)了可擴(kuò)展的數(shù)據(jù)采集及通信系統(tǒng)，實(shí)現(xiàn)了硬件平臺(tái)的數(shù)據(jù)采集及與軟件實(shí)時(shí)交互；基于VR物理空間定位及彎曲傳感器，開發(fā)了虛擬現(xiàn)實(shí)定位及動(dòng)作捕捉系統(tǒng)，解決佩戴VR頭部顯示設(shè)備條件下的設(shè)備準(zhǔn)確操作問(wèn)題；平臺(tái)能夠克服傳統(tǒng)培訓(xùn)方式的弊端，具有強(qiáng)烈的沉浸感和逼真的互動(dòng)操作性，培訓(xùn)效果良好，為掘進(jìn)機(jī)、連采機(jī)等煤礦復(fù)雜設(shè)備操作培訓(xùn)提供了新思路。