基于5G+AR技術(shù)的智慧礦井巡檢方案設(shè)計(jì)

王 萌

聯(lián)通（江蘇）產(chǎn)業(yè)互聯(lián)網(wǎng)有限公司

0 引言

我國(guó)煤炭資源賦存條件復(fù)雜，瓦斯、火、煤塵等自然災(zāi)害嚴(yán)重，煤礦進(jìn)入深部開(kāi)采時(shí)，高應(yīng)力、高地溫、高巖溶水壓?jiǎn)栴}日趨突出，煤巖極易大規(guī)模失穩(wěn)，災(zāi)害形式由單一災(zāi)害轉(zhuǎn)變?yōu)槎喾N災(zāi)害耦合。目前針對(duì)礦井巡檢，巡檢人員多配備多種氣體檢測(cè)儀以及手機(jī)等裝備，數(shù)據(jù)多為手工記錄，操作繁瑣且數(shù)據(jù)精度不高，實(shí)時(shí)性較差，可視化程度較低，無(wú)法對(duì)礦井面臨的災(zāi)害進(jìn)行預(yù)警，巡檢人員生命安全同樣容易受到威脅。

目前，我國(guó)一些煤礦正在開(kāi)展智能化建設(shè)工作。相關(guān)文獻(xiàn)討論了無(wú)線傳感器網(wǎng)絡(luò)在煤礦井下環(huán)境參數(shù)，如礦井瓦斯、溫濕度、粉塵、火災(zāi)、頂板塌落監(jiān)測(cè)中的應(yīng)用。提出了基于MSP430和ZigBee設(shè)備設(shè)計(jì)的一套可通過(guò)無(wú)線傳感網(wǎng)絡(luò)進(jìn)行液壓支架壓力監(jiān)測(cè)的微型監(jiān)測(cè)系統(tǒng)。針對(duì)煤礦井下設(shè)備群同時(shí)作業(yè)時(shí)設(shè)備監(jiān)測(cè)數(shù)據(jù)高并發(fā)導(dǎo)致的低傳輸效率問(wèn)題，提出了一種煤礦設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)方案。提出了基于“互聯(lián)網(wǎng)+”的遠(yuǎn)程互聯(lián)優(yōu)勢(shì)開(kāi)發(fā)的具有遠(yuǎn)程診斷和預(yù)警的煤礦水文監(jiān)測(cè)系統(tǒng)，系統(tǒng)實(shí)現(xiàn)了鉆孔水壓、管道流量、礦井水質(zhì)等水文參數(shù)的井地一體化監(jiān)測(cè)?，F(xiàn)有的方案設(shè)計(jì)多著眼于煤礦環(huán)境的異常監(jiān)測(cè)，對(duì)于工作人員日常的井下巡檢和發(fā)生異常后故障的處理修復(fù)尚沒(méi)有完善的技術(shù)手段。

因此，本文提出一種基于5G+AR技術(shù)的智慧礦井巡檢方案，利用5G網(wǎng)絡(luò)特性以及AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）系統(tǒng)，實(shí)時(shí)收集礦井現(xiàn)場(chǎng)數(shù)據(jù)，在平臺(tái)側(cè)對(duì)多源數(shù)據(jù)進(jìn)行融合，并與AR眼鏡進(jìn)行結(jié)合，對(duì)數(shù)據(jù)進(jìn)行可視化展示，且對(duì)設(shè)備常規(guī)操作流程進(jìn)行三維展示，解放運(yùn)維人員雙手，輔助運(yùn)維人員對(duì)礦井進(jìn)行日常巡檢。在遇到礦井應(yīng)急搶修時(shí)，通過(guò)拍照攝像和語(yǔ)音通話功能，與后臺(tái)技術(shù)人員對(duì)隱患點(diǎn)和故障點(diǎn)進(jìn)行交互，提高礦井巡檢和生產(chǎn)效率，實(shí)現(xiàn)礦井巡檢智能化。

1 基于5G+AR技術(shù)的礦井智能巡檢

1.1 應(yīng)用架構(gòu)

2019年11月，工信部印發(fā)《“5G+工業(yè)互聯(lián)網(wǎng)”512工程推進(jìn)方案》。2020年3月工信部再次印發(fā)《關(guān)于推動(dòng)工業(yè)互聯(lián)網(wǎng)加快發(fā)展的通知》，打造5個(gè)產(chǎn)業(yè)公共服務(wù)平臺(tái)，遴選10個(gè)重點(diǎn)行業(yè)，形成至少20大典型工業(yè)應(yīng)用場(chǎng)景。其中，電子設(shè)備制造、裝備制造、鋼鐵、采礦、電力5個(gè)行業(yè)率先發(fā)展，助力企業(yè)降本提質(zhì)和安全生產(chǎn)。因此，本文以5G+工業(yè)互聯(lián)網(wǎng)出發(fā)，提出一種基于5G+AR技術(shù)的智慧礦井巡檢方案的應(yīng)用架構(gòu)，如圖1所示。

圖1 基于5G+AR技術(shù)的智慧礦井巡檢方案的應(yīng)用架構(gòu)

應(yīng)用架構(gòu)的最底層是由多種傳感器構(gòu)成的數(shù)據(jù)感知層。甲烷傳感器、溫度傳感器、聲音傳感器、煤霧傳感器用于收集井下環(huán)境數(shù)據(jù)；雙目視覺(jué)傳感器由3D成像單元和運(yùn)動(dòng)路徑規(guī)劃單元組成，復(fù)原井下環(huán)境的3D立體信息，在無(wú)GPS（Global Positioning System，全球定位系統(tǒng)）的環(huán)境下提供高精度定位功能。數(shù)據(jù)感知層的作用是采集數(shù)據(jù)，把氣體濃度、溫度、聲音、3D環(huán)境建模等實(shí)際的量轉(zhuǎn)換成數(shù)字信號(hào)供后續(xù)處理。通過(guò)5G網(wǎng)絡(luò)將數(shù)據(jù)感知層的數(shù)據(jù)傳輸?shù)狡脚_(tái)層，平臺(tái)層負(fù)責(zé)數(shù)據(jù)匯集與處理，是應(yīng)用層的有力支撐。

AR可視化平臺(tái)具備工業(yè)級(jí)實(shí)時(shí)渲染引擎，支持高質(zhì)量數(shù)字模型的可視化渲染方式，適配AR眼鏡等顯示設(shè)備，同時(shí)支持5G及云應(yīng)用。物聯(lián)網(wǎng)平臺(tái)將通過(guò)5G網(wǎng)絡(luò)上傳的各類傳感器與井下設(shè)備收集到的數(shù)據(jù)進(jìn)行分析、判斷、處理、整合，提供礦井環(huán)境及設(shè)備運(yùn)行的實(shí)時(shí)在線監(jiān)測(cè)及故障告警等功能。同步定位與地圖構(gòu)建技術(shù)（Simultaneous Localization And Mapping，SLAM）被較多應(yīng)用在機(jī)器人技術(shù)中，其工作原理是利用傳感器數(shù)據(jù)在未知環(huán)境中建立實(shí)時(shí)定位和環(huán)境地圖。多年來(lái)，出現(xiàn)了多種使用不同傳感器的新方法，如聲吶，激光雷達(dá)和攝像機(jī)。在該井下巡檢方案中，采用在AR眼鏡上安裝攝像頭的設(shè)計(jì)方式，基于SLAM場(chǎng)景定位服務(wù)來(lái)獲取周?chē)h(huán)境信息，從而為工作人員指引標(biāo)準(zhǔn)巡檢或直達(dá)故障地點(diǎn)的路線。

基于數(shù)據(jù)感知、多平臺(tái)的能力底座，打造礦井智能巡檢方案的三大應(yīng)用模塊，實(shí)時(shí)監(jiān)測(cè)系統(tǒng)通過(guò)監(jiān)測(cè)、比對(duì)、分析各類傳感器與井下設(shè)備收集到的數(shù)據(jù)，如有超出正常范圍的情況，將發(fā)出告警信息到中控室，同時(shí)生成任務(wù)單推送到井下巡檢系統(tǒng)。井下巡檢系統(tǒng)分為日常巡檢和應(yīng)急搶修兩種工作模式，日常巡檢重點(diǎn)在AR眼鏡上展示巡檢人員周邊設(shè)備及環(huán)境狀態(tài)數(shù)據(jù)，應(yīng)急搶修側(cè)重利用專家遠(yuǎn)程指導(dǎo)系統(tǒng)與技術(shù)人員的溝通協(xié)作及信息交互。

1.2 5G技術(shù)與礦井巡檢場(chǎng)景的結(jié)合

目前多數(shù)礦井下的數(shù)據(jù)實(shí)時(shí)性差，巡檢人員無(wú)法實(shí)時(shí)獲得巡檢標(biāo)準(zhǔn)信息，更難定位故障，管理部門(mén)無(wú)法及時(shí)得到巡檢的統(tǒng)計(jì)分析結(jié)果，不能保證管理的準(zhǔn)確性和連貫性，且受限于網(wǎng)絡(luò)通信技術(shù)及終端裝備技術(shù)，專家無(wú)法為現(xiàn)場(chǎng)作業(yè)人員提供技術(shù)支撐。

在智慧礦井巡檢場(chǎng)景下，對(duì)通信方式所能達(dá)到的數(shù)據(jù)傳輸量以及時(shí)延程度要求很高。Wi-Fi等無(wú)線通信技術(shù)雖在日常生活中被廣泛應(yīng)用，但因?yàn)閭鬏斁嚯x短、穿透性差、不穩(wěn)定等問(wèn)題，不適用于礦井作業(yè)環(huán)境。此處選取4G、5G這兩種常見(jiàn)的無(wú)線傳輸方式從傳輸速率、時(shí)延、連接密度等多個(gè)角度進(jìn)行對(duì)比，如表1所示。

表1 4G/5G能力對(duì)比

由此可以看出5G網(wǎng)絡(luò)在高帶寬、低時(shí)延、廣連接等方面的優(yōu)勢(shì)，適合用于智慧礦井巡檢等場(chǎng)景。在高帶寬特性方面，依賴其10Gbps以上的傳輸速率，5G網(wǎng)絡(luò)可為現(xiàn)場(chǎng)環(huán)境3D建模、云渲染等應(yīng)用提供基礎(chǔ)支撐；在低時(shí)延特性應(yīng)用方面，依賴其近1ms的超低時(shí)延，5G網(wǎng)絡(luò)能夠?yàn)閷?shí)現(xiàn)巡檢人員與專家遠(yuǎn)程音視頻連線、實(shí)時(shí)獲取設(shè)備的運(yùn)行狀態(tài)數(shù)據(jù)和周邊環(huán)境數(shù)據(jù)等，對(duì)時(shí)延要求高的功能模塊提供支撐。在廣連接特性方面，依賴其每平方公里百萬(wàn)級(jí)的并發(fā)接入能力，5G網(wǎng)絡(luò)可廣泛覆蓋井下大量的傳感器及設(shè)備，助力實(shí)現(xiàn)全面的數(shù)據(jù)感知。

因此，5G無(wú)線通信技術(shù)契合當(dāng)今礦區(qū)對(duì)于數(shù)據(jù)傳輸及處理技術(shù)的需求，能夠良好解決常規(guī)有線網(wǎng)絡(luò)遇到的問(wèn)題。

1.3 AR技術(shù)在礦井巡檢場(chǎng)景下的應(yīng)用

增強(qiáng)現(xiàn)實(shí)技術(shù)，是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像、視頻、3D模型的技術(shù)。它以交互性和構(gòu)想為基本特征進(jìn)行計(jì)算機(jī)高級(jí)人機(jī)交互。AR不僅展現(xiàn)了真實(shí)世界的信息，而且將虛擬的信息同時(shí)顯示出來(lái)，兩種信息相互補(bǔ)充、疊加，包含了多媒體、三維建模、實(shí)時(shí)視頻顯示及控制、多傳感器融合、實(shí)時(shí)跟蹤及場(chǎng)景融合等新技術(shù)與新手段。利用AR設(shè)備，施工人員可以把真實(shí)畫(huà)面與電腦標(biāo)準(zhǔn)圖形、信息、數(shù)據(jù)多重合成在一起，便可進(jìn)行實(shí)時(shí)比對(duì)和判斷，對(duì)生產(chǎn)制造過(guò)程進(jìn)行監(jiān)控。但因AR技術(shù)需要實(shí)時(shí)進(jìn)行視頻交互，其時(shí)延要求低至19.3ms，同時(shí)對(duì)井下環(huán)境通過(guò)AR眼鏡進(jìn)行3D建模、云渲染，對(duì)于數(shù)據(jù)計(jì)算和傳輸帶寬要求每秒10Gbps，5G網(wǎng)絡(luò)為AR眼鏡功能的實(shí)現(xiàn)提供了網(wǎng)絡(luò)基礎(chǔ)支撐，因此本次采用5G+AR技術(shù)，輔助巡檢人員便捷、高效、安全地進(jìn)行井下巡查和設(shè)備故障維修工作。

目前AR系統(tǒng)主要通過(guò)AR眼鏡設(shè)備實(shí)現(xiàn)，AR眼鏡以佩戴者第一視角進(jìn)行交互，將虛擬信息以及真實(shí)世界信息展示在佩戴者的視場(chǎng)中，為佩戴者提供增強(qiáng)現(xiàn)實(shí)的感官體驗(yàn)。其主要包括現(xiàn)場(chǎng)信息數(shù)據(jù)采集、AR算法處理實(shí)現(xiàn)虛實(shí)結(jié)合以及信息輸出這三部分，圖2為AR眼鏡工作原理框架圖。

圖2 AR眼鏡工作原理

AR智能眼鏡通過(guò)攝像頭、傳感器等設(shè)備，對(duì)真實(shí)世界信息進(jìn)行實(shí)時(shí)感知、采集，同時(shí)構(gòu)建虛擬場(chǎng)景信息，并傳輸?shù)窖坨R的芯片中，再通過(guò)跟蹤定位技術(shù)和場(chǎng)景渲染等運(yùn)算，將虛擬影像信息疊加到真實(shí)場(chǎng)景信息上，最后通過(guò)顯示輸出設(shè)備進(jìn)行場(chǎng)景的呈現(xiàn)。圖像的位置和角度能夠隨著佩戴者的視線而變化，可以通過(guò)手勢(shì)、語(yǔ)音等進(jìn)行交互，感受沉浸式視覺(jué)體驗(yàn)。

2 基于5G+AR技術(shù)巡檢技術(shù)的應(yīng)用

2.1 5G組網(wǎng)方案

5G組網(wǎng)方案的目標(biāo)是搭建能夠?qū)崿F(xiàn)智慧礦井巡檢的專用網(wǎng)絡(luò)，支持AR眼鏡設(shè)備的大數(shù)據(jù)傳輸，和甲烷傳感器、溫度傳感器等物聯(lián)網(wǎng)設(shè)備的智能互聯(lián)。系統(tǒng)總體架構(gòu)如圖3所示。

圖3 煤礦5G專網(wǎng)組網(wǎng)方案

5G系統(tǒng)采用礦用5G核心網(wǎng)，所有應(yīng)用及控制面信息直接在煤礦園區(qū)內(nèi)閉環(huán)，保障數(shù)據(jù)不出煤礦園區(qū)。與運(yùn)營(yíng)商大網(wǎng)連接，保證與外網(wǎng)語(yǔ)音和數(shù)據(jù)的互聯(lián)互通。

在百余米深的礦井下覆蓋5G網(wǎng)絡(luò)施工難度和強(qiáng)度非常大，井下粉塵、陰暗、潮濕、噪音等都是影響施工進(jìn)程的因素，且施工人員必須穿著厚重的防護(hù)服、戴著礦燈、攜帶特殊裝置等，這些都會(huì)增加施工難度。另外礦井下由于粉塵密集、可燃性物質(zhì)多，嚴(yán)禁架設(shè)功率較大的通訊設(shè)備，所以對(duì)于井下布放的通信設(shè)備的標(biāo)準(zhǔn)十分嚴(yán)苛。

井下建設(shè)5G網(wǎng)絡(luò)采用定向天線覆蓋；巷道交錯(cuò)區(qū)域，在交叉路口設(shè)立一個(gè)分站，并采用多個(gè)天線進(jìn)行分別覆蓋；井下硐室區(qū)域采用室內(nèi)部署基站的方式覆蓋；礦用基站控制器放置在變電所等空間足夠的區(qū)域。所有基站的供電采用獨(dú)立的UPS供電方式，每套設(shè)備配置一臺(tái)UPS電源就近接入。

井下5G網(wǎng)絡(luò)建設(shè)用到的主要設(shè)備有礦用隔爆兼本安型無(wú)線基站、內(nèi)置BBU或HUB設(shè)備的礦用隔爆型基站控制器。礦用隔爆兼本安型無(wú)線基站（RRU），支持4/5G無(wú)線基站模塊、光/電及電/光轉(zhuǎn)換器、混合電路等功能模塊，支持現(xiàn)射頻光信號(hào)和射頻電信號(hào)之間的雙向轉(zhuǎn)換功能。內(nèi)置BBU設(shè)備的礦用隔爆型基站控制器，實(shí)現(xiàn)井下5G無(wú)線基站的接入。內(nèi)置設(shè)備集中管理整個(gè)基站系統(tǒng)，包括操作維護(hù)、信令處理和系統(tǒng)時(shí)鐘；提供基站與傳輸網(wǎng)絡(luò)的物理接口，完成信息交互；提供與OMC連接的維護(hù)通道；完成上、下行數(shù)據(jù)基帶處理功能；提供和環(huán)境監(jiān)控設(shè)備的通信接口，接收和轉(zhuǎn)發(fā)來(lái)自環(huán)境監(jiān)控設(shè)備的信號(hào)，以及礦用隔爆兼本安型無(wú)線基站的上行數(shù)據(jù)的匯聚處理。內(nèi)置HUB（遠(yuǎn)端匯聚單元）設(shè)備的礦用隔爆型基站控制器也用于實(shí)現(xiàn)井下5G無(wú)線基站的接入。內(nèi)置設(shè)備作為遠(yuǎn)端匯聚單元，主要負(fù)責(zé)井下5G無(wú)線基站設(shè)備的接入，并將5G無(wú)線基站數(shù)據(jù)上傳至礦用隔爆型基站控制器（內(nèi)置BBU）設(shè)備。

2.2 5G+AR智慧礦井巡檢

利用AR系統(tǒng)具有真實(shí)世界和虛擬世界信息的集成能力、實(shí)時(shí)交互性、能夠在三維尺度空間中增添定位虛擬物體的三大特點(diǎn)，本次提出了一種基于5G+AR智慧礦井巡檢方案，分為日常巡檢和應(yīng)急搶修兩種工作模式。

針對(duì)日常巡檢，巡檢人員根據(jù)工作安排進(jìn)行井下例行巡檢，進(jìn)入礦井環(huán)境后，佩戴的AR智能眼鏡為其指引標(biāo)準(zhǔn)巡檢路線，避免工作人員誤入危險(xiǎn)區(qū)域。當(dāng)巡檢人員處于井下設(shè)備附近指定的監(jiān)測(cè)區(qū)域時(shí)，AR眼鏡界面上將展示該設(shè)備的運(yùn)行狀態(tài)數(shù)據(jù)（設(shè)備型號(hào)、設(shè)備出產(chǎn)日期、運(yùn)行時(shí)長(zhǎng)、故障歷史記錄等）和周邊環(huán)境狀態(tài)數(shù)據(jù)（溫度、濕度、甲烷濃度等），巡檢人員根據(jù)工作經(jīng)驗(yàn)分析AR眼鏡中呈現(xiàn)出的數(shù)據(jù)，如有隱患可做到早發(fā)現(xiàn)早解決。

針對(duì)應(yīng)急搶修，甲烷傳感器、煤霧傳感器、溫度傳感器、聲音傳感器等探測(cè)到的井下環(huán)境數(shù)據(jù)以及井下設(shè)備運(yùn)行狀況通過(guò)5G上傳到實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，系統(tǒng)將其與預(yù)設(shè)指標(biāo)進(jìn)行比對(duì)，如有超出正常范圍的情況，將發(fā)出告警信息到中控室，同時(shí)生成任務(wù)單推送到井下巡檢系統(tǒng)。巡檢人員下井后沿著AR眼鏡上指引的路線到達(dá)故障發(fā)生地點(diǎn)，根據(jù)數(shù)據(jù)異常情況，分析故障來(lái)源并修理。如仍無(wú)法解決，可選擇聯(lián)系專家遠(yuǎn)程指導(dǎo)，實(shí)時(shí)音視頻連線，讓專家與巡檢人員共享同一視角，便于其查看現(xiàn)場(chǎng)狀況，另外專家可以在設(shè)備內(nèi)部拆解的3D模型上標(biāo)注涂鴉，幫助巡檢人員定位故障點(diǎn)。

2.3 智慧礦井巡檢測(cè)試應(yīng)用

在礦井下巷道和綜采工作面部署防爆5G基站設(shè)備，使得靠近基站區(qū)域上行速率提升20%-60%，偏遠(yuǎn)弱覆蓋區(qū)域可提升最高300%。本文選擇某檢修場(chǎng)景對(duì)5G+AR技術(shù)進(jìn)行測(cè)試驗(yàn)證。

圖5 多方語(yǔ)音通話測(cè)試

圖6 文字圖片推送

圖7 指示標(biāo)記顯示

圖4-圖9為測(cè)試圖片，系統(tǒng)可運(yùn)行在智能眼鏡、智能手機(jī)、PC電腦等多終端設(shè)備多平臺(tái)系統(tǒng)上進(jìn)行可視化遠(yuǎn)程協(xié)助，遠(yuǎn)程專家可以與前端的工作人員進(jìn)行多方實(shí)時(shí)語(yǔ)音通話，專家可以推送圖片、文字消息到前端智能手機(jī)/AR眼鏡的屏幕上，技術(shù)資料圖片文檔可以共享給前端工作人員進(jìn)行查看，與前端工作人員協(xié)同工作。同時(shí)，技術(shù)專家在前端用戶實(shí)時(shí)回傳的視頻畫(huà)面上，使用鼠標(biāo)點(diǎn)選指定位置或部件，即可將標(biāo)記信息發(fā)送到前端智能眼鏡屏幕同樣位置上，使用這種清晰明確的交互方式，將有效提高前后方協(xié)調(diào)工作效率和溝通便捷性。

圖4 AR眼鏡跨平臺(tái)展示

圖8 桌面共享

圖9 多方協(xié)同會(huì)商

此外，遠(yuǎn)程技術(shù)專家可以邀請(qǐng)其他專家加入視頻會(huì)商，移動(dòng)端的專家可在手機(jī)上觀看現(xiàn)場(chǎng)視頻，共同討論解決方案，指導(dǎo)一線人員排除故障，使得一線人員無(wú)須過(guò)多操作，專心故障的排除而無(wú)須分心。

3 結(jié)束語(yǔ)

本文針對(duì)礦井巡檢現(xiàn)狀，打造了一套基于5G+AR的巡檢系統(tǒng)，搭建了視頻采集、智能分析、全面感知、設(shè)備健康管理以及VR高清直播等智慧應(yīng)用，解放運(yùn)維人員雙手，并對(duì)現(xiàn)場(chǎng)情況進(jìn)行可視化實(shí)時(shí)展示，進(jìn)一步推進(jìn)5G+智慧礦山建設(shè)，實(shí)現(xiàn)傳統(tǒng)行業(yè)與新一代信息通信技術(shù)的融合創(chuàng)新。本文僅是將5G與AR技術(shù)進(jìn)行融合提出的智慧巡檢系統(tǒng)，未來(lái)將依托5G專網(wǎng)架構(gòu)，實(shí)現(xiàn)煤炭生產(chǎn)業(yè)務(wù)的閉環(huán)，這樣既可以實(shí)現(xiàn)數(shù)據(jù)安全的保密性要求，同時(shí)還可以提供煤礦生產(chǎn)所需的多種算力，這些智能化應(yīng)用和煤炭的生產(chǎn)環(huán)節(jié)完全打通融合之后，智慧礦井時(shí)代將全面實(shí)現(xiàn)。