基于AR/MR技術的智能穿戴設備在工業(yè)巡檢中的應用

方維嵐 吳奕龍 陳翀

(上海煙草集團有限責任公司,上海 200082)

0 引言

經(jīng)歷歷次技改升級,自控數(shù)采、物聯(lián)網(wǎng)、大數(shù)據(jù)等信息技術正在制造行業(yè)供應鏈中不斷的落地延伸,已經(jīng)具備了深厚的基礎。如何應用好這些既有平臺和數(shù)據(jù),是“高質(zhì)量發(fā)展”和提升智能制造水平總體要求的重要課題,也是智慧園區(qū)建設中加強人與園區(qū)互動、感知能力的重要方向。其中,設備互聯(lián)、人機互動是智能制造的重要一環(huán)。通過將智能前端設備“武裝”運維巡檢人員,可以將信息快速高效精準地傳遞給相關人員,在單位時間內(nèi)使得個體獲取更多的信息量,大幅提高運維人員單兵作戰(zhàn)能力。

1 系統(tǒng)需求與總體設計

1.1 智能穿戴設備載體選型、配置及改造

對增強現(xiàn)實、混合現(xiàn)實技術深入研究、對比,并選擇一款適合行業(yè)生產(chǎn)現(xiàn)場的智能穿戴設備進行改造和利用。

滿足MR巡檢需要的要素為:支持空間定位、支持環(huán)境感知。目前可選最優(yōu)的MR智能穿戴設備Hololens一代和二代。

1.2 車間工控信息接入整合

梳理目前車間現(xiàn)場工控數(shù)采情況、數(shù)據(jù)結構。并開發(fā)特定的接口,將原本相對孤立的工控數(shù)據(jù)與智能穿戴設備的AR/MR進行數(shù)據(jù)交互。

車間工控信息通過“DCS服務器”采集并接入OPC服務,我們采用一臺“巡檢服務器”,將其與“DCS服務器”連接到同一內(nèi)網(wǎng)局域網(wǎng),即可實現(xiàn)數(shù)據(jù)鏈路的打通,然后通過OPC協(xié)議連接DCS服務器和巡檢服務器,由巡檢服務器作為客戶端定時向DCS服務器發(fā)起請求,獲取數(shù)據(jù)。然后再通過Wi-Fi路由器轉發(fā)數(shù)據(jù)至巡檢智能眼鏡端(如圖1)。

圖1 車間工控信息接入整合物理架構圖Fig.1 Physical architecture diagram of workshop industrial control information access integration

1.3 室內(nèi)精準定位技術及空間三維顯示、視覺輔助技術

基于視頻識別技術及近場通訊技術形成室內(nèi)的精準定位。并整合場景識別、虛擬成像、空間及姿態(tài)精準定位功能,研發(fā)視覺算法,實現(xiàn)虛實結合展示。

MR智能穿戴設備HoloLens有4個環(huán)境感知攝像頭、1個深度攝像頭、1個IMU(慣性測量單元)。IMU負責感應設備的方向,環(huán)境感知攝像頭負責感應設備相對位置的偏移,深度攝像頭負責掃描環(huán)境還原周圍環(huán)境。

IMU和4個環(huán)境感知攝像頭負責解決“我在哪兒”問題,再加上深度攝像頭后解決“我周圍有什么”問題。深度攝像頭和普通攝像頭的不同就是能夠獲得拍攝對象的深度信息,從而獲得了環(huán)境三維立體數(shù)據(jù),這其中涉及到SLAM技術。

HoloLens使用單目SLAM,首先提取圖像中的特征,然后根據(jù)相鄰幀圖像的特征去匹配,識別出場景某些特征點位置,并通過圖像的變化反向計算出相機的運動,即空間定位。

通過深度圖像獲得三維點云加上環(huán)境感知攝像頭計算出相機位置,將二者綜合計算得出網(wǎng)格模型,如此循環(huán)就可以通過移動相機獲取相機不同視角點云,重建完整的場景表面,即環(huán)境感知。

這兩個功能實現(xiàn)后,在設備運行過程可實時添加錨點,記錄當前環(huán)境網(wǎng)格信息、空間原點信息、相對于空間原點的錨點坐標信息,并保存這些信息到本地或云端,當二次打開應用,重新加載這些信息,與當前環(huán)境信息進行匹配,匹配成功則創(chuàng)建該錨點。另外對錨點進行編號,可對編號綁定其他信息。

1.4 基于AR/MR技術穿戴設備在工業(yè)巡檢中的應用

選擇合適的試點對象,構建應用場景。并根據(jù)應用場景設計AR/MR的技術系統(tǒng)架構,完成整套基于AR/MR技術的智能化巡檢可穿戴設備的實施展示。

1.4.1 應用場景設計

應用地點:空壓機房;

使用對象:培訓師、巡檢人員;

使用場景:

(1)日常巡檢:巡檢人員佩戴MR智能穿戴設備,進入空壓機房,開啟巡檢程序,MR設備自動在巡檢人員眼前顯示巡檢路線,以空間虛擬的3D箭頭指向,巡檢人員按照指示行進,巡檢路線上的設備(已配置的)自動以虛擬的3D效果顯示設備關聯(lián)的實時數(shù)據(jù)。當路線走完或設備數(shù)據(jù)檢查完畢后,巡檢人員操作退出程序,完成巡檢工作。

(2)設備維修:巡檢人員佩戴MR智能穿戴設備,進入空壓機房,開啟巡檢程序。當設備數(shù)據(jù)出現(xiàn)異常時,MR設備顯示屏上出現(xiàn)報警標志并指向該異常設備的位置,巡檢人員根據(jù)指向,前往設備位置,發(fā)現(xiàn)設備具體的異常數(shù)據(jù),調(diào)取設備相關資料和維修指南,找到異常原因,進行維修,維修完成后,數(shù)據(jù)恢復正常,報警消失。巡檢人員退出程序。

(3)培訓:培訓師佩戴MR智能穿戴設備,進入空壓機房,開啟巡檢程序。同時另外使用一臺便攜式筆記本電腦,連接到同一無線網(wǎng)絡,開啟投屏軟件,實時同步MR設備的畫面,以供被培訓人員(如巡檢人員)觀看。培訓師按照巡檢路線行進,以此對設備進行查看、講解和操作,被培訓人員觀察學習。培訓結束后,退出程序。

1.4.2 技術架構設計

巡檢服務平臺整體包括數(shù)據(jù)交互接口、業(yè)務組件、支撐組件、標準規(guī)范和集成框架,各自承辦不同的功能,實現(xiàn)MR巡檢所需服務和運營(如圖2)。

圖2 巡檢服務平臺技術架構設計圖Fig.2 Technical architecture design drawing of inspection service platform

巡檢服務與工控系統(tǒng)通過OPC服務及標準數(shù)據(jù)接口進行數(shù)據(jù)交互。巡檢服務與MR智能穿戴設備通過Wi-Fi網(wǎng)絡及標準數(shù)據(jù)接口進行數(shù)據(jù)交互,MR智能穿戴設備獲取數(shù)據(jù),進行數(shù)據(jù)解析、緩存,再通過SLAM算法對空間信息進行構建,匹配設備數(shù)據(jù)進行空間定位,支持手勢識別進行交互操作。

1.4.3 物理架構設計

“巡檢服務器”與“DCS服務器”同部署在IT機房,且與空壓機房的控制器機柜在同一局域網(wǎng)內(nèi),通過兩臺交換機連接。另將一臺“WI-FI路由器”接入到內(nèi)網(wǎng)交換機,“WI-FI路由器”同樣放置于現(xiàn)場控制機柜內(nèi),WI-FI信號需要覆蓋整個室內(nèi)環(huán)境?！癕R智能穿戴設備”和“投屏筆記本”連接到“WI-FI路由器”,通過無線網(wǎng)絡和“巡檢服務器”進行數(shù)據(jù)交換。整個網(wǎng)絡都在內(nèi)網(wǎng)搭建,不接入外網(wǎng),安全可靠(如圖3)。

圖3 巡檢服務平臺物理架構設計圖Fig.3 Physical architecture design drawing of the inspection service platform

2 系統(tǒng)功能設計

根據(jù)系統(tǒng)需求和總體設計,我們將系統(tǒng)功能劃分為以下模塊和功能,見表1。

表1 系統(tǒng)功能模塊說明Tab.1 System function module description

3 結語

綜上所述,本文圍繞著基于AR/MR技術的智能穿戴設備在工業(yè)巡檢中的應用進行了介紹說明,實現(xiàn)了AR/MR技術在工業(yè)巡檢場景中的落地。在AR/MR技術的支持之下,巡檢工作人員可以更高效地進行巡檢作業(yè),并因此節(jié)省了人工成本和時間。在未來,AR/MR技術將會在更多的行業(yè)和場景發(fā)揮更大的作用。