基于AR眼鏡的卷煙工廠制絲設(shè)備智能化 點(diǎn)檢模式的研究與應(yīng)用

吳曉東，劉帆，宋賀萱，曾慶輝，劉田，栗翔

湖北中煙工業(yè)有限責(zé)任公司，湖北武漢，441003

0 引言

增強(qiáng)現(xiàn)實(shí)（AR）作為一種新的人機(jī)交互技術(shù)，可以更直觀地展示現(xiàn)實(shí)場(chǎng)景中的物理對(duì)象和數(shù)據(jù)信息[1]。經(jīng)過長(zhǎng)期的技術(shù)積累，AR已從實(shí)驗(yàn)室走向了工業(yè)界。卷煙工廠制絲車間設(shè)備種類繁多，如各類機(jī)械、電氣及儀表設(shè)備，且多設(shè)備和多系統(tǒng)間存在復(fù)雜耦合關(guān)系，維持各類設(shè)備的正常運(yùn)行能保障生產(chǎn)的順利進(jìn)行，設(shè)備點(diǎn)檢是維持設(shè)備穩(wěn)定運(yùn)行的主要因素。在實(shí)踐過程中，大部分卷煙工廠仍采用傳統(tǒng)的紙質(zhì)點(diǎn)檢或平板點(diǎn)檢方式，這類工作方式人為影響因素大，對(duì)點(diǎn)檢人員的責(zé)任心有較高的要求。同時(shí)，由于傳統(tǒng)點(diǎn)檢方式存在點(diǎn)檢記錄查詢困難、點(diǎn)檢記錄利用率低等問題，點(diǎn)檢過程中數(shù)據(jù)統(tǒng)計(jì)不完善、點(diǎn)檢過程發(fā)現(xiàn)異常無法及時(shí)通知維修人員和設(shè)備點(diǎn)檢員巡檢不認(rèn)真、不到位、不全面等不良情況常有發(fā)生。針對(duì)制絲設(shè)備專業(yè)點(diǎn)檢和保養(yǎng)過程中的難點(diǎn)和問題，結(jié)合AR和室內(nèi)定位技術(shù)的智能點(diǎn)檢模式可提升設(shè)備點(diǎn)檢質(zhì)量和效率，并能為其他工藝線設(shè)備點(diǎn)檢提供借鑒和技術(shù)支持。

鑒于此，針對(duì)卷煙工廠對(duì)制絲設(shè)備智能化點(diǎn)檢的應(yīng)用需求，本文以空間定位技術(shù)和圖像識(shí)別為基礎(chǔ)，實(shí)現(xiàn)了一種基于AR技術(shù)的制絲設(shè)備智能化點(diǎn)檢方法。從點(diǎn)檢模型、設(shè)備識(shí)別、數(shù)據(jù)傳輸、數(shù)據(jù)分析等方面詳細(xì)闡述，以簡(jiǎn)便的操作實(shí)現(xiàn)了制絲設(shè)備的專業(yè)點(diǎn)檢智能化，提升了設(shè)備點(diǎn)檢效率和過程數(shù)字化、流程化水平；車間環(huán)境精確定位系統(tǒng)的實(shí)現(xiàn)增強(qiáng)了對(duì)點(diǎn)檢工作人員的監(jiān)管力度，并為點(diǎn)檢員提供精準(zhǔn)豐富的點(diǎn)檢位置信息服務(wù)。

1 相關(guān)工作

1.1 點(diǎn)檢系統(tǒng)研究現(xiàn)狀

設(shè)備點(diǎn)檢對(duì)維持設(shè)備正常運(yùn)行具有重大的意義。隨著卷煙工廠智能化建設(shè)進(jìn)程的加快，卷煙制絲車間對(duì)設(shè)備管理和維護(hù)的要求隨著智能化建設(shè)進(jìn)程的加快而不斷提高，未能及時(shí)發(fā)現(xiàn)故障和故障的延誤處理都可能導(dǎo)致嚴(yán)重的安全和質(zhì)量問題，由此，移動(dòng)智能點(diǎn)檢這一概念應(yīng)運(yùn)而生。工業(yè)領(lǐng)域移動(dòng)智能點(diǎn)檢的應(yīng)用提高了自身的市場(chǎng)競(jìng)爭(zhēng)力和創(chuàng)新力，2017年包鋼鋼聯(lián)股份有限公司煉鋼廠通過手持移動(dòng)智能點(diǎn)檢儀的使用，規(guī)范了麥窯風(fēng)機(jī)的點(diǎn)檢工作，對(duì)風(fēng)機(jī)實(shí)施了精密點(diǎn)檢[2]；2019年河北新啟元能源技術(shù)開發(fā)股份有限公司引進(jìn)并全面應(yīng)用設(shè)備智能點(diǎn)檢技術(shù)，逐步實(shí)現(xiàn)了企業(yè)設(shè)備的智能化管理[3]；2019年河鋼宣鋼物流公司通過創(chuàng)新鐵路智能點(diǎn)檢管理模式提高了鐵路運(yùn)輸設(shè)備的點(diǎn)檢效率和準(zhǔn)確性[4]。

1.2 室內(nèi)定位研究現(xiàn)狀

精準(zhǔn)的室內(nèi)位置信息有助于卷煙工廠制絲設(shè)備專業(yè)點(diǎn)檢中人員/物品的高效管理、保障安全及提高工作效率。超寬帶定位技術(shù)、藍(lán)牙定位技術(shù)和WiFi定位技術(shù)等主流室內(nèi)空間定位技術(shù)經(jīng)過近十幾年的飛速發(fā)展，實(shí)現(xiàn)了從“特定設(shè)備、特定技術(shù)、高成本”到“普適性定位、低成本定位、高精度定位”的發(fā)展[5]。其中，藍(lán)牙定位技術(shù)難以實(shí)現(xiàn)傳輸距離長(zhǎng)、環(huán)境相對(duì)復(fù)雜等情況下的精確定位[6]；WiFi定位技術(shù)以其室內(nèi)傳輸距離遠(yuǎn)、使用方便等優(yōu)點(diǎn)成為常用的室內(nèi)定位技術(shù)。然而，卷煙工廠車間設(shè)備“廣、長(zhǎng)、高”及車間環(huán)境噪聲較大、車間相關(guān)信息密度較大、干擾信息較多影響了WiFi定位的精度且增加了定位系統(tǒng)的能耗。

1.3 AR技術(shù)

AR通過圖像處理、可視化和傳感技術(shù)將虛擬對(duì)象準(zhǔn)確放置到現(xiàn)實(shí)中，實(shí)現(xiàn)現(xiàn)場(chǎng)與虛擬場(chǎng)景的疊加，讓真實(shí)世界和虛擬物體共存。微軟公司開發(fā)的頭戴式AR設(shè)備Hololens眼鏡實(shí)現(xiàn)傳統(tǒng)2D屏幕向3D全息圖界面的顯著轉(zhuǎn)變，且因其便攜等特點(diǎn)有助于獲得實(shí)時(shí)、高質(zhì)量的深度數(shù)據(jù)[7]。在工業(yè)領(lǐng)域Hololens眼鏡已在各大工廠展開應(yīng)用[8]。2017年國(guó)家電網(wǎng)湖北省電力公司檢修公司將AR智能眼鏡技術(shù)應(yīng)用于電力設(shè)備巡檢，有效完成了智能巡檢[9]；2019年湖南中煙工業(yè)有限責(zé)任公司通過基于Hololens頭戴式雙目視覺設(shè)備上設(shè)計(jì)的系統(tǒng)方法實(shí)現(xiàn)了傳統(tǒng)煙草工業(yè)制造設(shè)備運(yùn)維升級(jí)的智能管理[10]。AR技術(shù)同樣適用于卷煙工廠制絲設(shè)備標(biāo)準(zhǔn)化的專業(yè)點(diǎn)檢和保養(yǎng)，提升點(diǎn)檢的工作質(zhì)量和效率。卷煙工廠制絲設(shè)備傳統(tǒng)點(diǎn)檢現(xiàn)存問題如下：

（1）點(diǎn)檢工作效率低，現(xiàn)場(chǎng)工作人員需在點(diǎn)檢工作中填寫紙質(zhì)報(bào)告，并將其錄入數(shù)據(jù)庫(kù)中，此過程導(dǎo)致工作效率低，且信息錄入時(shí)錯(cuò)錄、漏錄情況時(shí)有發(fā)生；

（2）難以實(shí)現(xiàn)點(diǎn)檢數(shù)據(jù)的實(shí)時(shí)共享，點(diǎn)檢過程中設(shè)備故障時(shí)無法及時(shí)通知維修人員，相關(guān)維修人員無法第一時(shí)間了解故障設(shè)備的具體信息，包括故障設(shè)備位置、故障參數(shù)、故障時(shí)長(zhǎng)等；

（3）點(diǎn)檢人員管理存在盲區(qū)，點(diǎn)檢人員到崗情況無法及時(shí)監(jiān)管，點(diǎn)檢工作開展情況無法實(shí)時(shí)掌控，錯(cuò)檢、漏檢、不檢等情況時(shí)有發(fā)生；

（4）點(diǎn)檢作業(yè)中，由于設(shè)備繁重、環(huán)境復(fù)雜等情況導(dǎo)致點(diǎn)檢人員對(duì)危險(xiǎn)源不清楚，點(diǎn)檢環(huán)境存在潛在的安全隱患。

2 AR眼鏡智能化點(diǎn)檢

2.1 點(diǎn)檢模型

以現(xiàn)代設(shè)備點(diǎn)檢管理的需求為基礎(chǔ)，以智能制造、數(shù)字孿生、工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)等關(guān)鍵技術(shù)和先進(jìn)理論為指導(dǎo)思想，并結(jié)合當(dāng)前的制絲設(shè)備點(diǎn)檢標(biāo)準(zhǔn)規(guī)范、工藝流程、點(diǎn)檢制度要求，建立制絲設(shè)備點(diǎn)檢模型，該模型主要包括點(diǎn)檢標(biāo)準(zhǔn)、點(diǎn)檢內(nèi)容和制絲設(shè)備圖像數(shù)據(jù)。點(diǎn)檢模型作為卷煙工廠制絲設(shè)備點(diǎn)檢過程中的關(guān)鍵數(shù)據(jù)，指導(dǎo)點(diǎn)檢員的日常點(diǎn)檢工作，在保障自身及設(shè)備安全情況下，進(jìn)一步提高點(diǎn)檢效率。通過三維空間建模和圖像識(shí)別技術(shù)將制絲設(shè)備及相關(guān)點(diǎn)檢部件圖像數(shù)據(jù)存儲(chǔ)于AR眼鏡中，便于AR眼鏡進(jìn)行點(diǎn)檢設(shè)備識(shí)別、定位，并指導(dǎo)點(diǎn)檢員精確定位、精確識(shí)別，識(shí)別內(nèi)容主要包括設(shè)備對(duì)象（設(shè)備、子系統(tǒng)、部件、零件）及點(diǎn)檢內(nèi)容等?；贏R眼鏡的卷煙工廠制絲設(shè)備智能化點(diǎn)檢系統(tǒng)主要分為制絲設(shè)備專業(yè)點(diǎn)檢系統(tǒng)和AR端兩個(gè)部分，圖1為基于AR眼鏡的智能點(diǎn)檢系統(tǒng)框架圖。

圖1 基于AR 眼鏡的智能點(diǎn)檢系統(tǒng)框架圖

2.2 設(shè)備識(shí)別

在點(diǎn)檢過程中，設(shè)備點(diǎn)檢員可借助AR眼鏡和混合現(xiàn)實(shí)應(yīng)用程序無限制地進(jìn)行協(xié)作、精確操作，并提高工作效率。首先，基于Unity引擎和C語言完成場(chǎng)景的搭建，引入MRTK包完成AR項(xiàng)目的制作，將項(xiàng)目文件發(fā)布到AR眼鏡中。AR眼鏡的內(nèi)置語音命令使設(shè)備點(diǎn)檢員根據(jù)智能導(dǎo)航提示快速進(jìn)入需點(diǎn)檢的設(shè)備位置，AR眼鏡將會(huì)采集點(diǎn)檢設(shè)備所在位置的場(chǎng)景圖像，將實(shí)際圖像和項(xiàng)目文件中的訓(xùn)練圖像進(jìn)行匹配，經(jīng)過比對(duì)得到和采集的場(chǎng)景圖像吻合程度最高的訓(xùn)練圖像。在實(shí)地場(chǎng)景圖像和訓(xùn)練圖像計(jì)算匹配過程中，AR眼鏡通過其外部環(huán)境錨定功能，隨著點(diǎn)檢員的移動(dòng)錨定不同位置的圖像，進(jìn)而通過存儲(chǔ)模型實(shí)現(xiàn)不同位置場(chǎng)景圖像與訓(xùn)練圖像的匹配，從而實(shí)現(xiàn)設(shè)備的定位。在此過程中，提示點(diǎn)檢員的設(shè)備相關(guān)信息等數(shù)字內(nèi)容會(huì)持續(xù)存在，錨定在工作的物體或表面上。在點(diǎn)檢過程和點(diǎn)檢員移動(dòng)過程中，人的頭部運(yùn)動(dòng)由AR眼鏡中的頭部姿態(tài)傳感器捕獲，由此實(shí)現(xiàn)對(duì)點(diǎn)檢設(shè)備的實(shí)時(shí)跟蹤，使得點(diǎn)檢設(shè)備及虛擬信息能較好地融合。在識(shí)別出待點(diǎn)檢的制絲設(shè)備后，由眼鏡中內(nèi)置的點(diǎn)檢工作路徑和具體點(diǎn)檢內(nèi)容對(duì)點(diǎn)檢員進(jìn)行提示和實(shí)時(shí)指引，從而實(shí)現(xiàn)標(biāo)準(zhǔn)化點(diǎn)檢工作。AR的現(xiàn)實(shí)捕獲功能[11]可以用照片或視頻記錄實(shí)現(xiàn)與他人的實(shí)時(shí)共享，這能保證點(diǎn)檢員與遠(yuǎn)程同事的實(shí)時(shí)聯(lián)系，并在覆蓋于物理環(huán)境中的大幅全息畫布上協(xié)同工作，快速解決點(diǎn)檢過程中的問題。

2.3 數(shù)據(jù)傳輸

點(diǎn)檢標(biāo)準(zhǔn)、點(diǎn)檢內(nèi)容等數(shù)據(jù)通過WiFi和5G技術(shù)進(jìn)行數(shù)據(jù)傳輸，在WiFi覆蓋范圍內(nèi)AR眼鏡會(huì)自動(dòng)上傳和下載數(shù)據(jù)，實(shí)現(xiàn)低延時(shí)和高可靠的數(shù)據(jù)傳輸。首先，將會(huì)傳輸點(diǎn)檢流程，該數(shù)據(jù)通過制絲設(shè)備專業(yè)點(diǎn)檢系統(tǒng)下發(fā)到AR眼鏡中，用于指導(dǎo)設(shè)備點(diǎn)檢員對(duì)制絲設(shè)備進(jìn)行點(diǎn)檢，提高工作效率。其次，點(diǎn)檢員在點(diǎn)檢過程中，通過AR眼鏡對(duì)需要點(diǎn)檢的制絲設(shè)備全面識(shí)別，通過匹配項(xiàng)目文件信息，顯示識(shí)別到的制絲設(shè)備屬性、設(shè)備相關(guān)參數(shù)和設(shè)備器件組成等信息。設(shè)備點(diǎn)檢員根據(jù)下發(fā)的點(diǎn)檢工作任務(wù)和點(diǎn)檢工作流程完成點(diǎn)檢工作后，AR眼鏡會(huì)自動(dòng)將點(diǎn)檢數(shù)據(jù)上傳至制絲設(shè)備專業(yè)點(diǎn)檢系統(tǒng)中。

2.4 數(shù)據(jù)分析

該模塊對(duì)上傳至制絲設(shè)備專業(yè)點(diǎn)檢系統(tǒng)中的點(diǎn)檢過程數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，對(duì)設(shè)備異常點(diǎn)位信息、點(diǎn)檢員任務(wù)完成情況以及是否達(dá)到點(diǎn)檢標(biāo)準(zhǔn)等數(shù)據(jù)采用柱狀圖、折線圖等方式進(jìn)行可視化展示。設(shè)備異常點(diǎn)位數(shù)據(jù)折線圖可顯示設(shè)備異常點(diǎn)位隨時(shí)間的變化趨勢(shì)，對(duì)一段時(shí)間內(nèi)頻數(shù)較高的異常設(shè)備點(diǎn)位進(jìn)行預(yù)警，使點(diǎn)檢員及時(shí)實(shí)施檢查、診斷和維修；點(diǎn)檢員任務(wù)完成情況柱狀圖能準(zhǔn)確清晰地展示各個(gè)點(diǎn)檢員的任務(wù)完成情況，進(jìn)而對(duì)點(diǎn)檢員實(shí)施有力的監(jiān)督。

3 AR眼鏡點(diǎn)檢流程

點(diǎn)檢任務(wù)模塊提供多種功能，包括：新建點(diǎn)檢任務(wù)、規(guī)劃點(diǎn)檢計(jì)劃、點(diǎn)檢任務(wù)處理及點(diǎn)檢任務(wù)統(tǒng)計(jì)查詢等。在制定好點(diǎn)檢計(jì)劃后，系統(tǒng)會(huì)自動(dòng)生成點(diǎn)檢日、周等任務(wù)。設(shè)備點(diǎn)檢員登錄AR眼鏡后，待執(zhí)行的點(diǎn)檢任務(wù)會(huì)自動(dòng)下載至眼鏡中，點(diǎn)檢員根據(jù)眼鏡中的任務(wù)和提示進(jìn)行點(diǎn)檢作業(yè)，確認(rèn)待點(diǎn)檢設(shè)備是否出現(xiàn)異常，若出現(xiàn)問題則進(jìn)行拍照，并填寫異常原因，任務(wù)完成后，將點(diǎn)檢數(shù)據(jù)統(tǒng)一提交至制絲設(shè)備專業(yè)點(diǎn)檢系統(tǒng)。點(diǎn)檢任務(wù)流程如圖2所示。

圖2 點(diǎn)檢任務(wù)流程圖

（1）在制絲設(shè)備專業(yè)點(diǎn)檢系統(tǒng)中創(chuàng)建新的點(diǎn)檢任務(wù)，填寫任務(wù)內(nèi)容、任務(wù)計(jì)劃開始時(shí)間、截止時(shí)間、點(diǎn)檢員等基本信息，并明確本次點(diǎn)檢設(shè)備、待點(diǎn)檢的零件及任務(wù)流程和任務(wù)內(nèi)容。

（2）點(diǎn)檢員佩戴AR眼鏡進(jìn)行點(diǎn)檢作業(yè)，AR眼鏡將自動(dòng)下載待執(zhí)行的點(diǎn)檢任務(wù)，點(diǎn)檢員根據(jù)任務(wù)流程開展點(diǎn)檢工作，如逐條檢查任務(wù)項(xiàng)是否符合要求，保存點(diǎn)檢結(jié)果。

（3）在任務(wù)執(zhí)行過程中，如發(fā)現(xiàn)異常，則以文字或者拍照的方式記錄異常原因。

（4）所有任務(wù)項(xiàng)完成后，提交任務(wù)結(jié)果，完成點(diǎn)檢任務(wù)。

4 總結(jié)

本研究設(shè)計(jì)的智能點(diǎn)檢系統(tǒng)具有以下優(yōu)勢(shì)。①解放雙手：點(diǎn)檢過程中無需攜帶設(shè)備紙質(zhì)資料或提前了解點(diǎn)檢內(nèi)容，與點(diǎn)檢任務(wù)相關(guān)的信息能顯示在AR眼鏡中，且點(diǎn)檢過程數(shù)據(jù)會(huì)上傳到系統(tǒng)中，不需要再次錄入點(diǎn)檢數(shù)據(jù)，解放點(diǎn)檢員雙手，讓點(diǎn)檢員專注于工作本身。②直觀呈現(xiàn)：采用AR技術(shù)為點(diǎn)檢員開啟了人、計(jì)算機(jī)和制絲設(shè)備間自然直觀的3D交互。AR眼鏡通過制絲設(shè)備空間映射和定位點(diǎn)的環(huán)境，將點(diǎn)檢中的設(shè)備信息轉(zhuǎn)換為圖文信息，實(shí)現(xiàn)遠(yuǎn)程指導(dǎo)和協(xié)同，指導(dǎo)設(shè)備點(diǎn)檢員執(zhí)行點(diǎn)檢任務(wù)。③知識(shí)共享：制絲設(shè)備專業(yè)點(diǎn)檢系統(tǒng)可以將點(diǎn)檢方法、點(diǎn)檢標(biāo)準(zhǔn)等內(nèi)容通過AR眼鏡共享給分布在各處的設(shè)備點(diǎn)檢員，指導(dǎo)點(diǎn)檢員根據(jù)標(biāo)準(zhǔn)規(guī)范執(zhí)行相關(guān)的點(diǎn)檢任務(wù)作業(yè)。④專業(yè)督導(dǎo)：利用AR眼鏡指導(dǎo)點(diǎn)檢員按時(shí)、按量完成點(diǎn)檢任務(wù)，節(jié)省專業(yè)點(diǎn)檢員的培訓(xùn)時(shí)間和人力成本等。

依據(jù)AR眼鏡點(diǎn)檢設(shè)計(jì)模式，在某卷煙工廠進(jìn)行了試點(diǎn)應(yīng)用部署，服務(wù)端（制絲專業(yè)點(diǎn)檢系統(tǒng)）部署于內(nèi)網(wǎng)，同時(shí)提供若干臺(tái)AR眼鏡，構(gòu)建了一套完整的基于AR眼鏡的卷煙工廠制絲設(shè)備智能化點(diǎn)檢系統(tǒng)，并投入使用。分析該系統(tǒng)試運(yùn)行期間內(nèi)的各項(xiàng)點(diǎn)檢任務(wù)執(zhí)行時(shí)間及點(diǎn)檢效率，系統(tǒng)試運(yùn)行期間，點(diǎn)檢任務(wù)執(zhí)行時(shí)間縮短了20%，點(diǎn)檢效率提高了20%。結(jié)果表明，研發(fā)的制絲設(shè)備智能化點(diǎn)檢系統(tǒng)大幅度降低了人力成本、提高了點(diǎn)檢效率，進(jìn)而提升了卷煙工廠制絲設(shè)備的穩(wěn)定運(yùn)行率。