基于機器視覺的礦井提升機首繩抖動監(jiān)測系統(tǒng)設(shè)計與應(yīng)用

鄭偉衛(wèi) 王 奕

（1.河南龍宇能源股份有限公司車集煤礦；2.中國礦業(yè)大學(xué)信息與控制工程學(xué)院）

提升機是地下礦山開采過程中的核心運輸系統(tǒng)，不僅可以高效地運輸?shù)V巖，還可以運輸人員、物資及設(shè)備。由于井下的運輸任務(wù)極其繁重，因此使用提升機的頻率較高，在使用過程中難免出現(xiàn)故障。一旦發(fā)生故障，輕則導(dǎo)致煤礦停產(chǎn)，重則會造成人員傷亡。在提升機中，關(guān)鍵的承載構(gòu)件便是鋼絲繩首繩。由于鋼絲繩運行的環(huán)境相當(dāng)復(fù)雜，在日常維修中相當(dāng)困難，一直以來，是通過人工定時檢查的方法對首繩進(jìn)行維護(hù)修理，工人主要依賴的是目視、手摸、卡尺量，但是這種方法可靠性差，效率低下，需要花費大量人力，還會占用運行時間。

為了解決提升機首繩自動化監(jiān)測問題，本研究建立基于YOLOv5算法的視頻智能分析監(jiān)測系統(tǒng)，基于機器視覺原理，實現(xiàn)提升機首繩異常監(jiān)測及預(yù)警功能。

1 系統(tǒng)總體框架

本系統(tǒng)包含了圖像處理工作站、提升機監(jiān)測系統(tǒng)以及補光燈，利用以太網(wǎng)進(jìn)行設(shè)備間的數(shù)據(jù)傳輸，提升機的監(jiān)控模型如圖1所示。

系統(tǒng)軟件的運行流程可分為預(yù)處理階段、監(jiān)測階段、集成階段，如圖2所示。

2 圖像預(yù)處理系統(tǒng)

首繩監(jiān)測系統(tǒng)的原理是利用算法統(tǒng)計像素分布進(jìn)行異常的識別，因此在白天的環(huán)境狀態(tài)下，系統(tǒng)可以直接利用YOLOv5算法進(jìn)行智能識別，但在夜晚環(huán)境下，由于光線較暗，無法精確統(tǒng)計像素的分布，因此對于夜間較低像素值利用雙線性差值法將像素值進(jìn)行放大，從而提高識別率。監(jiān)測系統(tǒng)所使用的攝像機是型號為MV-CA050-10GM的?？低暪I(yè)相機。?？低暪I(yè)相機需要官方提供相應(yīng)的軟件開發(fā)包，按照相應(yīng)的流程進(jìn)行操作。視頻提取流程如圖3所示。

首繩圖像屬于灰度圖，系統(tǒng)進(jìn)行預(yù)處理時，首先對視頻進(jìn)行提取，白天狀態(tài)下，直接使用YOLOv5算法對提取的視頻流進(jìn)行異常檢測；當(dāng)光線逐漸變暗，達(dá)到一定的值時，系統(tǒng)會自動加入雙線性插值的算法進(jìn)行像素值的放大處理。

假設(shè)給定圖像大小為m×n，目標(biāo)圖像為x×y，那么給定圖像與目標(biāo)圖像的邊長比分別為m/x和n/y（比例一般不是整數(shù)，編程存儲的時候要用浮點型），則目標(biāo)圖像的第（i，j）個像素點對應(yīng)回給定圖像的對應(yīng)坐標(biāo)為（i×m/x，j×n/y）。

顯然，這個對應(yīng)坐標(biāo)通常不是整數(shù)，而非整數(shù)的坐標(biāo)是沒法在圖像這種離散數(shù)據(jù)上使用。雙線性插值法通過經(jīng)過尋找距離這個對應(yīng)坐標(biāo)最近的四個像素點，來計算該點的值（灰度值或者RGB值），從而應(yīng)用到目標(biāo)圖像。

若圖像為灰度圖像，那么（i，j）點的灰度值能夠經(jīng)過以下公式計算：

式中，pi為最近的4個像素點；wi為各點相應(yīng)權(quán)值。

3 監(jiān)測系統(tǒng)

本文針對礦井提升機的首繩鋼絲繩運動狀態(tài)，結(jié)合礦井現(xiàn)場樣本分析后發(fā)現(xiàn)，當(dāng)首繩出現(xiàn)過抖與脫離正常槽位、跳槽等現(xiàn)象時，視覺上就與其正常運行時的圖像會有顯著的差異。因此，本文將提升機首繩抖動的監(jiān)測視為目標(biāo)監(jiān)測任務(wù)。在此基礎(chǔ)上，本文將首繩運行狀態(tài)分為正常狀態(tài)、過抖動、脫槽跳槽3種，并將每一種狀態(tài)視為一個目標(biāo)，再人工標(biāo)注礦方提供的樣本去訓(xùn)練模型。當(dāng)檢測到首繩圖像存在過抖動、脫槽跳槽等目標(biāo)時，系統(tǒng)將自動截圖報警，傳輸報警信號到上級服務(wù)器，發(fā)出警報，通報礦井附近的工作人員。因檢測對于實時性有一定要求，為避免檢測結(jié)果出現(xiàn)延遲，系統(tǒng)選用YOLOv5算法框架，該模型在速度和靈活性上表現(xiàn)優(yōu)秀，可用于礦井提升機首繩的監(jiān)測。

3.1 YOLO v5簡介

YOLO是一種快速緊湊的開源對象檢測模型，是一種可以預(yù)測對象的類別和邊界框的端對端神經(jīng)網(wǎng)絡(luò)［1］。Ultralytics發(fā)布的YOLO v5官方代碼中，給出了4個不同規(guī)模的網(wǎng)絡(luò)模型，分別是yolo v5s、yolo v5m、yolo v5l、yolo v5x。4種模型并無明顯區(qū)別，可以認(rèn)為后3種模型是在yolo v5s基礎(chǔ)上將其網(wǎng)絡(luò)的深度加深和加寬的結(jié)果。

網(wǎng)絡(luò)除輸入端外，主要由3個組件組成：Backbone，Neck，Head。Backbone指主干的卷積神經(jīng)網(wǎng)絡(luò)，目的是從輸入圖像中提取豐富的特征信息。Neck指融合圖像特征的網(wǎng)絡(luò)層，并將圖像特征傳遞到預(yù)測層。Head指預(yù)測輸出層，將圖像特征進(jìn)行預(yù)測，并輸出邊界框與檢測類別。各組件的具體結(jié)構(gòu)因YOLOv5源碼版本不同而略有差別，本文不詳細(xì)探究，抽象化的通用架構(gòu)如圖4所示。

YOLOv5的基本思想是將輸入圖像分成n×n的網(wǎng)格，對于網(wǎng)格內(nèi)的每個格子都進(jìn)行檢測，檢測輸出3個指標(biāo)值：矩形框（x，y，w，h）、置信度confidence、分類概率c。矩形框表征了檢測到的目標(biāo)大小以及精確的位置；x，y是指當(dāng)前檢測框的中心位置坐標(biāo)；w，h是檢測框的寬度和高度。置信度confidence表示所預(yù)測的矩形框的可信度，取值［0，1］，值越大說明該區(qū)域越可能存在目標(biāo)。分類概率c表示預(yù)測目標(biāo)的類別。實際檢測中，YOLO算法首先劃分n×n網(wǎng)格，再判斷每個檢測框的置信度confidence是否超過閾值，超過閾值認(rèn)為當(dāng)前檢測框存在目標(biāo)，并得到檢測框中目標(biāo)的大致坐標(biāo)信息x，y，w，h。然后根據(jù)非極大值抑制算法［2］對存在目標(biāo)的檢測框進(jìn)行篩選，篩除檢測到同一目標(biāo)的重復(fù)檢測框。最后根據(jù)得到的檢測框的分類概率c，可得到目標(biāo)的類別。處理流程見圖5。

損失函數(shù)的目的是通過網(wǎng)絡(luò)訓(xùn)練、機器學(xué)習(xí)去縮小網(wǎng)絡(luò)模型預(yù)測信息與期望信息的距離。在YOLOv5的模型訓(xùn)練中，主要包含3個方面的損失：矩形框損失（Lrect）、置信度損失（Lobj）、分類損失（Lclc）?？倱p失的計算公式：

式中，γ、μ、δ為網(wǎng)絡(luò)的超參數(shù)，在YOLOv5-5.0v源碼中Lrect使用了CIOULoss作為損失函數(shù)，Lobj與Lclc則都使用了BCEWithLogitsLoss作為損失函數(shù)［3］。

3.2 模型訓(xùn)練

對于選擇YOLOv5算法的模型，在運用前需要進(jìn)行相關(guān)的模型訓(xùn)練。模型訓(xùn)練是數(shù)據(jù)進(jìn)行泛化，用來解釋之前從未“見過”的數(shù)據(jù)。

選擇在yolo v5l的模型上進(jìn)行進(jìn)一步的訓(xùn)練，生成新的系統(tǒng)權(quán)重檢測網(wǎng)絡(luò)。為了達(dá)到預(yù)期的檢測效果，系統(tǒng)收集了大量的正、負(fù)樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，共標(biāo)記為3類標(biāo)簽，分別是首繩正常標(biāo)簽、首繩過擺動標(biāo)簽及首繩脫槽標(biāo)簽。

訓(xùn)練集的圖像尺度過大會對訓(xùn)練速度和顯存空間造成負(fù)面影響，因此在將樣本輸入網(wǎng)絡(luò)訓(xùn)練之前，系統(tǒng)先通過以線性插值為原理的程序?qū)⑹桌K的輸入圖像進(jìn)行預(yù)處理轉(zhuǎn)換為600×400×3的圖像尺度，再對網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練。

對于學(xué)習(xí)網(wǎng)絡(luò)，樣本對模型檢測起著至關(guān)重要的影響，在礦井提升機首繩運行狀態(tài)下收集總樣本9 000個，并對收集樣本進(jìn)行標(biāo)簽分類后，將8 000個樣本劃分為訓(xùn)練集，剩下1 000個樣本劃分為測試集，并在圖像處理工作站上進(jìn)行90個epoch（迭代次數(shù)）訓(xùn)練測試后，得到高精度的檢測模型［4］。

3.3 報警信息輸出

用訓(xùn)練好的模型對提升機首繩進(jìn)行實時檢測，為了保證礦井?dāng)?shù)據(jù)的實時性與信息一體化，系統(tǒng)會將檢測到的信息通過OPCUA進(jìn)行客戶端與服務(wù)端的信息交互，完成礦井智能化的統(tǒng)一管理。

OPCUA是OPC基金會提供的新一代技術(shù)，其目的是為了提供規(guī)范的、安全可靠的、可實現(xiàn)數(shù)據(jù)或信息由低級工作層到高級決策層的雙向傳輸。本系統(tǒng)通過OPCUA對客戶端和服務(wù)端進(jìn)行通信，對首繩正常、首繩過擺動、首繩脫槽以及輔助數(shù)據(jù)（提升機啟動信號、首繩運作信號、提升機到位信號）進(jìn)行信息交互，使客戶端與服務(wù)端信息同步。

在礦井提升機首繩檢測時，當(dāng)檢測到首繩異常時，會立即進(jìn)行報警，然后將檢測的異常圖片儲存到本地的圖像工作站，并且將其傳輸?shù)娇偪刂婆_的信息系統(tǒng)。系統(tǒng)通過超文本傳輸協(xié)議（Hyper Text Transfer Protocol，HTTP）進(jìn)行通信。HTTP運行在TCP之上，它決定了客戶端與服務(wù)器之間的信息類型。本系統(tǒng)模擬實現(xiàn)了HTTP的客戶端通信，并與服務(wù)端對接給定的接口參數(shù)，完成了針對各類報警圖片的上傳，該方式高效地實現(xiàn)了報警圖片信息的輸出［5］。

4 實際應(yīng)用成果

系統(tǒng)使用基于Python的編程語言、Pycharm的開發(fā)環(huán)境、YOLOv5檢測模型以及PyQt界面控件完成集成系統(tǒng)的設(shè)計，對提升機首繩進(jìn)行實時監(jiān)控并在鋼絲繩首繩抖動出現(xiàn)異常時輸出報警信息，系統(tǒng)主界面如圖6所示。

本提升機首繩監(jiān)測系統(tǒng)已經(jīng)正式應(yīng)用在楊柳礦的提升機實時檢測中，分別以首繩偏離5 cm和10 cm抖動區(qū)分正負(fù)樣本，首繩抖動檢測結(jié)果的精度分別達(dá)到85%以上和95%以上，取得了較為理想的檢測效果。

5 結(jié)語

本系統(tǒng)采用基于YOLOv5算法的視頻智能分析監(jiān)測系統(tǒng)，該系統(tǒng)首先獲取視頻流，將視頻流的圖像取出輸入到Y(jié)OLOv5模型中，進(jìn)行提升機首繩的異常識別。然后使用PyQt控件設(shè)計圖形化界面，在實現(xiàn)提升機首繩異常監(jiān)測的基礎(chǔ)上，系統(tǒng)增加了視頻儲存、視頻回放以及輸出報警信號等功能。并且通過OPCUA進(jìn)行客服端與服務(wù)端的交互通信。經(jīng)實際應(yīng)用，首繩抖動檢測精度能達(dá)到95%以上，取得了較為理想的檢測效果。