電力作業(yè)現(xiàn)場智能安全監(jiān)督研究與應(yīng)用

權(quán) 杰,李富祥,常政威,丁宣文,杜春忠

(1.國網(wǎng)四川省電力公司,四川 成都 610041;2.國網(wǎng)四川省電力公司電力科學(xué)研究院,四川 成都 610041;3.華能西藏雅魯藏布江水電開發(fā)投資有限公司,西藏 拉薩 850000)

0 引 言

在電力生產(chǎn)過程中,安全監(jiān)督對于保證作業(yè)人員的安全具有重要意義[1]。電力作業(yè)現(xiàn)場現(xiàn)有的安全監(jiān)督主要包括作業(yè)班組監(jiān)護人監(jiān)護、領(lǐng)導(dǎo)或管理人員到崗到位檢查、安監(jiān)專業(yè)人員安全督查以及相關(guān)人員“四不兩直”安全巡查等形式,均受到人員主觀能動性、業(yè)務(wù)水平及監(jiān)督檢查覆蓋率等限制。近年來,借助基建和生產(chǎn)作業(yè)現(xiàn)場便攜式視頻終端、變電站站內(nèi)視頻監(jiān)控以及移動互聯(lián)網(wǎng)系統(tǒng)開展遠程監(jiān)督,可實現(xiàn)遠程實時監(jiān)控、遠程資料查閱以及全程錄像備查,提高了監(jiān)督檢查覆蓋率和威懾力,但也存在著不能近距離和多角度準(zhǔn)確監(jiān)督、難以長時間集中精力專注監(jiān)督以及無法在線實時智能分析、風(fēng)險預(yù)警等不足,安全監(jiān)督手段仍然需要進一步創(chuàng)新。

相比完全靠人進行安全監(jiān)督的傳統(tǒng)方式,依靠智能化的機器人開展安全監(jiān)督能充分展現(xiàn)“機器代人”的優(yōu)勢,與人容易出現(xiàn)疏忽、監(jiān)督水平參差不齊以及固定攝像頭受局限相比,智能安全監(jiān)督機器人可實現(xiàn)移動、智能、一絲不茍的全過程監(jiān)督,彌補僅靠人監(jiān)督人的不足,切實提高監(jiān)督質(zhì)效。

經(jīng)統(tǒng)計,電力作業(yè)現(xiàn)場的違章大部分都屬于行為違章,其次是管理違章,再次是裝置違章;同時行為違章也是最容易引發(fā)人身傷亡的一類違章。因此,下面針對電力作業(yè)現(xiàn)場的安全生產(chǎn)行為提出了以機器人為載體的智能監(jiān)督方法,智能監(jiān)督技術(shù)是研究的重點。

1 智能安全監(jiān)督內(nèi)容及方法

電力作業(yè)現(xiàn)場智能安全監(jiān)督主要是指以機器人為載體,通過高分辨率可見光攝像機傳感設(shè)備,采用基于圖像處理分析算法提取視頻源的結(jié)構(gòu)特征,實現(xiàn)安全生產(chǎn)行為實時監(jiān)控;同時,通過建立多層次的特征標(biāo)準(zhǔn)庫,利用基于特征庫的機器學(xué)習(xí)系統(tǒng),提高機器人的識別成功率,從而提高安全監(jiān)督的有效性。

結(jié)合電力作業(yè)現(xiàn)場特點,不安全生產(chǎn)行為一般有不掛接地線、不系安全帶、不戴安全帽、誤入試驗(帶電)區(qū)域、吊臂下站人、監(jiān)護不到位等。針對這些典型違章,展開安全生產(chǎn)行為智能監(jiān)督研究。

1.1 設(shè)備接地操作監(jiān)督

主要監(jiān)督在變壓器耐壓、局部放電等高壓試驗結(jié)束后,工作人員是否用接地棒對高壓被試設(shè)備表面進行接地操作。系統(tǒng)判定流程如圖1所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法,獲取標(biāo)定區(qū)域,以此獲得接地棒區(qū)域以及接地操作區(qū)域。再利用基于混合高斯背景建模技術(shù)的背景差分減除算法,實時監(jiān)督接地棒是否拿起以及接地操作是否完成。

圖1 設(shè)備接地操作監(jiān)督流程

1.2 安全帶(帽)穿戴監(jiān)督

主要監(jiān)督在現(xiàn)場作業(yè)過程中,高處作業(yè)人員是否穿戴安全帶以及現(xiàn)場作業(yè)人員是否佩戴安全帽。系統(tǒng)判定流程如圖2所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,利用基于方向梯度直方圖(histogram of oriented gradient,HOG)特征的支持向量機(support vector machine,SVM)分類器,檢測畫面中的工作人員,再提取感興趣區(qū)域(region of interest,ROI)作為新的檢測對象并利用混合高斯背景模型建立背景圖。預(yù)先提取安全帶(帽)顏色,獲得ROI區(qū)域與安全帶(帽)同顏色范圍A;然后獲得ROI區(qū)域運動區(qū)域范圍B。系統(tǒng)將A和B做交集運算,得到檢測結(jié)果,實現(xiàn)安全帶(帽)穿戴實時監(jiān)督。

圖2 安全帶(帽)穿戴監(jiān)督流程

1.3 目標(biāo)入侵監(jiān)督

主要監(jiān)督在現(xiàn)場作業(yè)過程中,是否有目標(biāo)入侵到根據(jù)真實圍欄所劃分的虛擬圍欄內(nèi)。系統(tǒng)判定流程如圖3所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法,獲取標(biāo)定區(qū)域;然后,用漫水填充算法獲得具體虛擬圍欄區(qū)域,再利用三幀差分法檢測到運動目標(biāo);最后,用人員闖入檢測算法判斷運動目標(biāo)是否闖入虛擬圍欄區(qū)域。

圖3 目標(biāo)入侵監(jiān)督流程

1.4 吊臂下危險源監(jiān)督

主要監(jiān)督在變電站現(xiàn)場作業(yè)過程中,高空作業(yè)車的吊臂等危險源下方是否有工作人員。系統(tǒng)判定流程如圖4所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法,獲取標(biāo)定區(qū)域;通過標(biāo)定區(qū)域以及漫水填充算法就可以獲得吊臂下方危險區(qū)域;再利用HOG+SVM進行危險區(qū)域周圍的人員檢測并利用人員闖入算法判斷人員是否在危險區(qū)域。

圖4 吊臂下危險源監(jiān)督流程

1.5 叉車人員協(xié)助監(jiān)督

主要監(jiān)督在現(xiàn)場作業(yè)過程中,是否有工作人員在裝載電力設(shè)備的叉車邊進行協(xié)助工作。系統(tǒng)判定流程如圖5所示。智能安全監(jiān)督系統(tǒng)獲取攝像頭圖像,同時獲取標(biāo)準(zhǔn)特征庫特征,使用單目標(biāo)模板匹配算法獲取叉車位置;然后使用Meanshift算法實現(xiàn)對叉車的實時跟蹤;再利用基于HOG特征的SVM分類器,檢測畫面中的人;最后,根據(jù)安全距離,判斷畫面中檢測得到的人是否為叉車協(xié)助人員。

圖5 叉車人員協(xié)助監(jiān)督流程

2 智能安全監(jiān)督算法

為實現(xiàn)第1章中提到的智能安全監(jiān)督功能,采用了以下檢測分析處理算法。

2.1 人員檢測算法

基于統(tǒng)計學(xué)習(xí)的人員檢測算法流程如圖6所示。首先,進行圖像特征提取,需要將大量含有識別目標(biāo)和不含識別目標(biāo)的圖片所組成的樣本集特征進行提取;再使用分類算法對這些特征加以機器學(xué)習(xí)訓(xùn)練并得到分類器;然后,利用訓(xùn)練好的分類器進行判別和檢測,即可確認(rèn)是否包含目標(biāo)[2]。

圖6 人員檢測算法流程

人員外觀的特征算子和特征分類器使用的是HOG算子和SVM分類器。HOG是一種經(jīng)典的對形狀特征(尤其是人體形狀特征)進行描述的方法,與其他特征算子相比較,HOG有很多適合做人員檢測的優(yōu)點,例如HOG特征提取是在輸入圖像的局部單元格上進行操作,而不是對整體或者大面積圖像進行操作,所以HOG特征具有良好的光學(xué)不變性和幾何不變性[1]。SVM 是一種二分類算法,可以理解為是分離兩類樣本的分類函數(shù)。SVM分類器原理就是取超平面,令不同類別間的特征距離最大化從而實現(xiàn)圖像快速分類[3],進而實現(xiàn)二分類以達到人員識別、檢測的目的。HOG特征結(jié)合SVM分類器已經(jīng)被廣泛應(yīng)用于圖像識別中,尤其在人員檢測中獲得了極大的成功。

2.2 漫水填充算法

漫水填充算法的主要功能是把一片連通區(qū)域填滿,就是在圖像處理中給定一個種子點作為起始點,向附近相鄰的像素點擴散,把顏色相同或者相近的所有點都找出來,并填充上新的顏色使這些點形成一個連通的區(qū)域[4]。具體算法步驟如下:

1)標(biāo)記種子點M(x,y)的像素點;

2)檢測該點的顏色,若它與邊界色和填充色均不同,就用填充色填充該點,否則不填充;

3)檢測相鄰位置,繼續(xù)步驟2,這個過程持續(xù)到已遍歷區(qū)域邊界范圍內(nèi)的所有像素為止。

圖7為實驗室演示實例,圖中四邊形ABCD中取一點M(x,y),記為種子點,向四周填充為白色直到到達極值點即四邊形ABCD的邊,停止填充。此時,形成如圖8所示的掩膜圖,掩膜圖在后期檢測人員闖入時將發(fā)揮關(guān)鍵作用。

圖7 漫水填充算法實驗室演示實例

圖8 漫水填充算法形成的掩膜圖

2.3 運動目標(biāo)跟蹤與運動目標(biāo)檢測算法

2.3.1 運動目標(biāo)跟蹤算法

運動目標(biāo)跟蹤算法基于均值漂移(Mean Shift)算法,其實質(zhì)是一種梯度下降算法,通過不斷迭代直到收斂到相似性函數(shù)的局部極大值點[5]。Mean Shift基本思想為,假如在d維空間中存在n個樣本點,那么在任意點x處的Mean Shift向量基本可定義為

(1)

式中:Sh是一個區(qū)域半徑為h的高維球;k為落入高維球區(qū)域Sh中的i個樣本點xi的個數(shù)。從式(1)可以得出,樣本點xi到x的偏移量為(xi-x),對k個Sh中(xi-x)的值求和,取得均值后賦值給Mean Shift向量Mh(x)。由于不同的采樣點到x的距離對于Mh(x)的最終結(jié)果影響很大,因此用核函數(shù)來表示樣本點距離對均值漂移計算的影響[5]。那么,Mean Shift形式就可以擴展為

(2)

式中:G(x)為一個單位核函數(shù);w(xi)為采樣點xi的權(quán)值,w(xi)>0。

Mean Shift迭代步驟是以(xi-x)<ε時結(jié)束。假設(shè)給定x和核函數(shù)G(x),首先計算Mh(x),然后把Mh(x)賦值給x,直到不等式‖Mh(x)-x‖<ε成立才結(jié)束循環(huán),否則繼續(xù)執(zhí)行Mh(x)的計算[5]。

圖9為Mean Shift算法具體流程。以事先存儲的運動目標(biāo)區(qū)域作為輸入,將運動目標(biāo)區(qū)域確立為目標(biāo)搜索窗口的初始大小;在當(dāng)前幀中對目標(biāo)進行建模,在下一幀圖像中,采用相似度度量函數(shù)計算出目標(biāo)模型與候選模型的相似度;當(dāng)滿足收斂條件時即確定目標(biāo)在當(dāng)前幀的位置,依此循環(huán)計算就可實現(xiàn)對目標(biāo)的跟蹤[6]。

圖9 Mean Shift算法流程

2.3.2 運動目標(biāo)檢測算法

圖像識別中運動目標(biāo)檢測運用三幀差分法,將相鄰的三幀圖像作為一組進行差分,這樣能較好地檢測出運動目標(biāo)輪廓。三幀差分流程如圖10所示。

圖10 三幀差分法流程

選取視頻流序列中的連續(xù)三幀圖像Ij-1(x,y)、Ij(x,y)、Ij+1(x,y),分別計算相鄰兩幀的差值。

d(j,j-1)(x,y)=|Ij(x,y)-Ij-1(x,y)|

(3)

d(j+1,j)(x,y)=|Ij+1(x,y)-Ij(x,y)|

(4)

對得到的差值圖通過選擇合適的閾值T進行二值化。

(5)

(6)

在每個像素點(x,y)將得到的二值圖像進行邏輯“與”運算,進而得到三幀圖像中的中間幀的二值圖像。

(7)

2.4 人員闖入檢測算法

該算法主要利用基于OpenCV的圖像處理技術(shù)。首先,通過程序劃分警戒區(qū)域;然后,利用漫水填充算法獲取同原視頻幀相同像素尺寸參數(shù)的掩膜圖像,將警戒區(qū)域部分填充為白色,非警戒區(qū)域則為黑色,以該掩膜圖像作為是否闖入的判斷依據(jù)[2]。綜合考慮人員進入情況,通過判斷識別點在掩膜圖像中同坐標(biāo)點的像素取值,判斷人員矩形框是否闖入警戒區(qū)域。如果該識別點的像素值為(0,0,0),則表示該點不在警戒區(qū)內(nèi);如果該識別點的像素值為(255,255,255),則表示該點闖入警戒區(qū)[2]。警戒區(qū)則是通過漫水填充算法得到。圖11為檢測人員闖入示意圖;圖12為人員闖入實例圖。

圖11 人員闖入檢測

圖12 人員闖入實例

圖中不規(guī)則紅色四邊形為虛擬圍欄。圖12(a)中人員的腳闖入禁區(qū),為危險狀態(tài),用紅色矩形框表示;圖12(b)中人員的腳未闖入禁區(qū),為安全狀態(tài),用綠色矩形框表示。

2.5 模板匹配算法

模板匹配是一種高級的計算機視覺技術(shù),可識別圖像上與預(yù)定義模板匹配的部分。模板匹配算法從待識別圖像中提取若干特征向量與模板對應(yīng)的特征向量進行比較,計算圖像與模板特征向量之間的距離,用最小距離法判定所屬類別進而在圖像中找到目標(biāo)。

模板匹配通過二維卷積實現(xiàn)。在卷積中,輸出像素的值通過將兩個矩陣的元素相乘并對結(jié)果求和,其中一個矩陣代表圖像本身;另一個矩陣是模板,為卷積核。

將原始圖像和模板設(shè)定為f(x,y)和t(x,y),卷積后的增強圖像為g(x,y),離散卷積結(jié)果為

(8)

式中,M、N為模板的尺寸。

模板匹配通常事先建立好標(biāo)準(zhǔn)模板庫,但是如果進行暴力匹配,算法的效率會很低。故使用歸一化相關(guān)系數(shù)匹配法,先建立金字塔從頂層粗略計算大概范圍,再使用傅里葉變換來進行比較,經(jīng)過一系列的預(yù)處理,可以大大提高匹配速率。模板匹配算法流程如圖13所示。

圖13 單目標(biāo)模板匹配算法流程

3 現(xiàn)場應(yīng)用

所提以機器人為載體的智能安全監(jiān)督方法已在多個變電站、換流站成功應(yīng)用,可以實現(xiàn)對典型作業(yè)場景的安全監(jiān)督。下面著重對6個作業(yè)場景的安全監(jiān)督應(yīng)用情況進行展示。

安全監(jiān)督機器人監(jiān)視設(shè)備接地操作時,需要在此環(huán)節(jié)監(jiān)測試驗人員是否做放電接地操作;同時試驗人員是否按順序先拿起接地棒,然后做接地放電操作,以此保證試驗人員的安全。操作人員未做接地操作時機器人會一直報警,軟件彈出告警提示信息提示操作人員進行接地操作,如圖14所示,在完成接地操作后會提示接地操作已完成。

圖14 設(shè)備接地操作告警

在登高作業(yè)時,安全監(jiān)督機器人實時監(jiān)測試驗人員是否按要求穿戴安全帶進行規(guī)范作業(yè),當(dāng)檢測到有人員未正確穿戴安全帶時會發(fā)出告警提示信息,如圖15所示。

圖15 未按要求穿戴安全帶告警

安全監(jiān)督機器人監(jiān)視目標(biāo)入侵時,當(dāng)有人員闖入警戒區(qū)后機器人能夠立刻發(fā)出告警,并且在界面彈出告警提示信息,如圖16所示。

圖16 人員闖入警戒區(qū)告警

在設(shè)備吊裝過程中,安全監(jiān)督機器人能夠在較遠的距離對吊臂及吊起的設(shè)備下方進行實時監(jiān)控,避免吊臂或者其他危險源下方發(fā)生砸傷人員的安全事故,并在界面彈出告警提示信息,如圖17所示。

圖17 吊臂下站人風(fēng)險告警

當(dāng)設(shè)備叉裝過程中無人監(jiān)護或者監(jiān)護人員距叉車較遠時均會發(fā)出告警,能夠100%無死角識別監(jiān)護人員的到位情況,并在界面彈出告警提示信息,如圖18—圖19所示。

圖18 叉裝過程無人協(xié)助告警

圖19 協(xié)助人員距離叉車較遠告警

4 結(jié) 論

上面通過對基于機器深度學(xué)習(xí)的電力作業(yè)現(xiàn)場安全生產(chǎn)行為辨識技術(shù)的研究,提出了以機器人為載體的智能安全監(jiān)督方法。該方法適用于典型作業(yè)場景的智能安全監(jiān)督,成功實現(xiàn)了典型場景下的作業(yè)安全風(fēng)險智能識別和告警,彌補人工安全監(jiān)督存在的方式單一、長時工作易疲勞、易出現(xiàn)疏忽、水平參差不齊等不足。所提方法在多個變電站、換流站得到成功運用,具備較為廣闊的工程應(yīng)用前景,對智能安全監(jiān)督相關(guān)技術(shù)的向前發(fā)展具有一定借鑒意義。