基于深度學(xué)習(xí)與機(jī)器視覺的起重機(jī)吊裝安全監(jiān)測(cè)方法

薛志鋼，許晨旭，巫 波，聞東東

（1.江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院，南京 210036；2.徐州工程學(xué)院，江蘇 徐州 221000）

隨著我國基礎(chǔ)建設(shè)的快速發(fā)展，在核電、風(fēng)電、石油化工、公路、橋梁及大跨空間等領(lǐng)域涌現(xiàn)出一大批施工難度與技術(shù)均達(dá)到世界級(jí)的重大工程。這些重大工程均朝著大型化、復(fù)雜化和模塊化發(fā)展，而起重機(jī)作為最主要的物料提升設(shè)備之一，能夠有效地提高模塊化建造的效率，減少對(duì)人力資源的需求，在各類施工現(xiàn)場(chǎng)均具有重要地位。大型工程對(duì)吊裝作業(yè)急劇增加的強(qiáng)烈需求促進(jìn)了起重機(jī)行業(yè)的大力發(fā)展。目前，起重機(jī)已經(jīng)成為全球前三大工程機(jī)械品種之一。截至2018 年，全國吊裝工程的營(yíng)業(yè)總額達(dá)到400 億元，擁有起重能力在650 t 以上的超大型起重機(jī)105 臺(tái)，占全球保有量的20%。其中，全球僅有的2 臺(tái)4 000 t 級(jí)履帶型起重機(jī)、1 臺(tái)2 000 t 級(jí)輪式全地面起重機(jī)、1 臺(tái)6 400 t 級(jí)液壓復(fù)式起重機(jī)均在我國[1]。

然而，隨著起重機(jī)的提升高度和噸位不斷加大，其安全管理的難度也隨之提高，極易發(fā)生重大安全事故。例如，2001 年某船塢工地的龍門起重機(jī)發(fā)生倒塌事故，造成36 人死亡、3 人受傷，直接經(jīng)濟(jì)損失8 000 多萬元；2001 年某鋼鐵氧氣廠，汽車吊在吊裝作業(yè)過程中車頭翹起，吊物迅速下落砸中旋轉(zhuǎn)半徑內(nèi)的工人，致其死亡；2002 年某工程現(xiàn)場(chǎng)，履帶式起重機(jī)因操作失誤導(dǎo)致傾覆，造成2 人死亡、1 人重傷、3 人輕傷；2005年某火電建設(shè)公司在吊裝作業(yè)中，發(fā)生整體傾覆，造成3 人死亡，1 人受傷；2017 年某建筑工地，起重機(jī)在吊裝過程中操作不慎，導(dǎo)致1 人死亡、1 人受傷。這些安全事故的發(fā)生促使起重機(jī)安全監(jiān)測(cè)系統(tǒng)的發(fā)展。

為了充分保障起重機(jī)在吊裝作業(yè)中的安全運(yùn)行，減少安全事故和人員傷亡的發(fā)生。在起重機(jī)中安裝了大量的傳感器，搭建起重機(jī)運(yùn)行參數(shù)監(jiān)測(cè)系統(tǒng)[2-8]。例如，利用重量傳感器測(cè)量起重量；采用角度傳感器測(cè)量起重機(jī)的力臂幅度；通過絕對(duì)值編碼器測(cè)量提升高度或下降深度；在臂桿頂端安裝風(fēng)速儀測(cè)量風(fēng)速；在底盤上安裝角度和水平度傳感器測(cè)量起重機(jī)的主體狀態(tài)；安裝攝像機(jī)監(jiān)控吊鉤的運(yùn)行狀態(tài)。這類監(jiān)測(cè)系統(tǒng)使起重機(jī)的吊裝過程變得數(shù)字化、可控化，大大提高了吊裝作業(yè)的安全系數(shù)。然而，這類系統(tǒng)中安裝的攝像機(jī)僅起到了展示作用，無法深層次地理解監(jiān)控圖像中的信息。吊物狀態(tài)只能依靠操作人員自行觀察，受到光線等環(huán)境的影響，常常會(huì)發(fā)生誤判。因此，吊物碰撞傷人事故的發(fā)生率依舊位居吊裝安全事故總數(shù)的首位。

隨著深度學(xué)習(xí)在圖像處理領(lǐng)域不斷取得了突破性成果，逐漸受到各領(lǐng)域廣大科研人員的關(guān)注。例如，深度學(xué)習(xí)可以對(duì)監(jiān)控圖像中螺栓松弛損傷進(jìn)行準(zhǔn)確識(shí)別和定位，并與攝像機(jī)相連接實(shí)現(xiàn)損傷的實(shí)時(shí)監(jiān)測(cè)[9-10]。深度學(xué)習(xí)算法可以對(duì)結(jié)構(gòu)表面損傷比如裂縫、剝落、銹蝕等損傷進(jìn)行識(shí)別和定位[11-15]。因而，深度學(xué)習(xí)能夠深層次地理解圖像中的信息，自主提取特征完成目標(biāo)的精確識(shí)別與定位。鑒于此，本文將深度學(xué)習(xí)與機(jī)器視覺相結(jié)合對(duì)傳統(tǒng)起重機(jī)監(jiān)測(cè)系統(tǒng)中的監(jiān)控圖像進(jìn)行目標(biāo)識(shí)別與定位，根據(jù)定位信息獲取工人與吊物之間的空間關(guān)系。第1 部分介紹了所提方法的整體流程；第2 部分介紹了基于工人與吊物的Faster R-CNN 模型；第3部分介紹了吊裝安全監(jiān)測(cè)方法的具體細(xì)節(jié)；第4 部分介紹了起重機(jī)吊裝安全智能監(jiān)測(cè)系統(tǒng)的各個(gè)模塊及功能；第5 部分對(duì)本文所提方法進(jìn)行了總結(jié)。

1 監(jiān)測(cè)方法的整體流程

本文提出了一種基于深度學(xué)習(xí)和機(jī)器視覺的起重機(jī)吊裝安全監(jiān)測(cè)方法，整體流程如圖1 所示。首先，在吊裝現(xiàn)場(chǎng)采集包含工人與吊物的圖片數(shù)據(jù)集。然后，建立基于工人與吊物的Faster R-CNN 監(jiān)測(cè)模型，該模型能夠準(zhǔn)確地識(shí)別吊裝現(xiàn)場(chǎng)的工人與吊物，并且能夠自主判斷工人是否佩戴安全帽。最后，利用監(jiān)測(cè)模型的識(shí)別結(jié)果得到工人與吊物之間的空間關(guān)系，進(jìn)而為起重機(jī)吊裝作業(yè)提供安全預(yù)警，防止吊物碰撞傷人事故的發(fā)生。

圖1 監(jiān)測(cè)方法的整體流程

2 基于工人與吊物的Faster R-CNN 監(jiān)測(cè)模型

對(duì)監(jiān)控圖像中的工人與吊物進(jìn)行準(zhǔn)確識(shí)別和定位是進(jìn)行吊裝安全監(jiān)測(cè)的第一步。因此，首先利用目標(biāo)檢測(cè)算法對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練獲得吊裝安全監(jiān)測(cè)模型。Faster R-CNN 將區(qū)域推薦網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合在一起完成了目標(biāo)的精確分類與定位，不僅提高了目標(biāo)檢測(cè)的精度，也減少了候選區(qū)域的數(shù)量、縮短了模型的訓(xùn)練時(shí)間。因而，本文選擇Faster R-CNN 作為識(shí)別和定位工人與吊物的檢測(cè)算法。

2.1 Faster R-CNN

Faster R-CNN[16]于2015 年被Ross Girshick 提出，在R-CNN[17]和Fast R-CNN[18]的基礎(chǔ)上發(fā)展而來。Faster R-CNN 主要包含2 個(gè)部分，一是深層卷積神經(jīng)網(wǎng)絡(luò)，可以自主提取圖片的特征信息；二是區(qū)域推薦網(wǎng)絡(luò)，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)輸出的特征圖生成高質(zhì)量的候選區(qū)域，大大降低了生成候選區(qū)域的時(shí)間，提高模型的訓(xùn)練速度。區(qū)域推薦網(wǎng)絡(luò)是Faster R-CNN 的主要?jiǎng)?chuàng)新部分，與深層卷積神經(jīng)網(wǎng)絡(luò)共享特征圖，因此可以直接學(xué)習(xí)更深層次的特征，進(jìn)而能夠提高目標(biāo)的監(jiān)測(cè)算法。

2.1.1 深度卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)能夠自主提取圖像中的深層次特征，無需人工干預(yù)就可以為目標(biāo)的分類和定位提供特征信息，大大提高了特征提取的效率。卷積神經(jīng)網(wǎng)絡(luò)一般包括卷積層、池化層、全連接層和分類層等[19-21]。其中，卷積層是卷積神經(jīng)網(wǎng)絡(luò)中最重要的組成部分之一，利用卷積核在輸入數(shù)據(jù)上滑動(dòng)進(jìn)行卷積計(jì)算獲得數(shù)據(jù)的特征圖。卷積核中的參數(shù)隨著訓(xùn)練的進(jìn)行會(huì)不斷地迭代，同時(shí)卷積層充分考慮了數(shù)據(jù)的局部相關(guān)性，實(shí)現(xiàn)參數(shù)共享降低了網(wǎng)絡(luò)參數(shù)的數(shù)量。池化層又被稱為降采樣層，利用池化核在數(shù)據(jù)上滑動(dòng)減少數(shù)據(jù)的尺寸，提高模型的訓(xùn)練速度。全連接層將學(xué)習(xí)到的分布式特征映射到標(biāo)記空間。分類層是將學(xué)習(xí)到的特征進(jìn)行類別預(yù)測(cè)，完成目標(biāo)的分類。此外，卷積神經(jīng)網(wǎng)絡(luò)中還使用了激活函數(shù)，提高網(wǎng)絡(luò)的非線性表達(dá)能力。本文采用VGG16-Net 作為深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像的深層次信息。

2.1.2 區(qū)域推薦網(wǎng)絡(luò)

區(qū)域推薦網(wǎng)絡(luò)是在卷積神經(jīng)網(wǎng)絡(luò)輸出的特征圖上運(yùn)用特定大小的滑動(dòng)窗口預(yù)測(cè)多個(gè)不同比例的候選區(qū)域，并將候選區(qū)域輸入中間層生成512 維長(zhǎng)度的全連接特征。該特征分別被輸入2 個(gè)全連接層中，第一個(gè)全連接層用來預(yù)測(cè)識(shí)別框的位置并進(jìn)行回歸修正；第二個(gè)全連接層用來判斷候選區(qū)域?qū)儆谡龢颖具€是負(fù)樣本。當(dāng)候選框與真實(shí)框之間的IoU 大于0.7 時(shí)，候選框被標(biāo)記為正樣本，否則被標(biāo)記為負(fù)樣本。

為了更好地訓(xùn)練Faster R-CNN 網(wǎng)絡(luò)，采取四步法訓(xùn)練。首先，訓(xùn)練區(qū)域推薦網(wǎng)絡(luò)；然后利用獲得的候選區(qū)域訓(xùn)練目標(biāo)分類及定位；接著，再次訓(xùn)練區(qū)域推薦網(wǎng)絡(luò)；最后，利用更新后的候選區(qū)域訓(xùn)練目標(biāo)分類及定位。根據(jù)訓(xùn)練結(jié)果發(fā)現(xiàn)，這樣的訓(xùn)練方式能夠提高模型的識(shí)別精度。當(dāng)進(jìn)一步提高訓(xùn)練次數(shù)時(shí)，模型的訓(xùn)練精度并沒有大幅度提高。

2.2 數(shù)據(jù)集

為了獲得實(shí)際場(chǎng)景下的吊裝安全數(shù)據(jù)集，選取某吊裝場(chǎng)地進(jìn)行了實(shí)地拍攝，分別在東西和南北2 個(gè)方向分別放置一個(gè)智能手機(jī)，用于水平拍攝吊裝過程中吊物的運(yùn)動(dòng)狀態(tài)。視頻的拍攝頻率為30 FPS、分辨率為1 920×1 280 像素。選擇其中的600 張圖片作為數(shù)據(jù)集進(jìn)行標(biāo)記，主要包括3 類標(biāo)簽：r 為佩戴安全帽的工人，b 為未佩戴安全帽的工人，w 為吊物。將數(shù)據(jù)集中的80%作為訓(xùn)練驗(yàn)證集，20%作為測(cè)試集。

2.3 訓(xùn)練過程及結(jié)果

利用基于TensorFlow 框架下的Faster R-CNN 算法對(duì)吊裝安全數(shù)據(jù)集進(jìn)行訓(xùn)練，訓(xùn)練參數(shù)見表1。經(jīng)過10 000 次迭代后獲得最終的監(jiān)測(cè)模型，模型的預(yù)測(cè)-召回率曲線如圖2 所示，訓(xùn)練精度見表2。精度和召回率是衡量模型識(shí)別能力的重要指標(biāo)。精度表示識(shí)別樣本中實(shí)際正樣本占所有正樣本數(shù)的比例。召回率表示預(yù)測(cè)樣本中實(shí)際正樣本數(shù)占所有預(yù)測(cè)樣本數(shù)的比例。由表2 可知，3 個(gè)類別的平均識(shí)別精度為0.980 5，能夠滿足工程實(shí)踐的需要。

表1 訓(xùn)練參數(shù)

表2 訓(xùn)練精度

圖2 預(yù)測(cè)-召回率曲線

為了更加直觀地說明模型的識(shí)別能力，圖3 中展示了這3 類目標(biāo)的識(shí)別結(jié)果。從圖3 中可以看出，該模型不僅能夠高精度地完成佩戴安全帽的工人、未佩戴安全帽的工人和吊物的識(shí)別，同時(shí)可以完成這3 個(gè)類別的精確定位，為進(jìn)一步監(jiān)測(cè)吊裝安全提供基礎(chǔ)。

圖3 識(shí)別結(jié)果

3 吊裝安全監(jiān)測(cè)

基于工人與吊物的Faster R-CNN 監(jiān)測(cè)模型能夠高精度地完成佩戴安全帽的工人、未佩戴安全帽的工人和吊物等3 類目標(biāo)的識(shí)別和定位。在實(shí)際工程中為了保障吊裝作業(yè)的安全性，不僅需要工人佩戴安全帽，而且還需確保工人與吊物之間保持一定的距離，防止出現(xiàn)吊裝碰撞、打擊等傷人事故。通過訓(xùn)練獲得的監(jiān)測(cè)模型對(duì)監(jiān)控圖像中3 類目標(biāo)進(jìn)行識(shí)別和定位，并提取目標(biāo)識(shí)別框的中心點(diǎn)和范圍。同時(shí)對(duì)2 個(gè)方向上拍攝的圖片進(jìn)行檢測(cè)，即可獲得工人與吊物之間的空間關(guān)系。

首先，對(duì)2 個(gè)方向上拍攝的圖像進(jìn)行同步處理。以南北方向拍攝圖像的左上角為原點(diǎn)、水平向右為X 軸正向，以東北方向拍攝圖像的右上角為原點(diǎn)、水平向左為Y 軸正向，并將該方向拍攝的圖像旋轉(zhuǎn)90°，構(gòu)建如圖4 所示的吊裝監(jiān)測(cè)坐標(biāo)系。該坐標(biāo)系中各點(diǎn)的坐標(biāo)均為2 個(gè)方向拍攝圖像的水平像素坐標(biāo)。以工人為例，同時(shí)檢測(cè)工人在2 個(gè)圖像中識(shí)別框的范圍，并提取2個(gè)識(shí)別框的水平像素坐標(biāo)。在所建立的吊裝監(jiān)測(cè)坐標(biāo)系中得到的交叉區(qū)域即為工人所在的平面位置，該位置的中心即為目標(biāo)（工人）的中心坐標(biāo)。同理，可以得到吊物所在的平面位置和中心坐標(biāo)。

圖4 吊裝監(jiān)測(cè)坐標(biāo)系

利用上述方法可以獲得各個(gè)檢測(cè)目標(biāo)（工人與吊物）所在位置和中心坐標(biāo)，通過平面坐標(biāo)原理獲得工人與吊物之間的距離。隨著吊裝作業(yè)的進(jìn)行，工人與吊物的中心坐標(biāo)會(huì)不斷發(fā)生改變，同時(shí)產(chǎn)生空間上的互動(dòng)。因此，根據(jù)定位信息可以為吊裝監(jiān)測(cè)提供準(zhǔn)確的安全預(yù)警信息。根據(jù)實(shí)際需要，可以設(shè)定2 種安全預(yù)警模式：一是自動(dòng)預(yù)警模式，一旦工人在坐標(biāo)系下的所處位置與吊物所處位置有任何接觸，就立刻觸發(fā)安全預(yù)警信號(hào)；二是當(dāng)工人與吊物的中心距離達(dá)到閾值時(shí)，立刻觸發(fā)安全預(yù)警信號(hào)。

4 吊裝安全智能監(jiān)測(cè)系統(tǒng)

為了對(duì)吊裝安全進(jìn)行實(shí)時(shí)監(jiān)測(cè)，開發(fā)完成了起重機(jī)吊裝安全智能監(jiān)測(cè)系統(tǒng)，系統(tǒng)界面如圖5 所示。②是開始/繼續(xù)監(jiān)測(cè)按鈕；③是南北和東西2 個(gè)方向上攝像機(jī)的實(shí)時(shí)監(jiān)控窗口；④是監(jiān)測(cè)模型對(duì)2 個(gè)監(jiān)控圖像的識(shí)別結(jié)果，包括佩戴安全帽的工人數(shù)、未佩戴安全帽的工人數(shù)以及吊物個(gè)數(shù)；⑤是實(shí)時(shí)跟蹤工人與吊物的中心坐標(biāo)軌跡圖；⑥是工人與吊物之間的像素距離；⑦是安全預(yù)警模塊，包括自動(dòng)警報(bào)和手動(dòng)設(shè)置閾值進(jìn)行警報(bào)；⑧是場(chǎng)景描述模塊，包含工人數(shù)量、是否佩戴安全帽以及工人與吊物之間空間趨勢(shì)；⑨是暫停/結(jié)束按鈕。

圖5 監(jiān)測(cè)系統(tǒng)界面

為了驗(yàn)證所提方法及系統(tǒng)的實(shí)時(shí)監(jiān)測(cè)效果，將計(jì)算機(jī)與2 個(gè)攝像頭相連接，實(shí)現(xiàn)吊裝安全的實(shí)時(shí)監(jiān)控和跟蹤。由于計(jì)算機(jī)性能的限制，監(jiān)控視頻的采集頻率應(yīng)小于17 幀/s。在試驗(yàn)過程中，吊物保持靜止，以其投影的中心為圓點(diǎn)，繪制半徑為1.5 m 的軌道，工人按照此軌道行走。根據(jù)視頻拍攝的基本原理，工人的行走軌跡在窗口中呈現(xiàn)橢圓形，監(jiān)測(cè)結(jié)果如圖6 所示。根據(jù)監(jiān)測(cè)結(jié)果可知，起重機(jī)吊裝安全智能監(jiān)測(cè)系統(tǒng)能夠?qū)? 個(gè)方向上的監(jiān)控畫面進(jìn)行實(shí)時(shí)識(shí)別和定位，同時(shí)對(duì)工人與吊物完成實(shí)時(shí)追蹤，繪制出兩者中心坐標(biāo)在平面上的移動(dòng)曲線，自動(dòng)完成安全預(yù)警。此外，還可根據(jù)識(shí)別結(jié)果輸出場(chǎng)景描述，判斷工人是在逐漸靠近吊物還是逐漸遠(yuǎn)離吊物，能夠更加智能地預(yù)判安全事故的發(fā)生。

圖6 吊裝安全監(jiān)測(cè)結(jié)果

5 結(jié)論

本文提出了基于深度學(xué)習(xí)和機(jī)器視覺的起重機(jī)吊裝安全監(jiān)測(cè)方法。首先，通過安置的2 臺(tái)攝像機(jī)同時(shí)拍攝吊物及其周圍工人。然后，利用訓(xùn)練的監(jiān)測(cè)模型對(duì)圖像中的吊物、佩戴安全帽的工人和未佩戴安全帽的工人進(jìn)行識(shí)別和定位，模型的平均監(jiān)測(cè)精度為0.980 5。接著，以2 個(gè)方向上拍攝的圖片建立吊裝監(jiān)測(cè)坐標(biāo)系，獲得目標(biāo)在該坐標(biāo)系下的所處位置及中心坐標(biāo)。最后，開發(fā)了吊裝安全智能監(jiān)測(cè)系統(tǒng)，依據(jù)監(jiān)測(cè)模型的識(shí)別結(jié)果進(jìn)行安全預(yù)警。同時(shí)，該系統(tǒng)還可以輸出場(chǎng)景描述，判斷工人與吊物之間距離的變化趨勢(shì)，能夠一定程度上預(yù)判安全事故的發(fā)生。因此，本文所提方法能夠深層次地理解監(jiān)控?cái)?shù)據(jù)，進(jìn)一步完善了現(xiàn)有的起重機(jī)安全監(jiān)測(cè)系統(tǒng)，能夠有效防止吊物碰撞傷人事故的發(fā)生。