姜佩奇,梁斌杰,劉 輝,張社榮,王梟華,王 超
(1.天津大學(xué)水利工程智能建設(shè)與運(yùn)維全國(guó)重點(diǎn)實(shí)驗(yàn)室&建筑工程學(xué)院,天津 300072;2.水利部水利水電規(guī)劃設(shè)計(jì)總院,北京 100120;3.中水北方勘測(cè)設(shè)計(jì)研究有限責(zé)任公司,天津 300222)
水利工程由于其施工環(huán)境惡劣、施工工期長(zhǎng)、交叉作業(yè)情況復(fù)雜等特點(diǎn),建設(shè)過(guò)程中風(fēng)險(xiǎn)因素眾多,其中危險(xiǎn)區(qū)域(如臨邊、洞口、塔吊周圍)作為普遍存在但常易忽略的風(fēng)險(xiǎn)因素,當(dāng)施工人員處于其中時(shí)易發(fā)生高處墜落、碰撞等安全事故,威脅施工安全。因此,如何有效實(shí)現(xiàn)施工人員靠近風(fēng)險(xiǎn)區(qū)域的危險(xiǎn)行為預(yù)警對(duì)施工安全管理水平的提升具有重要意義[1-2]。
靠近危險(xiǎn)區(qū)域的判別關(guān)鍵在于如何快速確定施工人員與危險(xiǎn)區(qū)域的位置關(guān)系,若處于其中,施工人員可能會(huì)存在危險(xiǎn)。隨著計(jì)算機(jī)視覺、建筑信息模型(Building Information Modeling,BIM)、射頻識(shí)別(Radio Frequency Identification,RFID)等技術(shù)的快速發(fā)展與應(yīng)用,不少學(xué)者也利用其展開了眾多研究[3-5]。閆文杰等[6]集成BIM與RFID技術(shù),對(duì)水利工程現(xiàn)場(chǎng)的危險(xiǎn)區(qū)域和作業(yè)人員進(jìn)行實(shí)時(shí)監(jiān)控,實(shí)現(xiàn)了危險(xiǎn)區(qū)域內(nèi)工人安裝狀態(tài)的判定和預(yù)警。王偉等[7]利用BIM與機(jī)器視覺技術(shù),構(gòu)建了危險(xiǎn)區(qū)域施工人員入侵預(yù)警模型,降低了危險(xiǎn)區(qū)域入侵行為的發(fā)生。高寒等[8]利用移動(dòng)目標(biāo)檢測(cè)算法對(duì)危險(xiǎn)區(qū)域工人進(jìn)行檢測(cè),實(shí)現(xiàn)了危險(xiǎn)區(qū)域的入侵識(shí)別。石懷濤等[9]通過(guò)改進(jìn)YOLOv3網(wǎng)絡(luò)對(duì)吊車危險(xiǎn)區(qū)域內(nèi)的施工人員進(jìn)行識(shí)別,并利用相機(jī)坐標(biāo)變換實(shí)現(xiàn)了施工人員與危險(xiǎn)區(qū)域中心點(diǎn)距離的測(cè)算并進(jìn)行行為矯正,減少吊車安全事故的發(fā)生。田楓等[10-11]通過(guò)利用改進(jìn)YOLO檢測(cè)算法,實(shí)現(xiàn)對(duì)油田危險(xiǎn)區(qū)域的入侵檢測(cè)。Fang等[12]通過(guò)利用Mask R-CNN模型識(shí)別現(xiàn)場(chǎng)施工人員和結(jié)構(gòu)支撐,實(shí)現(xiàn)了在深基坑施工中施工人員穿過(guò)結(jié)構(gòu)支撐的不安全行為識(shí)別。樊啟祥等[13-15]在大型水電工程施工安全管理過(guò)程中,提出綜合利用GIS技術(shù)、定位軌跡分析技術(shù)、RFID、GPS/北斗+實(shí)時(shí)差分等技術(shù),實(shí)現(xiàn)了施工現(xiàn)場(chǎng)人員和機(jī)械設(shè)備的實(shí)時(shí)定位,并利用電子圍欄技術(shù),實(shí)現(xiàn)了自動(dòng)監(jiān)控和非法進(jìn)入電子圍欄范圍等的不安全行為管控。
在靠近危險(xiǎn)區(qū)域預(yù)測(cè)方面,Zhu等[16]利用卡爾曼濾波算法來(lái)實(shí)時(shí)定位和預(yù)測(cè)施工人員和機(jī)械的位置,進(jìn)而判斷未來(lái)施工人員的軌跡是否處于機(jī)械易碰撞區(qū)域,從而實(shí)現(xiàn)對(duì)人機(jī)碰撞風(fēng)險(xiǎn)的預(yù)測(cè)。方偉立和丁烈云[17]構(gòu)建工人不安全行為智能識(shí)別與矯正框架體系,主要由不安全行為智能識(shí)別、安全個(gè)性化培訓(xùn)和不安全行為預(yù)測(cè)3部分組成。
綜上,目前針對(duì)靠近風(fēng)險(xiǎn)區(qū)域的危險(xiǎn)行為管控大多為事中和事后的過(guò)程,即在正侵入和侵入后實(shí)現(xiàn)對(duì)施工人員是否處于危險(xiǎn)區(qū)域的判斷,可能會(huì)發(fā)生報(bào)警不及時(shí)而導(dǎo)致在危險(xiǎn)區(qū)域內(nèi)發(fā)生安全事故,造成人員傷亡。而對(duì)事前靠近風(fēng)險(xiǎn)區(qū)域不安全行為預(yù)測(cè)研究較少,對(duì)施工人員未來(lái)的軌跡預(yù)測(cè)時(shí)間和距離較短,預(yù)警效果還有待提高。并且施工人員定位通常采用的是GPS或RFID,定位雖然比計(jì)算機(jī)視覺定位準(zhǔn)確,但需時(shí)刻佩戴相應(yīng)傳感器,成本高且在實(shí)踐中不易實(shí)現(xiàn)。
針對(duì)上述問(wèn)題,本文基于計(jì)算機(jī)視覺與深度學(xué)習(xí)技術(shù),提出一種水利施工人員靠近風(fēng)險(xiǎn)區(qū)域的危險(xiǎn)行為預(yù)測(cè)方法。首先利用DeepSORT算法構(gòu)建施工人員多目標(biāo)追蹤模型,對(duì)現(xiàn)場(chǎng)施工人員進(jìn)行多目標(biāo)追蹤的同時(shí),收集其運(yùn)動(dòng)軌跡。然后,篩選場(chǎng)區(qū)施工人員行動(dòng)軌跡,基于Social-STGCNN算法構(gòu)建施工人員軌跡預(yù)測(cè)模型,實(shí)現(xiàn)施工人員軌跡預(yù)測(cè),對(duì)未來(lái)不同時(shí)刻的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)。最后,基于AI電子圍欄,對(duì)危險(xiǎn)區(qū)域進(jìn)行標(biāo)記,判斷預(yù)測(cè)后的軌跡是否處于風(fēng)險(xiǎn)區(qū)域當(dāng)中,從而實(shí)現(xiàn)靠近危險(xiǎn)區(qū)域的危險(xiǎn)行為預(yù)警,在一定程度上預(yù)防不安全行為的發(fā)生。
鑒于現(xiàn)有人員危險(xiǎn)行為的管理通常集中在事件發(fā)生中或之后,本文提出了一種預(yù)先管控的方法,該方法可以在施工人員實(shí)際進(jìn)入危險(xiǎn)區(qū)域之前,預(yù)測(cè)并預(yù)警其潛在的入侵行為,有效避免報(bào)警不及時(shí)而導(dǎo)致在危險(xiǎn)區(qū)域內(nèi)發(fā)生安全事故。基于計(jì)算機(jī)視覺和深度學(xué)習(xí)的施工人員靠近風(fēng)險(xiǎn)區(qū)實(shí)時(shí)預(yù)警模型如圖1所示,主要由3個(gè)模塊組成,包括:基于改進(jìn)YOLOv5+DeepSORT的多目標(biāo)追蹤模塊[18]、基于Social-STGCNN的軌跡預(yù)測(cè)模塊、以及基于PNPoly的靠近風(fēng)險(xiǎn)區(qū)預(yù)警模塊。本文所提出的實(shí)時(shí)預(yù)警模型能有效預(yù)測(cè)施工人員軌跡,結(jié)合風(fēng)險(xiǎn)區(qū)電子圍欄進(jìn)行風(fēng)險(xiǎn)分析與預(yù)警,有效保障施工人員作業(yè)安全。
圖1 靠近風(fēng)險(xiǎn)區(qū)實(shí)時(shí)預(yù)警總體技術(shù)架構(gòu)
DeepSORT[19]是目前主流的一種多目標(biāo)追蹤算法,基于detection+track多目標(biāo)追蹤思路,在SORT算法的基礎(chǔ)上增加外觀信息度量,并結(jié)合運(yùn)動(dòng)信息避免目標(biāo)ID切換過(guò)多。同時(shí),目標(biāo)檢測(cè)模型的精度直接影響DeepSORT算法對(duì)施工人員追蹤的準(zhǔn)確性。為了實(shí)現(xiàn)準(zhǔn)確的施工人員目標(biāo)追蹤,良好的施工人員目標(biāo)檢測(cè)模型必不可少。本文提出的改進(jìn)YOLOv5+DeepSORT的多目標(biāo)追蹤算法,通過(guò)SIOU[20]損失函數(shù)替換CIOU損失函數(shù)(如公式(1)、(2)所示)、增加小目標(biāo)檢測(cè)層和引入NAM注意力機(jī)制的方式改進(jìn)YOLOv5算法,并以改進(jìn)的YOLOv5算法作為DeepSORT算法的檢測(cè)器。改進(jìn)YOLOv5算法中重新設(shè)計(jì)了通道和空間注意力子模塊,將NAM模塊嵌入每個(gè)網(wǎng)絡(luò)的末端。
(1)
(2)
式中,B、BGT-預(yù)測(cè)框與真值框;Ω-形狀成本;Δ-考慮角度成本后,重新定義的距離成本。
其次,DeepSORT算法引入級(jí)聯(lián)匹配,通過(guò)計(jì)算預(yù)測(cè)目標(biāo)與檢測(cè)目標(biāo)之間的馬氏距離(d(1))和余弦距離(d(2))獲取代價(jià)矩陣,從而提高了目標(biāo)匹配的精度。
(3)
(4)
ci,j=λd(1)(i,j)+(1-λ)d(2)(i,j)
(5)
式中,λ-調(diào)和因子,用于平衡馬氏距離與余弦距離。當(dāng)代價(jià)矩陣ci,j滿足兩種距離閾值要求時(shí)匹配成功。
施工人員軌跡預(yù)測(cè)問(wèn)題與行人軌跡預(yù)測(cè)相似,主要針對(duì)其二維空間坐標(biāo)在一定時(shí)間內(nèi)的變化,并通過(guò)利用施工人員前一段時(shí)間的軌跡來(lái)預(yù)測(cè)未來(lái)一段時(shí)間的運(yùn)動(dòng)軌跡。施工人員的運(yùn)動(dòng)軌跡不僅受自身主觀影響,還受周圍其他人、機(jī)械等物體的影響。傳統(tǒng)的軌跡預(yù)測(cè)算法通常采用各種聚合方法,而本文采用的Social-STGCNN算法則以圖模型的方式代替聚合方法實(shí)現(xiàn)建模交互,引入周邊人員、機(jī)械等物體的相互作用關(guān)系,準(zhǔn)確度和推理速度有了極大提升[21]。Social-STGCNN模型主要由時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(ST-GCNN)和時(shí)間外推卷積網(wǎng)絡(luò)(TXP-CNN)組成,模型結(jié)構(gòu)如圖2所示,前者用于提取施工人員軌跡特征,后者用于預(yù)測(cè)施工人員未來(lái)的運(yùn)動(dòng)軌跡[22],具體流程如下:
圖2 SOCIAL-STGCNN模型結(jié)構(gòu)圖
(6)
其次,采用相同方法構(gòu)建時(shí)間圖,時(shí)間圖矩陣內(nèi)的邊信息為同一施工人員在一段連續(xù)時(shí)間內(nèi)的空間厚實(shí)距離加權(quán)值,如公式(7)所示,即邊信息不再存儲(chǔ)不同施工人員間的關(guān)系。
(7)
(2)二維時(shí)空?qǐng)D卷積處理。為獲取時(shí)間軸特征,對(duì)輸入的時(shí)間序列鄰接矩陣進(jìn)行堆棧處理[25],則時(shí)空?qǐng)D卷積過(guò)程可表示為公式(8),由此可得場(chǎng)區(qū)施工人員軌跡的時(shí)空特征矩陣。
(8)
(3)時(shí)間外推卷積處理。由TXP-CNN處理時(shí)序序列數(shù)據(jù),按照時(shí)序信息進(jìn)行一維卷積操作,通過(guò)因果卷積記錄并利用軌跡的時(shí)間信息,預(yù)測(cè)場(chǎng)區(qū)施工人員行動(dòng)軌跡。
基于場(chǎng)區(qū)施工人員的預(yù)測(cè)軌跡,使用Mask掩膜來(lái)識(shí)別和提取危險(xiǎn)區(qū)域,建立電子圍欄。由于增加Mask掩膜會(huì)使危險(xiǎn)區(qū)域外的場(chǎng)景不進(jìn)行目標(biāo)檢測(cè),降低改進(jìn)YOLOv5目標(biāo)檢測(cè)算法的精度,因此本文在保留危險(xiǎn)區(qū)域標(biāo)注的同時(shí),去除遮蓋效果,使算法仍可對(duì)其他區(qū)域進(jìn)行目標(biāo)檢測(cè)。
同時(shí),基于場(chǎng)區(qū)施工人員的預(yù)測(cè)軌跡,采用PNPoly算法,判斷預(yù)測(cè)軌跡坐標(biāo)是否處于風(fēng)險(xiǎn)區(qū)電子?xùn)艡趦?nèi),一旦預(yù)測(cè)軌跡處于風(fēng)險(xiǎn)區(qū)內(nèi)執(zhí)行預(yù)警處置。
本文以我國(guó)西南地區(qū)某在建大(2)型碾壓混凝土壩工程進(jìn)行實(shí)證分析,該碾壓混凝土壩由擋水壩段、表孔壩段、進(jìn)水口壩段和壩后電站組成,共分11個(gè)壩段。實(shí)證分析包括施工人員多目標(biāo)追蹤和施工人員軌跡預(yù)測(cè)。
本文以目前公開的多目標(biāo)行人追蹤數(shù)據(jù)集Market1501劃分模型的訓(xùn)練集和驗(yàn)證集,訓(xùn)練過(guò)程持續(xù)300輪,訓(xùn)練集和驗(yàn)證集上的損失函數(shù)和top-1 error的變化曲線如圖3所示,結(jié)果表明訓(xùn)練集和測(cè)試集的loss值最終穩(wěn)定在0.13和0.61,top-1 error最終穩(wěn)定在0.02和0.15。場(chǎng)區(qū)施工人員多目標(biāo)追蹤模型的評(píng)價(jià)指標(biāo)包括mIOU、mAP@0.5IOU和mAP@0.7IOU,其中AP為精度和召回曲線下的面積,可由公式(1)、(9)和(10)計(jì)算得到,其結(jié)果分別為64.9%、86.1%、59.8%。
圖3 訓(xùn)練結(jié)果曲線
precision=TP/(TP+FP)
(9)
recall=TP/(TP+FN)
(10)
式中,TP-被準(zhǔn)確追蹤的工人數(shù)量;FP-被錯(cuò)誤追蹤的工人數(shù)量;FN-未能追蹤的人工數(shù)量。
其次,以施工現(xiàn)場(chǎng)實(shí)時(shí)監(jiān)控圖像作為多目標(biāo)追蹤模型的測(cè)試集,改進(jìn)的YOLOv5+DeepSORT算法會(huì)對(duì)每一個(gè)追蹤分配一個(gè)唯一且持續(xù)不變的編號(hào)ID,在同一幅圖像中設(shè)定ID標(biāo)號(hào)從1開始計(jì)數(shù),標(biāo)號(hào)最大數(shù)則為檢測(cè)目標(biāo)的總?cè)藬?shù)。施工現(xiàn)場(chǎng)監(jiān)控視頻施工人員多目標(biāo)追蹤效果如圖4所示。
2.2.1數(shù)據(jù)集準(zhǔn)備
目前針對(duì)人員軌跡預(yù)測(cè)任務(wù)的公開數(shù)據(jù)集較少,僅有幾個(gè)俯視視角的小型數(shù)據(jù)集。其中ETH和UCY[23]組合數(shù)據(jù)作為開源的公共數(shù)據(jù)集,包含5個(gè)不同場(chǎng)景,2206條人體運(yùn)動(dòng)軌跡,數(shù)據(jù)采樣間隔為10幀,數(shù)據(jù)中包含幀索引、行人編號(hào)、位置坐標(biāo)。但由于該數(shù)據(jù)集針對(duì)日常生活場(chǎng)景,與施工現(xiàn)場(chǎng)人員軌跡有較大差別。因此本文基于構(gòu)建的施工人員多目標(biāo)追蹤模型,對(duì)施工人員進(jìn)行軌跡追蹤,獲取其在一段時(shí)間內(nèi)的像素軌跡,為施工人員軌跡預(yù)測(cè)提供數(shù)據(jù)來(lái)源。本文采集的視頻幀率為25Hz,以10幀為采樣間隔(即每0.4s),以前3.2s的軌跡數(shù)據(jù)來(lái)預(yù)測(cè)后4.8s運(yùn)動(dòng)軌跡,能有效改善數(shù)據(jù)的獨(dú)立同分布性質(zhì)。
本文以目標(biāo)檢測(cè)框的形心坐標(biāo)來(lái)表示當(dāng)前時(shí)刻施工人員所處位置,通過(guò)將一段時(shí)間內(nèi)連續(xù)的形心坐標(biāo)進(jìn)行相連即可表示施工人員的軌跡。通過(guò)收集和篩選,共獲得1534條數(shù)據(jù)。施工人員多目標(biāo)追蹤模型獲取得到的典型施工人員軌跡坐標(biāo)見表1。
表1 典型施工人員多目標(biāo)追蹤軌跡坐標(biāo) 單位:像素
2.2.2評(píng)價(jià)指標(biāo)
軌跡預(yù)測(cè)任務(wù)主要使用平均位移誤差(Average Displacement Error,ADE)和最終位移誤差(Final Displacement Error,F(xiàn)DE)評(píng)價(jià)模型性能。其中平均位移誤差是指所有的估計(jì)軌跡點(diǎn)與真實(shí)軌跡點(diǎn)之間歐式距離的平均值;最終位移誤差是指預(yù)測(cè)軌跡終點(diǎn)與實(shí)際軌跡終點(diǎn)之間的距離,計(jì)算公式如下所示。
(11)
(12)
(13)
(14)
2.2.3模型訓(xùn)練與結(jié)果
利用自建施工人員軌跡數(shù)據(jù)集進(jìn)行訓(xùn)練,共持續(xù)300輪,然后利用訓(xùn)練形成的模型權(quán)重文件進(jìn)行預(yù)測(cè)性能評(píng)價(jià),軌跡預(yù)測(cè)誤差見表2、如圖5-6所示,可知預(yù)測(cè)誤差隨預(yù)測(cè)時(shí)長(zhǎng)增加而增加,預(yù)測(cè)2.0s施工人員軌跡的ADE和FDE值分為22.82像素和34.45像素,而預(yù)測(cè)4.8s施工人員軌跡的ADE和FDE值分為36.25像素和51.01像素。
表2 每10幀軌跡預(yù)測(cè)誤差
圖5 每隔0.4s間的軌跡預(yù)測(cè)平均距離誤差圖
圖6 每隔0.4s間的軌跡預(yù)測(cè)最終距離誤差圖
施工人員軌跡預(yù)測(cè)可視化效果見圖7,其中藍(lán)色線代表預(yù)測(cè)軌跡,紅色線代表真實(shí)軌跡,紅色線與藍(lán)色線完全重合部分代表前8個(gè)時(shí)間窗口輸入相同的值。根據(jù)圖7可知,本文所構(gòu)建的Social-STGCNN模型可實(shí)現(xiàn)對(duì)施工人員軌跡的預(yù)測(cè),雖然存有一些偏差,但大體的運(yùn)動(dòng)趨勢(shì)基本相同,可在一定程度上為不安全行為的預(yù)測(cè)起到參考。
圖7 施工人員軌跡預(yù)測(cè)結(jié)果可視化
值得注意的是,F(xiàn)DE值隨預(yù)測(cè)時(shí)間的增長(zhǎng)出現(xiàn)波動(dòng)上升,并非嚴(yán)格意義的正相關(guān)。原因主要由于FDE反應(yīng)的是施工人員在最終時(shí)刻的位置關(guān)系,當(dāng)“S”型軌跡出現(xiàn)時(shí),預(yù)測(cè)軌跡和真實(shí)軌跡差距減小或再次相交,如圖7所示24號(hào)施工人員軌跡。
關(guān)于靠近風(fēng)險(xiǎn)區(qū)預(yù)警模塊,其詳細(xì)流程已在圖1總體技術(shù)架構(gòu)中闡述,PNPoly算法原理可概括為:從一個(gè)目標(biāo)點(diǎn)引出一條射線,統(tǒng)計(jì)該射線與電子圍欄的交點(diǎn)個(gè)數(shù),若交點(diǎn)數(shù)為奇數(shù),則說(shuō)明目標(biāo)點(diǎn)在電子圍欄內(nèi),進(jìn)行預(yù)警處置;反之,則說(shuō)明目標(biāo)點(diǎn)在電子圍欄外,判斷為安全。根據(jù)一般人員的反應(yīng)時(shí)間約為0.3s和所提方法的預(yù)警精度,建議預(yù)警時(shí)間定為0.8s,此時(shí)ADE和FDE分別為12.04、12.96像素,能夠有效保障施工人員安全,避免進(jìn)入風(fēng)險(xiǎn)區(qū)域。
本文根據(jù)Mask掩膜對(duì)危險(xiǎn)區(qū)域進(jìn)行標(biāo)注和提取,建立電子圍欄,如圖8所示,電子圍欄以紅色近視區(qū)域表示。結(jié)合PNPoly算法,判斷預(yù)測(cè)軌跡坐標(biāo)是否處于風(fēng)險(xiǎn)區(qū)電子圍欄的多邊形內(nèi)。一旦預(yù)測(cè)軌跡坐標(biāo)點(diǎn)位于風(fēng)險(xiǎn)區(qū)多邊形內(nèi)部,會(huì)立即觸發(fā)實(shí)時(shí)預(yù)警,通過(guò)紅色警示框、聲音、信息推送等方式進(jìn)行警示,同時(shí)執(zhí)行相應(yīng)的處置措施,如引導(dǎo)施工人員離開風(fēng)險(xiǎn)區(qū)域等,為施工現(xiàn)場(chǎng)的施工人員安全管控提供了一種新方法。
圖8 施工人員靠近危險(xiǎn)區(qū)域預(yù)警
為進(jìn)一步分析Social-STGCNN軌跡預(yù)測(cè)模型的性能,及其對(duì)水利工程施工場(chǎng)區(qū)范圍大,人員、機(jī)械、材料空間分布復(fù)雜特點(diǎn)的適應(yīng)性,表3將Social-STGCNN與Social-LSTM兩種模型的軌跡預(yù)測(cè)性能進(jìn)行對(duì)比??傮w而言,兩種模型在較短的預(yù)測(cè)時(shí)間內(nèi)均有較好的軌跡預(yù)測(cè)效果,軌跡位置誤差均較小。但相對(duì)而言,Social-STGCNN模型通過(guò)時(shí)空?qǐng)D卷積網(wǎng)絡(luò)更能挖掘場(chǎng)區(qū)人員、機(jī)械、材料空間分布特征。當(dāng)預(yù)測(cè)時(shí)長(zhǎng)為0.8s時(shí),就ADE和FDE指標(biāo)而言,Social-STGCNN比Social-LSTM預(yù)測(cè)誤差分別減少約1.55%、4.07%。
表3 不同模型的軌跡預(yù)測(cè)對(duì)比(ADE/FDE,像素)
但由于水利工程施工場(chǎng)區(qū)范圍廣、軌跡預(yù)測(cè)需考慮因素眾多且本文數(shù)據(jù)集較小,預(yù)測(cè)軌跡仍存在一定偏差。同時(shí),軌跡監(jiān)測(cè)誤差和預(yù)測(cè)誤差存在累積效應(yīng),也可能會(huì)導(dǎo)致實(shí)時(shí)預(yù)警結(jié)果的震蕩。因而,有效提高軌跡監(jiān)測(cè)精度是場(chǎng)區(qū)施工人員軌跡預(yù)警的前提,后續(xù)可結(jié)合BIM技術(shù),進(jìn)行監(jiān)控視頻與BIM注冊(cè)、配準(zhǔn),提高場(chǎng)區(qū)施工人員定位與預(yù)測(cè)精度,同時(shí)可基于BIM場(chǎng)景下的場(chǎng)區(qū)機(jī)械、材料分布優(yōu)化空間圖構(gòu)建,進(jìn)一步提升軌跡預(yù)測(cè)精度。
本文通過(guò)利用實(shí)時(shí)監(jiān)控、計(jì)算機(jī)視覺、深度學(xué)習(xí)等技術(shù),提出了水利施工人員靠近風(fēng)險(xiǎn)區(qū)域的危險(xiǎn)行為預(yù)警方法,通過(guò)工程實(shí)例驗(yàn)證,有效證明了該方法的有效性。本文所提出的方法不僅增加了施工現(xiàn)場(chǎng)行為管理手段,也為水利工程施工現(xiàn)場(chǎng)安全管理提供新方法。主要取得以下成果:
(1)提出了基于軌跡預(yù)測(cè)的場(chǎng)區(qū)施工人員靠近風(fēng)險(xiǎn)區(qū)域預(yù)警方法。該方法由3個(gè)模塊組成,包括:基于改進(jìn)YOLOv5+DeepSORT的多目標(biāo)追蹤模塊、基于Social-STGCNN的軌跡預(yù)測(cè)模塊、以及基于PNPoly的靠近風(fēng)險(xiǎn)區(qū)預(yù)警模塊。本文所提出的實(shí)時(shí)預(yù)警模型能有效預(yù)測(cè)施工人員軌跡,結(jié)合風(fēng)險(xiǎn)區(qū)電子圍欄進(jìn)行風(fēng)險(xiǎn)分析與預(yù)警,有效保障施工人員作業(yè)安全。
(2)針對(duì)水利工程施工場(chǎng)景,構(gòu)建了基于改進(jìn)YOLOv5+DeepSORT算法的施工人員多目標(biāo)追蹤模型。以改進(jìn)后的YOLOv5作為目標(biāo)檢測(cè)模型,以Market公開數(shù)據(jù)集作為表觀特征提取數(shù)據(jù)集進(jìn)行訓(xùn)練,訓(xùn)練集和測(cè)試集的loss值分別為0.13、0.61,top-1 error分別為0.02、0.15,滿足現(xiàn)場(chǎng)使用需求。
(3)利用構(gòu)建的多目標(biāo)追蹤和軌跡預(yù)測(cè)模型,對(duì)施工人員進(jìn)行軌跡收集和預(yù)測(cè),預(yù)測(cè)誤差隨預(yù)測(cè)時(shí)長(zhǎng)增加而增加,預(yù)測(cè)2.0秒施工人員軌跡的ADE和FDE分為22.82、34.45像素,而預(yù)測(cè)4.8秒施工人員軌跡的ADE和FDE分為36.25、51.01像素。但由于軌跡預(yù)測(cè)需考慮因素眾多且數(shù)據(jù)集較小,預(yù)測(cè)軌跡仍存在一定偏差,后續(xù)可結(jié)合BIM技術(shù),進(jìn)一步提升軌跡預(yù)測(cè)精度。