基于計(jì)算機(jī)視覺與深度學(xué)習(xí)的施工現(xiàn)場人員及車輛智能統(tǒng)計(jì)與監(jiān)測

陳祺榮，陳鈺開，林 俊，朱東烽

（1、廣東筠誠建筑科技有限公司 廣東云浮 527300；2、海南大學(xué)土木建筑工程學(xué)院 海口 570228）

0 引言

近年來，我國的建筑業(yè)飛速發(fā)展，建筑業(yè)企業(yè)生產(chǎn)和經(jīng)營規(guī)模的不斷擴(kuò)大，建筑業(yè)總產(chǎn)值持續(xù)增長［1］，建筑施工高速發(fā)展和大規(guī)模建設(shè)項(xiàng)目實(shí)施給施工生產(chǎn)帶來嚴(yán)峻的安全生產(chǎn)管理問題，建筑施工領(lǐng)域的安全問題始終都是國家安全生產(chǎn)監(jiān)管工作的重中之重［2］。單個(gè)項(xiàng)目體量也變得越來越大，同時(shí)在崗施工人員可達(dá)近千人，極大地增加了建筑施工現(xiàn)場人員管理的難度。為加快建筑業(yè)持續(xù)健康的發(fā)展，住房和城鄉(xiāng)建設(shè)部和人力資源社會(huì)保障部聯(lián)合下發(fā)了《建筑工人實(shí)名制管理辦法（試行）》［3］，并于2019年3月1日正式實(shí)施，對于施工現(xiàn)場出入口有明確要求：施工現(xiàn)場原則上實(shí)施封閉式管理，設(shè)立進(jìn)出場門禁系統(tǒng)，采用人臉、指紋、虹膜等生物識(shí)別技術(shù)進(jìn)行電子打卡；不具備封閉式管理?xiàng)l件的工程項(xiàng)目，應(yīng)采用移動(dòng)定位、電子圍欄等技術(shù)實(shí)施考勤管理［4］。因此，研究建筑施工現(xiàn)場人員智能統(tǒng)計(jì)算法對于工地的數(shù)字化、智慧化管理具有重要意義。通過智能統(tǒng)計(jì)進(jìn)出人員及其工種、所屬專業(yè)公司等信息，并實(shí)現(xiàn)建筑施工現(xiàn)場內(nèi)部實(shí)時(shí)人數(shù)、各工種人數(shù)和各專業(yè)公司場內(nèi)人數(shù)的智能化顯示，建筑施工現(xiàn)場人員管理效率可以有效提高。

目前大多數(shù)建筑施工現(xiàn)場采用的安全管理模式是紙質(zhì)簽到系統(tǒng)，或在施工現(xiàn)場各個(gè)出入口安裝門禁控制系統(tǒng)（如由三輥閘，擺閘，翼閘，不銹鋼柵欄門等通道系統(tǒng)與感應(yīng)卡讀寫器結(jié)合構(gòu)成的系統(tǒng)）［5］，所有管理人員和施工人員提前將人臉或者二代身份證錄入系統(tǒng)后便可自由進(jìn)出，同時(shí)非工地人員未經(jīng)登記和授權(quán)無法擅自進(jìn)入施工現(xiàn)場，達(dá)到杜絕安全隱患并切實(shí)保障工地的安全生產(chǎn)的目的［6］。這種安全管理模式在體量較小的建筑項(xiàng)目足以應(yīng)付可能產(chǎn)生的人員管理隱患，然而在體量較大，工人數(shù)量大以及各類人員進(jìn)出頻繁的項(xiàng)目，這種管理模式存在諸多問題：

⑴建筑工地出入口處人員出入頻繁，人員無序流動(dòng)，現(xiàn)場管理困難，建材失竊時(shí)有發(fā)生；

⑵用紙質(zhì)記錄考勤數(shù)據(jù)，難以準(zhǔn)確統(tǒng)計(jì)實(shí)際工時(shí)，且數(shù)據(jù)易被篡改［7］；

⑶施工現(xiàn)場人員數(shù)量多、分包單位多、工種和崗位多的特點(diǎn)，項(xiàng)目管理人員無法清晰和及時(shí)掌握現(xiàn)場的施工作業(yè)人員數(shù)量、各工種人員數(shù)量和各專業(yè)分包單位人數(shù)，不利于現(xiàn)場管理效率提高；

⑷發(fā)生建筑勞務(wù)人員工資糾紛時(shí)，監(jiān)管部門難以取證，維權(quán)困難重重；

⑸車輛以及車輛內(nèi)人員進(jìn)出場統(tǒng)計(jì)困難。

目前，基于計(jì)算機(jī)視覺以及深度學(xué)習(xí)的人員統(tǒng)計(jì)算法已經(jīng)日趨成熟［8-10］，在建筑施工現(xiàn)場人員管理方面有著很大的發(fā)揮空間，大型施工現(xiàn)場對于項(xiàng)目人員智能統(tǒng)計(jì)算法平臺(tái)的搭建擁有極為迫切的需求。因此，本文基于YOLOv4 網(wǎng)絡(luò)結(jié)合計(jì)算機(jī)視覺智能識(shí)別技術(shù)，通過分析閉路監(jiān)控?cái)z像頭的實(shí)時(shí)監(jiān)控畫面，實(shí)現(xiàn)建筑施工現(xiàn)場的人員自動(dòng)化監(jiān)測，并在云端平臺(tái)上實(shí)時(shí)顯示識(shí)別過程和各類統(tǒng)計(jì)信息。本文主要研究以下關(guān)鍵內(nèi)容：

⑴構(gòu)建基于YOLOv4 的施工現(xiàn)場工人統(tǒng)計(jì)與監(jiān)測深度學(xué)習(xí)算法。

⑵基于上述深度學(xué)習(xí)算法，開發(fā)面向工地管理人員的施工管理系統(tǒng)。

⑶通過試驗(yàn)驗(yàn)證算法的成功率以及準(zhǔn)確度，試驗(yàn)內(nèi)容包括試驗(yàn)場景的搭建、設(shè)備選型以及部署方式、模型訓(xùn)練的具體實(shí)現(xiàn)方法、給出試驗(yàn)結(jié)果以及對試驗(yàn)結(jié)果的總結(jié)和分析。

1 深度學(xué)習(xí)工人統(tǒng)計(jì)與監(jiān)測算法

1.1 YOLOv4算法基本原理

YOLOv4 相較于上一代YOLOv3 擁有更良好的檢測性能。如圖1 所示，YOLOv4 主干特征提取網(wǎng)絡(luò)采用的是借鑒跨級部分網(wǎng)絡(luò)（CSPNet）與深度網(wǎng)絡(luò)（DarkNet53）產(chǎn)生的CSPDarknet53，加強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力，而且能降低顯存使用?？缂壊糠志W(wǎng)絡(luò)復(fù)制基礎(chǔ)層的特征映射圖后借助密集塊（dense block）進(jìn)入下一步，達(dá)到將基礎(chǔ)層的特征映射圖分離的目的，同時(shí)，跨級部分網(wǎng)絡(luò)增加了網(wǎng)絡(luò)寬度，精度得以保障［11］。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network Structure of YOLOv4

YOLOv4算法有如下3步：

⑴ 對圖片進(jìn)行主干特征提取，采用步長為2、卷積核為3×3 的卷積層對圖像進(jìn)行5 次采樣，依次產(chǎn)生208×208，104×104，52×52，26×26，13×13 尺寸的特征層。

⑵將特征圖通過金字塔池化，將13×13 進(jìn)行多尺度感受野的融合，對特征圖進(jìn)行最大值池化，通過張量拼接得到13×13 尺寸的新特征層。如圖2 所示，新特征層又與上一步中的26×26，52×52 尺寸特征層通過路徑聚合網(wǎng)絡(luò)代替特征金字塔進(jìn)行參數(shù)聚合。因此YOLOv4算法能應(yīng)用于不同尺寸檢測頭，YOLOv4在此步驟將融合方法由相加修正為拼接，提高模型學(xué)習(xí)能力。

圖2 改進(jìn)的路徑聚合網(wǎng)絡(luò)Fig.2 Improved PANet

⑶將特征層傳入檢測網(wǎng)絡(luò)，YOLOv4的檢測頭模式與YOLOv3 的檢測頭模式相同：將特征層劃分為13×13，26×26，52×52 三類大小的網(wǎng)格圖，分別檢測大中小三類目標(biāo)，提高檢測精度，防止目標(biāo)輪廓因?yàn)檩^大或較小而丟失。YOLOv4還會(huì)更改圖像再對新圖像進(jìn)行決策，這一過程即自對抗訓(xùn)練，改善學(xué)習(xí)決策邊界的薄弱環(huán)節(jié)，提高系統(tǒng)魯棒性［12］。

1.2 代碼實(shí)現(xiàn)

項(xiàng)目的目的是實(shí)現(xiàn)對進(jìn)入的車輛與行人進(jìn)行實(shí)時(shí)統(tǒng)計(jì)，因此需對監(jiān)視器的每一幀畫面進(jìn)行處理，具體步驟如下：

⑴傳入監(jiān)視器的實(shí)時(shí)畫面，開始對每一幀畫面進(jìn)行處理。

⑵設(shè)置循環(huán)條件：只有在無法讀入畫面時(shí)退出。

⑶借助已訓(xùn)練數(shù)據(jù)的函數(shù)讀取當(dāng)前幀的物體，返回3 類參數(shù)：類別，邊框中心點(diǎn)位置，類別置信度。依據(jù)位置參數(shù)繪制出當(dāng)前幀存在物體的輪廓，把所有位置參數(shù)繪制的矩形框的幾何中心點(diǎn)進(jìn)行記錄。

⑷以物體編號(hào)為鍵，以物體對應(yīng)矩陣框幾何中心點(diǎn)為值，創(chuàng)建字典，當(dāng)前幀與上一幀保留本步驟的字典。若有物體不存在，刪除其對應(yīng)數(shù)據(jù)。將中心點(diǎn)相差小于40像素點(diǎn)的物體視為相同物體，將上一幀物體編號(hào)繼承至當(dāng)前幀的物體字典［13］。

⑸依據(jù)中心點(diǎn)移動(dòng)方向確定進(jìn)或出，在監(jiān)控器畫面中有兩類移動(dòng)：上下方向，左右方向。若人物移動(dòng)軌跡為左右，則只需依照中心點(diǎn)橫坐標(biāo)變化確定方向；若人物移動(dòng)方向?yàn)樯舷拢罁?jù)縱坐標(biāo)變化確定方向。依據(jù)人或車的方向確定對應(yīng)物體類別處于工地的數(shù)量。

⑹顯示已處理的圖像，圖像輸入窗口，當(dāng)前幀率（FPS）與實(shí)時(shí)車輛數(shù)與人數(shù)，復(fù)制當(dāng)前幀物體幾何中心點(diǎn)坐標(biāo)，圖像滯留20 ms。

2 試驗(yàn)與分析

本章節(jié)主要講述算法模型對于行人和車輛檢測的試驗(yàn)效果，具體包括：模型運(yùn)行環(huán)境的搭建，模型的訓(xùn)練，試驗(yàn)數(shù)據(jù)的獲取及分析。

2.1 試驗(yàn)環(huán)境搭建

本文所有試驗(yàn)所使用的硬件配置信息及軟件信息，分別如表1、表2所示。

表1 試驗(yàn)所使用的硬件配置信息Tab.1 Hardware Configuration Information Used for the Experiment

表2 試驗(yàn)所使用的軟件信息Tab.2 Software Information Used for the Experiment

如圖3 所示，試驗(yàn)中硬件設(shè)備的部署方式為在施工現(xiàn)場出入口架設(shè)監(jiān)控?cái)z像頭，采集監(jiān)控視頻并將采集到的素材通過交換機(jī)輸入到模型中進(jìn)行識(shí)別并統(tǒng)計(jì)數(shù)據(jù)，最后再將結(jié)果實(shí)時(shí)顯示到終端設(shè)備上實(shí)現(xiàn)遠(yuǎn)程集中管理。

圖3 傳輸路徑Fig.3 The Transmission Path

2.2 模型訓(xùn)練過程

在模型訓(xùn)練的過程中要判斷該算法是否能夠準(zhǔn)確地識(shí)別出行人以及車輛，首先需要制定合適的評估標(biāo)準(zhǔn)，合理的評估標(biāo)準(zhǔn)不僅能夠準(zhǔn)確地測評該算法的好壞還能根據(jù)不同的需求對算法進(jìn)行有目的性的改進(jìn)升級。對于一個(gè)行人與車輛識(shí)別算法來說，識(shí)別的準(zhǔn)確度是最基本的評估標(biāo)準(zhǔn)。本試驗(yàn)主要測試算法在不同的環(huán)境條件的識(shí)別準(zhǔn)確性。為了檢驗(yàn)算法在不同環(huán)境條件下的準(zhǔn)確性，我們將分別選取白天和夜晚中人流量較大的時(shí)段內(nèi)的監(jiān)控錄像經(jīng)過拼接作為識(shí)別素材。

獲取到合適的識(shí)別素材后，首先人工對視頻中的人員和車輛進(jìn)出的數(shù)量進(jìn)行統(tǒng)計(jì)，將其作為真實(shí)數(shù)量，再由算法進(jìn)行識(shí)別統(tǒng)計(jì)獲得統(tǒng)計(jì)數(shù)量，將二者數(shù)據(jù)進(jìn)行對比即可得出算法的識(shí)別準(zhǔn)確度。在運(yùn)行算法前需要在算法中設(shè)置一定的規(guī)則以便于準(zhǔn)確地分辨行人進(jìn)出的數(shù)量，在算法中預(yù)設(shè)藍(lán)色與黃色區(qū)域?yàn)榕袛鄥^(qū)，當(dāng)目標(biāo)上行撞黃線時(shí)記為進(jìn)，目標(biāo)下行撞藍(lán)線時(shí)記為出，以此來計(jì)算行人進(jìn)出數(shù)量，如圖4所示。

圖4 監(jiān)控錄像分析過程Fig.4 Surveillance Video Analysis Process

算法運(yùn)行時(shí)，將對視頻進(jìn)行處理，首先縮小尺寸再檢測畫面中是否有目標(biāo)出現(xiàn)，假設(shè)畫面中無目標(biāo)出現(xiàn)，算法會(huì)將其視為無效畫面忽略并清理，當(dāng)畫面中有目標(biāo)存在時(shí)，算法會(huì)為目標(biāo)賦框后輸出，最后檢測目標(biāo)框是否撞線以及目標(biāo)框所撞區(qū)域是為藍(lán)色或者黃色作為目標(biāo)進(jìn)出的判斷依據(jù)。通過選取不同的環(huán)境條件進(jìn)行算法準(zhǔn)確性檢測，所得試驗(yàn)結(jié)果如表3所示。

表3 識(shí)別結(jié)果（人）Tab.3 Results of the Identify

通過表3可知日間環(huán)境下算法識(shí)別進(jìn)入和離開的準(zhǔn)確率分別為97%和95%，在夜間環(huán)境下算法識(shí)別進(jìn)入和離開的準(zhǔn)確率分別為94%和93%，可見基于YOLOv4 網(wǎng)絡(luò)的行人統(tǒng)計(jì)中，不論是白天或是黑夜，在保證識(shí)別區(qū)域光照充足的情況下，識(shí)別的準(zhǔn)確率均可達(dá)90%以上。但統(tǒng)計(jì)結(jié)果與真實(shí)數(shù)據(jù)之間仍有差距，通過觀察算法運(yùn)行過程發(fā)現(xiàn)，誤差的主要來源于以下三個(gè)方面：

⑴當(dāng)目標(biāo)在碰撞線內(nèi)停留過久時(shí)算法就會(huì)重復(fù)識(shí)別；

⑵當(dāng)目標(biāo)手持安全帽經(jīng)過檢測區(qū)域時(shí)算法會(huì)重復(fù)識(shí)別；

⑶ 當(dāng)監(jiān)控視頻出現(xiàn)掉幀情況導(dǎo)致畫面短暫中斷，畫面恢復(fù)后也會(huì)對已識(shí)別目標(biāo)重復(fù)識(shí)別。

通過對YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)和算法進(jìn)行改進(jìn)，訓(xùn)練出的模型在試驗(yàn)中表現(xiàn)良好且穩(wěn)定，準(zhǔn)確率均能達(dá)到95%以上且能實(shí)時(shí)檢測，具有實(shí)際應(yīng)用價(jià)值。

2.3 可視化界面設(shè)計(jì)

如圖5 所示，通過與虛幻4 引擎的結(jié)合，在算法中加入http 推流服務(wù)，將所獲取的視頻畫面和算法統(tǒng)計(jì)的結(jié)果實(shí)時(shí)展示在客戶端，并在客戶端添加其他功能。

圖5 可視化界面Fig.5 User Interface（UI）

該客戶端所包含的功能主要包括：

⑴人員與車輛統(tǒng)計(jì)功能，包括人員與車輛進(jìn)、出數(shù)量以及場地內(nèi)人員與車輛總數(shù)；

⑵視角切換功能，當(dāng)在不同出入口架設(shè)多個(gè)攝像頭時(shí)，可通過客戶端在不同攝像頭之間進(jìn)行切換并實(shí)時(shí)獲取該攝像頭所記錄的人員與車輛進(jìn)出數(shù)據(jù)。

2.4 工程應(yīng)用難點(diǎn)與解決方法

雖然本研究首先在驗(yàn)環(huán)境中對所研發(fā)算法進(jìn)行了測試和驗(yàn)證，但是在項(xiàng)目測試與落地階段，發(fā)現(xiàn)了本系統(tǒng)存在多個(gè)實(shí)際應(yīng)用問題，通過解決以下落地應(yīng)用問題，極大地提高了該系統(tǒng)在實(shí)際工程項(xiàng)目中的應(yīng)用價(jià)值與魯棒性。

2.4.1 畫面檢測范圍

本項(xiàng)目在現(xiàn)場測試過程中發(fā)現(xiàn)，需要對不同區(qū)域的視頻畫面檢測范圍進(jìn)行調(diào)整。如圖6 所示，該畫面所展示區(qū)域?yàn)楸疚臏y試項(xiàng)目工地的主要人員進(jìn)出通道，該通道畫面主要包含閘機(jī)通道與右側(cè)門衛(wèi)值班室。算法在默認(rèn)情況下會(huì)對整個(gè)畫面中的人員進(jìn)行識(shí)別與檢測，如果有人員在值班室中來回走動(dòng)，也會(huì)被算法判定為“進(jìn)場”或者“出場”，這種誤判會(huì)給系統(tǒng)統(tǒng)計(jì)結(jié)果造成巨大誤差。因此，本系統(tǒng)在項(xiàng)目現(xiàn)場落地過程中，需要根據(jù)不同出入口的畫面布局，對相應(yīng)的后臺(tái)算法檢測范圍進(jìn)行調(diào)整。通過在算法代碼中加入“檢測區(qū)域”功能，來控制各個(gè)畫面中的實(shí)際檢測范圍。如圖6 所示，所有進(jìn)入該通道畫面中的人員都會(huì)被識(shí)別出來，但是只有通過圖中檢測區(qū)域的人員會(huì)計(jì)入統(tǒng)計(jì)數(shù)據(jù)，而在檢測區(qū)域以外活動(dòng)的人員，不會(huì)對統(tǒng)計(jì)數(shù)據(jù)產(chǎn)生影響。除下圖所示通道，本項(xiàng)目對其它全部出入口畫面均進(jìn)行了檢測區(qū)域調(diào)整，極大地提高了系統(tǒng)的統(tǒng)計(jì)精度。

圖6 檢測區(qū)域Fig.6 Detection Area

2.4.2 算法準(zhǔn)確率

本研究使用YOLOv4神經(jīng)網(wǎng)絡(luò)作為檢測算法的基礎(chǔ)，經(jīng)過訓(xùn)練，該算法可對人員、車輛等不同對象進(jìn)行識(shí)別判定。判定過程中，算法會(huì)自動(dòng)評估對某一對象判定的置信度，置信度越高，則目標(biāo)對象檢測的成功率越高。需要給算法設(shè)定一個(gè)合理的置信度區(qū)間，來對各個(gè)識(shí)別結(jié)果進(jìn)行篩選。如果置信度區(qū)間設(shè)置過低，則會(huì)出現(xiàn)錯(cuò)誤判定的情況。如圖7?所示，將一臺(tái)閘機(jī)識(shí)別成人員；如果置信度區(qū)間設(shè)置過高，則會(huì)出現(xiàn)遺漏判定的情況。如圖7?所示，由于該人員佩戴特殊帽子并手持某設(shè)備，使得算法對其判定的置信度降低。因此，本項(xiàng)目通過大量測試來給出合理的置信度區(qū)間，避免誤判和漏判，最終使得系統(tǒng)檢測的綜合準(zhǔn)確率達(dá)到95%以上。

圖7 錯(cuò)誤及遺漏判定案例Fig.7 Cases of Misjudgment and Omission Detection

2.4.3 系統(tǒng)冗余程度

系統(tǒng)冗余程度會(huì)影響算法的計(jì)算效果，系統(tǒng)越復(fù)雜，則其占用的計(jì)算資源越高，在硬件設(shè)備計(jì)算能力固定的情況下，留給算法部分的計(jì)算資源越有限，計(jì)算效果也越差。本項(xiàng)目測試中，初始版本的系統(tǒng)冗余程度過高，導(dǎo)致算法部分算力不足，逐幀計(jì)算速度慢于視頻輸入速度，導(dǎo)致分析畫面會(huì)比實(shí)時(shí)畫面相對滯后。同時(shí)由于算力不足，分析過程中會(huì)出現(xiàn)掉幀現(xiàn)象，雖然掉幀現(xiàn)象對用戶的視覺體驗(yàn)影響不大，但是掉幀如果剛好發(fā)生在有人員通過的時(shí)間點(diǎn)，算法無法對同一人員進(jìn)行連續(xù)追蹤，則會(huì)誤將其判定為兩個(gè)不同人員（見圖8），進(jìn)而嚴(yán)重影響統(tǒng)計(jì)結(jié)果的準(zhǔn)確性。因此，本項(xiàng)目在保持算法和系統(tǒng)功能的基礎(chǔ)上，最大限度對系統(tǒng)進(jìn)行優(yōu)化，降低其冗余程度，拋棄無關(guān)組件，降低渲染效果，確保系統(tǒng)占用最少量的計(jì)算資源，最終大大提高了算法的計(jì)算效果，避免了上述滯后與重復(fù)識(shí)別的問題。

圖8 掉幀引起的重復(fù)識(shí)別Fig.8 Duplicate Detection Caused by Dropped Frames

3 總結(jié)

本文針對建筑施工現(xiàn)場所采用的傳統(tǒng)安全管理模式可能存在的漏洞提出一種基于計(jì)算機(jī)視覺與YOLOv4 算法模型的智能管理辦法，利用閉路監(jiān)控?cái)z像頭畫面實(shí)現(xiàn)施工人員的全自動(dòng)監(jiān)測與統(tǒng)計(jì)。該方法首先通過預(yù)訓(xùn)練的深度學(xué)習(xí)算法，對通過工地入口的施工人員進(jìn)行檢測，利用跟蹤算法對目標(biāo)進(jìn)行跟蹤，并在目標(biāo)碰撞檢測線時(shí)進(jìn)行計(jì)數(shù)并統(tǒng)計(jì)，最后通過客戶端進(jìn)行實(shí)時(shí)展示。本研究在現(xiàn)場測試過程中，發(fā)現(xiàn)系統(tǒng)在畫面檢測范圍、算法置信度、系統(tǒng)冗余程度存在問題。通過解決上述問題，極大地提高了系統(tǒng)的實(shí)際應(yīng)用價(jià)值和魯棒性，為系統(tǒng)在實(shí)際工程項(xiàng)目中應(yīng)用打下基礎(chǔ)。在今后的研究中，可以基于該方法，根據(jù)不同的需求可加入不同的功能，如人臉識(shí)別、工種識(shí)別、安全帽佩戴識(shí)別等。這種基于計(jì)算機(jī)視覺與深度學(xué)習(xí)算法的自動(dòng)化人員監(jiān)測手段，能夠有效提高施工現(xiàn)場人員管理效率，對提高施工智能化、實(shí)現(xiàn)智能建造具有非常重要的應(yīng)用價(jià)值。