藺志剛,劉瑾程,尤林奇,柳晴曉龍
(黃河勘測(cè)規(guī)劃設(shè)計(jì)研究院有限公司,河南 鄭州 450003)
當(dāng)前河長(zhǎng)制正在由實(shí)踐探索階段向常態(tài)化、規(guī)范化、精細(xì)化的高質(zhì)量發(fā)展方向邁進(jìn)[1],非法采砂監(jiān)管是全面貫徹實(shí)施河長(zhǎng)制的重難點(diǎn)工作。北方河流多為季節(jié)性河流,年內(nèi)、年際徑流量變化較大,洪水挾帶泥沙進(jìn)入河道。然而,蓄水工程將大部分泥沙攔蓄在庫區(qū)內(nèi),造成下游河道泥沙補(bǔ)給量減小,非法采砂會(huì)對(duì)河道河勢(shì)穩(wěn)定、防洪安全、生態(tài)環(huán)境造成不可逆的影響[2],因此推進(jìn)北方河道非法采砂監(jiān)管工作十分必要。北方河道非法采砂多為旱采方式[2],采砂設(shè)備以長(zhǎng)臂鉤機(jī)、裝載機(jī)和運(yùn)輸車輛為主,采砂點(diǎn)位變動(dòng)性強(qiáng)、采砂行為隱蔽且常出現(xiàn)于夜間,傳統(tǒng)的人工巡檢方式存在取證難、工作效率低等問題,難以進(jìn)行有效監(jiān)管,亟須利用信息化方式強(qiáng)化非法采砂監(jiān)管工作。
目前南方部分地區(qū)采用視頻監(jiān)控[3]、無人機(jī)[4]輔助人工巡檢或使用GPS定位設(shè)備、智能跟蹤算法、圖像識(shí)別算法等對(duì)采砂船進(jìn)行自動(dòng)監(jiān)管[5-6],針對(duì)河道重點(diǎn)位置開發(fā)自動(dòng)監(jiān)管系統(tǒng),應(yīng)用效果顯著。近年來,在北方各大流域的骨干行洪河道建設(shè)高點(diǎn)位河湖視頻監(jiān)控設(shè)備,初步實(shí)現(xiàn)了河湖視頻監(jiān)控全覆蓋,但高點(diǎn)位視頻監(jiān)控設(shè)備采用高變倍球形攝像機(jī),單點(diǎn)覆蓋范圍廣、各監(jiān)控點(diǎn)位的畫面差異大,基于人工設(shè)計(jì)提取器的傳統(tǒng)圖像識(shí)別方法已無法適配高點(diǎn)位視頻監(jiān)控。目標(biāo)檢測(cè)算法主要對(duì)輸入圖像的目標(biāo)物進(jìn)行識(shí)別與定位,與傳統(tǒng)圖像識(shí)別方法相比,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的準(zhǔn)確率、泛化率更高,在水利、交通等行業(yè)應(yīng)用實(shí)例更多、應(yīng)用效果更顯著[7]。湯文華等[5]在南方河道非法采砂監(jiān)管中使用基于深度學(xué)習(xí)的Yolo V3目標(biāo)檢測(cè)算法及智能追蹤技術(shù)對(duì)禁采區(qū)內(nèi)采砂船的疑似采砂行為進(jìn)行自動(dòng)檢測(cè)與識(shí)別,提高了河道非法采砂監(jiān)管效率。黃繼鵬等[8]提出一種面向圖像中覆蓋區(qū)域較小的一類目標(biāo)(小目標(biāo))的多尺度Faster-RCNN目標(biāo)檢測(cè)算法,提升了對(duì)小目標(biāo)檢測(cè)的精度。陳娜等[3]運(yùn)用面向小目標(biāo)的多尺度Faster-RCNN目標(biāo)檢測(cè)算法,提出基于智能視頻監(jiān)控系統(tǒng)的河湖四亂巡檢技術(shù)方案,提高了河湖四亂監(jiān)管的工作效率。綜上,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在非法采砂監(jiān)管中已有局部應(yīng)用,但因南北方采砂監(jiān)管對(duì)象存在差異,以上技術(shù)無法直接在北方推廣應(yīng)用。
針對(duì)北方河道非法采砂行為特點(diǎn)及監(jiān)管需求,本文開展視頻監(jiān)控自動(dòng)巡檢集成以及基于深度學(xué)習(xí)的非法采砂自動(dòng)識(shí)別技術(shù)研究,實(shí)現(xiàn)對(duì)禁采區(qū)非法采砂行為的自動(dòng)檢測(cè),輔助水行政執(zhí)法人員進(jìn)行非法采砂監(jiān)管工作。
利用高點(diǎn)位河湖視頻監(jiān)控設(shè)備的回傳畫面建立一套基于目標(biāo)檢測(cè)算法的北方河道非法采砂智能監(jiān)管系統(tǒng),實(shí)現(xiàn)視頻基礎(chǔ)服務(wù)、圖像資源庫、算法模型管理、非法采砂識(shí)別以及業(yè)務(wù)監(jiān)管功能,系統(tǒng)功能結(jié)構(gòu)見圖1。
圖1 系統(tǒng)功能結(jié)構(gòu)
系統(tǒng)軟件采用前后端分離B/S架構(gòu),前端為Vue、后端為SpringMVC開發(fā)框架,數(shù)據(jù)庫采用具有空間數(shù)據(jù)存儲(chǔ)管理功能的PostgreSQL數(shù)據(jù)庫,GIS平臺(tái)采用超圖WebGIS平臺(tái),目標(biāo)檢測(cè)算法采用PaddleDetection開發(fā)框架。系統(tǒng)各功能模塊的具體設(shè)計(jì)如下:
(1)視頻基礎(chǔ)服務(wù)。通過WebAPI開發(fā)方式集成視頻監(jiān)控設(shè)備廠商提供的功能接口,實(shí)現(xiàn)前端視頻監(jiān)控設(shè)備接入、視頻轉(zhuǎn)發(fā)以及圖像切片等基礎(chǔ)功能,通過預(yù)置位巡航實(shí)現(xiàn)視頻監(jiān)控自動(dòng)巡檢功能。
(2)圖像資源庫。樣本數(shù)據(jù)集的數(shù)量與質(zhì)量是影響算法準(zhǔn)確率的關(guān)鍵因素,高點(diǎn)位視頻監(jiān)控設(shè)備的焦變比、云臺(tái)變幅大,同時(shí)受監(jiān)控時(shí)段、氣候的影響,各監(jiān)控點(diǎn)位間畫面差異大。為提高算法準(zhǔn)確率,基于Pad?dleDetection開發(fā)框架創(chuàng)建圖像半自動(dòng)標(biāo)注、圖像數(shù)據(jù)增強(qiáng)、樣本倉(cāng)庫管理以及數(shù)據(jù)分組功能,建立點(diǎn)位關(guān)聯(lián)的圖像資源庫,進(jìn)而實(shí)現(xiàn)算法逐點(diǎn)位的適配優(yōu)化。
(3)算法模型管理。通過把樣本數(shù)據(jù)載入圖像資源庫結(jié)合PaddleDetection開發(fā)框架實(shí)現(xiàn)算法模型的訓(xùn)練、評(píng)估、迭代優(yōu)化、發(fā)布預(yù)測(cè)功能,為非法采砂識(shí)別提供模型預(yù)測(cè)接口。
(4)非法采砂識(shí)別。識(shí)別接口載入自動(dòng)巡檢產(chǎn)生的圖像切片數(shù)據(jù),調(diào)用模型預(yù)測(cè)接口對(duì)非法采砂特征物(長(zhǎng)臂鉤機(jī)、裝載機(jī)和運(yùn)輸車)進(jìn)行識(shí)別,根據(jù)監(jiān)控設(shè)備狀態(tài)信息(方位角、俯仰角、畫面焦段等)以及安裝信息(安裝高度、經(jīng)緯度等)獲得特征物位置信息,在GIS地圖中對(duì)特征物進(jìn)行定位顯示,同時(shí)通過創(chuàng)建樣本反饋功能為圖像資源的樣本倉(cāng)庫提供增量數(shù)據(jù)。
(5)業(yè)務(wù)監(jiān)管。為水行政執(zhí)法人員提供非法采砂告警核查、告警處置以及業(yè)務(wù)閉環(huán)管理功能。
系統(tǒng)硬件由前端視頻監(jiān)控設(shè)備、后端服務(wù)器以及用戶終端組成,其中:前端視頻監(jiān)控設(shè)備通過運(yùn)營(yíng)商專線或4G/5G無線接入后端機(jī)房,用戶使用電腦客戶端(PC端)、移動(dòng)終端等訪問系統(tǒng);后端服務(wù)器包含應(yīng)用服務(wù)器、流媒體服務(wù)器、接入服務(wù)器以及GPU服務(wù)器等,為系統(tǒng)提供服務(wù)器硬件算力。系統(tǒng)硬件及網(wǎng)絡(luò)結(jié)構(gòu)見圖2。
圖2 硬件及網(wǎng)絡(luò)結(jié)構(gòu)
視頻監(jiān)控設(shè)備的選型應(yīng)充分考慮非法采砂巡檢需求,針對(duì)非法采砂點(diǎn)位變動(dòng)性強(qiáng)、采砂行為隱蔽的情況,應(yīng)選用具有云臺(tái)功能的球形攝像機(jī);針對(duì)夜間非法采砂頻發(fā)的點(diǎn)位,應(yīng)選用具有熱成像功能的攝像機(jī),通過熱成像畫面識(shí)別夜間采砂車輛,以保證夜間巡檢效果;對(duì)于利用通信鐵塔資源的高點(diǎn)位攝像機(jī)而言,應(yīng)盡量選擇高變焦比、防抖性能優(yōu)越的攝像機(jī),以擴(kuò)大單臺(tái)設(shè)備的巡檢覆蓋范圍、減少點(diǎn)位、降低巡檢成本。此外,根據(jù)視頻監(jiān)控設(shè)備數(shù)量、用戶并發(fā)訪問量、非法采砂巡檢頻率以及視頻監(jiān)控畫面的歷史數(shù)據(jù)存儲(chǔ)時(shí)限等確定后端服務(wù)器中各類服務(wù)器的數(shù)量。
流域管理部門公布的相關(guān)河道采砂管理規(guī)劃對(duì)禁采區(qū)、可采區(qū)和保留區(qū)做出了明確規(guī)定,根據(jù)河道采砂管理規(guī)劃確定非法采砂監(jiān)管時(shí)間及監(jiān)管范圍,在監(jiān)管范圍內(nèi)篩選可用的高點(diǎn)位視頻監(jiān)控。高點(diǎn)位視頻監(jiān)控覆蓋半徑為2 km,巡檢路徑多樣,須提前規(guī)劃巡檢路徑,確保巡檢范圍不遺漏、不重復(fù)。當(dāng)巡檢區(qū)域?yàn)楠M長(zhǎng)形時(shí)巡檢路徑應(yīng)自上游向下游,當(dāng)巡檢區(qū)域?yàn)槊鏍顣r(shí)巡檢路徑應(yīng)由外向內(nèi)逆時(shí)針旋轉(zhuǎn),直至覆蓋全部待檢區(qū)域[3]。通過監(jiān)控設(shè)備的預(yù)置位巡航功能實(shí)現(xiàn)視頻監(jiān)控自動(dòng)巡檢,預(yù)置位宜選擇在易發(fā)生非法采砂點(diǎn)位、河道與建筑物交叉處或水工建筑物布置處等關(guān)鍵位置,巡檢過程中設(shè)備變焦倍數(shù)以可能出現(xiàn)的目標(biāo)在畫面中所占像素不低于80×80的要求來確定。
北方旱采常采用長(zhǎng)臂鉤機(jī)、裝載機(jī)和運(yùn)輸車三類機(jī)械設(shè)備組合采砂,把三類機(jī)械設(shè)備定義為旱采特征物,單處采砂時(shí)間為2 h以上,把巡檢頻率定義為每2 h檢測(cè)1次,巡檢結(jié)束后回傳巡檢周期內(nèi)的全部圖像畫面,采用目標(biāo)檢測(cè)算法識(shí)別畫面中是否存在旱采特征物,若存在則標(biāo)識(shí)為疑似非法采砂行為。
不同點(diǎn)位的視頻監(jiān)控畫面差異很大,為提高算法準(zhǔn)確率,建立與點(diǎn)位關(guān)聯(lián)的圖像資源庫,通過半自動(dòng)圖像標(biāo)注機(jī)制輔助人工標(biāo)注樣本。以現(xiàn)有的旱采特征物公開數(shù)據(jù)集為基礎(chǔ),使用LabelImg標(biāo)注樣本數(shù)據(jù),匯總形成預(yù)訓(xùn)練集,經(jīng)面向小目標(biāo)的多尺度Faster-RCNN目標(biāo)檢測(cè)算法[8]訓(xùn)練后形成預(yù)訓(xùn)練模型,使用該模型預(yù)測(cè)視頻監(jiān)控畫面,獲得初步預(yù)測(cè)結(jié)果,隨后人工對(duì)預(yù)測(cè)結(jié)果進(jìn)行調(diào)整,實(shí)現(xiàn)半自動(dòng)標(biāo)注并將樣本存儲(chǔ)至資源庫中,由資源庫統(tǒng)一管理非法采砂樣本資源。在半自動(dòng)圖像標(biāo)注機(jī)制的輔助下,樣本會(huì)隨著系統(tǒng)運(yùn)行不斷積累,算法訓(xùn)練集的數(shù)量不斷增加、質(zhì)量不斷提高,進(jìn)而提高算法的準(zhǔn)確率。
利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法對(duì)監(jiān)控畫面中旱采特征物進(jìn)行識(shí)別定位,高點(diǎn)位視頻監(jiān)控設(shè)備安裝高度通常為30 m,監(jiān)控畫面范圍大,而待檢測(cè)目標(biāo)通常為小目標(biāo),因此引入面向小目標(biāo)的多尺度Faster-RCNN目標(biāo)檢測(cè)算法,此算法高度契合非法采砂巡檢需求,算法結(jié)構(gòu)見圖3。
圖3 面向小目標(biāo)的多尺度Faster-RCNN目標(biāo)檢測(cè)算法結(jié)構(gòu)
以待檢測(cè)目標(biāo)長(zhǎng)臂鉤機(jī)為例,簡(jiǎn)述算法實(shí)施情況。預(yù)訓(xùn)練模型中采用經(jīng)ImageNet預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)提取圖像特征,設(shè)置長(zhǎng)臂鉤機(jī)候選框長(zhǎng)寬比分別為0.6、1.0、1.2,其余參數(shù)設(shè)置與文獻(xiàn)[8]保持一致,提取訓(xùn)練樣本中的圖像特征進(jìn)行訓(xùn)練。
Faster-RCNN目標(biāo)檢測(cè)算法采用多任務(wù)損失函數(shù)訓(xùn)練檢測(cè)網(wǎng)絡(luò):
式中:L為多任務(wù)損失函數(shù);ti為預(yù)測(cè)區(qū)域包圍盒的參數(shù)化坐標(biāo);pi為候選框命中目標(biāo)的概率為選取的候選框目標(biāo)對(duì)應(yīng)樣本的所屬標(biāo)簽,當(dāng)候選框中的目標(biāo)為正樣本時(shí)取1,當(dāng)候選框中的目標(biāo)為負(fù)樣本時(shí)取0;為真實(shí)區(qū)域包圍盒的參數(shù)化坐標(biāo);λ為權(quán)重函數(shù);i為小批量候選框的索引;Ncls、Nreg為歸一化參數(shù);Lcls為分類損失函數(shù);Lreg為位置損失函數(shù);R為魯棒性損失函數(shù);x為候選框中心橫坐標(biāo)。
使用準(zhǔn)確率Precision和召回率Recall對(duì)訓(xùn)練后的模型進(jìn)行評(píng)估,計(jì)算公式如下:
式中:Tp為正確檢測(cè)到目標(biāo)的數(shù)量;Fp為檢測(cè)目標(biāo)有誤的數(shù)量;Fn為未檢測(cè)到目標(biāo)的數(shù)量。
采用目標(biāo)檢測(cè)算法檢測(cè)到視頻畫面中存在旱采特征物時(shí),系統(tǒng)自動(dòng)截取圖片和視頻片段,根據(jù)此刻監(jiān)控設(shè)備狀態(tài)信息和安裝信息獲得旱采特征物的定位信息,固定疑似非法采砂證據(jù)。通過GIS空間分析技術(shù)判斷旱采特征物與禁采區(qū)的位置關(guān)系,當(dāng)旱采特征物位置在禁采區(qū)內(nèi)時(shí)系統(tǒng)自動(dòng)觸發(fā)非法采砂告警行為,人工核查確認(rèn)非法采砂行為屬實(shí)后,向水行政執(zhí)法人員推送告警信息及證據(jù),水行政執(zhí)法人員完成非法采砂閉環(huán)處置工作,人工核查確認(rèn)的結(jié)果也會(huì)作為算法的樣本數(shù)據(jù)反饋存儲(chǔ)至系統(tǒng)圖像資源庫中。非法采砂監(jiān)管業(yè)務(wù)流程見圖4。
圖4 非法采砂監(jiān)管業(yè)務(wù)流程
以北方遷安市非法采砂監(jiān)管為例,對(duì)河道非法采砂智能監(jiān)管系統(tǒng)應(yīng)用情況進(jìn)行分析。目前該市已建立覆蓋全域重點(diǎn)河流的高點(diǎn)位河湖視頻監(jiān)控設(shè)備,在該市西北界河附近常年流竄著多個(gè)非法采砂團(tuán)伙,盜采行為對(duì)河道河勢(shì)穩(wěn)定、防洪安全及生態(tài)環(huán)境造成了嚴(yán)重影響。
結(jié)合非法采砂巡檢需求、已建視頻監(jiān)控的分布情況及可視情況,對(duì)于盜采現(xiàn)象最嚴(yán)重區(qū)域,系統(tǒng)接入31臺(tái)前端視頻監(jiān)控設(shè)備,輔助人工進(jìn)行河道管理面積為57 km2的非法采砂巡檢工作。系統(tǒng)后端服務(wù)器集中部署于市政務(wù)云,使用5臺(tái)虛擬服務(wù)器,硬件資源共94個(gè)CPU核心,內(nèi)存為320 GB,存儲(chǔ)空間為2 T,NVIDIA T4 GPU計(jì)算卡2張,服務(wù)器操作系統(tǒng)為Centos7.6操作系統(tǒng),視頻監(jiān)控基礎(chǔ)平臺(tái)為??礗nfovision NREE-iWR 3.0,用戶通過運(yùn)營(yíng)商專線和互聯(lián)網(wǎng)訪問系統(tǒng),系統(tǒng)運(yùn)行條件滿足等保2.0三級(jí)要求。
算法所需的樣本集由兩部分組成:一部分是圖像資源庫中存儲(chǔ)的視頻監(jiān)控回傳樣本圖像(見圖5(a)),共837張;另一部分取自旱采特征物相關(guān)的ImageNet公開數(shù)據(jù)集(見圖5(b)),共600張。使用LabelImg工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注,以Pascal VOC2007格式將標(biāo)注信息存儲(chǔ)到xml文件中。使用平移、增加噪聲、鏡像等圖像處理方法擴(kuò)充樣本集,最終將樣本擴(kuò)充到2 600個(gè),其中有2 400個(gè) 訓(xùn) 練 樣 本,200個(gè) 測(cè) 試 樣 本。使 用PaddleDetection開發(fā)框架對(duì)算法進(jìn)行訓(xùn)練、評(píng)估、部署,訓(xùn)練迭代輪數(shù)(Epoch)、學(xué)習(xí)率(Learning Rate)、批大?。˙atch Size)分別設(shè)置為22、0.002 5、5。
圖5 算法樣本集
在當(dāng)前訓(xùn)練樣本情況下目標(biāo)檢測(cè)算法對(duì)測(cè)試樣本中旱采特征物的綜合檢測(cè)精度為61.5%。系統(tǒng)上線運(yùn)行后目標(biāo)正樣本持續(xù)積累,訓(xùn)練樣本數(shù)量增加,檢測(cè)精度持續(xù)提高。圖6為在河道管理范圍內(nèi)白天、夜間識(shí)別到的非法取土、采砂行為。
圖6 非法采砂識(shí)別算法效果
根據(jù)非法采砂巡檢規(guī)則,每2 h對(duì)禁采區(qū)執(zhí)行1次巡檢,識(shí)別巡檢路徑上的旱采特征物,并將疑似非法采砂行為推送人工核查,確認(rèn)非法采砂行為屬實(shí)后觸發(fā)非法采砂處置流程。截至目前,系統(tǒng)已檢測(cè)到非法采砂行為20余次,水行政執(zhí)法人員發(fā)起非法采砂處置流程并處理相關(guān)問題10余次,與人工巡河相比,該系統(tǒng)擴(kuò)大了巡檢范圍、增加了巡檢頻次、提高了巡檢工作效率。系統(tǒng)檢測(cè)到非法采砂行為后的告警頁面見圖7。
圖7 非法采砂行為告警頁面
本文針對(duì)北方河道非法采砂行為特點(diǎn)及監(jiān)管需求,開展了視頻監(jiān)控自動(dòng)巡檢集成和非法采砂自動(dòng)識(shí)別技術(shù)研究,研發(fā)了基于目標(biāo)檢測(cè)算法的北方河道非法采砂智能監(jiān)管系統(tǒng)。以北方遷安市試點(diǎn)應(yīng)用情況為例,驗(yàn)證了該系統(tǒng)的有效性,實(shí)現(xiàn)了基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在北方非法采砂監(jiān)管中的應(yīng)用。與人工巡河相比,本文技術(shù)方案在巡檢范圍、巡檢頻次等方面均有明顯提升,但仍存在以下不足:當(dāng)告警現(xiàn)場(chǎng)環(huán)境發(fā)生較大變化時(shí),若業(yè)務(wù)人員對(duì)上次告警現(xiàn)象處置不及時(shí),系統(tǒng)可能將其識(shí)別為一項(xiàng)新的告警,存在重復(fù)告警現(xiàn)象。在后續(xù)工作中,將對(duì)該問題進(jìn)行優(yōu)化處理,并及時(shí)督促業(yè)務(wù)人員處理告警現(xiàn)象,避免重復(fù)告警現(xiàn)象出現(xiàn)。