圖像識(shí)別算法在自然資源執(zhí)法中的應(yīng)用研究與實(shí)踐
——以南京市為例

黃 鋒, 劉禮國(guó)

(1.南京市國(guó)土資源信息中心,江蘇 南京 210003;2.南京師范大學(xué)地理科學(xué)學(xué)院,江蘇 南京 210023)

0 引 言

為深入貫徹黨中央、國(guó)務(wù)院決策部署,落實(shí)最嚴(yán)格的耕地保護(hù)制度和最嚴(yán)格的節(jié)約用地制度,堅(jiān)決遏制耕地“非農(nóng)化”、防止“非糧化”,牢牢守住18億畝耕地紅線,保障國(guó)家糧食安全,近年來(lái),國(guó)家自然資源督察機(jī)構(gòu)對(duì)全國(guó)31個(gè)省(區(qū)、市)和新疆生產(chǎn)建設(shè)兵團(tuán),開(kāi)展以耕地保護(hù)為重點(diǎn)的土地例行督察,通報(bào)了典型案例。

自然資源部在印發(fā)的《自然資源調(diào)查監(jiān)測(cè)體系構(gòu)建總體方案》中提出要組織開(kāi)展自然資源調(diào)查監(jiān)測(cè)方面的重大理論研究和技術(shù)創(chuàng)新,以保障自然資源監(jiān)測(cè)監(jiān)管體系構(gòu)建,監(jiān)管要素增多、時(shí)效性要求提高、智能化要求明顯增強(qiáng)。 傳統(tǒng)的自然資源監(jiān)管模式側(cè)重“事后監(jiān)管”,存在違法建設(shè)行為發(fā)現(xiàn)不及時(shí)、處置周期長(zhǎng)等問(wèn)題。基于塔基監(jiān)控視頻的“事前預(yù)警”監(jiān)管模式應(yīng)運(yùn)而生,化“被動(dòng)監(jiān)管”為“主動(dòng)發(fā)現(xiàn)”,但其依賴人工值守監(jiān)控大廳的監(jiān)管模式存在智能化程度較低、監(jiān)管效率不高等問(wèn)題。如何提高自然資源監(jiān)管效率和時(shí)效性,實(shí)現(xiàn)對(duì)自然資源的智能化實(shí)時(shí)動(dòng)態(tài)監(jiān)管是亟待解決的重要問(wèn)題。

1 南京自然資源執(zhí)法現(xiàn)狀及問(wèn)題

1.1 慧眼守土

2017年根據(jù)江蘇省廳推廣“慧眼守土”國(guó)土資源綜合動(dòng)態(tài)智能監(jiān)管系統(tǒng)的工作要求,南京市局結(jié)合南京實(shí)際和江寧區(qū)試點(diǎn)建設(shè)情況,依據(jù)“信息化、精細(xì)化、規(guī)范化”的要求,綜合采用數(shù)字?jǐn)z像和圖像識(shí)別、云服務(wù)、無(wú)線通信、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、大數(shù)據(jù)等先進(jìn)技術(shù),加速資源整合,全力完成南京市“慧眼守土”綜合動(dòng)態(tài)智能監(jiān)管系統(tǒng)建設(shè)工作[1],以此為契機(jī)切實(shí)提高全市國(guó)土資源監(jiān)管的信息化水平。

該項(xiàng)工作完成以下幾項(xiàng)建設(shè)內(nèi)容:① 建立了動(dòng)態(tài)監(jiān)測(cè)標(biāo)準(zhǔn)體系,主要包括《南京市“慧眼守土”綜合動(dòng)態(tài)智能監(jiān)管系統(tǒng)管理辦法》等文件內(nèi)容;② 建成了覆蓋“市-區(qū)-所”的三級(jí)監(jiān)測(cè)網(wǎng)絡(luò),基于VPN專(zhuān)線組網(wǎng)和視頻管理云平臺(tái)初步建立了總計(jì)844個(gè)塔基視頻監(jiān)控的新型慧眼守土監(jiān)測(cè)網(wǎng)絡(luò);③ 建成了南京市“慧眼守土”綜合動(dòng)態(tài)智能監(jiān)管平臺(tái),實(shí)現(xiàn)了地塊變化智能分析與預(yù)警、項(xiàng)目視頻監(jiān)管、應(yīng)用考評(píng)考核、系統(tǒng)管理等功能;④ 建成了南京市“慧眼守土”監(jiān)控指揮中心。

1.2 智能執(zhí)法信息系統(tǒng)

2020年,立足國(guó)家自然資源管理“兩統(tǒng)一”以及南京市“網(wǎng)格化巡查、網(wǎng)絡(luò)化處置、清單化管理、一體化考核”“四化”管理的新形勢(shì)新要求,以構(gòu)建“天、空、地、網(wǎng)”執(zhí)法動(dòng)態(tài)監(jiān)測(cè)體系為目標(biāo),建設(shè)集監(jiān)測(cè)、處置、指揮、評(píng)價(jià)、管理于一體,移動(dòng)端、PC端和大屏端多端協(xié)同的智能執(zhí)法信息系統(tǒng),實(shí)現(xiàn)自然資源執(zhí)法動(dòng)態(tài)監(jiān)測(cè)發(fā)現(xiàn)、監(jiān)管處置、核查指揮、輔助決策的自動(dòng)化和智能化,全面提升自然資源執(zhí)法監(jiān)測(cè)與預(yù)警能力。

智能執(zhí)法信息系統(tǒng)主要完成以下3項(xiàng)工作內(nèi)容[2]:① 構(gòu)建了自然資源執(zhí)法“天、空、地、網(wǎng)”動(dòng)態(tài)監(jiān)測(cè)發(fā)現(xiàn)體系;② 建立移動(dòng)執(zhí)法平臺(tái),實(shí)現(xiàn)“巡查任務(wù)自動(dòng)規(guī)劃、巡查工作全程留痕、自動(dòng)定位分析、輔助違法判斷”的功效;③ 建立綜合監(jiān)察子系統(tǒng),它是“動(dòng)態(tài)監(jiān)測(cè)”和“移動(dòng)執(zhí)法”的“大腦”,和他們一起實(shí)現(xiàn)“四化”管理,提供指揮中心、輔助決策、違法調(diào)查、違法查處和人員管理等功能。

1.3 存在問(wèn)題

“慧眼守土”平臺(tái)上線初期,針對(duì)所有塔基監(jiān)控視頻都設(shè)置了默認(rèn)預(yù)置位,每天監(jiān)控視頻都會(huì)在預(yù)置位自動(dòng)拍照。平臺(tái)建成以來(lái),南京市“慧眼守土”綜合動(dòng)態(tài)智能監(jiān)管平臺(tái)拍攝了上百萬(wàn)張照片,為后續(xù)的人工智能圖像識(shí)別算法在自然資源智能執(zhí)法工作中的應(yīng)用提供了大量的樣本基礎(chǔ)。

“智能執(zhí)法信息系統(tǒng)”建成為違法建設(shè)行為“早發(fā)現(xiàn)、早處置”提供了技術(shù)基礎(chǔ),但是塔基監(jiān)控視頻圖像識(shí)別率低的問(wèn)題成為系統(tǒng)在全市范圍內(nèi)推廣應(yīng)用的攔路虎,這一問(wèn)題亟待改進(jìn)。

2 深度學(xué)習(xí)算法及具體應(yīng)用

隨著深度學(xué)習(xí)算法在圖像識(shí)別領(lǐng)域的廣泛應(yīng)用,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法也取得了良好的檢測(cè)效果,這為解決塔基監(jiān)控視頻圖像識(shí)別率低的問(wèn)題提供了路徑。

2.1 Faster R-CNN網(wǎng)絡(luò)

針對(duì)R-CNN[3]系列算法特征提取效率低的不足,Ren, S在Fast R-CNN[4]基礎(chǔ)上提出了Faster R-CNN[5],Faster R-CNN是R-CNN系列兩階段目標(biāo)檢測(cè)模型的最新優(yōu)化版本之一,也是目前R-CNN系列算法中性能最優(yōu)的算法模型,整個(gè)Faster R-CNN的大致框架依然是沿襲了Fast R-CNN的基本結(jié)構(gòu),可以分為:主干網(wǎng)絡(luò)(backbone)例如VGG16[6]或Resnet50[7]、候選檢測(cè)框生成網(wǎng)絡(luò)(Region Proposal Networks),Roi pooling與分類(lèi)網(wǎng)絡(luò)3個(gè)部分。

首先,輸入圖片表示為 Height × Width × Depth 的張量(多維數(shù)組)形式,經(jīng)過(guò)預(yù)訓(xùn)練 CNN 作為特征提取器,得到卷積特征圖;然后,RPN(Region Propose Network) 對(duì)提取的卷積特征圖進(jìn)行處理,尋找可能包含目標(biāo)的預(yù)定義數(shù)量的區(qū)域,Roi pooling層收集輸入的特征圖和候選區(qū)域,綜合這些信息后提取候選區(qū)域特征圖,送入后續(xù)全連接層判定目標(biāo)類(lèi)別,最后通過(guò)bounding box regression獲得檢測(cè)框最終的精確位置。

Faster R-CNN最大的創(chuàng)新之處就在于通過(guò)添加RPN網(wǎng)絡(luò),基于Anchor機(jī)制來(lái)生成候選框,(代替selective search),最終將特征提取、候選框選取、邊框回歸和分類(lèi)都整合到一個(gè)網(wǎng)絡(luò)中,從而有效的提高檢測(cè)精度和檢測(cè)效率。

如圖1所示,直接使用RPN生成檢測(cè)框,在網(wǎng)絡(luò)結(jié)構(gòu)上實(shí)現(xiàn)了將目標(biāo)檢測(cè)的四個(gè)步驟:圖像特征提取、候選區(qū)域生成、候選區(qū)域分類(lèi)和定位、位置精修整合到一個(gè)統(tǒng)一的網(wǎng)絡(luò)中,這也是Faster R-CNN的巨大優(yōu)勢(shì),能極大提升檢測(cè)框的生成速度。RPN網(wǎng)絡(luò)的提出使得兩階段算法可以進(jìn)行端到端的訓(xùn)練,在保證精度的同時(shí)大幅提升了檢測(cè)的速度,特征圖先經(jīng)過(guò)一次卷積計(jì)算得到特征映射圖,在經(jīng)過(guò)兩個(gè)并行的卷積層得到網(wǎng)絡(luò)輸出,網(wǎng)絡(luò)輸出共包含兩項(xiàng)內(nèi)容:當(dāng)前Anchor內(nèi)的目標(biāo)屬于前景或背景的概率;候選框的中心坐標(biāo)和尺寸信息。在提取候選框的過(guò)程中RPN網(wǎng)絡(luò)會(huì)以滑動(dòng)窗口中的中心像素點(diǎn)為中心,生成不同面積大小、不同長(zhǎng)寬比的錨框,默認(rèn)情況下錨框的有3種面積(128×128、256×256、512×512)和3種長(zhǎng)寬比(1∶1、1∶2、2∶1),因此在默認(rèn)情況下滑動(dòng)窗口每滑動(dòng)一次都會(huì)生成9個(gè)Anchor,這些Anchor在對(duì)候選框中心位置和大小進(jìn)行參數(shù)回歸時(shí)起到橋梁的作用,在提高精度的同時(shí),也大大提升了檢測(cè)的速度。

圖1 RPN網(wǎng)絡(luò)圖

2.2 數(shù)據(jù)集構(gòu)建

本文通過(guò)檢測(cè)塔基監(jiān)控視頻圖像達(dá)到及時(shí)發(fā)現(xiàn)違法建設(shè)行為[8]的目的。因此,在模型訓(xùn)練前首先需要對(duì)模型檢測(cè)的建設(shè)行為對(duì)象做明確定義,以便對(duì)訓(xùn)練樣本中符合定義的目標(biāo)對(duì)象進(jìn)行準(zhǔn)確標(biāo)注,提升訓(xùn)練樣本的質(zhì)量。對(duì)現(xiàn)有的自然資源疑似違法行為案件進(jìn)行分析,將疑似違法行為歸為5大類(lèi)21小類(lèi),顧及不同疑似違法建設(shè)行為的差異性,同時(shí)也為提升本文目標(biāo)檢測(cè)模型的普適性,本文在深入分析各類(lèi)疑似違法建設(shè)行為的基礎(chǔ)上,選取如表1所示的共計(jì)10類(lèi)建設(shè)行為作為本文目標(biāo)檢測(cè)模型的檢測(cè)對(duì)象,并給出具體樣例。通用的目標(biāo)檢測(cè)標(biāo)注工具如LabelImg、Labelme、Bbox-label-tool等只能對(duì)存儲(chǔ)在本機(jī)的圖像進(jìn)行標(biāo)注。如果進(jìn)行一項(xiàng)大型的目標(biāo)檢測(cè)標(biāo)注工作,這類(lèi)標(biāo)注工具無(wú)法做到大量數(shù)據(jù)分發(fā)、數(shù)據(jù)檢核等工作。因此本文基于Flask框架的一套在線標(biāo)注工具——“標(biāo)簽易”網(wǎng)站,該工具可實(shí)現(xiàn)多人同時(shí)在線標(biāo)注,通過(guò)建立任務(wù)統(tǒng)一管理,每次標(biāo)注任務(wù)可以獲取固定數(shù)量圖像進(jìn)行標(biāo)注。在圖像標(biāo)注頁(yè)面,該工具提供了多種標(biāo)注方式,如矩形、圓形、多邊形等標(biāo)注形式,如圖2所示。

經(jīng)過(guò)標(biāo)注的原始圖像會(huì)生成一個(gè)xml格式的標(biāo)注數(shù)據(jù)文件,標(biāo)注數(shù)據(jù)文件的文件名與原始圖像文件的文件名一一對(duì)應(yīng)。

標(biāo)注數(shù)據(jù)文件中保存了該圖像的基本信息包括存儲(chǔ)路徑、圖像大小等同時(shí)還保存了該圖像中存在的建設(shè)行為對(duì)象類(lèi)別,以及該對(duì)象被標(biāo)注標(biāo)后獲取的標(biāo)注框的左上角和右下角像素坐標(biāo),具體內(nèi)容如表2所示。

表2 標(biāo)注數(shù)據(jù)文件內(nèi)容

2.3 樣本數(shù)據(jù)處理

本文訓(xùn)練樣本數(shù)據(jù)均獲取自某區(qū)塔基監(jiān)控?cái)z像機(jī)拍攝的真實(shí)圖像,通過(guò)對(duì)原始圖像進(jìn)行預(yù)篩選、標(biāo)注后制作生成目標(biāo)檢測(cè)的標(biāo)準(zhǔn)數(shù)據(jù)集格式。由于塔基監(jiān)控?cái)z像機(jī)是全天候、全時(shí)段進(jìn)行圖像采集的,原始圖像中包括了大量的黑夜圖像、模糊圖像、錯(cuò)誤圖像等,這類(lèi)圖像的數(shù)據(jù)量大且屬于無(wú)效數(shù)據(jù),因此需要對(duì)原始圖像進(jìn)行數(shù)據(jù)預(yù)篩選并進(jìn)行預(yù)處理。

數(shù)據(jù)處理如圖3所示,主要包括4個(gè)步驟:① 設(shè)置關(guān)鍵參數(shù)灰度閾值α、灰度直方圖比率閾值γ;② 使用OpenCV讀取原始圖像,若讀取成功則將其轉(zhuǎn)成為灰度直方圖并獲取圖像大小,否則認(rèn)為該數(shù)據(jù)為錯(cuò)誤數(shù)據(jù);③ 使用Numpy從灰度直方圖中獲取灰度值小于灰度閾值α的偏暗像素點(diǎn)個(gè)數(shù)Num;④ 計(jì)算偏暗像素點(diǎn)個(gè)數(shù)Num占整個(gè)灰度圖像素個(gè)數(shù)的比率β,當(dāng)β大于灰度直方圖比率閾值γ時(shí),則認(rèn)定這幅原始圖像為黑夜圖像,否則將該圖像認(rèn)定為白天圖像。

圖3 無(wú)效數(shù)據(jù)處理流程

在經(jīng)過(guò)數(shù)據(jù)預(yù)處理后,獲得符合模型訓(xùn)練標(biāo)準(zhǔn)的待標(biāo)注照片,對(duì)處理后的圖片進(jìn)行標(biāo)注,并生成xml格式的標(biāo)注數(shù)據(jù)文件,最后本文將標(biāo)注數(shù)據(jù)文件轉(zhuǎn)換生成符合MSCOCO數(shù)據(jù)集標(biāo)準(zhǔn)規(guī)范的JSON格式建設(shè)行為目標(biāo)檢測(cè)樣本數(shù)據(jù)集。最終,通過(guò)對(duì)錯(cuò)誤圖像和黑夜圖像的篩選,共獲取到27 688張符合本文建設(shè)行為目標(biāo)檢測(cè)模型訓(xùn)練要求的樣本圖像,經(jīng)過(guò)預(yù)處理的塔基監(jiān)控圖像上的10類(lèi)建設(shè)行為進(jìn)行標(biāo)注,共獲得78 100個(gè)標(biāo)注結(jié)果。其中各類(lèi)建設(shè)行為的標(biāo)注結(jié)果統(tǒng)計(jì)如表3所示。

表3 標(biāo)注結(jié)果統(tǒng)計(jì)

2.4 模型訓(xùn)練

本文使用Facebook開(kāi)源的Detectron2框架進(jìn)行Faster R-CNN模型的構(gòu)建與訓(xùn)練。模型的基礎(chǔ)學(xué)習(xí)率BASE_LR為0.001,模型迭代訓(xùn)練次數(shù)為40萬(wàn)次,對(duì)樣本數(shù)據(jù)集進(jìn)行隨機(jī)裁剪和數(shù)據(jù)隨機(jī)旋轉(zhuǎn)增強(qiáng)。每張圖片在訓(xùn)練和預(yù)測(cè)過(guò)程中生成512個(gè)RPN的Proposals結(jié)果,這樣既能保證模型預(yù)測(cè)精度也能保證模型訓(xùn)練與預(yù)測(cè)的效率。模型的訓(xùn)練Loss結(jié)果如圖4所示,從圖中可以看出模型損失函數(shù)Loss呈現(xiàn)下降趨勢(shì),最終穩(wěn)定在0.1附近。在模型訓(xùn)練過(guò)程中,每10 000次訓(xùn)練存儲(chǔ)一次模型訓(xùn)練結(jié)果,模型訓(xùn)練結(jié)果保存為pth格式的模型文件。

圖4 模型訓(xùn)練Loss圖

本文將采用準(zhǔn)確率(Precision)、召回率(Recall)、AP(Average Precision)、mAP(mean Average Precision)4個(gè)評(píng)價(jià)參數(shù)指標(biāo)對(duì)Faster R-CNN模型訓(xùn)練獲取的建設(shè)行為目標(biāo)檢測(cè)模型的精度進(jìn)行評(píng)價(jià),得到如表4所示的評(píng)價(jià)結(jié)果。

表4 模型精度評(píng)價(jià)結(jié)果

3 結(jié)果分析

本文首先在分析各類(lèi)疑似違法建設(shè)行為的基礎(chǔ)上,選取10類(lèi)覆蓋面較為廣泛的建設(shè)行為作為本文建設(shè)行為目標(biāo)檢測(cè)模型的檢測(cè)對(duì)象,其次通過(guò)對(duì)獲取的7萬(wàn)多張塔基監(jiān)控圖像進(jìn)行預(yù)處理與圖像標(biāo)注工作,獲取符合模型訓(xùn)練標(biāo)準(zhǔn)的xml格式訓(xùn)練樣本數(shù)據(jù),并通過(guò)自行編寫(xiě)的格式轉(zhuǎn)換程序?qū)ml格式的訓(xùn)練樣本數(shù)據(jù)轉(zhuǎn)換成符合MSCOCO數(shù)據(jù)集標(biāo)準(zhǔn)規(guī)范的JSON格式標(biāo)準(zhǔn)訓(xùn)練樣本數(shù)據(jù)集,再次基于Detectron2框架開(kāi)發(fā)構(gòu)建Faster R-CNN模型并訓(xùn)練,經(jīng)過(guò)40萬(wàn)次迭代訓(xùn)練獲取建設(shè)行為目標(biāo)檢測(cè)模型,最后利用測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練獲取的疑似違法建設(shè)行為目標(biāo)檢測(cè)模型的精度進(jìn)行評(píng)價(jià)。

結(jié)合實(shí)際檢測(cè)效果來(lái)看(圖5),測(cè)試圖像中存在符合本文定義的建設(shè)行為大多能夠被有效識(shí)別,因此可以得出,本文基于Faster R-CNN模型訓(xùn)練的算法能夠滿足實(shí)際疑似違法建設(shè)行為智能監(jiān)測(cè)的要求。

4 結(jié) 語(yǔ)

基于塔基監(jiān)控?cái)z像頭圖像對(duì)特定要素自動(dòng)識(shí)別的監(jiān)管模式的建設(shè)與應(yīng)用是自然資源監(jiān)管向智能化發(fā)展的突破性嘗試,實(shí)現(xiàn)了自然資源違法行為由事后處置向事前防范的轉(zhuǎn)變。但是,經(jīng)過(guò)一段時(shí)間的系統(tǒng)運(yùn)行發(fā)現(xiàn)該項(xiàng)工作對(duì)于監(jiān)控在線率要求很高,這就導(dǎo)致了需要花費(fèi)大量的人力成本和時(shí)間成本開(kāi)展前端設(shè)備維護(hù)。結(jié)合自然資源部辦公廳近日下發(fā)的《關(guān)于開(kāi)展2021年衛(wèi)片執(zhí)法工作的通知》要求,對(duì)自然資源違法行為,“按照‘月清、季核、年度評(píng)估’的工作要求,督促各地早發(fā)現(xiàn)、早制止、嚴(yán)查處,檢驗(yàn)各地嚴(yán)格規(guī)范公正文明執(zhí)法情況,評(píng)估一個(gè)地區(qū)自然資源管理秩序特別是違法占用耕地情況,推動(dòng)落實(shí)最嚴(yán)格的耕地保護(hù)制度,保障國(guó)家糧食安全,助力生態(tài)文明建設(shè)”。需要將原來(lái)以“塔基監(jiān)控?cái)z像頭”為主要監(jiān)測(cè)手段的工作思路調(diào)整為以“衛(wèi)片圖斑”+“執(zhí)法人員日常巡查”為主要發(fā)現(xiàn)手段,以“塔基監(jiān)控?cái)z像頭”+“無(wú)人機(jī)”為補(bǔ)充手段。

在此大背景下,將圖像來(lái)源調(diào)整為“衛(wèi)星影像圖斑”,繼續(xù)研究人工智能圖像識(shí)別算法在衛(wèi)星影像圖斑識(shí)別中的應(yīng)用,結(jié)合疑似違法圖斑周邊歷年土地利用現(xiàn)狀調(diào)查成果、現(xiàn)勢(shì)國(guó)土空間規(guī)劃數(shù)據(jù)及征地批文信息,為自然資源智能執(zhí)法提供更加精準(zhǔn)的數(shù)據(jù)支撐。