基于YOLOX的貨運源頭遙感解譯標志庫研究

羅卿莉 劉宇婷 蔣鑫濤

(天津大學精密測試技術(shù)及儀器全國重點實驗室,天津 300072)

引言

車輛超載、超限不僅會降低車輛制動性能,進而嚴重危害交通運輸安全[1-2];另外,車輛超載引起的公路結(jié)構(gòu)性損害也會增加公路的維護費用,造成巨大經(jīng)濟損失[3-4]。

貨運源頭核查工作是進行源頭治超的關(guān)鍵環(huán)節(jié),相關(guān)管理部門進行了多方面嘗試,并取得一定的成果。唐山市交管部門提出使用遠程視頻監(jiān)控系統(tǒng)監(jiān)控出入廠車輛[5];重慶市交管部門搭建治超信息平臺,對重點源頭裝載企業(yè)安裝稱重檢測和監(jiān)控設(shè)備,聯(lián)網(wǎng)接入治超信息平臺[6];廣西壯族自治區(qū)采取對重點源頭駐點、巡查以及技術(shù)監(jiān)控的措施[7]。然而,貨運源頭具有分布不均、類別繁多等特點,且目前貨運源頭核查手段大多只針對重點源頭,很多一般非法源頭難以發(fā)現(xiàn)。此外,人工方式核查還存在成本高、效率不高等問題[8]。

遙感影像解譯是指依據(jù)各類解譯方法,從遙感影像中根據(jù)不同應(yīng)用需求提取不同目標信息,針對影像特征進行目標性質(zhì)判斷,獲取特定數(shù)據(jù)信息的過程[9]。基于遙感影像所建立的解譯標志庫是一種能夠辨別地物信息特征的數(shù)據(jù)集合[10]?，F(xiàn)有較多關(guān)于海岸線、礦山地質(zhì)、建筑物等的解譯標志研究[11-13],但尚無公開的貨運源頭解譯標志庫。YOLOX為輕量型目標檢測網(wǎng)絡(luò)YOLO系列中滿足實際應(yīng)用場景中效率與精度平衡要求的網(wǎng)絡(luò)結(jié)構(gòu)[14-15]。衛(wèi)星遙感具有覆蓋范圍廣、時效性強的優(yōu)點[16],利用遙感影像,基于深度學習的方法,建立貨運源頭解譯標志庫,可指導貨運源頭核查工作,有效彌補現(xiàn)有方法存在的源頭監(jiān)察不全面等問題[17]。針對天津市存在大量貨運源頭以及未有公開的貨運源頭解譯標志庫的現(xiàn)狀,選擇天津市作為研究的主要對象,建立解譯標志庫應(yīng)用于天津市遙感影像貨運源頭解譯,以期對相關(guān)部門貨運源頭核查工作提供指導。

1 工程概況

天津市各個區(qū)內(nèi)分布有各種類型的貨源源頭工廠,如圖1所示?；谔旖蚴胁煌悇e的源頭分布情況,對貨運源頭分布地進行標注(見表1)。天津市北部山區(qū)主要存在各類礦山和砂石開采及加工工廠,以薊州區(qū)為例,貨運源頭主要可以分為疑似開采點、沙石囤積點、大型建筑工地、疑似貨運源頭四大類。該區(qū)東部沿海是物流集散的主要地點,存在各類貨物的交接運輸與囤積,貨運源頭主要可以分為港口、鐵路貨車、大型物流園以及大宗貨物集散地,其中貨物類型主要以鐵礦石、煤炭以及原油為主。西南向靜海區(qū)主要以鋼材堆場為主,存在許多大型鋼鐵生產(chǎn)加工工廠,貨運源頭主要是鋼鐵工廠。中部東麗區(qū)存在較多新建樓房泥沙需求大,貨運源頭主要為水泥工廠和囤積點。

表1 貨運源頭類型解譯標志

圖1 天津市貨運源頭分布情況Fig.1 Distribution of Freight Sources in Tianjin

2 貨運源頭解譯標志庫建立

2.1 貨運源頭解譯標志

貨運源頭解譯過程就是依據(jù)各種解譯技術(shù)和方法,在遙感影像上進行目視解譯,得到各類貨運源頭的解譯結(jié)果,再根據(jù)結(jié)果建立對應(yīng)的貨運源頭解譯標志,用于指導相關(guān)部門進行貨源源頭核查相關(guān)工作。對全市貨運源頭進行分析,建立對應(yīng)解譯標志庫。天津市貨運源頭解譯標志庫主要包含的貨運源頭分為四類企業(yè)和四類場站八大類。

四類企業(yè)包括礦石(疑似開采點)、鋼鐵企業(yè)、水泥企業(yè)以及沙石囤積點;四類場站包括港口、鐵路貨場、大型物流園以及大宗貨物集散地。通過貨運源頭標志解譯,可以實現(xiàn)對遙感影像上貨運源頭的快速識別與分類,標志解譯的質(zhì)量直接影響后續(xù)解譯的精度。

2.2 解譯依據(jù)及流程

影像解譯主要依據(jù)為貨源源頭的波譜特征、幾何特征、時間特征、植被特征、水系特征等[18]。對影像中貨運源頭進行描述,并給出典型解譯例圖,同時結(jié)合研究區(qū)域的特點,對解譯源頭進行實際的綜合評估和修正。

基于試驗區(qū)域的遙感影像進行解譯標志庫建立工作,主要流程包括：①根據(jù)貨運源頭在遙感影像特征進行貨運源頭信息分析;②根據(jù)分析結(jié)果進行貨源源頭分類,制作用于深度學習的各類源頭標志圖樣本;③構(gòu)建深度學習網(wǎng)絡(luò)模型使用解譯標志樣本進行模型訓練;④使用訓練完成的模型進行遙感影像上的標志獲取及分類;⑤基于深度學習生成結(jié)果構(gòu)建貨源源頭解譯標志庫;⑥對分類結(jié)果中的部分重點結(jié)果進行現(xiàn)場確認或具體信息查詢,根據(jù)實際情況糾正解譯標志庫;⑦使用糾正后的解譯標志圖對模型進一步訓練提高模型魯棒性。

基于深度學習的貨運源頭解譯結(jié)果,結(jié)合現(xiàn)場勘察糾正能夠建立較高精度的解譯標志庫。后續(xù)根據(jù)實際應(yīng)用情況,對解譯標志庫進行進一步調(diào)整改進,通過多次實際應(yīng)用完善網(wǎng)絡(luò)參數(shù),提高解譯結(jié)果的可靠性和科學性,最終得到具有魯棒性的深度學習模型,實現(xiàn)遙感影像準確度較高的自動解譯。

2.3 建立貨運源頭解譯標準

利用不同的貨運源頭目標在遙感影像上不同的紋理特征、光譜特征以及幾何特征等,結(jié)合周邊環(huán)境特點分析確定是否為貨運源頭并確定其類型,制作用于深度學習網(wǎng)絡(luò)模型訓練所需的各類源頭標志圖樣本庫,包含四類企業(yè)和四類場站八大類。

利用初步建立的解譯標志庫進一步對薊縣區(qū)的貨運源頭進行現(xiàn)場驗證,充分利用遙感監(jiān)測技術(shù)優(yōu)勢解決薊州區(qū)貨運源頭核查工作存在的一系列難題。對重點研究的薊縣區(qū)的貨源源頭進行細分,確定疑似開采點、沙石囤積點、大型建筑工地、疑似貨運源頭四類。其中大型建筑工地及疑似貨運源頭解譯標志見表1。針對薊州區(qū)進行重點研究,通過人工方式分析貨運源頭項目共建立疑似開采點樣本206個,砂石囤積點樣本109個,疑似貨運源頭樣本26個,大型建筑工地樣本25個。

薊縣區(qū)各類貨運源頭解譯結(jié)果見圖2,組織有關(guān)執(zhí)法人員對疑似源頭點位60處進行現(xiàn)場核實,共清理砂違法石囤積點7處、違法開采點1處、約談源頭點位相關(guān)負責人9人次,納入重點監(jiān)管點位42處。

圖2 薊縣區(qū)解譯結(jié)果Fig.2 Interpretation Results in Jixian District

2.4 建立基于YOLOX的貨運源頭遙感解譯標志庫

(1)制作貨運源頭數(shù)據(jù)集

數(shù)據(jù)源選自Google Earth上截取的衛(wèi)星遙感影像。為了制作訓練網(wǎng)絡(luò)所需的數(shù)據(jù)集,使用天津市貨運源頭遙感核查工作研究中的貨運源頭遙感變化檢測的地理位置數(shù)據(jù),利用Google Earth截取遙感影像,針對文件中貨運源頭隨時間的變化情況采集不同時間的遙感影像,實現(xiàn)數(shù)據(jù)集的擴充。所制作的存儲貨運源頭類別及位置信息的數(shù)據(jù)集共有743張遙感圖像,其中包含的樣本有疑似開采點88個、港口75個、沙石囤積點120個、鋼鐵企業(yè)33個、水泥企業(yè)35個、鐵路貨場35個、大型物流園82個、大宗貨物集散地18個,將數(shù)據(jù)集以9∶1的比例劃分為訓練集和測試集用于后續(xù)的訓練。

(2)建立YOLOX神經(jīng)網(wǎng)絡(luò)模型

制作貨運源頭遙感影像的數(shù)據(jù)集后,建立用于檢測遙感影像并進行分類的深度學習模型。所建立的深度學習模型基于卷積運算的神經(jīng)網(wǎng)絡(luò),以多層自編碼神經(jīng)網(wǎng)絡(luò)的方式進行預(yù)訓練,通過對目標對象進行特征提取來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值,最終實現(xiàn)預(yù)測結(jié)果誤差下降為最小值,以達到預(yù)期的目標檢測效果。

根據(jù)貨運源頭樣本大小變化較大及實時性要求較高的特點,選用YOLOX作為目標檢測算法。YOLOX以YOLOv3的Darknet53網(wǎng)絡(luò)為基礎(chǔ),并將YOLOv5的CSPnet結(jié)構(gòu)進行改進,能夠自適應(yīng)錨框大小并根據(jù)目標對象的大小動態(tài)匹配樣本。YOLOX的網(wǎng)絡(luò)結(jié)構(gòu)見圖3[19-21]。

圖3 YOLOX網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 YOLOX network structure

YOLOX所使用的主干網(wǎng)絡(luò)為CSPDarknet,激活函數(shù)選用在Sigmoid和ReLU基礎(chǔ)上改進后的SiLU激活函數(shù),適用于深層網(wǎng)絡(luò)。CSPDarknet通過殘差卷積來緩解梯度消失的問題,并且使用CSPnet結(jié)構(gòu)對殘差進行拆分,將得到的3個特征層送入特征金字塔(feature pyramid networks,FPN)并進行上采樣和下采樣,融合不同尺度的特征信息。相較于其他的YOLO版本,YOLOX對YOLO Head進行改進,將YOLO Head的解耦頭分為2部分,預(yù)測時再進行整合,能夠有效提高收斂的速度。

3 實驗與精度評估

3.1 網(wǎng)絡(luò)訓練過程

建立虛擬環(huán)境,基于Tensorflow2.4.0搭建YOLOX網(wǎng)絡(luò),CUDA版本為11.6,數(shù)據(jù)集格式為VOC。將制作好的遙感圖像與標簽文件送入網(wǎng)絡(luò)進行訓練,訓練前加載預(yù)訓練參數(shù),使加載的模型參數(shù)更適用于待訓練的數(shù)據(jù)集,提高訓練結(jié)果。訓練過程使用GPU進行加速,根據(jù)損失值大小變化趨勢判斷訓練過程是否結(jié)束,當測試集損失維持穩(wěn)定時,模型基本收斂,結(jié)束訓練過程。

3.2 目標檢測精度評價指標

在目標檢測中,使用precision來評價模型某一類物體時預(yù)測正確的情況占所有檢測目標的比例[22],recall用于評價在某一類物體中有多少比例被模型正確檢測。以recall為橫軸,precision為縱軸可畫出P-R曲線,P-R曲線與橫軸的面積即為AP(Average Precision)。

平均漏檢率(miss rate)為評價漏檢個數(shù)的指標,計算式為

(1)

F1score同樣為評價分類精度的指標,計算式為

(2)

為評價所使用網(wǎng)絡(luò)模型的性能,使用AP、平均漏檢率和F1score3個評價指標分別評價模型單個類別預(yù)測精度、漏檢情況和對平均precision與recall情況下單各個類別的檢測精度。

3.3 貨運源頭目標檢測精度

利用本文提出的方法,針對濱海新區(qū)獲取的高分2號和7號影像進行實驗,所得到的八類貨運源頭精度見表2。其中,鋼鐵企業(yè)、水泥企業(yè)與大宗貨物集散地由于數(shù)據(jù)樣本過少,精度較低,識別效果不佳,漏檢率較高。鐵路貨場樣本數(shù)據(jù)不多,但由于鐵路與集裝箱的特征明顯,檢測精度略高于鋼鐵企業(yè)、水泥企業(yè)與大宗貨物集散地。疑似開采點、港口、沙石囤積點與大型物流園樣本量相對較多,精度較高,且港口樣本中水體與船只特征明顯,利于特征提取,AP可達0.84。

表2 貨運源頭預(yù)測精度

利用訓練后所得權(quán)值進行預(yù)測,結(jié)果見圖4,能夠識別一些主要特征較為明顯的貨運源頭。疑似開采點多為綠色植被包裹的白色區(qū)域;鋼鐵企業(yè)多含黑紅色鋼鐵圖斑;水泥企業(yè)區(qū)域內(nèi)含灰黑色水泥;沙石囤積點有藍綠色塑料布覆蓋黃色沙石;港口為陸地與水域有船只的交界處;鐵路貨場周圍多含鐵路或公路;大型物流園與大宗貨物集散地多位于港口附近,區(qū)域內(nèi)有大量煤炭等與集裝箱堆積。

圖4 貨運源頭檢測結(jié)果Fig.4 Freight source detection results

3.4 貨運源頭遙感圖像檢測平臺

實現(xiàn)目標檢測可通過命令行的終端窗口,為簡化用戶交互的過程,需要設(shè)計一個圖形界面,能夠讀取所選擇要預(yù)測的遙感圖像,展示預(yù)測結(jié)果?；赩ue3.0和node實現(xiàn)的貨運源頭在線識別窗口見圖5。檢測平臺具有單張上傳與批量上傳的功能,在單張圖片預(yù)測界面,可通過輸入圖片url或上傳本地圖片到后端調(diào)用服務(wù)器命令行啟動算法進行預(yù)測,并回傳入前端以供瀏覽;批量上傳界面可選擇多張圖片傳入服務(wù)器,并接收到服務(wù)器預(yù)測結(jié)束后傳回的壓縮包文件,實現(xiàn)對一批數(shù)據(jù)的在線預(yù)測功能。

圖5 貨運源頭遙感圖像檢測平臺Fig.5 The detection platform of freight sources

4 結(jié)論

遙感影像能夠有效指導貨運源頭核查工作,貨運遙感解譯標志庫作為影像解譯過程中的必要參照依據(jù),可為解譯結(jié)果提供技術(shù)支撐。通過對天津市貨運源頭進行綜合分析,確定了四類企業(yè)和四類場站八大類解譯標志庫。

貨運源頭解譯標志實現(xiàn)對天津市貨運源頭的精細分類,為實現(xiàn)智能解譯提供貨運源頭分類標準,建立能夠自動識別貨運源頭的目標檢測算法,搭建貨運源頭遙感圖像檢測平臺,能夠有效減少人工解譯時間。解譯標志庫在天津市薊縣區(qū)影像解譯中的成功應(yīng)用,證明解譯結(jié)果具有可靠性和科學性,能夠用于指導相關(guān)部門貨運源頭核查工作。